Машинное обучение *

В рамках данной статьи будет рассмотрено построение конвейера машинного обучения для классификации рукописных цифр из базы данных MNIST с использованием фреймворка TensorFlow и TFX, а также мониторинг процесса обучения с помощью TensorBoard и выпуск модели с автоматической генерацией к ней API с помощью TensorFlow Model Server.

Основная цель данной статьи заключается в восполнении информационного пробела по теме использования TFX в контексте решения задачи классификации рукописных цифр MNIST, которая уже была представлена TensorFlow в виде одноименного репозитория tfx/tfx/examples/mnist.

Привет! Меня зовут Марк Паненко, и я Chief Data Science в Ozon Банке. Сегодня я хочу поговорить про книги, которые научат писать код. В современной экосистеме Data Science недостаточно просто знать алгоритмы машинного обучения и статистические методы — необходимы прочные инженерные навыки для создания масштабируемых, поддерживаемых решений.

Это третья часть серии статей о главных книгах для data-специалистов. В первой части «От комиксов до нейросетей» я писал о литературе для джунов. Во второй — «Код устареет, принципы — останутся» — для мидлов и сеньоров.

В этой же части мы сфокусируемся исключительно на книгах для развития навыков программиста, ставших необходимым для современного дата-сайентиста. Основываясь на опыте моего подкаста «Дата Завтрак», я структурировал подборку по пути профессионального роста инженера: от фундаментальных навыков до специализированных продакшн-инструментов.

Никогда такого не было, и вот опять. Новый прорыв - Gemini 2.5 Pro. В последнее время выходит много разных моделек, единственное достижение которых, как будто бы — плюс несколько очков скора в бенчмарке. А есть ли какие-то качественные изменения?

Ну или если вам интересны циферки — это та таинственная сетка, которая недавно висела в топе LMArena под названием Nebula с разницей в скоре +40. Двадцать бабушек - уже рубль.

Поговорим о том, что оно такое — Gemini 2.5 Pro, и зачем оно может пригодиться.

Пока одни спорят, заменит ли ИИ людей, другие уже выбирают, какую нейросеть поставить себе в напарники. ChatGPT, Claude, Mistral, а еще китайские модели, которые неожиданно набирают популярность — надо бы разобраться в этом хаосе.

Не стоит полагаться только на отзывы или случайные тесты. Разбираемся, по каким критериям действительно стоит оценивать LLM, чтобы выбрать мощную и полезную модель, а не просто хорошо обученного бота.

Агентские AI-системы, которые могут взаимодействовать с окружением посредством сложных интеграций, принимать автономные решения и адекватно реагировать на обратную связь от пользователя, требуют серьезной инфраструктурной поддержки. В этой статье я собираюсь рассмотреть ключевые аспекты развертывания и поддержки таких систем как в облаке, так и на выделенных кластерах. За основу я возьму свой опыт развертывания агентской системы в кластере Linux-серверов, где все сложности по конфигурации и поддержке инфраструктуры ложатся на разработчика, а также в облаке с более широкими возможностями автоматизации инфраструктурных процессов. Я рассмотрю также операционные расходы и возможные трудности, связанные с разработкой агентских систем под каждую из платформ.

Начнем с основных компонентов инфраструктуры агентских AI-систем. Прежде чем рассматривать конкретные сценарии развертывания, стоит выделить следующие ключевые компоненты инфраструктуры агентской AI-системы:

Привет, Хабр!

Сегодня мы рассмотрим алгоритм Proximal Policy Optimization. Этот алгоритм идеально балансирует стабильность и простоту реализации. В отличие от TRPO, где приходится возиться с жесткими ограничениями и сложными оптимизационными задачами, PPO позволяет обновлять политику через функцию потерь с clippin (на рус. «механим обрезки»).

Для наглядности будем использовать кастомную среду «CatChaseEnv», в которой агент‑котик учится ловить лазерную точку.

В контексте ИИ в статье понимается использование комплекса механизмов на основе LLM + reasoning + agents + RAG + ML.

В контексте статьи оцифровка личности или самодигитализация – это практика всеобъемлющей записи и оцифровки различных аспектов жизни человека.

Идея статьи заключается в обзоре теоретических и практических аспектов создания «единого цифрового архива всего опыта индивида» – то есть фиксировании практически полного набора мыслей, переживаний и действий человека в цифровой форме. Для этого используются разнообразные средства: от носимых сенсоров и приложений до "цифровых дневников". Концептуально самодигитализация близка к движениям Quantified Self и лайфлоггинга, цель которых – «самопознание через сбор данных о себе с помощью технологий». В итоге получается постоянный поток персональных данных – своеобразная «чёрная коробка» жизни человека, превращающая его повседневный опыт в данные, пригодные для хранения, анализа и воспроизведения.

Насколько ИИ‑помощники действительно полезны? OpenAI Operator — один из таких агентов, и, по заверениям разработчиков, он может автоматизировать рутинные задачи, облегчая жизнь пользователям. Вопрос только в том, действительно ли он справляется со своими функциями — или это очередная красивая идея, разбивающаяся о суровую реальность.

В первой части обзора мы уже увидели, что Operator — существо противоречивое: то блеснёт смекалкой, то вдруг забудет очевидное. Интересно, что же будет, когда мы поручим ему более сложные операции — вроде работы с таблицами или программирования? Пора выяснить новые подробности, где проходит грань между полезным помощником и цифровым хаосом.

Разберемся как обучать модели timm с использованием Fastai! Покажу как я решил эту задачу с примером кода и объяснениями.

Во всем AI-мире сейчас говорят о новой китайской языковой модели DeepSeek и, конечно, наша команда развития AI не могла пройти мимо этой темы. Мы сравнили ответы новой модели на реальные запросы к нашей технической поддержке с ответами других популярных моделей. Что из этого получилось и какие выводы мы сделали расскажу я — Максим Михайлов, руководитель проекта из Cloud.ru.

Научитесь обходить CAPTCHA при веб-скрапинге с помощью методов автоматизации, AI-решателей и сторонних сервисов, таких как CapSolver. Повысьте эффективность скрапинга уже сегодня!

Порядка 20% всех потерь при производстве высокоуглеродистого феррохрома связаны с такими технологическими расстройствами в процессе выплавки, как избыток или недостаток восстановителя. Для компаний это десятки миллионов долларов чистых потерь в год только с одной печи. Решить проблему можно, если установить строгий контроль над всеми этапами производства. Но обычные методы здесь не сработают — температура внутри печи превышает 1600 градусов, и почти ни один датчик не сможет выдержать такие условия. Мы использовали технологии ИИ и создали решение, которое помогает металлургам следить за одним из самых сложных технологических процессов.

Современные системы искусственного интеллекта, такие как ChatGPT от OpenAI, Gemini от Google и Claude от Anthropic, поразили воображение общественности, создавая беглый текст на нескольких языках в ответ на запросы пользователей. Эти компании также попали в заголовки газет благодаря огромным суммам, которые они вложили в создание всё более мощных моделей.

Китайский ИИ-стартап DeepSeek разрушил ожидания относительно того, сколько денег необходимо для создания новейших и лучших ИИ. Тем самым они поставили под сомнение миллиардные инвестиции крупных игроков рынка ИИ.

Я изучаю машинное обучение. Подрывной дебют DeepSeek связан не с каким-то потрясающим технологическим прорывом, а с проверенной временем практикой: поиском эффективности. В области, которая потребляет огромные вычислительные ресурсы, это оказалось очень важным.

В последнее время разработка и развертывание больших языковых моделей (LLM) стали ключевыми в формировании интеллектуальных приложений в различных областях. Но реализация этого потенциала требует строгого и систематического процесса оценки. Прежде чем углубляться в метрики и вызовы, связанные с оценкой LLM-систем, стоит задуматься: не сводится ли ваш процесс оценки к бесконечному циклу запуска LLM-приложений на наборе промптов, ручному анализу выходных данных и субъективной оценке их качества? Если да, то пора осознать, что оценка — это не разовая процедура, а многоэтапный итеративный процесс, оказывающий значительное влияние на производительность и жизненный цикл вашей LLM-системы. С развитием LLMOps (расширения MLOps, адаптированного для больших языковых моделей) интеграция процессов CI/CE/CD (непрерывная интеграция, непрерывная оценка и непрерывное развертывание) становится неотъемлемой частью управления жизненным циклом LLM-приложений.

Итеративный характер оценки включает в себя несколько ключевых компонентов. Во-первых, необходимо постоянно обновлять и улучшать тестовый датасет. Во-вторых, важно выбирать и внедрять метрики оценки, наиболее подходящие для конкретного сценария использования. Наконец, надежная инфраструктура оценки позволяет проводить тестирование в реальном времени на протяжении всего жизненного цикла LLM-приложения. Крайне важно признать значимость оценки как непрерывного и динамического процесса. Это компас, помогающий разработчикам и исследователям совершенствовать и оптимизировать LLM для повышения производительности и практического применения.

Авторегрессионные языковые модели, которые продолжают удивлять своими возможностями, занимают сейчас почти всё AI-пространство и забирают на себя почти всё внимание. В тени этого триумфа, однако, продолжают развиваться альтернативные подходы. Один из самых ярких — дискретные диффузионные модели для генерации текста. Понятно, что у авторегрессионных моделей множество принципиальных недостатков, которые вряд ли получится устранить в рамках той же архитектуры. Поэтому параллельно нужно не только совершенствовать этот подход, но и развивать совсем другие направления. Когда (или если) текущие триумфаторы упрутся в потолок своих возможностей, понадобится альтернатива. 

О каких недостатках авторегрессионных моделей идет речь? В первую очередь, ограничение самой генерации — последовательно, слово за словом, токен за токеном, слева направо и только так. Локальная согласованность гарантируется, два соседних токена будут друг с другом связаны, а вот два далеких — уже не факт. Согласованность будет экспоненциально убывать, и в итоге конец текста с его началом могут значительно разойтись. С сохранением глобальной согласованности справляются диффузионные модели, которые генерируют изображения. Поэтому перенос диффузионных моделей в дискретное поле языка считается перспективной альтернативой и вероятным будущим соперником авторегрессии. 

Дискретные диффузионные модели восстанавливают весь текст разом из полностью “зашумленного” текста. Под зашумлением подразумевается простая маскировка слов. Преимуществ два. Во-первых, глобальная согласованность, о которой мы уже сказали. Во-вторых, потенциальное ускорение за счет того, что генерация происходит параллельно, а не токен за токеном. Пока эти преимущества именно потенциальные, догнать авторегрессионные модели дискретная диффузия еще не может, но всё-таки уверенно к этому идет. 

Все мы знаем, что Гит здорово облегчает жизнь разработчикам. Версионирование позволяет нам вернуться на шаг назад, если мы где-то жестко напортачили. А еще оно помогает отслеживать изменения, которые мы вносим в код. Весь код и история изменений хранятся на сервере, через который может работать команда разрабов. Одним словом, удобно.

Под катом расскажу, как поднять платформу для учета и версионирования затравок Langfuse.

(Обложка сгенерирована DALL-E от OpenAI)

Привет, меня зовут Александр Окороков, я основатель и генеральный директор ИТ-компании и автор медиа вАЙТИ. Мы помогаем заказчикам выстроить оптимальную стратегию принятия управленческих решений, чтобы эффективно использовать ресурсы и не терять деньги. Именно эту задачу решает data-driven-подход к принятию решений и управлению продуктом с опорой на данные.

Генерация дополненного извлечения (RAG) стала самым популярным способом предоставления LLM дополнительного контекста для создания адаптированных выходных данных. Это отлично подходит для приложений LLM, таких как чат-боты или агенты ИИ, поскольку RAG предоставляет пользователям гораздо более контекстуальный опыт, выходящий за рамки данных, на которых обучались LLM, такие как GPT-4.

Неудивительно, что практикующие LLM столкнулись с проблемами оценки приложений RAG во время разработки. Но благодаря исследованиям, проведенным RAGA, оценка общих характеристик генератора-извлекателя систем RAG в 2024 году является в некоторой степени решенной проблемой. Однако создание приложений RAG до сих пор остается проблемой — вы можете использовать неправильную модель встраивания, плохую стратегию фрагментации или выводить ответы в неправильном формате, что как раз и пытаются решить такие фреймворки, как LlamaIndex.

Но теперь, по мере того как архитектуры RAG становятся все более сложными, а сотрудничество между специалистами LLM в этих проектах усиливается, возникновение критических изменений становится более частым, чем когда-либо.

Написать эту статью меня побудило серьезное научное исследование, которое обосновало прекрасный и оригинальный метод Chain of Code (CoC) улучшения рассуждений моделей и точности их ответов.
Суть метода заключается в том, чтобы заставить модель написать подходящий программный код, соответствующий поставленной в промпте задаче, интерпретировать его выполнение и на основе полученного результата сформировать более логичный, точный и достоверный ответ.
Метод особенно хорошо работает в логических и математических задачах и я считаю, что он заслуживает пристального внимания программистов, как оригинальный и эффективный подход к решению различных хорошо структурированных задач.

Я решил продемонстрировать его работу, но так, чтобы было интересно и не скучно.

Поэтому предлагаю развлечься с моделями, а поскольку для нашей цели одной будет маловато, то давайте сразу с тремя.

Представьте, что вы можете разговаривать с компьютером так же естественно, как с обычным человеком. Вы задаёте вопросы, получаете ответы, даёте команды - и это всё на вашем родном языке. Именно этим и занимается обработка естественного языка (Natural Language Proccessing, или NLP) - область искусственного интеллекта, которая фокусируется на взаимодействии между компьютерами и людьми с помощью естественного языка.

Цель NLP - научить компьютеры понимать, интерпретировать и генерировать человеческую речь и текст так же, как это делаем мы. Это включает в себя не только распознавание слов, но и понимание их смысла, контекста и эмоций.