Машинное обучение *

← Предыдущая глава |

Допустим, мы обучаем классификатор при помощи обучения с учителем и уже применили к датасету различные методы для уменьшения переобучения. Как можно улучшить модель или цикл обучения, чтобы добиться еще более заметного эффекта?

Наиболее эффективные методы борьбы с переобучением включают в себя различные техники регуляризации, такие как Dropout и сокращение весов. Как правило, модели с большим количеством параметров требуют больше тренировочных данных для успешного обобщения. Поэтому иногда уменьшение размера модели может помочь снизить степень переобучения. Наконец, одним из самых действенных способов борьбы с переобучением является создание ансамблей моделей. Однако этот метод иногда связан с повышенными вычислительными затратами.

В этой главе мы обсудим ключевые идеи и методы, которые помогают снизить переобучение при помощи модификации моделей, и сравним их между собой. В заключение мы обсудим, как выбрать между различными техниками уменьшения переобучения, включая те, о которых мы говорили в предыдущей главе.

Привет, Хабр! Меня зовут Зотов Глеб, я ML-инженер в команде скоринга в билайне. В статье расскажу о том, как не сойти с ума, мониторя десятки графиков вручную. 

Скоринговая модель может быть блестящей на этапе обучения, показывать отличные значения всех метрик на кросс-валидации и радовать бизнес на первых неделях после деплоя. Но вжух — и через два месяца валидационные метрики поползли вниз, отклонения по PSI зашкаливают, а product owner уже поглядывает в твою сторону с подозрением.

Проблема? Проблема. 

Давайте разберемся, почему так происходит и как можно этого избежать.

Привет, Хабр! Меня зовут Артем Якимчук, я инженер-исследователь в Сколтехе и аспирант в области промышленной робототехники.

Мы привыкли думать об LLM исключительно в контексте языковых задач: чат-боты, ассистенты, генерация текстов. Но что, если та же самая архитектура способна не просто говорить, но и действовать?

Сегодня искусственный интеллект начинает работать и с физическими объектами: распознает их, принимает решения, выполняет задачи в реальном мире — и все это с помощью тех же моделей, которые вы знаете по чат-ботам.

В этом материале по мотивам моего доклада для True Tech Day я расскажу, как язык встречается с моторикой и почему LLM становятся новым мозгом для роботов. Будет любопытно и, возможно, немного футуристично. Поехали!

В начале августа 2025 года OpenAI, Google DeepMind и Alibaba представили релизы, которые меняют правила игры. Мы анализируем долгожданный GPT-5 и open-source модели от OpenAI, прорыв Google в симуляции миров с Genie 3 и элегантное решение Alibaba проблемы с текстом на изображениях с помощью Qwen-Image. Это разбор не только технологий, но и ключевых трендов, определяющих будущее AI.

Достаточно нервный запуск GPT-5 подошел к концу, OpenAI определилась с лимитами использования и настройками, поэтому самое время поделиться некоторыми нюансами работы с новинкой. В первую очередь я буду ориентироваться на пользователей ChatGPT Plus: 20-долларовая подписка наиболее массовая, кроме того, именно на ней возникают сложности с выбором модели.

Одним из крупнейших сдвигов в современном софтверном девелопменте стало стремительное распространение AI-инструментов для написания кода. Эти решения помогают как разработчикам, так и людям без технического бэкграунда быстрее писать код, запускать прототипы и готовые приложения. Среди таких инструментов достаточно быстро привлёк внимание Cursor, почти сразу он занял позицию одного из лидеров рынка.

В этой статье я подробнее рассмотрю Cursor, его сильные и слабые стороны, а также сравню его с другими AI-редакторами кода. Это будет практический гайд, в котором я поделюсь своим опытом использования Cursor для создания to-do приложения. К концу материала у вас сложится четкое представление о том, подходит ли Cursor для вашего собственного девелоперского workflow.

Поехали.

Привет, Хабр!

Меня зовут Роман, я NLP-инженер в Сбере. Занимаюсь мультиагентными системами и работаю с LLM в проде. Сегодня расскажу про одну из самых интересных статей июня по версии Huggingface Daily Papers — Reflect, Retry, Reward: Self-Improving LLMs via Reinforcement Learning.

Всем привет. В этом посте расскажем, как мы тестировали БЯМ для перевода англоязычных датасетов на русский. «Мы» — это ваш покорный слуга и ребята из ФИЦ ИУ РАН. Пост по факту перевод нашей статьи, которая была опубликована еще в апреле, но вот руки до поста дошли только сейчас.

«ChatGPT убьёт тестировщиков» — миф или реальность? Рассказываю, как AI уже влияет на сферу QA и почему инженеры не останутся без работы.

Привет, Хабр! Меня зовут Георгий Семёнов, в VK я занимаюсь разработкой в команде инфраструктуры рекомендательных систем, а в Университете ИТМО начинаю свой аспирантский путь в области децентрализованных коллаборативных сред.

В этой вводной статье я попытаюсь спекулятивно определить CRDT-типы, которые сегодня выступают передовым подходом для создания коллаборативных приложений реального времени. я намеренно не коснусь многообразия теоретических и практических результатов в области и попробую принять отстраненную позицию, чтобы представить некое «интуиционистское» построение реплицируемых типов с исполнимыми иллюстрациями на Scala.

Привет, на связи команда GigaChain!

ReAct — фундаментальный паттерн, с которого началась эра LLM-агентов. Но как его реализовать сегодня, используя всю мощь function-calling и графовую логику? Разбираем эволюцию концепции, проводим чёткую грань между LangChain и LangGraph и пошагово разбираем создание гибкого ReAct-агента на современном стеке. Никакой магии, только воспроизводимый код и понятная теория.

Они обещали нам сингулярность. Вместо этого — вторая зима ИИ. Что пошло не так и что ждет нас в будущем?

Привет, Хабр! В этой статье вы узнаете, как началась вторая зима ИИ и ждем ли нас AGI (универсальный ИИ), который заменит человека

Qwen снова радуют релизом. Но на этот раз это не модель, а новый RL-алгоритм для обучения LLM

Метод называется Group Sequence Policy Optimization (GSPO), и именно он лег в основу последних громких моделей компании: Qwen3 Instruct, Coder и Thinking. Статья вышла пару дней назад, но о ней уже говорят все. Значит, пока разбираться и нам.

Сегодня один из самых популярных RL-алгоритмов для LLM – это GRPO (by DeepSeek). Если вам он не знаком – почитайте разбор вот тут. GRPO работает здорово и довольно стабильно, но на уровне токенов.

То есть в GRPO мы считаем награду для всей последовательности -> считаем важность каждого токена и применяем клиппинг также для каждого токена отдельно -> обновляем политику "на уровне токенов".

А в GSPO все то же самое происходит сразу для всей последовательности: считаем награду -> рассчитываем единый importance weight для всей последовательности и применяем клиппинг для всего ответа целиком с нормализацией по длине -> обновляем политику.

В чем преимущество такого подхода?

1. Не нужно устраивать танцы с бубном, когда работаешь с MoE. У GRPO из-за архитектурных особенностей MoE идет со скрипом, а тут все заводится из коробки.
2. Градиенты получаются менее шумными, потому что снижается дисперсия. Следовательно – еще более стабильное обучение. Следовательно – лучшие метрики при тех же ресурсах.
3. Инженерно реализуется гораздо проще.

Короче, выглядит очень привлекательно и, вероятно, станет следующим словом в RL для LLM (особенно в опенсорсе).

Лиссабонская летняя школа по машинному обучению (LxMLS) ежегодно проходит в Лиссабоне. Многие по ошибке думают, что её организуют в Луховицах, ведь только в Луховицах loss-функция включает в себя реальные потери — например, урожая кабачков из-за переобучения модели. 2025 год стал для LxMLS юбилейным — в 15-й раз собирая энтузиастов из мира Computer Science и Machine Learning. Мне повезло стать участником этого, без преувеличения, масштабного события, а потому в этой статье я поделюсь с Вами своим опытом:

Если вдруг автомобильный дилер скажет про свои автомобили, что у них под капотом двигатель, цикл которого состоит двух изотерм и двух адиабат и коэффициент полезного действия.., короче «Цикл Карно — идеальный термодинамический цикл». То Вы наверно покрутите у виска пальцем (к счастью не все покрутят и некоторые поймут и выслушают, может даже потом объяснят тем, кто хочет слушать) и пойдёте к другому. Но эти слова — правда и ничего кроме правды, но она вам не нужна.

Но вот это «звук винтажного двигателя V-8 „давно считался призывным вызовом „Мустанга“, готового к спариванию“ (mating call of Mustang), новая система обработки и усиления звука „спортивна и энергична“, обеспечивает „более изящное рычание“ и „низкочастотное ощущение всемогущества“» — полная туфта всего лишь для почёсывания ЧСВ потенциального покупателя и на качество движения никак не влияет.

Вот сейчас то же самое, слово в слово происходит в ИТ с его хайпом вокруг ИИ.

На прошлой неделе наткнулся на забавную игру в слова – contexto.me, смысл прост: нужно отгадать секретное слово. При этом после каждой попытки видно, насколько близко по смыслу ваше слово было к ответу. Поиграв пару дней, захотелось написать такую игру самому, а также автоматизировать процесс решения, про что и данная статья.

Привет, коллеги ML инженеры, Data scientist'ы и все, кто интересуется искусственным интеллектом, созданием нейросетей, машинным обучением и анализом данных! Принёс вам пачку вебинаров с интенсива трека Наука о данных курсов повышения квалификации Летней цифровой школы Сбера.

Решение первого соревнования на kaggle титаник с помощью библиотеки от яндекса catboost. Два способа: обычная модель и второй: с перебором гиперпараметров с помощью randomizedsearch. Сравнение результатов.

Всем привет! Меня зовут Федор Курушин, я занимаюсь машинным обучением в поиске Wildberries. Прямо сейчас я работаю над развитием сервиса персональных поисковых подсказок.

Недавно вместе с коллегой мы представляли нашу совместную работу Product Search Prompts: Generator-Discriminator Approach на конференции FICC 2025.

О подходе, который мы разработали для создания поисковых подсказок и для поиска релевантных похожих запросов для разных бизнес-сценариев, и пойдет речь в этой статье.

Привет, Хабр! Меня зовут Дмитрий Бабаев, я руководитель R&D GigaCode в Сбере. Сегодня расскажу о том, как мы создавали ИИ-помощника для программистов задолго до того, как это стало мейнстримом.

Многие компании думают о том, чтобы  выпустить собственного ИИ-помощника для разработчиков. Мы начали делать GigaCode около трех лет назад — ещё до появления Cursor и других популярных сегодня решений.

За это время мы создали целую экосистему решений для разработки – GigaDEV: IDE на основе IntelliJ, платформу Gitverse как аналог GitHub и сам GigaCode.