Машинное обучение *

Создание кастомной AI-модели для бизнеса кажется простой: скачал базовую модель, загрузил данные — и вот уже готовый AI-юрист или диагност. Но на практике компания часто получает беспомощного «Франкенштейна», который генерирует полную ахинею. Итог — месяцы работы впустую и выброшенный бюджет.

В чем же ошибка? Finetuning — это не волшебная палочка для мгновенного результата, а точный хирургический инструмент. Его неверное применение не улучшает модель, а буквально калечит ее.

С вами вновь Александр Константинов — технический эксперт из Cloud.ru. И на этот раз мы разберем, как избежать главных ошибок тонкой настройки: от принятия решения о ее необходимости до семи смертных грехов, которые губят большинство проектов.

В настоящее время процветает разработка агентов — приложений на базе Generative AI, реализующих автономные рабочие процессы. Извлечение и анализ данных, управление детерминированными программами и так далее. Массу вещей можно автоматизировать с помощью LLM и вызова функций, отсюда и спрос на такие системы.

Как и традиционное ПО, агенты обычно реализуют принцип разделения логики на специализированные узлы обработки конкретных задач, например, один парсит данные по определенной инструкции, другой их анализирует, третий формирует конечный результат. Необходимость применения такого подхода диктуется не только архитектурным принципом единой ответственности, который делает систему более предсказуемой, но и ограничениями самого ИИ. При попытке выполнить несколько задач вызовом одного промпта ограничивающим фактором является механизм внимания, который лучше справляется, если его не слишком перегружать вводными данными. А при использовании разных промптов для разных задач главное ограничение — в том, на сколько доменов модель успешно генерализуется без дообучения под каждый из них.

Сколько раз мы слышали: чтобы ИИ стал по-настоящему умным, его нужно кормить тоннами данных. Кажется, что без тысяч и тысяч примеров — никак. Но вот несколько исследователей решили пойти наперекор: они собрали всего 78 небольших, но очень насыщенных жизнью эпизодов, чтобы научить модель не просто давать ответы, а работать как настоящий агент — строить планы, исправлять ошибки, действовать вместе с человеком. Результат — LIMI, система, которая показывает, что главное не количество, а качество каждого шага и решения. Почему подход «меньше — значит больше» вдруг стал неожиданной находкой для всей индустрии ИИ — история намного интереснее банальной экономии ресурсов.

Насколько предвзят искусственный интеллект? Принято ругать нейросети за трансляцию стереотипов человеческого мышления, которые были подсмотрены в датасетах предобучения. На деле ИИ куда более аккуратен, чем можно ожидать.

Хороший пример — генерация фотографий бабочек. Как правило, дизайнеры-люди очень любят изображать бабочек в мёртвом виде. Дело в том, что энтомологи руководствуются строгими визуальными стандартами: вид сверху, расправленные на 180° крылья, чистый фон, симметрия.

Речь про следующее: передние крылья ставят так, чтобы их задняя кромка была перпендикулярна оси тела. Так образец проще сравнивать по рисунку жилок и пятен. Именно в таком виде бабочки лежат в энтомологических рамках и попадают в каталоги, атласы и на фотостоки. Живая, не задушенная пара́ми этилацетата бабочка так не сидит — ей просто неудобно.

Нужно ли ожидать, что этому стереотипу подвержен ИИ?

Большинство современных ИИ-решений для WordPress работают по принципу облачной интеграции. Плагины подключаются к ИИ-сервисам через API, позволяя использовать технологии искусственного интеллекта прямо в панели управления WordPress.

Аннотация. В работе предлагается новая архитектура искусственного перцептрона — SAAR-Perceptron (Self-Recursive Associative Adaptive Reservoir Perceptron), развивающая классическую модель Розенблатта (S–A–R). Ключевая особенность архитектуры заключается во введении ассоциативного слоя с саморекурсивным отображением (A→A), формирующего динамический граф признаков. В отличие от традиционных рекуррентных моделей, эти связи не обучаются, что обеспечивает устойчивую динамику и выполняет роль адаптивного резервуара, расширяющего пространство признаков.

Ассоциативный слой использует пороговую активацию, эквивалентную ReLU, что позволяет выделять только положительные реакции. Однако обучение осуществляется не на «сырые» выходы, а на их нормализованные значения, что адаптирует величину корректировки весов к относительной значимости каждого признака. Такой механизм предотвращает доминирование отдельных элементов и обеспечивает сбалансированное обучение.

Процесс обучения в перцептроне SAAR реализован без использования градиентных методов. Для связей S→A применяется стохастическое правило коррекции, расширяющее принцип Розенблатта: активные элементы подавляются, если их активация увеличивает ошибку, и возбуждаются, если их возбуждение потенциально уменьшило бы ошибку. Важную роль играет энтропийный критерий обновления весов: вероятность коррекции пропорциональна бинарной кросс-энтропии активаций, что позволяет выделять наиболее информативные признаки. Такой подход напоминает механизм отбора в генетических алгоритмах, где «побеждает» наиболее информативный элемент. Для связей A→R используется простое локальное корректирующее правило, а вклад ассоциативных элементов оценивается через информационный выигрыш; нерелевантные элементы исключаются из работы.

Команда российских ученых, работающих в МФТИ, Иннополисе и Сколково, совершила научный прорыв в области генеративного моделирования — создании новых изображений, похожих на настоящие фотографии или рисунки. Они разработали новый метод, который значительно ускоряет и упрощает процесс генерации в теории и на практике. Их результаты опубликованы в материалах конференции NeurIPS 2024.

 В ранних моделях, основанных на сопоставлении потоков, «река» часто имела извилистые русла, а «путешествие» частиц было долгим и сложным. Это приводило к замедлению процесса генерации новых данных. Поэтому ученые искали способы сделать траектории потока максимально прямыми.

Существующие подходы к выпрямлению траекторий имели свои недостатки. Некоторые методы были итеративными, то есть многократно повторяли процесс улучшения «прямоты», накапливая при этом ошибки. Другие методы основывались на упрощенных приближениях, которые не гарантировали нужного результата.

Новый метод оптимального сопоставления потоков, представленный на конференции NeurIPS 2024, решает эти проблемы. 

Взгляд на самую большую проблему в мире ИИ, почему это важно для вас и почему это так ценно.

Согласованность — одна из самых важных тем в современной области машинного обучения (ML). Независимо от того, являетесь ли вы пользователем продуктов ML, человеком, который их разрабатывает, или компанией, решающей с их помощью задачи, вам стоит знать и хорошо понимать, что такое согласованность.

ИИ-агенты легко справляются с написанием отдельных функций и файлов — но стоит перейти к целому проекту, всё начинает идти наперекосяк. Где-то разъехались интерфейсы, там устоявшийся план рассыпался, а итоговый код больше напоминает сборник случайных кусков, чем работающую программу.  

Но вот исследователи предлагают неожиданный ход: взять на вооружение гибкую структуру из мира графов, чтобы учить ИИ правильно собирать полноценные репозитории. Дальше — интереснее. Новый фреймворк ZeroRepo не только рисует карту будущего проекта, но и превращает её в работающий продукт шаг за шагом, с тестами и реальной архитектурой.  

В статье — как устроен этот подход, почему он оказался на голову выше старых решений и что необычного выяснилось на практике, когда ИИ попросили «написать» аналоги scikit-learn, pandas и даже django — с нуля и под прицелом эталонных тестов.

Недавно запущена академическая инициатива Critical AI Literacy (CAIL) — проект о критической ИИ-грамотности с курсами, событиями и материалами для преподавателей, студентов и практиков. Стартовая страница, описание проекта Radboud University.

Идея CAIL проста: меньше антропоморфизма и рекламных обещаний, больше чётких формулировок, прозрачных методов, обозначенных ограничений и воспроизводимых результатов.

Активное развитие AI не позволяет остаться в стороне почти никому. Будучи студентом одного из хороших факультетов в области CS, я не мог остаться в стороне и был вынужден начать погружаться в данный вопрос с головой. Во-первых, тематика перекликается с учебными вопросами, а во-вторых — актуальна в рамках рабочих задач. С учетом моего небольшого, но прицельного опыта работы, сформировалось стойкое впечатление, что в ближайшее время AI радикально изменит процессы в компаниях и к этому нужно быть готовым. Вопрос хорошо это или плохо — философский.

Если хочешь разобраться в теме — попробуй сделать что-то на практике. Наверняка многие уже наслышаны про RAG. Вот, например, отличные на мой взгляд статьи — 1 и 2. Я же решил написать небольшую инструкцию, без технических деталей, следуя который любой сможет познакомиться с данной технологией, определить для себя ее ценность и начать более детальное изучение. Попробуем от и до реализовать небольшого ассистента, который будет отвечать на ваши вопросы с учетом базы знаний. Нередко такое может пригодиться при подготовке к экзамену, когда один и тот же курс читается по-разному даже в соседних группах, а преподаватель не приемлет ответы, расходящиеся с его конспектами. Было бы круто иметь инструмент, который отвечает строго по тексту ;)

Большие языковые модели всё чаще хвастаются миллиардами параметров, но гонка гигантов приносит не всегда ожидаемые плоды. Что, если не обязательно наращивать размер весов, чтобы решать сложные математические задачи и писать проверяемый код на уровне топовых LLM? Взять компактную модель, научить её размышлять длинно и пошагово — и вдруг она начинает конкурировать с лидерами, опережая габаритных собратьев.

K2‑Think в этом сезоне стала маленькой сенсацией. Инженеры собрали доступную 32B‑модель и вложили не столько вычислений, сколько ума в этапы её обучения и применения. Получилось не просто обогнать на повороте — на ряде бенчмарков по математике и коду она стоит в одной линии с самыми мощными открытыми системами, а кое-где и оставляет их позади. Как такое возможно и что внутри у этой модели? Обзор, в котором длинные цепочки рассуждений и смекалка оказываются сильнее грубой силы.

Когда OpenAI только готовила к выпуску GPT-5, то одной из фишек этой модели назывался «роутер» — специальный режим, который будет оценивать сложность запроса пользователя и передавать его наиболее подходящей модели. К сожалению, в реальности все пошло наперекосяк и сейчас в ChatGPT даже больше настроек, чем было до выхода GPT-5. Давайте в них разберемся.

В прошлой части мы подробно разобрали 11 популярных техник RAG: как они устроены, какие у них есть сильные и слабые стороны, и в каких сценариях они могут быть полезны. Теперь пришло время перейти от теории к практике и посмотреть, как эти подходы показывают себя в деле.

В этой статье мы посмотрим на результаты экспериментов: какие техники оказались наиболее эффективными на датасете Natural Questions, где они приятно удивили, а где — наоборот, не оправдали ожиданий. Для оценки будем использовать фреймворк RAGAS, а также метрики BertScore и ROUGE-2 для анализа релевантности извлечённых чанков и финальных ответов.

Поэтому впереди нас ждут эксперименты, цифры, наблюдения и (надеюсь) ценные инсайты, которые помогут вам не просто понять, какая техника кажется хорошей, а выбрать оптимальную под вашу задачу.

ИИ всё чаще выходит за рамки однотипных задач и начинает демонстрировать качества, похожие на человеческие: он рискует, хитрит, ошибается и… делает это с полной уверенностью в своей правоте. В августовском обзоре — статьи о том, почему модели галлюцинируют и как можно сместить стимулы в сторону честности, зачем агентам память и когнитивные карты, как построить мультиагентные системы без хаоса и что значит по-настоящему интерактивный мир для обучения ИИ; от новых методов борьбы с выдумками и систем глубоких исследований до роботов, умеющих готовить завтрак и ориентироваться в реальном пространстве. В этой статье новые архитектуры, метрики и фреймворки, которые уже меняют подход к созданию ИИ-агентов.

В мире ИИ диффузионные модели (DM) — это как супергерои генерации изображений. Они создают картинки лучше, чем GAN или VAE, и используются везде: от компьютерного зрения до генерации текста. Но представьте: вы хотите обучить такую модель на данных с кучи устройств (смартфоны, edge‑устройства), не сливая личные данные в один котел. Вот тут вступает федеративное обучение (FL) — парадигма, где модели учатся распределенно, сохраняя приватность.

Проблема? В FL данные часто неоднородны (non‑IID), коммуникация жрет трафик, а модели огромные. Исследование из arXiv предлагает крутое решение: FedPhD. Это не просто метод — это комбо из иерархического FL, умной агрегации и структурированной обрезки моделей. Результат? Лучшее качество изображений (FID улучшен на 34%), минус 88% коммуникаций и 44% вычислений. Звучит вирусно? Давайте разберем по полочкам, чтобы было понятно даже новичку в ML.

Так как мои настольные игры не совсем простые (а именно обучающие и научные), то вопросы по правилам у родителей возникают регулярно. И как хорошо правила не напиши, научная тематика делает свое «черное» дело и даже минимальное вкрапление методики ставит игроков в ступор по тем или иным моментам правил. Плюс читать правила, FAQ, дополнительные правила и т. п. не всегда оптимальный вариант.

Поэтому захотелось мне прикрутить к сайту нейронку в виде чата с ИИ‑помощником, который бы для каждой игры свои правила объяснял и на вопросы пользователей отвечал.

Работая в компании, которая занимается автоматизацией складских процессов, мы столкнулись с задачей прогнозирования нагрузки на склад. Это классическая задача предсказания временных рядов, в которой, имея достаточно большой объем исторических данных (минимум 1-2 года), нужно спрогнозировать, как эти данные будут меняться в будущем.

Для построения прогнозов на месяц мы использовали SARIMAX. Но на фоне развития нейросетевых технологий и нейросетей с архитектурой Transformer, мы решили, в качестве эксперимента, попробовать новый подход к решению поставленной задачи. И в процессе поиска наткнулись на очень интересный подход – использование трансформера совместно с дополнительной регрессионной моделью. Именно такую возможность предоставляет библиотека AutoGluon.

С развитием LLM моделей AI начали появляться разные ИИ агенты, автоматизирующие задачи.

Но есть задачи, типа рутинного создания папок в облаке или удаления файлов, которые хорошо бы автоматизировать, но ручками сделать можно.

А есть задачи, где без дополнительной технической помощи никак. Сейчас я говорю например о тех, которые в связи с инвалидностью просто физически не могут осуществлять элементарные для большинства операции.

Сегодня я вспомнил об этом посте моего незрячего знакомого Дениса Шишкина. Суть поста в том, что сегодня нейронные сети так популярны, а вещами, которые как ожидается могут быть простыми, но очень полезными для незрячих, никто не занимается.

Пять минут разработки показали, что даже без AI возможно сделать достаточно много. Я решил попробовать сделать больше и написать эту статью, дабы осветить тему и поделиться своими наработками и размышлениями.

Выпуск 445

Обзор arxiv:2506.20436 Нуклеосинтез и химическое обогащение галактик (Nucleosynthesis and the chemical enrichment of galaxies)Authors: Chiaki KobayashiComments: 34 pages, 29 figures/videos. This is a pre-print of a book chapter for the Encyclopedia of Astrophysics (edited by I. Mandel, section editor F.R.N. Schneider) to be published by Elsevier as a Reference Module 

Большой обзор по химической эволюции галактик. Рассмотрен вклад разных механизмов обогащения межзвездной среды тяжелыми элементами (сверхновые разных типов, проэволюционировавшие звезды, слияния нейтронных звезд и т. д.). Разве что нет свежей идеи о синтезе элементов при вспышках магнитаров. 

Много полезных рисунков. Очень хорошо для использования в разных лекциях.