Всем привет! Меня зовут Анастасия Рысьмятова, я руковожу юнитом LLM в Авито.
В этой статье я расскажу, как мы с командой создали и адаптировали нашу большую языковую модель A-vibe: зачем решили развивать собственную LLM, как построили токенизатор, собрали датасеты, провели SFT и RL и что получили в итоге. Поделюсь основными экспериментами и покажу наши результаты.
Еще на заре создания машинного зрения возникло желание превратить изображение на фотографии из плоского двумерного в объемное трехмерное, тем более что для классической фотографии на пленке, пластике или бумаге уже давно были изобретены стереоскопы и демонстрировались стереофильмы.
Пионером в этой области стал инженер-электронщик Лоуренс (Ларри) Робертс из Лаборатории Линкольна Массачусетского технологического института. Потом он перешел на работу в Агентство перспективных оборонных исследовательских проектов МО США, где стал руководителем программы ARPANET и ныне входит в почетный список «пионеров Интернета». Но в его альма-матер, MIT, Ларри Робертса упрямо называют «отцом компьютерного зрения», потому что именно у них он в июне 1963 года защитил диссертацию на степень PhD по теме «Машинное восприятие трёхмерных тел».
ИИ-агенты становятся все умнее и сообразительнее, но почему, когда собирается команда из агентов, возникает неразбериха и неожиданные ошибки? Если агенты уже умеют рассуждать индивидуально, почему они продолжают спорить по простым вопросам и ошибаться там, где не споткнулся бы человек?
Новое исследование подсказывает неожиданный ответ: проблемы командной работы ИИ могут исходить не только от интеллекта модели, но и от языка, используемого для общения между собой. Оказывается, язык является узким горлышком, из-за которого сообщения теряют часть смысла, что затрудняет понимание ИИ друг друга. Исследование предполагает радикально иное решение: что, если бы ИИ делились своими мыслями напрямую, используя язык, отличный от человеческого?
Далее мы обсудим, почему текстовое общение не позволяет ИИ понять друг друга, как другой язык может помочь и почему этот «язык мыслей» не фантастика, а реальность, которую мы можем реализовать сегодня.
Ок. Я задаю LLM один и тот же вопрос в разных формах. И этот статистический производитель ответов, архив человеческих знаний, даёт ответы, которые иногда кажутся удивительно новыми, а иногда вторичными и банальными.
Хабр говорит, что LLM не способна к новизне и творчеству. Пожалуй, соглашусь.
Хабр видит в ней искры нового разума. Пожалуй, соглашусь.
Проблема в том, что люди пытаются анализировать LLM как объект сам в себе, не до конца понимая, что такое LLM. Эта статья утверждает: вопрос не в том, что LLM знает или умеет, а в том, чем она является.
Классический ReduceLROnPlateau снижает скорость обучения, когда уже поздно модель упёрлась в плато.
Я покажу, как сделать шедулер, который замечает замедление заранее, анализируя ускорение улучшений.
Сегодня ИИ-системы, генерирующие длинные тексты, оперируют сложными понятиями и красиво структурируют материал, но загляните в документы, которые готовят для реального бизнеса или инвесторов. Вы готовы использовать или вложиться в то, что рекомендует ИИ? Оправдывает ли красивый текст потерю деталей, отсутствие ссылок на источники или объяснения каждого утверждения? На практике у многих моделей хорошо получается именно красивая подача, но страдает содержимое. Эффектная обертка — это завуалированный метод обмана пользователей.
Новое исследование делает неожиданный вывод: для достижении высокого качества текстов важна не столько конструкция модели или количество параметров, сколько тщательно продуманная система рассуждений и выполнение кода со специализированными инструментами на каждом этапе. Когда подготовка отчёта разделена между разными агентами, которые используют не только текстовые, но и специализированные инструменты (например, код, визуализацию и сбор информации), то отчёты получаются более осмысленными. При таком подходе ИИ обгоняет другие системы и даже, порой, опытных людей.
В этой статье мы рассмотрим, как мультиагентная система с исполнением кода учится собирать информацию, анализировать её, строить графики и писать содержательные отчёты, где каждая цифра, слово и выводы подтверждены данными и их анализом. Как ИИ может стать не просто писателем, а именно исследователем и помощником в сложных задачах.
Первая треть пути преодолена и совсем скоро мы создадим генератор картинок на целиком на архитектуре трансформеров. Но перед тем как совершить финальный скачок к Diffusion Transformers (DiT) нам сначала надо научиться работать с готовыми датасетами и освоить генерацию изображений "простым" способом - через MLP-ResNet. Статья является прямым продолжением первой части, так что советую сначала ознакомиться с ней, чтобы понимать откуда всё началось. Будет много про работу с датасетами.
И вообще статья получилась какой-то неприлично большой.
Когда агентов на базе LLM используют в реальных задачах, то ожидания сталкиваются с реальностью: вроде бы используется умная модель, но всё равно она путается в инструментах и не может довести простую задачу до конца.
Недавний бенчмарк показал интересную картину: оказывается, дело не только в размере модели или количестве параметров. Когда агенту приходится выбирать один инструмент из тысяч возможных, то даже самые умные агенты пасуют. Особенно если это приходится делать на лету.
Почему так происходит и что на самом деле мешает моделям успешно выполнять задачи в запутанных корпоративных сценариях? Разбираемся, как агенты учатся выбирать правильные инструменты и почему это станет ключевым навыком для будущих ИИ-систем.
Я PHP-разработчик с многолетним стажем (от слова "много"). Привык, что мой мир - это веб-приложения, серверный код и бесконечные "фичи" на Laravel или Yii (да... легаси - это мой конёк). В последние пару лет вокруг бушует AI-бум: всюду слышно про нейронки, LLM, про каких-то "агентов", которые сами решают задачи. И, признаться, временами у меня появлялась лёгкая тревога. Не отстану ли я от поезда, если не перейду полностью на Python/NodeJS или не выучу новый фреймворк? Ведь почти все примеры ИИ-интеграций, что я видел, были на Python или JavaScript. PHP в этих разговорах фигурировал редко, если вообще упоминался.
Недавно я наткнулся на упоминание о Neuron - инструменте, который гордо назван "первым enterprise-ready агентным фреймворком на PHP". Мой скептицизм сразу поднял голову: "Агентный фреймворк? На PHP? Серьёзно?" С другой стороны, это заинтриговало. Если всё правда, то вместо того чтобы судорожно перелистывать учебник по Python, возможно, я смогу внедрять ИИ прямо там, где мне комфортно — в PHP-стеке. И вот я решил разобраться, что же такое этот Neuron и насколько он реален.
Команда AI for Devs подготовила перевод исследования о парадоксе безопасности локальных LLM. Если вы запускаете модели на своём сервере ради приватности, эту статью стоит прочитать. Эксперименты показывают: локальные модели вроде gpt-oss-20b куда легче обмануть, чем облачные аналоги. Они чаще вставляют вредоносный код, не замечая подвоха, и превращаются в идеальную цель для атак.
Классический Early Stopping часто преждевременно завершает обучение, путая шум с ухудшением качества. В этой статье я покажу, как добавить анализ тренда чтобы модель останавливалась не по случайным колебаниям, а по тенденции метрики.
Человечество тысячелетиями рассказывало истории, а теперь на этих историях учатся LLM.
Что такое нарратив? Это история с сюжетом, помните? — Город, герои и возвращение. Но мы не будем углубляться в философскую глубину, где люди создают историю, чтобы осмыслить себя и свой опыт (желающие могут почитать Karl E. Weick), а рассмотрим, как можно применить нарративы в понимании работы LLM.
ИИ с каждым годом становится умнее — на тестах и демонстрациях модели поражают логикой и ловкостью, но стоит выпустить их в реальный интернет или мобильное приложение, как начинается череда странных ошибок. Почему даже продвинутые агенты испытывают сложности на обычных сайтах и кнопках, хотя под капотом у них миллиарды параметров?
Новое исследование показывает, что дело вовсе не в дефиците данных. Оказывается, гораздо эффективнее обучать ИИ на сгенерированных симуляциях интерфейсов, а не на живых задачах из реального мира — и на выходе агенты становятся не только умнее, но и куда более стойкими к любым неожиданностям.
Разбираемся, как современные подходы меняют понимание того, что значит "обучить ИИ действовать по-человечески" — и почему выигрывает не тот, кто учится в реальности, а тот, кто научился играть с фантазией.
На просторах интернета можно найти множество интерфейсов для LLM. Все они довольно разношерстные и обладают разным функционалом: от простых чатов до почти энтерпрайз-приложений.
Я установил и опробовал 10 них (на самом деле больше, но нормальных только 10 :) В этой статье найдете их краткий обзор.
Мои курсы: Разработка LLM с нуля | Алгоритмы Машинного обучения с нуля
В 2025-м помощники для Python распались на 4 класса: онлайн-чаты с изолированной песочницей, IDE-плагины, автономные агенты и локальные/открытые модели. Разбираемся, что чем отличается, где уместно, сколько стоит и на что смотреть разработчикам при выборе. А так же примеры кода.
По-моему, вайб-кодинг — полезная фича, но я знаю, что многие его недолюбливают и считают, что AI генерит чушь, а не нормальный код. Ну тут я могу сказать как в той рекламе с гепардом: «Ты просто не умеешь их готовить».
Я начал заниматься вайб-кодингом 2 года назад (привет первая версия GPT Engineer), то есть еще до того, как ввели сам термин (он появился только в этом году). За это время у меня накопился опыт, который я переложил в небольшие рекомендации, возможно они помогут начинающим вайб-кодерам.
Вообще вайб-кодинг, это, конечно, огромная тема. Думаю, сделать серию из нескольких статей: здесь начну с теории, а потом покажу практику, как я настраиваю окружение и вообще весь процесс.
Некоторое время назад компания Google DeepMind представила Gemini Diffusion — экспериментальную языковую модель, генерирующую текст методом диффузии. В отличие от традиционных моделей, написанных в стиле GPT и генерирующих слово за словом, Gemini создаёт текст целыми блоками, пошагово уточняя случайный шум.
Я прочитал статью «Large Language Diffusion Models» — и с удивлением узнал, что дискретная диффузия языка представляет собой просто обобщение метода генерации пропущенного токена (MLM), практикуемого уже с 2018 года. Я сразу подумал: «А можно ли тонко настроить BERT-подобную модель так, чтобы приспособить её к генерации текста?» Из чистого любопытства решил наскоро набросать проверку концепции.
Примечание: уже после того, как написал эту статью, я наткнулся на исследование DiffusionBERT, где сделано практически то же самое, что и у меня, но проект гораздо тщательнее протестирован. Посмотрите этот пост, если тема вас заинтересовала.
Всем привет, меня зовут Дмитрий, я — MLE в Альфа-Банке, занимаюсь автоматизацией процессов и оптимизацией моделей, ищу в моделях проблемы и решаю их.
В прошлом году ко мне пришли ребята из отдела тестирования и задали два вопроса: «Как тестирование батч-моделей можно автоматизировать?» и «Что для этого нужно?». Коллеги поделились наболевшей историей, что в большинстве моделей выполняемые проверки повторяются. Выслушав весь запрос, я спроектировал и реализовал систему автоматического тестирования, о чём и расскажу в этой статье. Также здесь будут технические детали реализации, архитектурные решения и полученные результаты.
Статья будет полезна не только специалистам по автоматизации процессов тестирования, а и ML-инженерам, MLOps-специалистам и командам разработки, занимающимся поддержкой продакшн-систем машинного обучения.
Раньше голосовой ассистент в телефоне был просто еще одной кнопкой — попросил включить будильник, получил результат и разговор закончен. Но мобильные интерфейсы усложнились: привычные сценарии часто ломаются, если что-то изменилось на экране. На практике выясняется, что ИИ-агенты, даже самые продвинутые, часто путаются в простых вещах — теряют суть задачи, не могут учесть предпочтения человека и забывают свои же действия спустя пару шагов.
Исследователи показали, что дело не столько в размере моделей, сколько в том, как они учатся рассуждать и адаптироваться к реальному взаимодействию. Вместо агента, который просто кликает за пользователя, появился агент, который держит контекст, реально пытается понять, что именно нужно, и даже сам уточняет детали по ходу сценария.
В этом обзоре посмотрим, как шаг за шагом учат такие модели быть ближе к человеку — помнить, ошибаться и учиться на своих ошибках, идти навстречу даже в нестандартных ситуациях. Это меняет представление о будущем ИИ-систем и показывает, на что они будут способны буквально завтра.
Если вы читаете этот текст, скорее всего, вы уже пробовали запустить LLM самостоятельно. И, вполне вероятно, столкнулись с одной из типичных проблем:
«Заказал GPU, загрузил модель, а она не влезла, хотя по расчетам памяти должно было хватить».
«Платим за A100, а реально используем лишь 30% ее мощности».
Привет, я Павел, ML-инженер в Cloud.ru. И я прошел через эти проблемы сам, поэтому не понаслышке знаю, как это может раздражать.
Сегодня на примере настройки фреймворка VLLM покажу, как запускать крупные языковые модели без переплат за GPU. Мы разберемся, как VLLM распределяет vRAM, какие его параметры действительно влияют на потребление памяти и производительность, и как с их помощью гибко управлять балансом между затратами, скоростью и качеством модели.
