Natural Language Processing *

Привет, Хабр!

Этой осенью Google порадовали нас релизом AlphaEvolve — фреймворка, который комбинирует способности LLM к написанию кода с эволюционным подходом к вычислению. Новый метод доказал свою эффективность на сложных алгоритмических или математических задачах, но, как это часто бывает у таких компаний, технические детали AlphaEvolve остаются коммерческой тайной. Тогда мы в AIRI решили создать свой фреймворк. 

Так усилиями научной группы «Мультимодальные архитектуры ИИ» лаборатории «Сильный искусственный интеллект в медицине», научной группы «Генеративное проектирование» лаборатории FusionBrain, лаборатории «Доверенные и безопасные интеллектуальные системы» и отдела научно‑технической разработки увидел свет GigaEvo — эволюционный фреймворк для автоматизации ML и LLM‑ориентированных задач, который мы представили в ноябре на AIJ и чей код выложили на GitHub. 

Здесь хотелось бы рассказать о нём подробнее, описать его внутреннее устройство и дать рекомендации к использованию.

Привет, Хабр! На связи Иван Жирнов и Степан Рыбалов, тимлид и QA группы разработки чат-ботов в компании «Передовые Платежные Решения». В работе мы используем чат-боты собственной разработки. До AI-революции чат-боты были сценарные и весьма ограниченные. С нейросетями же их возможности стали головокружительно шире. В этой статье мы расскажем о том, как и зачем перешли на чат-ботов с ИИ, чтобы наш опыт мог помочь в проекте и вам.

Ежемесячно клиенты генерируют более 73 тысяч диалогов в текстовых ботах, и более 92% этих диалогов обрабатывается без участия человека — в чатах, мобильном приложении и личном кабинете. Голосовой чат-бот на горячей линии получает в месяц более 15 тысяч звонков, и здесь автоматизация достигает 20–30%. Именно голосовой бот навел нас на мысли об ИИ: здесь вопросы обычно оказывались сложнее и индивидуальнее.

Обсуждать переход мы начали в четвертом квартале 2024 года. Нас привлекла возможность LLM решать комплексные вопросы из одного запроса клиента. Сценарный бот же реагирует только на одну команду за раз, выдает целый список возможных связанных вопросов, из которых пользователю снова приходится выбирать. Потом, вероятно, выбирать еще и еще… так что терпения хватает не у всех. Тогда клиент в лучшем случае обращается к голосовому боту или попадает к оператору поддержки.

GPT же может сможет понять контекст, разбить сложный вопрос на несколько простых и собрать полноценный ответ.

Архитектура трансформера и его сердце механизм внимания уже давно стали базой собесов на NLP, LLM и даже CV. В работе трансформеры тоже доминируют. Именно поэтому очень важно до деталей разбираться в том, как они устрены, из каких частей состоят, как работают и где применяются на практике.

Разберем архитектуру по слоям с примерами кода и большим количеством картинок и схем.

В первой части я разбирал архитектуру AI-агента, выбор между RAG и GraphRAG на примере AI-юриста для техподдержки. Если пропустили – https://habr.com/ru/articles/975230/

Во второй части решил уделить внимание тому, как добиться нормального качества поиска и точности ответов. Чтобы AI‑агент не остался в песочнице и не превратился в очередной эксперимент «мы попробовали, не взлетело».

Надеюсь мой опыт будет полезен и вы сэкономите себе деньги, нервы и время. А может быть и вовсе откажетесь от идеи создания агента — это тоже нормальный исход.

Я уже писал про чанки, RAGAS, бенчмарки и инструменты отслеживания качества. Сегодня остановимся детально на каждом артефакте, расскажу плюсы и минусы, и почему именно их я использовал для AI‑юриста. Погнали

Нормативно‑справочная информация (НСИ) — это язык предприятий. Через наименования, коды и атрибуты описываются материалы, оборудование, комплектующие, инструменты — все, что используется в производстве, логистике, закупках, эксплуатации и ремонте. Именно НСИ обеспечивает согласованность ERP, MDM, BI и десятков других систем.

Однако на практике справочники редко бывают в порядке: в них копятся ошибки, дубли, разнородность описаний, несогласованность между системами. Для крупных предприятий эта проблема становится системной и дорогостоящей — не только в ИТ, но и в операционной эффективности бизнеса.

Меня зовут Дмитрий Романов, управляющий директор «Преферентум» (кластер SL Soft AI). В этой статье поделюсь, почему именно справочники материально‑технических ресурсов (МТР) превращаются в точку боли, почему «ручные чистки» и классические MDM‑подходы не помогают, и какие технологические решения действительно работают.

Сегодня мы делимся техрепортом, в котором разобран полный цикл создания нового семейства моделей Alice AI: базовая текстовая Alice AI LLM и специализированная LLM Search, мультимодальная Alice AI VLM и картиночная Alice AI ART. 

В части про Alice AI LLM расскажем, как сделали упор в Alignment на RL и Reward Modeling: мы минимизируем число разрозненных RL-стадий, собирая «общий RL». Вместо хрупкого «суперсигнала» используем аспектную формулировку качества и агрегируем её в целевую функцию, чтобы изменения критериев не требовали пересборки всей разметки. В главе про Alice AI LLM Search расскажем про многократные последовательные походы в Поиск с последующей фильтрацией/ранжированием источников. А также о том, как готовим ответы с использованием документов разной модальности (веб-документы, картинки, видео, гео).

Чтобы «вывезти» MoE-модель на сотни миллиардов параметров, мы целенаправленно сняли инфраструктурные ограничения обучения и инференса: в обучении используется YaFSDP (которую мы выложили в опенсорс) и собственная библиотека коллективных коммуникаций YCCL. В прод-инференсе мы работаем под SLA (avg TPOT ≤ 70 ms, p95 TTFT ≤ 2 s) и достигаем их комбинацией TP Attention/EP FFN, KV cache reuse, FP8 w8a8kv8 (в т. ч. сжатие KV cache ~3,05→~1,52 GB) и спекулятивного декодинга EAGLE‑3, что в сумме даёт 5.8× ускорение относительно BF16 (и 1,32× относительно лучшего open-source). Параллельно для Alice AI VLM нарастили в 1,5 раза объем претрейна, контекст до 32k и обновили OCR-датасет; VLM-генератор работает «из коробки», а для математики/геометрии выделен специализированный VLM‑решатель. В пайплайне Alice AI ART повышение релевантности к промпту начинается с диагностики смещений в датасете с помощью VLM и последующей адресной коррекции обнаруженных проблем.

Недавно все эти модели и решения легли в основу нашего нового ИИ-ассистента, и уже к ноябрю, согласно исследованию Mediascope, Алиса AI вышла на первое место по используемости среди россиян (14,3%), обойдя ранее доминировавший DeepSeek (9,4%). Кроме того, модель Alice AI LLM теперь доступна и для разработки собственных AI-решений на платформе Yandex AI Studio.

Привет, Хабр!

Сейчас мы переживаем бум ИИ-сервисов, которые за небольшую плату могут реализовать любые ваши творческие фантазии без необходимости глубокого понимания технических принципов их работы. Но я из тех, кто любит «ковыряться под капотом», поэтому в качестве проекта «выходного дня» я решил реализовать сервис машинного закадрового перевода видео с помощью общедоступных моделей с локальным запуском. А что из этого вышло – читайте далее.

В этой статье я расскажу об основных концепциях квантования, сделаю небольшой обзор популярных методов квантования, а также для каждого метода приведу практический пример на Python для его применения к LLM.

Каждая команда сейчас хочет заменить людей на AI. Но есть другой подход - усилить текущие возможности с помощью AI. Это может быть крутым драйвером для масштабирования и роста, а не поводом для увольнения.

Покажу как спроектировать агента который решает проблемы и можно внедрять в продакшен. Буду рассказывать на примере юридической поддержки, но подход универсальный. Поговорим про RAG и GraphRAG, про развёртывание и выбор модели. Статья будет полезна как для больших компаний так и для маленьких - разница только в том где вы будете хранить и обрабатывать данные с LLM.

Команда AI for Devs подготовила перевод статьи о том, как AI-агенты на базе LLM тратят лишние деньги из-за разрастающегося контекста и как простое маскирование наблюдений нередко работает лучше сложного LLM-суммирования. Авторы предлагают гибридный метод, который делает агентов дешевле и надёжнее без дообучения модели.

Приветствуем всех! С вами снова ML-команда RnD для B2C SberAI. Этой осенью в рамках AI Journey Contest 2025 мы представили задачу GigaMemory: global memory for LLM. Её цель — создание автономного модуля долговременной памяти для языковых моделей, способного накапливать и использовать знания о конкретном пользователе, по сути наделяя ИИ способностью «помнить» своего собеседника.

Пришло время объявить результаты соревнования и разобрать лучшие решения участников!

Международный коллектив ученых из Сколковского института науки и технологий, МФТИ, Института исследований искусственного интеллекта (AIRI) и Университета Париж-Сите разработал новый, элегантный метод для проверки логических способностей больших языковых моделей (LLM). Вместо того чтобы судить о правильности рассуждений нейросети лишь по ее финальному ответу, исследователи научились заглядывать внутрь ее механизма «внимания» и находить там скрытые паттерны, отвечающие за проверку логики. Этот подход, названный QK-score, позволяет с высокой точностью определять, следует ли модель законам логики на каждом шаге своих рассуждений, делая ее работу более прозрачной и надежной. Результаты исследования, открывающие путь к созданию более предсказуемого и безопасного ИИ, были приняты на main track of EMNLP 2025, и опубликованы в виде препринта на портале arXiv.

35–40 фактчеков в день. $110 в месяц. 30 секунд на проверку вместо часа.
Это не маркетинговые обещания — это наш production за два месяца. Рассказываю, как мы построили автоматический фактчекинг для новостного пайплайна: почему Perplexity, а не LLM + web_search; какие параметры поиска реально работают; и почему пришлось писать свой клиент вместо SpringAI.

Hugging Face релизнули Skills — Agent Context Protocol (ACP), через который упаковываются определения разных задач для ИИ агентов. По сути — это папки, в которых собраны инструкции, скрипты и ресурсы для использования ИИ агентом под конкретный кейс.

Один из перых скиллов — дообучение опенсорсных LLM. Разбираемся подробнее.

Генератор отзывов о ресторане:

Собрано почти 16 000 положительных отзывов от ресторанов с оценкой выше 4,7 (из 5), расположенных в Москве с https://yandex.ru/maps. Использованная модель — Qwen3-4B Qwen3 как поддерживающий русский язык. Для обучения модели в течение двух эпох использовалась библиотека Unsloth с LoRA. В результате был выбран LoRA 32-го ранга и обучено 66 млн параметров. Теперь модель может дать хороший новый обзор:

Целью было понять, как можно начать проект с нуля.

Мультиагентные системы на базе LLM почти всегда строятся вокруг текстовой коммуникации. Агенты объясняют друг другу планы, уточняют шаги, формируют выводы — всё это через генерацию токенов. Такой подход кажется естественным, но он порождает фундаментальные проблемы: текст генерируется медленно, ошибки формулировок на ранних этапах распространяются вниз по цепочке, а количество токенов растёт лавинообразно.

Исследователи из Принстона, Стенфорда и Иллинойса предлагают другой путь: отказаться от текстовых сообщений между агентами и вместо этого обмениваться скрытыми представлениями модели. Их система, LatentMAS, показывает, что модели могут сотрудничать напрямую в латентном пространстве — там, где их мысли существуют изначально.

Привет Хабр, меня зовут Эдуард, и я хочу поделиться своими наблюдениями о том, как статистические алгоритмы извлекают грамматику из текстов.

Можно ли было читать советские стихи американцам? Пытаюсь выяснить это с помощью Python на примере Андрея Вознесенского.

Команда AI for Devs подготовила перевод большого гайда о скрытых возможностях и продвинутых техниках работы с Gemini CLI. Если для вас терминал — рабочий дом, то этот материал покажет, как превратить Gemini CLI в полноценного ИИ-агента, который автоматизирует рутину, подключается к внешним сервисам и расширяется под любые задачи.

Привет, Хабр! Меня зовут Эдуард, и сегодня я хочу рассказать о своём проекте Kabardian Translator — локальном переводчике с озвучкой для кабардинского языка. Эта история началась с сотрудничества с командой Silero TTS и превратилась в инструмент, который, надеюсь, поможет соотечественникам за границей учить родной язык.