Обновить
64K+
11
Прохор Гладких@prohor33

Data Science Team Lead в Yandex

38
Рейтинг
4
Подписчики
Отправить сообщение

Не трогая веса модели: как мы построили исследовательского агента Алисы AI и в разы сократили потребление GPU

Время на прочтение10 мин
Охват и читатели93K

Меня зовут Прохор, я лид команды агента «Исследовать» — это режим глубокого исследования в чате с Алисой AI.

Напомню, про что вообще речь, если никогда не пользовались Deep Research: это специальный режим работы, который строит уникальный план решения задачи пользователя, делает сотни поисков по вашему запросу, умеет ходить на сайты (даже с динамическим JavaScript‑контентом), писать и выполнять Python‑код (для сложных расчётов), работать со скачанными файлами и так далее. Всё это для того, чтобы дать лучший ответ на ваши сложные запросы, например: «Спланируй мне путешествие в Дагестан на две недели на машине с детьми».

За год агент прошёл путь от первого прототипа до продакшена — вместе с ним менялись качество ответов, скорость работы и потребление GPU. За продуктовую часть отвечал Руслан Илиев, продакт менеджер агента: он сформулировал продуктовые цели, определил набор инструментов и валидационный набор запросов, а затем вёл запуск от закрытого вейтлиста до 100% продакшена. Как мы к этому пришли — через выброшенный прототип, десятки слоёв обвязки и пару болезненных уроков, — расскажу по порядку. Добро пожаловать под кат!

Читать далее

GigaSearch или Поисковая система на GigaChat

Уровень сложностиСредний
Время на прочтение4 мин
Охват и читатели11K

Галлюцинации — это явление, которое до недавнего времени было привилегией человеческого сознания. Однако, с развитием текстовых генеративных моделей, таких как GigaChat и ChatGPT, возникла возможность наблюдать подобные "иллюзии" и в мире искусственного интеллекта.

Есть случаи, когда галлюцинации генеративной модели вполне уместны. Например, если вы попросите модель сгенерировать детскую сказку, то наличие в ней выдуманных персонажей и событий будет весьма кстати и понравится малышу.

Но мы точно не хотим получать выдуманную информацию про реальных людей или события. Кому интересно почитать о том, как мы боремся с галлюцинациями в GigaChat — добро пожаловать под кат.

Читать дальше

Информация

В рейтинге
217-й
Откуда
Россия
Зарегистрирован
Активность

Специализация

Ученый по данным
Ведущий
Deep Learning
Машинное обучение
PyTorch
NLU
Обработка естественного языка
Управление людьми
Управление проектами
ООП
Алгоритмы и структуры данных
C++