Пройди воркшоп по наблюдаемости ИИ-агентов с Langfuse
Привет! Меня зовут Филипп Бочаров, я CPO в МТС Web Services и член ПК HighLoad++. Мы с командой придумали воркшоп «Смотри, как думает агент: Observability AI-агентов с Langfuse». Его прошли уже более 60 человек на конференциях AIConf 2026 и Saint HighLoad++ 2026, а теперь он стал доступным публично всем желающим!
На примере демонстрационного ИИ-агента на Python вы узнаете:
сколько могут стоить ошибки агента в рублях;
как сломать продуктивный агент, не меняя ни строчки кода;
что может пойти не так с MCP.
Вы освоите бесплатный инструмент для диагностики типовых проблем ИИ-агента, который можно сразу применить в работе.
Что будет на воркшопе
Мы будем работать с демонстрационным ИИ-агентом Cookbook Agent. Он умеет создавать рецепты блюд и рассчитывать стоимость ингредиентов.
На каждом шаге воркшопа сымитируем различные нештатные ситуации, которые вам нужно будет найти и исправить с помощью open-source-инструмента Langfuse.
Демонстрационный ИИ-агент состоит из пяти частей:
Cookbook-agent — агент на Python. Это основной проект, который мы будем изучать и изменять.
MCP-server — MCP-сервер, к которому агент обращается за поиском рецептов и их стоимостью. Развернут локально, но вы считаете, что он находится где-то в облаке. MCP-сервер для вас — черный ящик.
Qdrant — векторная база данных с рецептами.
RAG-loader — утилита для загрузки рецептов в Qdrant при первом запуске.
Redis — хранилище памяти для сессии агента. Изначально наш агент память не использует, но она будет добавлена на последнем шаге.
Зачем это нужно…
Сейчас большинство компаний инвестирует в ИИ, но у ИИ-агентов есть специфичные проблемы, связанные с использованием LLM под капотом. Агенты становятся все сложнее и используют других агентов.
На этом воркшопе мы покажем, как можно диагностировать такие типовые проблемы. Цель — освоить инструмент для диагностики типовых проблем AI-агента.
Что такое Langfuse
Это open-source-платформа для разработки и наблюдения приложений на базе LLM. Ее ключевые функции:
Набор инструментов для наблюдаемости, которые позволяют понять, почему агент тормозит или выдает ошибку.
Возможность хранить промпты централизованно с контролем версий.
Метрики качества: проверка ответа агента на корректность, безопасность и так далее.
Требования к участникам
ноутбук с доступом в интернет;
git, Docker v24.x+ и Docker Compose v2.22.x+;
любой редактор кода, желательно с поддержкой Python;
500 рублей для оплаты LLM в сервисе MWS GPT Model Hub;
два часа свободного времени.
Как пройти воркшоп
По этой ссылке вы найдете все необходимые инструкции: вступительную часть и пять типовых проблемных ситуаций. Каждая ситуация разделена на две части:
Сценарий — задание, в рамках которого имитируется проблема нужно сделать.
Решение — это ответ на задание с подробным разбором причин и способа исправления.
Старайтесь разобраться в задании самостоятельно, не забегайте вперед и не подсматривайте в решение.