В августе прошёл Bugs Busters — митап для QA‑специалистов от ЮMoney. Спикеры компании рассказали, как применяют ИИ для анализа причин падения e2e‑автотестов, как устроен инструмент для подбора оптимальной LLM‑модели под конкретную задачу и как строить обвязку вокруг агентов. Пропустили митап? Собрали главное из докладов и приложили записи выступлений.
Разбираем падения автотестов с помощью ИИ
Александр, руководитель группы разработки инструментов тестирования ЮMoney, поделился опытом создания помощника для разбора упавших автотестов. Рабочий рецепт починки автотеста: добавляем стек‑трейс, шаги, логи приложений бэкенда и фронтенда, HTML — и правильный промпт.
Проверяем, подходит ли LLM для задачи
Максим, старший программист ЮMoney, рассказал, как определить, какая модель лучше справится с конкретной задачей. В основе подхода — инструмент для оценки моделей с помощью LLM‑судьи. Быстро оценивать качество ИИ‑моделей можно с помощью готовых open‑source‑решений со встроенным LLM‑судьёй — например, взять Langfuse и дополнить его удобной UI‑обёрткой для работы с датасетами и отчётами.
Собираем обвязку вокруг LLM‑агента
Олег, старший специалист по тестированию производительности ЮMoney, объяснил, зачем нужна обвязка LLM‑агента и какие задачи она решает. В докладе разобрали, из каких компонентов состоит harness, как написать собственную обвязку и убедиться в её работоспособности.
Записи докладов
Не удалось попасть на митап? Записи всех выступлений уже доступны во ВКонтакте, на Rutube и YouTube.
