ИИ-помощник для анализа требований
В работе техпресейла значительная часть времени уходит на анализ требований клиентов — они часто приходят в виде больших опросников, которые нужно внимательно разобрать и прокомментировать.
Когда таких документов много и нужна оперативность, ручная обработка начинает замедлять работу команды. С этим регулярно сталкивалась команда техпресейла Naumen. Поэтому Настя и Даша, системные аналитики команды, решили попробовать автоматизировать часть процесса и внедрили ИИ-помощника для анализа требований.
Рассказываем, как они собирали данные, какие подходы пробовали и как в итоге пришли к решению на базе RAG.
1️⃣ Чем занимается техпресейл
Техпресейл — это мост между продуктом и продажей. Мы проводим технические демонстрации, обсуждаем требования клиента и помогаем понять, подходит ли продукт под его задачи.
Чаще всего работа техпресейла с клиентом начинается с опросника — Excel-документа с требованиями.
2️⃣ Почему Excel-файл оказался неудобным для анализа требований
Типичный опросник — это таблица с тремя колонками:
Иногда требований десятки или сотни — нужно внимательно прочитать, найти контекст в прошлых кейсах, вручную проверить формулировки и ссылки на источники. Даже опытный специалист тратит на такой документ около часа.
Когда таких задач много и у них срочные дедлайны, возрастает нагрузка на команду и появляются риски задержек. Поэтому мы решили автоматизировать процесс.
3️⃣ С чего мы начали автоматизацию
Сначала нужно было собрать данные. Поэтому первым шагом мы:
Собрали все опросники за год в единый массив.
Привели их к единому формату.
Классифицировали требования.
Проверили и почистили данные от дублей и неточностей.
В итоге получился датасет примерно из 2 000 требований, который стал основой нашей базы для тестирования ИИ-помощника.
4️⃣ Почему классические модели не сработали
Первой идеей было использовать классические методы анализа текста. Мы пробовали TF-IDF, Bag-of-Words и стандартные модели классификации.
Но столкнулись с двумя проблемами:
Большинство требований продукт действительно покрывал, поэтому модель быстро «научилась» отвечать одинаково. Стало понятно, что нужен другой подход.
5️⃣ Как мы пришли к RAG-подходу
Мы перешли к векторному поиску и трансформерам. Идея была в том, чтобы по новому требованию находить в базе знаний похожие требования и использовать их как контекст.
Получился умный поиск по нашим прошлым ответам. Но этого все равно было недостаточно: нужно было не только находить похожие требования, но и генерировать комментарий.
Так мы пришли к подходу RAG (Retrieval-Augmented Generation) — LLM сначала находит факты в базе знаний, а уже потом формирует ответ.
6️⃣ Как работает наш ассистент
Сервис работает в Telegram-боте и поддерживает два сценария.
Вопрос в чате — пользователь задает вопрос, бот ищет информацию в базе знаний и формирует ответ.
Загрузка Excel-файла — пользователь загружает файл с требованиями, после чего сервис проходит по каждой строке и автоматически заполняет:
7️⃣ Из чего состоит база знаний
Мы используем два источника:
Документы разбиваются на небольшие смысловые фрагменты, для каждого фрагмента вычисляются эмбеддинги, после чего они сохраняются в векторной базе. Когда приходит новый запрос, система находит самые релевантные фрагменты и использует их как контекст для ответа.
8️⃣ Какие есть ограничения у ассистента
ИИ-ассистент помогает быстрее разбирать требования, но полностью заменить аналитика он пока не может.
Например, иногда клиенты присылают требования, которых еще нет в базе знаний. В таких случаях бот отвечает «не знаю», и требование разбирает специалист.
Также иногда встречается типичная проблема LLM — галлюцинации. Поэтому финальную проверку ответа все равно делает системный аналитик.
