Описала коротко решение в "Многобукв → LLM не справляется".
Если подробнее, то:
У нас данные терялись на 2-х этапах проверки на соответствие стандарту
Этап 1: Проверка документации по требованиям. LLM пропускала требования, т.к. их было много и документация выглядела для LLM как "полотно". Запрос для LLM был примерно таким: "вот тебе 1 000 требований, вот тебе 10 000 строк документации - проверяй". В итоге часть проверок просто пропускалась из-за объема текста. Как решили: разделили и стандарт, и документацию на чанки по разделам. (см. 4.1 Chunking strategy, примеры ответов LLM можно поискать в "Пример ответа LLM до чанкования" и "Пример ответа LLM после чанкования")
Этап 2: Формирование отчета. Это уже когда все проверки собраны и нужно оформить ответ. Получалось так, что LLM выдавала список замечаний, но при этом некоторые замечания, которые ранее LLM нашла на Этапе 1, в итоговом отчете не указывались. Как решили: ввели четкий формат отчета с явным перечислением требований. LLM только нужно поставить "галочку" - выполнено каждое требование или нет. (см. Формирование итогового отчета (саммари))
Классная штука, посмотрим, спасибо! :)
Дополню про формат отчета. Посмотреть можно в разделе "Формирование итогового отчета (саммари)". Прячется под спойлером "Промпт" :)
Описала коротко решение в "Многобукв → LLM не справляется".
Если подробнее, то:
У нас данные терялись на 2-х этапах проверки на соответствие стандарту
Этап 1: Проверка документации по требованиям. LLM пропускала требования, т.к. их было много и документация выглядела для LLM как "полотно". Запрос для LLM был примерно таким: "вот тебе 1 000 требований, вот тебе 10 000 строк документации - проверяй". В итоге часть проверок просто пропускалась из-за объема текста.
Как решили: разделили и стандарт, и документацию на чанки по разделам. (см. 4.1 Chunking strategy, примеры ответов LLM можно поискать в "Пример ответа LLM до чанкования" и "Пример ответа LLM после чанкования")
Этап 2: Формирование отчета. Это уже когда все проверки собраны и нужно оформить ответ. Получалось так, что LLM выдавала список замечаний, но при этом некоторые замечания, которые ранее LLM нашла на Этапе 1, в итоговом отчете не указывались.
Как решили: ввели четкий формат отчета с явным перечислением требований. LLM только нужно поставить "галочку" - выполнено каждое требование или нет. (см. Формирование итогового отчета (саммари))
Спасибо! Изучим :)