Да, примерно в эту сторону и смотрю. Цель первой версии как раз не «заменить юриста», а проверить, можно ли сделать инструмент, который лучше обычного чата ведёт конкретное дело: хранит документы и факты, восстанавливает хронологию, подтягивает проверенные нормативные источники и показывает, откуда взялся каждый вывод.
Согласен, что несколько LLM-слоёв сами по себе проблему достоверности не решают — verifier тоже может ошибиться. Поэтому часть проверок хочется вообще вынести из LLM: существование источника, его редакция, даты, соответствие фактов документам и т.д.
И да, тестирование с практикующим юристом, который специально будет пытаться «сломать» систему, считаю обязательным перед любыми серьёзными сценариями. Без этого максимум, что я бы обещал пользователю на первом этапе, — помощник по разбору документов и подготовке черновиков, а не полноценный AI-юрист.
При этом хочется проверить, даст ли дополнительную ценность именно case-first подход: когда это не просто RAG → LLM, а накопленное состояние дела, provenance фактов, версии источников и следующий шаг по истории кейса. Если окажется, что по факту это всё равно просто удобный RAG для юриста — тоже вполне полезный результат эксперимента.
Да, примерно в эту сторону и смотрю. Цель первой версии как раз не «заменить юриста», а проверить, можно ли сделать инструмент, который лучше обычного чата ведёт конкретное дело: хранит документы и факты, восстанавливает хронологию, подтягивает проверенные нормативные источники и показывает, откуда взялся каждый вывод.
Согласен, что несколько LLM-слоёв сами по себе проблему достоверности не решают — verifier тоже может ошибиться. Поэтому часть проверок хочется вообще вынести из LLM: существование источника, его редакция, даты, соответствие фактов документам и т.д.
И да, тестирование с практикующим юристом, который специально будет пытаться «сломать» систему, считаю обязательным перед любыми серьёзными сценариями. Без этого максимум, что я бы обещал пользователю на первом этапе, — помощник по разбору документов и подготовке черновиков, а не полноценный AI-юрист.
При этом хочется проверить, даст ли дополнительную ценность именно case-first подход: когда это не просто RAG → LLM, а накопленное состояние дела, provenance фактов, версии источников и следующий шаг по истории кейса. Если окажется, что по факту это всё равно просто удобный RAG для юриста — тоже вполне полезный результат эксперимента.