По мне еще куча вариантов для улучшения: 1. с ручная нарезка; 2. применение kNN few-shot (если я верно запомнил) когда сразу готовятся пары вопрос-ответ. И, кстати, можно модель заставить задавать вопросы по тексту. 3. Прямое "дообучение" -- реальные ответы живых юристов, которые потом пойдут в п. 2.
Как пример -- юрист тратит на договор на 50 тыс. и за 500 тыс. примерно одинаковое кол-во времени. Все, что условно до 50 тыс. можно передать модели, если модель будет сомневаться, то отправить на допроверку. Для ряда компаний так можно освободить пару ставок ))
Да, при таких объемах -- точно не вариант. Но тут вопрос в точности ответов и кол-ве допустимых ошибок. Если их нужно минимизировать -- придется тюнинговать.
Вообще, я уже склоняюсь к мысли, что или граф или просто изменение самой формы документов (предварительное преобразование). Типа сделать так чтобы подпункт нижнего уровня включал в себя и все верхние + перекрестные отсылки. Да, будет дублирование, но вектор будет более специализированный, что позволит дать точный ответ. Теоретически )))
Для текущего кейса точно было б круто. А если еще структуру документа переделать специально под этот сервис, я думаю при прочих равных gpt4 90-95% показал бы.
И еще -- мне очень понравились результаты gpt3 -- очень мало неточных! Или да или нет. Конкретная модель )) -- все "нет" точно можно обработать ))
Для юридических документов лучше рассмотреть ручную нарезку на чанки (создать специализированный документ).
Если же нужно автоматически (или полуавтоматически), то использовать граф, в нем хорошо отображаются разные взаимосвязи типа "все вышесказанное относится еще и к п. 104" и отлично будет видны отношения один ко многим когда написанное в пункте относить к каждому пункту ниже.
Никакие нарезки чанков на такое не способны из-за особенностей самой структуры юридических документов.
Нормальной поддержки (типа ремонта/гарантии/замен-возвратов/докупки компонентов) уже нет) — переписывался с ними пару дней назад. Пытался их пристыдить так как я купил AURA только 10 месяцев назад, но в ответ только сожаления.
Как ни странно до такого уровня сделал бесплатно — была акция в одной из наших контор (сами анализы делают за бугром). Приехал курьер привез пару контейнеров — поскребли палочкой по внутренней части щеки. Один основной комплект, второй резервный — сравнивают результаты — должно быть одно и то же.
Потом письмом высылают результаты.
Так посмотрите сами на те же США, которые чтоб хоть как-то негров подравнять делают им заниженные проходные баллы в учебные заведения и т.п. И это не выдернутым из пустыни, а уже коренным американцам… я уж молчу про изобретения, искусство, инженерию… все это как ни крути сделала одна большая группа людей, явно физически отличающаяся от нескольких других.
Что касается ссылки все ж там нет опровержения — интересно было б почитать ;).
Опыт показывает, что «голос совести» тоже разный у разных пород людей. Я именно об этой «неравности», связанной в том числе и с физическими параметрами говорю. Не обсуждаем кто хороший, а кто плохой — это вопрос другой плоскости. Просто выходит, что люди одной породы обладают схожими «голосами совести» :), что какбе говорит нам о различии не личностей, но неких групп.
А насколько большой промпт так можно указывать?
По мне еще куча вариантов для улучшения:
1. с ручная нарезка;
2. применение kNN few-shot (если я верно запомнил) когда сразу готовятся пары вопрос-ответ. И, кстати, можно модель заставить задавать вопросы по тексту.
3. Прямое "дообучение" -- реальные ответы живых юристов, которые потом пойдут в п. 2.
Как пример -- юрист тратит на договор на 50 тыс. и за 500 тыс. примерно одинаковое кол-во времени. Все, что условно до 50 тыс. можно передать модели, если модель будет сомневаться, то отправить на допроверку. Для ряда компаний так можно освободить пару ставок ))
По сути оптимизация за счет управления рисками.
Так задачи разные -- elasticsearch для вас найдет все вхождения и выдаст ссылки на параграфы, вам придется проанализировать их и сделать вывод.
А тут задумка, чтоб все это модель сделала (ну с RAG помощью) и сразу дала ответ. Что пока выглядит довольно сложным.
А wifi версию можно в HA завести?
Вектор -- это быстро )) поэтому еще долго они будут с нами. То есть сама архитектура должна поменяться чтобы они отвалились.
Да, при таких объемах -- точно не вариант. Но тут вопрос в точности ответов и кол-ве допустимых ошибок. Если их нужно минимизировать -- придется тюнинговать.
Вообще, я уже склоняюсь к мысли, что или граф или просто изменение самой формы документов (предварительное преобразование). Типа сделать так чтобы подпункт нижнего уровня включал в себя и все верхние + перекрестные отсылки. Да, будет дублирование, но вектор будет более специализированный, что позволит дать точный ответ. Теоретически )))
Для текущего кейса точно было б круто. А если еще структуру документа переделать специально под этот сервис, я думаю при прочих равных gpt4 90-95% показал бы.
И еще -- мне очень понравились результаты gpt3 -- очень мало неточных! Или да или нет. Конкретная модель )) -- все "нет" точно можно обработать ))
Было б интересно добавить в таблицу стоимость токена. Понятно, что информация быстро устареет, но все же ).
Для юридических документов лучше рассмотреть ручную нарезку на чанки (создать специализированный документ).
Если же нужно автоматически (или полуавтоматически), то использовать граф, в нем хорошо отображаются разные взаимосвязи типа "все вышесказанное относится еще и к п. 104" и отлично будет видны отношения один ко многим когда написанное в пункте относить к каждому пункту ниже.
Никакие нарезки чанков на такое не способны из-за особенностей самой структуры юридических документов.
Сам использовал пару лет Forerunner 505, сейчас edge 800. Сравнивал с парой аналогов — небо и земля.
Обзор всего, что выходит на этом рынке сделал и продолжает делать парень из этого блога:
www.dcrainmaker.com/product-comparison-calculator
www.familytreedna.com/
Более глубокой анализ, общая база, поиск родственников и т.п.
Негр долго будет негром даже при жизни многих поколений в снегах :).
Потом письмом высылают результаты.
Ролик обязательно посмотрю.
Что касается ссылки все ж там нет опровержения — интересно было б почитать ;).