LLM, или большая языковая модель, это нейронная сеть с крайне большим количеством изменяемых параметров, которая позволяет решать задачи по обработке и генерации текста. Чаще всего реализована в виде диалогового агента, с которым можно общаться в разговорной форме. Но это только определение, причём одно из. В статье — больше о понятиях LLM, из чего она состоит, а также возможность немного попрактиковаться.

Существует мнение, что основная проблема больших языковых моделей — в склонности к галлюцинациям. Когда нейросеть генерирует текст с информацией, не связанной с запросом.  

Меня зовут Полина, я инженер по разработке ПО искусственного интеллекта в YADRO. Вместе с коллегами я разрабатываю системы на базе генеративных моделей, в том числе вопросно-ответных ассистентов. В рамках одного из проектов мы вместе с экспертом команды Андреем Соколовым задались вопросом: действительно ли проблема галлюцинаций так актуальна для современных предобученных LLM в вопросно-ответном сценарии.

Для этого мы провели эксперимент на собранном датасете. Попутно рассказали про модели-трансформеры и дали строгое определение понятию «галлюцинации LLM». Все подробности — под катом.

Всем привет, меня зовут Алена, я являюсь ML-специалистом в SimbirSoft. В этой статье я хочу рассказать о галлюцинациях больших языковых моделей, а именно о том, как их оценить и минимизировать.

Большие языковые модели (далее LLM) становятся мощными инструментами для предприятий, стремящихся оптимизировать операции, улучшить качество обслуживания клиентов и получить ценную информацию. Но одной из ключевых проблем в работе с ними являются галлюцинации моделей – это генерация информации, которая не соответствуют действительности. В связи с этим к LLM падает доверие, а также накладывается ограничение на применение там, где достоверная информация критически необходима, например, в медицине.

В данной статье будет представлен укороченный и упрощенный перевод статьи “A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions”. А именно перевод части, относящейся к причинам возникновения галлюцинаций. Упрощение состоит в том, что были опущены части, уходящие в конкретику. В этом переводе мы сосредоточимся на основных причинах возникновения галлюцинаций и примерах.