Comments 2
Тут сказано про галлюцинации: что они возникают одновременно с обучением фактам. Модель уверенно предсказывает неверные факты для новых персон. Что при файтюнинге новые знания искажают старые. Ассоциативные воспоминания легко перезаписываются. Паттерны внимания более устойчивы, но знания — нет.
В статье галлюцинациями называют накопленные знания. Галлюцинации приравниваются к уверенности – модель может быть уверенной в ошибке, что делает её опасной в критических системах.
Авторы смешали в одну кучу три вещи: ошибочные знания, галлюцинации и бред. При всем моем уважении к DeepMind либо в исходной статье речь была о проблеме знаний (а не галлюцинаций) либо это бредовые выводы какого-то конкретного сотрудника. Мне очень сложно поверить, что DeepMind имеющий в своем штате нейробиологов, будет путать эти три понятия (бред и галлюцинации это два разных понятия в нейробиологии).
Что касается самих трех понятий:
Ошибочные знания: Модель выучила ложные или искажённые паттерны из обучающих данных.
В LLM:
Википедия была с ошибкой → модель повторяет её.
Много фейковых данных о «вреде вакцин» → модель будет склонна выдавать их как возможную правду.
В мозге:
Человек прочитал много дезинформации и поверил — когнитивные искажения на уровне долговременной памяти.
Галлюцинации: Модель выбирает маловероятное или контекстно неуместное слово/фразу из-за высокой температуры, слабого контекста или неправильного attention’а.
Для примера:
Вместо «Маша гуляет в парке», выходит «Маша танцует с лампочкой».
В LLM:
Механизм внимания не продолжает работать при обобщении в FFN — heads выбрали признаки, а FFN слил их без учета иерархии контекста.
В мозге:
В слое 5 коры нейроны интегрируют контекст и значения признаков, подкрепленные модуляцией извне (например, зона A2 может подавить неуместные связи). В LLM это отсутствует — attention работает на уровне токенов, но не на уровне обобщения признаков. Это как если бы мозг воспринимал все признаки, но не умел их "отфильтровать" по уместности.
Бред: результат низкой связности, недостатка обучения или архитектурных ограничений.
В LLM:
Модель мелкая, FFN маленький, плохой датасет → фразы вроде "Мозг обедает звёздным языком параллельных гвоздей".
В мозге:
У ребёнка: ещё не сформированы связи → «словесная окрошка».
При патологиях (шизофазия): повреждены ключевые участки, как слой 5 → обрыв логических цепочек, внутренняя неструктурированность.
В LLM это эквивалент архитектурной недостаточности: FFN не может удержать сложную комбинацию признаков.
Галлюцинации возникают именно из за того, что в LLM отсутствует механизм обобщения в FFN. Он заменен на температуру, которая не учитывает контекст.
В мозге в слое 5 выбор обобщённого признака происходи на основе модуляции других зон, которые могут подчеркнуть важность признака в рамках данного контекста. В LLM такого нет, в них механизм внимания работает только на уровне признаков и отсутствует при их обобщении. Поэтому в LLM механизм внимания отбирает важные возможные признаки в головах (heads), но в момент их обобщения в FFN просто связывает их все и выдает все их связи.
Бред - связан с недостатком связей, недостаточной сложностью модели, недостаточным кол-вом данных на которых было обучение.
Это можно сравнить со словесной окрошкой в речи. Она возникает либо при повреждении слоя 5 или других слоев. Проблемы могут быть разной формы: от дендритов до рецепторов, вплоть до низкой плотности нейронов.
Например у ребенка словесная окрошка вызвана естественным образом из за недостатка обученных данных, пока еще недостаточному кол-во связей, возможно еще недостаточной плотности нейронов и так далее.
В то время как у шизофрении - это вызвано нарушениями на данных участках. Но эффект схожий, хотя и по разным причинам.
По аналогии и в LLM, причины могут быть как малым датасетом, недостаточно сложная архитектура, плохо подобранные параметры LLM. Например, если FFN слой недостаточно большой, то LLM не сможет вместить в себя обобщение всех признаков и может выдавать некачественные связи.
Тэг AI Research лишний. Если бы автор указал бы инфу как все делается в Real AI, то я бы понял, что автор действительно хороший исследователь AI, а так, очередной хайп
Как LLM выучивают факты и почему они галлюцинируют?