Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 20
Задача: сгенерировать другой текст
Нет у модели никакой "задачи сгенерировать другой текст". Просто контекст с твоими замечаниями меняется и модель на этот обновленный контекст формирует вероятный ответ.
все-таки больше стоит верить RAG
ну вот закончили за упокой - зачем верить? Это же математкика, нужно понижать вероятность галлюцинации. Например попросите модель не просто отвечать на вопрос но и объяснять, опираясь на весь доступный контекст. Сгенерировать логичное непротиворечивое полностью ложное объяснение для модели менее вероятно, чем просто сказать что она знает, как в анекдоте про Вовочку)
а только у меня желание... применить оружие автора против него же? (спросить "что это за дичь? что ты несешь?")
вообще больше похоже на мистификацию колдовства, чем на разбор галлюцинаций.
ИМХО: галлюцинации у ЛЛМ будут всегда. Как и у людей.
Ответ про файлы - думается, тут только на агентную систему, которая условный grep хотя бы рассматривает как лишний вариант что-то сделать.
Системный промпт современных моделй уже включает инструкции - воспринимать критически вопрос пользователя. Задайте любой внутренне противоречивый вопрос и модель с большой вероятностью это распознает и вас поправит. Она не воспринимает вопрос как факт. Раньше это была дырка, ее поравили. Это не означает что галюцинации исчезли. Просто они перестали часто попадаться в этом году. Или я перестал их замечать. Ценность AI только выросла, особенно в режиме диалога - где я могу оценить и сравнить варианты и выбрать тот, который подходит лучше. В сущности - это удобнее, чем рыскать в поиске.
Если вы сталкиваетесь с галюцинациями в современных версиях популярных моделей - расскажите в каких конкретно и что произошло.
Модели ещё умнее становяться, что уменьшает шанс галюнов и улучшает их независимое мышление
Hallucination rate на AA-Omniscience у GPT-5.5 - 86%. https://habr.com/ru/news/1028706/
При повторных запросах модели часто используют более высокую случайность генерации (температуру), чтобы выдать не тот же самый ошибочный ответ.
Очень сомнительное утверждение. Я могу конечно себе представить себе обвязку, которая меняет температуру в процессе диалога, но в общем случае это не так.
Каждый, кто работал с большими языковыми моделями (LLM), знает эту боль. Ты задаёшь вопрос. Бот выдаёт уверенный, красивый, но абсолютно ложный ответ.
Да , было, раньше . Давно , в самом начале использования нейросетей для практических задач, а не для игрушек и развлечений.
Проблема было в том, что навязанный массовым хайпом и журналистами термин "искусственный интеллект" предполагал доверие к ответам вероятностного алгоритма. Ну это же интеллект , хоть и искусственный. Да никаким интеллектом там близко и не пахнет, как выяснилось в итоге .
Но в общем , то в настоящее время можно сказать проблема если и не решена, то практически перестала оказывать существенное влияние на результаты - нужно использовать нейросеть для задач нейросети , но самое главное правильно ставить задачу нейросети - "не придумывать текст , а строить логическую логическую последовательность тезисов основанную на анализе подготовленных данных". А с задачами анализа данных и семантического анализа текстов - нейросети отлично справляются .
А в других случаях ситуация описана еще Кэрроллом в классическом диалоге Алисы с гусеницей:
-А куда мне идти?
-А куда ты хочешь попасть ?
- А мне все равно.
-Ну тогда все равно куда идти.
Если сеть наизусть запомнит всю мировую литературу + биография каждого писателя/учёного/политика + историю всех компаний + документации по всем ЯП со всеми инструментами/фреймворками/библиотеками - это будет занимать зетобайты оперативной памяти, параметров панадобится милиарды трилиардов, запрос будет выполнятся по несколько минут и жрать много ресурсов. Супер ИИ только для избранных, до народа урезанные отжимки будут доходить.
Ему не нужно всё это запоминать. Можно сделать ему внешнюю базу данных, к которой он будет обращаться. Икс.АИ для этого делают Грокопедию например. Думаю и остальные разработчики аналогичную штуку в итоге сделают. Чтобы ИИ независел от случайных ресурсов и анонимов в инете, а имел строгую базу данных. Которую к тому же можно поправить легко, по требованию гос.органов и своим нуждам
Недавно сказал Кодексу, "давай изменим это, таким-то способом, хочу вот так, хочу сяк": Кодекс ответил: "Друг, оно тебе надо? Сломаем все. Вот смотри как можно сделать." И переубедил меня от пагубной идеи, сделал то что я хотел, только другим путем.
Потому что у LLM нет опыта, множества источников разной степени доверия, нет критического мышления.
Кожаный, ты уверен в А?
Не очень, я видел А только один раз.
Уверен, я видел А несколько раз, никаких исключений
Не уверен, я видел когда был А, но иногда был Б в такой же ситуации
Почти уверен, один врун сказал что бывает Б, но он всегда врёт
И так далее, с подтверждением иными фактами из жизни
Если взять нормально натренированный трансформер, то он не галлюцинирует. Если он вдруг выдал что-то не то - то он - ненормально натренированный трансформер. Это типа система уравнений, если уж она стала решать, то и будет. Математика, и никакого чуда и чудачества тут нет. Если есть сомнения, могу продемонстрировать. А кроме того, есть сети, например, нейроморфные, они вообще не галлюцинируют, просто так спроектированы. Это я знаю по документации к чипам и результатам работы.
Со стандартными настройками сэмплеров ответ всегда будет носить вероятностный характер. Там прямо в архитектуру генератор случайных чисел заложен. Чтобы получить детерминированный ответ - надо либо фиксированный сид, либо очень нестандартные настройки сэмплеров.
Seed у меня не фиксированный (вот для проверки я его расфиксировал). И от этого не зависит. Сначала веса инициализируются случайными числами. Любыми. Хоть псевдослучайными, хоть идеально случайными. Но в процессе тренировки они принимают нужные значения. Конечно, если loss стремится к нулю (или хотя бы около 1 в моем частном случае). После этого трансформер будет чётко генерировать следующие слова. Без вариантов, если только не захочется самим разнообразить его ответы.
Да, кстати, трансформер у меня подопытный небольшой, на языке C. Поэтому всё прозрачно видно, что в нём и как происходит. Тоже самое было с сетями - можно создать систему уравнений, решить. Потом запустить тренировку и проверить коэффициенты. Такие штуки делают и на Rust. Если лень решать системы уравнений, применяют сети (для этого они и хороши, когда трудно или нельзя формализировать задачу).
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Когда нейросети перестанут галлюцинировать? И почему на «что за дичь» они несут ещё большую дичь?