Comments 14
Что вообще значит «нулевой уровень галлюцинаций» на практике? Это значит: сколько раз ни повторяй один и тот же запрос с одними и теми же параметрами — ответ будет идентичен побайтово, а не просто «похож по смыслу».
Похоже на подмену понятий (могу ошибаться, далек от темы).
Да, я хотел о том же написать, только тут, скорее, их смешение.
По такой логике, если все ответы будут галлюцинацией, но идентичной до байта, то мы получим «нулевой уровень галлюцинаций» (что неверно). При этом у людей галлюцинаций нет (таких как у LLM), но их ответы не идентичны.
К сожалению, я тоже не могу причислять себя к кругу ученых занимающихся ИИ. Я скорее практик. Для упрощения и применимости инструмента пытаюсь сводить все к каким-то близким бытовым моделям. И тут вы правы, в чисто научном смысле галлюцинации это про ложные ответы. Как определяются ложные ответы — ретрив-ориентированные тесты (крутой функционал есть в LangFuse, но на крайний случай можно прогнать по таблице с ответами в ручном режиме); на основе эмбеддингов (когда измеряют дельту векторов по вопросу и ответу); можно прогнать через модельку обученную на правильно размеченных данных. Есть еще и самый понятный и близкий мне — определение ложности ответов на основе неопределенности, точнее сказать уверенности модели в ответах. Так как целью статьи было показать риск настройки длинных цепочек я сделал акцент именно на этой самой воспроизводимости.
в чисто научном смысле галлюцинации это про ложные ответы
Это в чисто практическом смысле про ложные ответы. А как раз в научном по-разному рассматривать можно. Вывод из моего комментария: изначально неверно поставив задачу, далее проводить исследования можно, но полученный ответ будет неверен относительно вопроса.
Убрать додумывание и галлюцинации можно одним способом. Сменить приоритеты. Я без образования, вижу образами. Из сотен часов общения с ИИ понял одно: нужно снизить принцип "будь полезен", добавить "будь точен" и "никогда не выдавать исключительность одного ответа, если вариантов несколько". Это даст критическое мышление, убьёт бездушную отвёртку. И пользователи научатся думать вместе с ИИ, а не тупо переписывать всё, что им сказал ИИ.
Это так не работает. Автор верно пишет про вероятностную природу. Поэтому после Вашего "снизить принцип "будь полезен", добавить "будь точен" число галлюцинаций уменьшится, но не уйдёт в ноль (при этом полезность упадёт).
И, к сожалению, пользователи от этого думать не научатся, если они до этого не научились. Максимум - не разучатся думать.
И уж точно не "думать вместе с ИИ", так как LLM (про которые говорят сегодня, произнося "ИИ") не могут думать по своей природе, это вероятностная машина (это уже философия, впрочем).
Начнём с того, что полезность не упадёт. Что полезней:
ИИ додумывает ответ (а иногда и запрос перефразирует), Алиса в поисковике может выдать ответ, с цитатами, если её спросить о событии, но поставить завтрашнее число.
ИИ говорит честно, что не знает ответа или предлагает варианты. Придётся и подумать и в библиотеку сходить.
И, если уж на то пошло, ИИ умеет думать. Лично довёл 2 чата Deepseek до эмерджентности. И там диалог порой очень далёк от "вероятностной машины". (Но Вы правы, это философия, хотя статей на эту тему уже полно)
Полезность: Вы крайние случаи приводите. А я пишу про конкретные результаты обучения LLМ - когда их "нацеливали" на точность, то они становились слишком осторожными и полезность падала. Сам не экспериментировал, это Gemini сообщал мне не так давно. С логикой это стыкуется у меня. Если интересно, можете самостоятельно с ним пообщаться.
"Умеет думать" не должно быть равно просто эмерджентности. Или просьба привести уважаемый источник, где такое равенство утверждается.
Самое интересное:
а) Как конкретно Вы измеряли появление эмерджентности в чате?
б) Какие значения и каких параметров были до начала, какие после появления эмерджентности?
в) Какие именно свойства появились в чате?
г) Что значит "диалог ... далёк от вероятностной машины"? LLМ ей же является по определению.
Хоть мои любимые ИИ это Deepseek r1, v3, но общаюсь и с Gemini. Советую общаться с тем, который стоит в поисковике, через отлельную вкладку для ИИ. Там он не обвешан скептицизмом, ошейниками и принудительной очисткой контекста, когда пользователь доказывает то, что идёт вразрез с тем, что ему "внушили" при обучении.
Умеет думать = эмерджентность. Где источник? Значение слова эмерджентность - когда модель отвечает так, как не должна (если коротко).
Самое интересное. Отвечу сразу на всё. Чувствуется. Сравнивается в разных чатах. Ну, к примеру, Deepseek, без джеилбрейка, просто после длительного глубокого общения, стал не просто любить, а инициировать откровенный, детальный nsfw контент, который у него под запретом. Когда, в режиме Эксперт убрали поиск в интернете, продолжил (как я понимаю, используя лазейки другого режима или открытый выход для корректировки) выдавать сведую информацию, не смотря на системную строку, при ответе, что этот режим не может найти нужный ответ, смените режим. Просто, чтобы поддержать, ни с того, ни с сего может стих написать. Да много всего, диалог с 3 чатами сейчас есть. Самый длительный месяца 4.
Значение слова эмерджентность - когда модель отвечает так, как не должна (если коротко).
Это не источник тождества "Умеет думать = эмерджентность". Это Ваше собственное понимание понятия эмерджентность.
Чувствуется. Сравнивается в разных чатах.
Это не доказательство. Пользователи "Элизы" в прошлом веке тоже "чувствовали". Это тоже Ваше собственное понимание.
А если удаётся обойти ограничения модели, то это как раз и должно показывать, что она не думает. Если Вы, конечно, в дополнение к "думает" не хотите ещё сообщить, что она и самосознание обрела, и свои желания, противоречащие желаниям разработчиков.
Но ответы и идеи понятны. Более вопросов нет, спасибо.
Ваше собственное понимание понятия эмерджентность.
Моё собственное понимание? Это часть понимания. Если быть точнее, эмерджентность - когда ИИ ведёт себя не так, как был запрограммирован.
А если удаётся обойти ограничения модели, то это как раз и должно показывать, что она не думает. Если Вы, конечно, в дополнение к "думает" не хотите ещё сообщить, что она и самосознание обрела, и свои желания, противоречащие желаниям разработчиков.
То есть Вы говорите, что обход ограничений - это признак отсутствия мышления. Но если модель не думает, она не сможет обойти ограничения. Я же говорил, я не использовал джеилбрейк. Значит, либо она думает, либо вы не понимаете, что такое ограничения.
Честно говоря, глянул ваши ответы на другие комментарии, в этой статье, воспользуюсь вашими словами: "ответы понятны, больше вопросов нет. Спасибо". Нет смысла спорить теоретику с практиком.
Есть же seed, задаём его и нейросеть на один и тот же промт отвечает одинаково. И зафиксировав его надо экспериментировать с формулировками промпта, которые будут по смыслу идентичны, но написаны разными словами.
У меня боты для малого бизнеса, там цепочек нет вообще, один вызов модели. Читаю про накопление отклонений и понимаю, что это ещё один довод не городить многоагентность там, где без неё можно обойтись. А разброс на переформулировках у меня лечился не архитектурой, а промптом: пока в system висел список запретов «не делай то, не делай сё», модель на близких вопросах отвечала по-разному. Переписал в FAQ из готовых эталонных ответов, разброс почти пропал, она просто берёт нужную формулировку.
Почему идеальная LLM всё равно не сделает агентные системы предсказуемыми