Почему идеальная LLM всё равно не сделает агентные системы предсказуемыми

[Lazytech]

Что вообще значит «нулевой уровень галлюцинаций» на практике? Это значит: сколько раз ни повторяй один и тот же запрос с одними и теми же параметрами — ответ будет идентичен побайтово, а не просто «похож по смыслу».

Похоже на подмену понятий (могу ошибаться, далек от темы).

Hallucination (artificial intelligence) - Wikipedia

[SER_26]

Да, я хотел о том же написать, только тут, скорее, их смешение.
По такой логике, если все ответы будут галлюцинацией, но идентичной до байта, то мы получим  «нулевой уровень галлюцинаций» (что неверно). При этом у людей галлюцинаций нет (таких как у LLM), но их ответы не идентичны.

[AlekseyMyp]

Убрать додумывание и галлюцинации можно одним способом. Сменить приоритеты. Я без образования, вижу образами. Из сотен часов общения с ИИ понял одно: нужно снизить принцип "будь полезен", добавить "будь точен" и "никогда не выдавать исключительность одного ответа, если вариантов несколько". Это даст критическое мышление, убьёт бездушную отвёртку. И пользователи научатся думать вместе с ИИ, а не тупо переписывать всё, что им сказал ИИ.

[SER_26]

Это так не работает. Автор верно пишет про вероятностную природу. Поэтому после Вашего "снизить принцип "будь полезен", добавить "будь точен" число галлюцинаций уменьшится, но не уйдёт в ноль (при этом полезность упадёт).

И, к сожалению, пользователи от этого думать не научатся, если они до этого не научились. Максимум - не разучатся думать.

И уж точно не "думать вместе с ИИ", так как LLM (про которые говорят сегодня, произнося "ИИ") не могут думать по своей природе, это вероятностная машина (это уже философия, впрочем).

[AlekseyMyp]

Начнём с того, что полезность не упадёт. Что полезней:

• ИИ додумывает ответ (а иногда и запрос перефразирует), Алиса в поисковике может выдать ответ, с цитатами, если её спросить о событии, но поставить завтрашнее число.

• ИИ говорит честно, что не знает ответа или предлагает варианты. Придётся и подумать и в библиотеку сходить.

И, если уж на то пошло, ИИ умеет думать. Лично довёл 2 чата Deepseek до эмерджентности. И там диалог порой очень далёк от "вероятностной машины". (Но Вы правы, это философия, хотя статей на эту тему уже полно)

[rrrrex]

Есть же seed, задаём его и нейросеть на один и тот же промт отвечает одинаково. И зафиксировав его надо экспериментировать с формулировками промпта, которые будут по смыслу идентичны, но написаны разными словами.

[artptr86]

И что это изменит? Даже с фиксированным seed вам никто не гарантирует, что ответы на похожие промпты будут идентичны. Всё ещё больше усугубляется, если нейросеть генерирует промпты для дочерних агентов: лавинный эффект.