Comments 6
Выводы из исследования OpenAi это пустая трата денег. Галлюцинации это базовое свойство всех мыслительных систем. Подход опенАи приведет:
К росту количества отказов отвечать.
Модель продолжит галлюцинировать, но завысит уверенность, чтобы ее не наказывали...
Галлюцинирующий LMM-агент обычно поддаётся быстрой коррекции: контроль можно реализовать через workflow - с этапами валидации, факт-чекинга, sanity-проверок, retries и rollback состояния. Сложности начинаются, когда агент функционирует полностью автономно: его сбои и галлюцинации могут накапливаться без внешнего контроля. Однако даже в таком режиме машинный агент остаётся более управляемым, чем человек при утрате критического мышления: человеческое поведение в подобном состоянии плохо прогнозируемо и потенциально опасно, тогда как LMM-агента почти всегда можно оперативно остановить, перезапустить, откатить к стабильному состоянию или переинициализировать
LLM не является агентом по своей сути;
Если ядро системы генерирует ошибки, то все остальные инструменты, работающие с ядром - они просто пытаются латать эти ошибки, но только на момент результата. Сами то ошибки появятся и в будущем, и придётся их латать - следовательно на них будут впустую тратится вычислительные ресурсы
"снятся ли андроидам электроовцы" отсылка к бегущему по лезвию бритвы хороша
Бороться с ошибками в системе, которая математически не может быть в чём-то на 100% уверена - сильный ход. Донкиход бы ими гордился 🤣
OpenAI, Anthropic и Google будут вместе бороться с галлюцинациями ИИ