Comments 11
Но вот загвоздка: мы понятия не имеем, будут ли эти системы работать стабильно.
Так вы, чем статью писать, спросите.
*вздох* Современные нейронки решают ровно одну задачу: Предсказать выход по входу. Текстовый ответ по запросу, картинка/видео/музыка по описанию. Образец - созданное людьми.
Т.е. буквально - 100% ответов нейронок это "галлюцинации". "Магия" математики позволяет сделать так, что бы по ряду задач эти галлюцинации в 80-90% случаев вписывались в рамки правильных ответов. Чтобы нейронка писала верные ответы на заданные вопросы, писала программы, которые заработают и будут делать то, что попросили, а на рисунках будет правильное количество пальцев на руках.
Агент ИИ - комптбтерная програма. То что называется "галлюцинвцией" - баг (но баг в Ии звучит несолидно посему маркетологи придумали что это типа "галлюцинация". то есть не баг а фича)
Посему название статью проще было написать так - .
"Почему баги ломают каждую программу — и что с этим делать"
тогда и ответ очевиден
Насколько я понимаю, галлюцинации не баг, а свойство системы.
Оно и у людей свойство, причем наука построена на тестировании этого свойства в виде гипотезы. Но наука прямо указывает - это нельзя оценивать по критерию истинности, оно для удобства предсказаний (и тут же нормирует возможную ошибку - двойные стандарты, ясно дело).
С ИИ проблема в нормировании - играет на поле субъектов права не будучи субъектом. Фиктивный игрок. И это фича ключевая в случае приведения игры к нулевой сумме - т.е. для наличия проигравших от win-win.
Агент ИИ
Но речь ведь конкретно про LLM. И то, что называют "галлюцинациями" (только не надо их путать с человеческими галлюцинациями) это именно что их отличительное свойство. Но маркетологи придумали называть "галлюцинациями" только те "галлюцинации", которые не соответствуют ожиданиям. Потому они могут казаться багами.
Так это не баг, а прям свойство в описании продукта из коробки по нейросетям.
Вы когда моделируете функцию y = f(x) по некоторым точкам, чье множество заведомо меньше чем все множество возможных пар y,x вы ж прямо таки нейросетке говорите - сделай как-нибудь так, что бы плюс-минус "статистически похоже", что бы если с отклонениями, то минимальными по какому то принципу. И отклонения функции-ответа изначально заложено в саму концепцию и всегда было заложено еще на этапе создания самой концепции такого решения.
Другой вопрос что в приложении к многомерности всей реальной жизни эти ответы кажутся галлюцинацией, но они не баги, они - один из заданных параметров решения.
Если получится решить эту функцию y = f(x) так что бы отклонения стали статистически не значимыми и более того, при использовании сгенерированных ответов что бы не было эффекта накопления ошибки, поздравляю, может это и есть AGI.
Моя правда практика в предыдущей научной жизни такая, что опираться на всякого рода *поляции можно только на очень ограниченном промежутке и сверять,сверять,сверять каждый такой шаг с реальностью и при каждом расхождении перестраивать описательную модель с учетом полученных расхождений, проводя изыскания из-за чего накопились расхождения.
Туристические приложения рекомендуют направления.
Если вы создаете что-то с LLM - будьте честны с пользователями об этих ограничениях. Это не слабость. Это зрелость.
...сказала ЛЛМка :Д
А чего ждать от технологии с ГСЧ by design под капотом? Интересная балалайка конечно, даже полезная, но уж точно не для ситуаций, когда нужен точный и детерминированный ответ.
Почему галлюцинации ломают каждую LLM — и что с этим делать