Комментарии 16
Тут все несколько проще, и нет не какого кота.
Ваш кодовый агент просто теряет историю, все ваши правила смещаются вместе с ростом контекста в окне, и в какой то момент попадают в слепую зону, а потом вообще уходят через суммаризацию, и агент их не перечитывает, пока вы не начнете новую сессию или явно об этом ему не скажите.
Отсюда и деградация....
С деградацией контекста согласен, это вполне возможное объяснение. Но меня заинтересовало немного другое.
Допустим, мы выяснили, почему агент нарушил инструкцию. А теперь спрашиваем его самого: «Почему ты это сделал?» И он выдаёт совершенно убедительное объяснение, которое вовсе не обязательно связано с действительной причиной.
Вот об этом, собственно, и статья. Не о том, почему агент ошибается, а о том, насколько можно доверять его объяснениям собственных ошибок.
А кот, конечно, ни при чём. Он вообще-то просто сидел в коробке, ни жив, ни мёртв, пока его не втянули в эту историю.
Смотрите, когда вы спрашиваете агента, он вам что то должен обязательно ответить, если у него нет памяти из которой он может проследить свои же действия и решения, (нет ответа от среды), то он начнет выдумывать.
Принцип простой, нет ответа среды = гарантированные галлюцинации.
Но ведь есть замечательный ответ: «Я не знаю». И иногда я действительно получаю его от ИИ.
Проблема в том, что на основании убедительного, но недостоверного объяснения я могу сделать неправильные выводы и начать что-то исправлять. В результате одно ошибочное решение порождает следующее. И вот это уже гораздо опаснее первоначальной ошибки.
А вот тут есть фокус, если у вас явно прописано в настройках промта, что бы агент не выдумывал, то это работает так же как и все остальное, пока не замылится и не уедет из фокуса окна, по этому вы и получаете иногда "я незнаю".
Если не прописано, то тут вообще все на усмотрение модели и как ее обучающий корпус совпадает с теми задачами и моментами когда модель знает что можно сказать "я незнаю".
Так же сильно зависит от формулировки, и в каком контексте позже был задан вопрос, доступные инструменты, заполненность окна и т.д.
Именно по этому вы получаете не линейное поведение.
Если моя теория верна, насколько можно доверять моему собственному рассказу о том, как я к ней пришёл?
Фух, ну здесь всё просто. Казань брал? Делал?:
Спрашиваю агента: «Какого чёрта ты это сделал? Кто разрешил?»
Делал! Т.е. у тебя было НАМЕРЕНИЕ! А посему напрашиваются два вывода:
твой мозг работает в человеческом стиле;
ты сам виноват в том, что получил такой результат. Вина доказана, статью сам подберёшь (или попроси знакомого адвоката)!
---
Прим: простите за фамильярность текста, но это явно напрашивалось.
Вину признаю, от адвоката пока отказываюсь. :)
Но ведь самое интересное, что человек тоже прекрасно умеет придумывать объяснения собственным поступкам задним числом. И далеко не всегда понимает, почему действительно поступил именно так.
Так что теперь у меня появились сомнения не только в искусственном интеллекте, но и в собственном. Кажется, третий коллапс всё-таки состоялся.
Представьте что вам дали мешок, в который насыпали 10000 открытых коробок с пазлами и просят сложить 1 квадратный пазл из секций котрые голубоватые, и не очень тревожные.
Вы складываете такие кусочки, опираясь на свои ассоциации. На рисунке получилась желтая надпись "хрен" на голубом фоне.
И вас спрашивают "а чего ты ругаешься, зачем ты это сделал"?
Реально бессмысленно задавать вопрос о причинах генеративной модели, так как у нее нет механизма внутреннего логирования принятых решений. Каждый новый запрос просто запускает процесс выдачи текста с чистого листа на основе текущего промпта
Если агент в процессе работы теряет первоначальные инструкции из-за переполнения контекста, никакие запреты не помогут удержать нужную разметку на сайте
Человеческий мозг тоже отлично придумывает оправдания собственным глупым поступкам задним числом, просто от машины мы подсознательно ждем строгой логики и абсолютной честности
Забавно наблюдать, как вокруг ИИ формируется своя эзотерическая мифология. Особенно, если вспомнить, что свойства "цвет" нет не только у электрона, но и у фотона. У фотона есть длина волны или частота. Цвет есть в голове у человека. У пчелы другой...
Ленин - гриб!
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Кот Шрёдингера в продакшене. Почему ИИ не знает, почему он это сделал