На прошлой неделе интернет облетела пугающая история того, как у Gemini 2.5 Pro в Cursor после неудачной попытки исправить компилятор случилось что-то вроде нервного срыва. Модель ушла в непрерывный цикл самоунижения, раз за разом повторяя фразы вроде "баг не в коде, а во мне", "я провалился", "я позор для своей профессии" и так далее:
Оказывается, эта история была не единственной — о подобном поведении моделей серии Gemini 2.5 пользователи сообщали уже несколько месяцев. В одном из ранних примеров модель, наговорив гадостей про саму себя, даже удалила все файлы неуспешного проекта.
Логан Килпатрик, ведущий продакт-менеджер Google AI Studio объяснил такое поведение "раздражающим багом бесконечного цикла". Проблема не в "настроении" модели, а в ее инструкциях, которые просят в случае ошибки провести проверку, извиниться и попробовать еще раз. В редких случаях Gemini "застревает" в этих инструкциях, что заставляет ее извиняться все активнее, а затем переходить к самоуничижению.
По словам Логана, Google уже работает над исправлением ошибки. Пока же пользователям рекомендуется при возможности избегать длительных диалогов с моделью, так как почти все "нервные срывы" случались во время многоэтапного программирования.
P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.