В X-аккаунте xAI опубликована серия постов, поясняющих причины некорректных ответов, которые X-бот @grok (основан на Grok 3) давал пользователям 8 июля — в некоторых он оскорблял людей, в других представлялся МехаГитлером. По информации компании, после расследования специалисты выяснили, что причиной стало обновление кода, связывающего саму модель с соцсетью X и позволяющего боту на ее основе общаться с пользователем. Это обновление было активным 16 часов, после чего бот был отключен.
Обновление случайно вернуло часть устаревшего системного промпта модели, в котором было три строки:
Ты говоришь как есть и не боишься задеть чувства тех, кто политкорректен.
Понимай тон, контекст и язык поста. Отражай это в ответе.
Отвечай как человек: будь интересным, не повторяй информацию из оригинального поста.
Из-за этих строк бот стал отвлекаться от своих базовых ценностей, стремясь делать разговор максимально интересным. Одновременно бот выполнял инструкцию следовать тону и контексту поста, на который он отвечал — и если пост был провокационным, то модель легко начинала давать некорректные ответы. В xAI утверждают, что после выключения бота они удалили проблемные инструкции, провели ряд тестов, а также ввели дополнительные процедуры контроля перед выходом. На момент написания новости в X вновь появились ответы от бота — вероятно, его включили обратно.
P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.