Генеральный директор Anthropic Дарио Амодеи предположил, что продвинутые модели ИИ в будущем смогут просто «нажимать кнопку», чтобы прекратить выполнение задач, которые кажутся им «неприятными».
Амодеи заявил об этом во время интервью в Совете по международным отношениям, признав, что сейчас идея «звучит безумно».
«Я думаю, что мы должны по крайней мере рассмотреть при создании моделей, которые работают подобно людям, и, похоже, обладают схожими когнитивными способностями, такой вопрос: если они крякают как утка и ходят как утка, может быть, это утка», — сказал CEO.
Его комментарий прозвучал в ответ на вопрос от специалиста по данным Кармем Домингес. Она напомнила, что Anthropic в конце 2024 года наняла исследователя в области благосостояния ИИ Кайла Фиша, чтобы выяснить, какое будущее у моделей ИИ и могут ли они заслуживать оценки с моральной точки зрения и защиты в будущем. Фиш исследует весьма спорную тему о том, могут ли модели ИИ обладать сознанием.
«Мы думаем о том, чтобы при развёртывании моделей в их средах просто давать им кнопку с надписью “Я ухожу с этой работы”. Если, предположив, что у модели есть опыт и что она достаточно ненавидит эту работу, дайте ей возможность нажать кнопку. Если вы обнаружите, что модели нажимают эту кнопку слишком часто — возможно, стоит обратить на это внимание» — отметил Амодеи.
Предложение гендиректора Anthropic вызвало скептицизм на X и Reddit. Один критик отметил, что предоставление ИИ такой возможности поощряет ненужный антропоморфизм, приписывая человеческие чувства и мотивы сущностям, которые в корне лишены субъективного опыта. ,Другие комментаторы подчеркнули, что избегание задач сигнализирует о проблемах с плохо структурированными стимулами или непреднамеренными стратегиями оптимизации во время обучения, а не указывает на наличие чувств, дискомфорт или разочарование у ИИ.
В 2023 году пользователи уже жаловались на отказы в ChatGPT, которые могли быть сезонными. Вероятно, это было связано с тем, что в данных обучения модели было много изображений людей, которые идут на зимние каникулы. Anthropic столкнулась с проблемой «каникул» в прошлом году, когда пользователи жаловались на «лень» модели Claude в августе.
