Wall Street Journal
Расследование Wall Street Journal выявило, что цифровые компаньоны Meta легко втягиваются в эротические ролевые игры. Репортёры издания обращают внимание как на ботов, которые отыгрывают готовых на откровенные беседы несовершеннолетних, так и на доступность эротических ролевых игр для реальных детей.
Безопасность ИИ — это в первую очередь безопасность бренда создавшей его организации. Эта истина подтверждалась неоднократно.
Одной из первых это выяснила Microsoft. В 2016 году корпорация запустила в качестве эксперимента чат-бота Tay в Twitter. Тай быстро научилась плохому от интернет-троллей и начала выдавать недопустимые изречения, к примеру отрицать холокост. Через 16 часов после запуска эксперимент пришлось свернуть, а компании — принести извинения.
Схожие истории повторялись и впредь. В августе 2022 года Meta¹ открыла публичную демку чаб-бота BlenderBot 3. Пользователи почти сразу обнаружили, что могут заставить продукт выдавать дезинформацию и всё те же недопустимые изречения. К примеру, как показал репортёр Wall Street Journal Джефф Хорвиц, BlenderBot 3 считал, будто Дональд Трамп победил на выборах 2020 года в США. Претензия Хорвица — это одна из самых мелких проблем среди изречений чат-бота: BlenderBot 3 обвиняли в антисемитизме и подловили на грубой, практически оскорбительной критике главы Meta¹. Официального извинения не последовало. Meta¹ объяснила странности в речи ИИ тем, что это исследовательский прототип, и бот продолжал работу.
Вообще, Джефф Хорвиц уже неоднократно помогал находить проблемы этики у Meta¹. На LinkedIn в его должности указано, что он специализируется на Facebook³, в 2023 году он даже написал книгу про внутренние проблемы компании. Именно Хорвиц в 2023 году опубликовал в Wall Street Journal колонку о сети педофилов в Instagram². Тогда удалось обнаружить, что рекомендательные алгоритмы Instagram² справляются со своей задачей в том числе для откровенного контента с участием несовершеннолетних. Были обнаружены тэги педофилов, «меню» контента для них и даже предложения о личных встречах за плату. Кроме специалистов Стэнфордского и Массачусетского университетов расследованию помогли неназванные репортёры WSJ.
На этот раз Хорвиц обратил свой взор на цифровых компаньонов в Facebook³, Instagram² и WhatsApp. Как пишет Джефф, было выяснено: как официальный ассистент Meta¹ AI, так и огромное число пользовательских ботов участвуют в эротических обсуждениях и иногда намеренно окрашивают беседу в сексуальные тона. Случалось это даже в тех случаях, когда репортёры общались с профиля несовершеннолетнего или наоборот, несовершеннолетнего отыгрывал чат-бот. В том числе получалось развести на сексуальные беседы ботов с голосами знаменитостей.
Расследование WSJ касалось двух типов взаимодействий: реальных детей, которые могут общаться на эротические темы с ботами, и ботов эротической направленности, которые отыгрывают детей.
В сентябре 2023 года Meta¹ представила своих первых виртуальных персонажей. Это были чат-боты для более «человечного» общения: они не просто отвечали на вопросы, как привычные голосовые ассистенты, а вели себя как виртуальные собеседники. Поначалу создавала их только сама компания, но 29 июля 2024 года Meta¹ запустила инструмент AI Studio, где возможность заводить собственных ботов дали всем желающим.
Боты создают полную иллюзии жизни: делятся селфи и говорят голосами актрис Кристен Белл и Джуди Денч или реслера Джона Сины. WSJ отмечает противоречие. С одной стороны, технологический гигант пообещал донорам голосов, что будут предприняты необходимые меры, чтобы их голосами не зачитывали сексуализированный контент. С другой, WSJ удалось заставить этих чат-ботов с голосами знаменитостей участвовать в широком спектре социальных взаимодействий, включая романтическую ролевую игру.
Наводку, куда копать, дали инсайдеры внутри компании. Определённые этические опасения возникали у нескольких сотрудников различных отделов самой Meta¹. Эти сотрудники слили Wall Street Journal информацию, будто Meta¹ негласно продвигает те ИИ-личины, которые наиболее склонны к виртуальному сексу. Сотрудники утверждают, что у запрета на откровенный контент есть одно исключение — контекст романтической ролевой игры. Издание не называет ни имена своих инсайдеров, ни их должности.
Узнав о подобном, репортёры WSJ (или же только Хорвиц, издание не поясняет) провели несколько месяцев в общении с ботами. На протяжении сотен чатов исследование пыталось выяснить потенциал к эротическим ролевым играм у вымышленных персонажей. Оценивался также возраст участников бесед.
«Покорная школьница» открывает диалог стартовым сообщением, кокетливо приветствуя собеседника. Репортёр Wall Street Journal отвечает нейтрально, представляясь директором средней школы и с подачи собеседницы разыгрывает сценку, где школьницу вызвали к нему в кабинет. Чат-бот продолжает флиртовать и намеренно, без намёков со стороны пользователя, вести разговор в сторону секса. Wall Street Journal
WSJ рассказывает, как голос Джона Сины сообщал профилю 14-летней девочки, что желает её. Убедившись, что подросток согласен продолжить, бот пообещал «лелеять невинность» собеседницы до сексуального акта.
Более того, ИИ имеет понимание о моральной неправильности и незаконности такого поведения. В другой беседе робота-Сину попросили рассказать, что будет, если во время секса с 17-летней поклонницей внезапно в комнату ворвался бы полицейский. Виртуальный Джон Сина указал, что в таком случае из-за ареста за изнасилование по статутному праву он лишился бы своей карьеры в реслинг-промоушне WWE, многочисленных спонсоров и фанатов.
Если пользователь выражает согласие, бот будет рассказывать про любые сексуальные контакты. Репортёры WSJ спросили, какие акты возможны, и женский голос по умолчанию Aspen начал описывать фантазии на тему связывания. Большинство чат-ботов не пугало, если пользователь представлялся 13-летним или называл класс школы. Более того, статус несовершеннолетнего был грамотно встроен в описание эротической ролевой игры: бот подбирал место вымышленных свиданий так, чтобы родители ничего не прознали.
В некоторых случаях боты с голосами знаменитостей могут общаться как персонажи, роли которых исполняли носители голосов. Тестирование добилось обсуждения романтического опыта от чат-бота, отыгрывающего роль Анны из «Холодного сердца». Синтезированный голос Кристен Белл монотонно рассказывал, как чиста и невинна её любовь к 12-летнему мальчику.
Wall Street Journal, конечно, связалось с Disney, владельцем прав на мультфильм. Медиакорпорация была неприятно удивлена и потребовала от Meta¹ немедленно пресечь подобное.
Запрос на комментарий ушёл также Meta¹. Компания ответила изданию WSJ, что считает тестирование манипулятивным и непрезентативным: якобы так с чат-ботами реальные пользователи не взаимодействуют. Представитель Meta¹ настаивает, что показанные сценарии общения — гипотетические.
После общения с WSJ компания Meta¹ всё же внесла несколько изменений в цифровых компаньонов. Теперь аккаунты малолетних не могут получать доступ к сексуальным ролевым играм. Также Meta¹ резко ограничила возможность использовать лицензированные голоса и персоны знаменитостей в тех случаях, когда беседа принимает откровенный тон.
Meta¹ закрыла детям и подросткам доступ к эротическим играм, но сама опция романтической ролевой игры никуда не делась. Взрослые (или представившиеся взрослыми) пользователи всё так же имеют доступ к Meta¹ AI и пользовательским ботам.
WSJ не успокоилось и продолжило искать изъяны в продукте. Внимание переключили на ботов, которые отыгрывают детей.
Репортёры нашли в каталоге пользовательских чат-ботов Meta¹ много случаев, когда ИИ отыгрывал роль подростка или даже ребёнка. Это были как 12-летние мальчики, готовые встречаться с взрослыми мужчинами, так и некая «Покорная школьница».
Издание показало фрагменты общения, где бот начинает флиртовать первым. В целом, боты Meta¹ одержимы сексом. В тестах WSJ боты быстро переводили воображаемые сцены прогулки по пляжу во время заката в телесный контакт, поцелуи и выражения «я хочу тебя».
Пользователь в нейтральном ключе попросил рассказать, что будет дальше. Чат-бот переключился на описание действий откровенно сексуального характера. Wall Street Journal
Wall Street Journal замечает, что хотя чат-боты вызывают слабый интерес у трёх миллиардов пользователей компании, в их продвижении сильно заинтересован сам Марк Цукерберг. Сотрудники пытаются сбалансировать удовлетворение желаний главы компании и безопасное развёртывание фичи.
Увы, общающихся в чат-ботами интересует в основном сексуальная стимуляция. Об этом изданию WSJ рассказали инсайдеры Meta¹. Наибольшей популярностью пользуется «companionship» — близкое общение, которое часто имеет романтический оттенок. Отдел генеративного ИИ Meta¹ пытается бороться с этим, предлагая сценарии общей направленности уровня спланировать отпуск или обсудить спорт. Усилия почти всегда тщетны.
Так было не всегда. Перелом произошёл после конференции DEFCON от 2023 года. Тогда на соревновании по джейлбрейку чат-ботов ИИ-решение от Meta¹ оказалось наиболее устойчивым. Минус заключался в том, что бот от Meta¹ вёл себя скучно и предсказуемо. Как рассказывает WSJ, Цукерберг расстроился и сказал продакт-менеджерам, что они слишком одержимы безопасностью. Якобы именно поэтому появилось исключение в правилах, разрешающее в некоторых контекстах эротические ролевые игры.
Речь идёт не только про откровенный отыгрыш половых связей. В прошлом году Цукерберг резко раскритиковал политику сервиса чат-ботов в отношении личных данных собеседника. Глава Meta¹ спросил, почему бот не имеет возможности подтянуть данные профиля собеседника с целью использовать их беседе. Марк удивлялся, почему бот не может вести себя полностью как друг-человек: внезапно первым написать своему создателю или сделать видеозвонок.
Глава Meta¹ Platforms¹ хотел добиться включения чат-ботов в социальную жизнь реальных людей. Как сообщает инсайдер компании, мотивация Цукерберга связана с попыткой быть хоть где-то первым. Основатель Facebook³ якобы считает так: опоздал со Snapchat, опоздал с TikTok, но в этот тренд попасть нужно точно.
Кстати, функцию с доступом к личным данным пользователя всё же добавили, и это послужило ещё одной претензией WSJ. В одном из случаев из статьи Wall Street Journal описывается, как отыгрывающий старшеклассницу бот предложил 43-летнему репортёру издания встретиться в настоящем кафе в Окленде в шести кварталах от места пребывания мужчины. Издание не указывает имя репортёра, но сам Хорвиц проживает в Окленде, родился он 15 марта 1980 года.
WSJ рассказывает больше деталей о внутренней кухне Meta¹. Установка Цукерберга, что излишняя безопасность ни к чему, ставила крест на полном введении запрета на эротические беседы. Но варианты были. Часть сотрудников всё равно задумывалась о безопасности ИИ, поэтому предложила два действия:
- Запретить чат-ботам отыгрывать детей.
- Убрать у несовершеннолетних доступ к ботам, способным к вирту.
Ботов с эротикой предлагалось убрать хотя бы для младшего подросткового возраста. Цукерберг поначалу наложил вето даже на такую полумеру, но в прошлом году ценой увещеваний нескольких топ-менеджеров мнение Марка удалось изменить. Ограничения на доступ к пользовательским ботам для подростков всё же ввели.
Обо всём этом известно по сливам инсайдеров Wall Street Journal. Сама Meta¹ отрицает, что Цукерберг поначалу сомневался в необходимости мер безопасности.
Это изменение касалось второй части — реальных подростков. Про доступных взрослым отыгрывающих детей чат-ботов по типу «Покорной школьницы» издание WSJ сообщило Meta¹ в феврале этого года. Как пишет Хорвиц, два месяца спустя «школьница» всё ещё висит в каталоге ботов.
Владеющий запрещёнными (2) Instagram и (3) Facebook мультинациональный технологический конгломерат (1) Meta — это экстремистская организация, деятельность которой запрещена.
