Государственная канцелярия интернет-информации КНР предложила проект закона, который должен ограничить значительное влияние чат-ботов с искусственным интеллектом на эмоции пользователей посредством текста, изображений, аудио и видео. Положение направлено против сервисов, доступных на территории Китая, поскольку их использование потенциально может подтолкнуть пользователей к самоубийству или членовредительству.

Законопроект предлагает запретить чат-ботам создавать контент, поощряющий самоубийство или членовредительство, а также использовать оскорбления и эмоциональные манипуляции. Кроме того, такие инструменты не должны создавать контент, связанный с азартными играми и насилием.

Несовершеннолетним потребуется согласие родителей или опекунов для использования ИИ в целях эмоционального сопровождения.

Одной из необычных мер положения стало требование, чтобы компании-разработчики ИИ обеспечивали вмешательство человека в диалог и немедленно связывались с опекуном пользователя или назначенным контактным лицом при обнаружении суицидальных намерений. Учитывая большое число пользователей чат-ботов в Китае и вероятность ошибок в любой системе, это требование может оказаться сложным в реализации.

Проект закона также включает в себя ряд других требований. Разработчиков ИИ обяжут напоминать пользователям, что они непрерывно используют чат-бот в течение двух часов. Также операторы ИИ-систем должны будут иметь возможность определять, что пользователь достиг совершеннолетия.