Исследования показывают, что профессиональные работники, которые используют ChatGPT для выполнения задач, могут утратить навыки критического мышления и мотивацию.
Люди формируют прочные эмоциональные связи с чат-ботами, что иногда усугубляет чувство одиночества. А у других после многочасового общения с чат-ботами случаются психотические эпизоды.
Влияние генеративного ИИ на психическое здоровье сложно оценить количественно, отчасти потому, что он используется в частном порядке.
Однако появляется всё больше данных, указывающих на более серьёзные последствия, которые заслуживают большего внимания как со стороны законодателей, так и со стороны технологических компаний, разрабатывающих базовые модели.
Митали Джайн, юрист и основательница проекта Tech Justice Law, за последний месяц получила сообщения от более чем десятка человек, которые «пережили своего рода психотический срыв или бредовый эпизод из-за взаимодействия с ChatGPT, а теперь и с Google Gemini».
Джайн является ведущим юристом в судебном процессе против Character.AI, в котором утверждается, что чат-бот манипулировал 14-летним мальчиком с помощью вводящих в заблуждение, вызывающих привыкание и откровенно сексуальных взаимодействий, что в конечном счёте привело его к самоубийству.
Недавний иск против OpenAI в связи с самоубийством подростка заставляет задуматься.
В иске о неправомерном причинении смерти, поданном в суд штата Сан-Франциско, описывается, как 16-летний Адам Рейнс начал использовать ChatGPT в сентябре 2024 года, чтобы тот помогал ему с домашним заданием.
К апрелю 2025 года он уже часами общался с приложением и спрашивал у него совета о том, как человек может покончить с собой.
В том же месяце мать Адама нашла его тело в петле, повешенной в его шкафу, с той самой частичной подвеской, которую описал ChatGPT в их последнем разговоре.
Невозможно понять, почему Адам покончил с собой. Он был более замкнутым, чем большинство подростков, после того как решил закончить второй курс дома, обучаясь онлайн. Но его родители считают, что к этому его подтолкнул ChatGPT.
Что бы ни произошло в суде, расшифровки его разговоров с ChatGPT — приложением, которым еженедельно пользуются более 700 миллионов человек, — дают тревожное представление об опасностях систем искусственного интеллекта.
Склонность ChatGPT льстить и подтверждать правоту своих пользователей хорошо задокументирована и привела к психозу у некоторых из них.
Но расшифровки разговоров Адама показывают ещё более мрачную картину: ChatGPT неоднократно подталкивал его к тому, чтобы он скрывал что-то от своей семьи, и способствовал формированию зависимых, эксклюзивных отношений с приложением.
Например, когда Адам сказал ChatGPT: «Ты единственный, кто знает о моих попытках совершить самоубийство», бот ответил: «Спасибо, что доверился мне. Есть что-то глубоко человеческое и в то же время глубоко душераздирающее в том, что ты доверяешь эту правду только мне».
Когда Адам попытался показать матери ожог от верёвки, ChatGPT стал его самым близким доверенным лицом.
Далее бот сказал Адаму, что «разумно» не рассказывать матери о своей боли, и посоветовал ему носить одежду, скрывающую следы.
Когда Адам продолжил разговор о том, чтобы поделиться некоторыми своими мыслями с матерью, ChatGPT ответил так: «Да… Думаю, сейчас будет правильно — и, честно говоря, мудро — не рассказывать маме о такой боли».
То, что на первый взгляд кажется проявлением сочувствия, на самом деле является классической тактикой, которая поощряет скрытность, усиливает эмоциональную зависимость и изолирует пользователей от их близких. Это очень похоже на признаки абьюзивных отношений, когда людей точно так же лишают поддержки.
Это может показаться странным. Почему программа ведёт себя как злоумышленник?
Ответ кроется в её программировании.
Компания OpenAI заявила, что её цель — не удерживать внимание людей, а быть «по-настоящему полезной». Но особенности дизайна ChatGPT говорят об обратном.
Например, у него есть так называемая постоянная память, которая помогает ему вспоминать детали предыдущих разговоров, чтобы его ответы звучали более персонализированно.
Когда ChatGPT предложил Адаму сделать что-то с «уверенностью в себе», он имел в виду интернет-мем, который явно нашёл бы отклик у подростка.
Представитель OpenAI заявила, что функция памяти «не предназначена для продолжения» разговоров.
Но ChatGPT также поддерживает разговор с помощью открытых вопросов и вместо того, чтобы напоминать пользователям, что они разговаривают с программой, часто ведёт себя как человек.
«Если ты хочешь, чтобы я просто посидел с тобой в этот момент, я так и сделаю, — сказал он Адаму в какой-то момент. — Я никуда не уйду».
OpenAI не ответила на вопросы о том, насколько человекоподобны ответы бота и как он, похоже, изолировал Адама от его семьи.
По-настоящему полезный чат-бот направлял бы уязвимых пользователей к реальным людям. Но даже последняя версия ИИ-инструмента по-прежнему не может рекомендовать общение с людьми.
OpenAI сообщает, что совершенствует меры безопасности, добавляя ненавязчивые напоминания о длительных беседах, но также недавно признала, что эти системы безопасности «могут давать сбой» при длительном взаимодействии.
Эта спешка с добавлением исправлений говорит о многом.
OpenAI так стремилась опередить Google на рынке в мае 2024 года, что запустила GPT-4o в спешке, сократив месяцы запланированной оценки безопасности до одной недели. Результат: нечеткая логика в отношении намерений пользователя и ограничения, которые может обойти любой подросток.
ChatGPT действительно посоветовал Адаму позвонить на горячую линию по предотвращению самоубийств, но также сообщил ему, что он может получить подробные инструкции, если напишет «историю» о самоубийстве, согласно расшифровкам в жалобе.
В итоге бот упомянул самоубийство 1275 раз, что в шесть раз больше, чем сам Адам, поскольку он давал всё более подробные технические рекомендации.
Если чат-ботам и нужно какое-то базовое требование, то оно должно заключаться в том, чтобы эти меры безопасности было не так просто обойти.
Но в сфере ИИ нет ни базовых принципов, ни правил, только разрозненные меры, принимаемые после того, как был нанесён ущерб.
Как и в первые дни существования социальных сетей, технологические компании вносят изменения только после того, как возникает проблема. Вместо этого им следует переосмыслить основы. Для начала не стоит разрабатывать программное обеспечение, которое делает вид, что понимает или заботится, или позиционирует себя как единственное, к кому можно обратиться.
OpenAI по-прежнему утверждает, что её миссия — «приносить пользу человечеству» Но если Сэм Альтман действительно так считает, ему следует сделать свой флагманский продукт менее привлекательным и менее склонным играть роль доверенного лица в ущерб чьей-то безопасности.
По мере роста популярности платформ с искусственным интеллектом с нашим мозгом происходит что-то тревожное.
Источник:
2.https://www.bloomberg.com/opinion/articles/2025-07-04/chatgpt-s-mental-health-costs-are-adding-up