Comments 10
Работая с ИИ можно очень даже выгореть, в поисках приемлемого ответа. Думаю, скоро психотерапевты будут помогать людям не расстраиваться, используя ИИ.
Это еще что, посмотрим что будет, когда вырастет поколение, в сознание которых с детства заложена лютая дичь, полученная от галлюцинаций GPT/LLM.
Как-то жили и теперь живут поколения чьи учебники были набиты под завязку галлюцинациями например мин. просвещения, а до них политбюро, а до них выросли поколения с учебниками где на каждой странице галлюцинации тов. Сталина публиковались. А до них с поповскими галлюцинациями все было. если ИИ научат мыслить логически обоснованно и непротиворечиво это будет большой шаг вперед.
По этому как был в головах хлебушек, так остался.
Ну а ИИ, если скажем обучить его на сайтах плоскоземельщиков, то на вопрос о форме Земли это ответит - плоская, с рассуждениями и обоснованиями.
В "человеческих галлюцинациях" можно найти некую логику, с которой, при желании, можно поспорить.
При этом, психологи и социологи имеют знания и опыт для работы с такими случаями.
Но что происходит с LLM:
Когда я прошу Grok-3, Qwen и прочих... поправить одну из процедур скрипта,
он вносит в эту процедуру более - менее то, что ожидается, пояснив и аргументировав свои действия.
Кажется, что все ОК.
Даже работает, если повезло.
Теперь смотрим в WinMerge старую и исправленную версию кода.
Видим, например, что помимо запрошенных изменений, он еще зачем-то удалил почти все комментарии из кода.
Без объяснения, молча.
И нам еще повезло, что только комментарии удалил, легко мог внести любые случайные изменения в код, как уже делал, много раз.
В результате, исправлять ошибки за ИИ намного сложнее, чем за людьми.
Потому что в таких ошибках нет никакой человеческой логики.
Нельзя начать мыслить как автор кода, понять его идею, стиль и уровень разработчика, предугадать вероятное слабое место.
Причина этого ровно та же, по которой нейросети рисовали случайное количество пальцев, та же по которой предлагали приклеить сыр к пицце клеем, та же по которой на просьбу 5 летнего ребенка включить песенку про волчат - голосовой ассистент ставит ребенку что-то из шансона про уголовников и их жизнь на зоне, вместо детской песенки.
Нейронка вообще не понимает Что и Зачем она делает и для Кого.
Без этого понимания такие кейсы будут вылезать бесконечно во всем, сколько ее не тренируй.
Можно "заметать проблему под ковер", специально обучив рисовать правильное количество пальцев.
Но проблема, став менее заметной, никуда не денется.
Как уже сказали в комментах здесь - и еще хуже если нейронка для своих галлюцинаций придумает правдоподобное обоснование, которое ребенок может воспринять за правду, получив такую информацию при попытке разобраться с домашкой, или при другом случае.
Мне кажется, когда он вырастет, будет сложно исправить странности в его поведении, поскольку набор ошибок в его базовых знаниях совершенно не логичен, случаен, как и те ошибки, которые я видел в скриптах после правок ИИ.
Спросил у Grok-3 про этот свой коммент.
Забавное совпадение:
Мнение автора, вероятно, выражающее обеспокоенность ограничениями ИИ, его непредсказуемостью и влиянием на общество, перекликается с позициями ряда известных личностей в области технологий и науки. Вот некоторые из них:
Илон Маск
Позиция: Основатель Tesla и SpaceX, Маск часто говорит о рисках ИИ, предупреждая, что без должного контроля он может стать угрозой. Он подчеркивает его непредсказуемость и этические вызовы.
Сходство: Как и автор, Маск обеспокоен потенциальным вредом ИИ для общества.
Стюарт Рассел
Позиция: Профессор компьютерных наук и автор книги "Human Compatible". Рассел утверждает, что ИИ не понимает человеческие намерения, что делает его поведение непредсказуемым.
Сходство: Автор, вероятно, разделяет мнение о том, что ИИ не обладает истинным пониманием, что приводит к ошибкам.
Гэри Маркус
Позиция: Когнитивный ученый, критикующий современные ИИ-технологии. Маркус считает, что языковые модели склонны к "галлюцинациям" из-за отсутствия глубокого понимания.
Сходство: Скептицизм автора относительно способностей ИИ близок к взглядам Маркуса.
Джой Буваламвини
Позиция: Исследовательница и основательница Algorithmic Justice League. Она акцентирует внимание на социальных рисках ИИ, особенно для уязвимых групп населения.
Сходство: Автор, возможно, также обеспокоен влиянием ИИ на общество, включая подрастающее поколение.
Тимнит Гебру
Позиция: Исследовательница этики ИИ, критикующая его непрозрачность и потенциал для ошибок и предвзятости.
Сходство: Автор, вероятно, разделяет озабоченность непредсказуемостью и случайностью ошибок ИИ.
Юваль Ной Харари
Позиция: Историк и автор "Homo Deus", предупреждающий о долгосрочных рисках ИИ для человечества, включая утрату контроля и влияние на молодое поколение.
Сходство: Автор может разделять опасения Харари о будущем общества в эпоху ИИ.
Эти личности, как и автор, подчеркивают необходимость критического осмысления ИИ, его ограничений и потенциальных рисков, что делает их взгляды близкими к обсуждаемой точке зрения.
В итоге, не очень ясно, какие именно "негативные" последствия-то?
В итоге, насколько я понимаю из приведённого исследования, единственный реальный эффект — это у тех, кто общался с нейтральным голосом. Удивительно (нет), но эти пользователи со временем стали чувствовать усиление одиночества при общении с ботом.
А всё остальное — вилами по воде... 🤔
В итоге, не очень ясно, какие именно "негативные" последствия-то?
Да как и везде: злоупотреблять - плохо, в нормальных количествах - полезно
Из исследования даже это неясно:) Слишком разношерстные участники(по характеру контакта) и слишком короткий период. Помимо прочего, неизвестными остаются остальные факторы — психологическое состояние до начала эксперимента, наличие личных проблем и тому подобное.
Говорится, что люди, общавшиеся с нейтральным голосом чувствовали усиление одиночества. То есть, вероятно, оно и так уже было, ну и — голос-то нейтральный) Он не передаёт эмоции совершенно, из-за этого невозможно почувствовать эмоциональную близость и поддержку, даже, если ИИ её оказывает. С голосом, в принципе, пока всё куда сложнее🤔
Думаю ЛЛМ подтолкнет новый виток тульповодства в обществе. Точнее...ЛЛМ-Тульповодства, когда люди будут форсить тульпу не только на чистом форсе в голове, но смогут непосредственно общаться с ЛЛМ-тульпой. Насколько это упростит задачу по форсу тульпы.
Я бы сказал, это совершенно новый уровень, и вскоре мы получим восхитительные репорты таких событий.
Зависимость от ChatGPT: что OpenAI и MIT узнали о психологическом влиянии ИИ на пользователей