Comments 20
Поисковики два десятка лет вкладывали ярды денег и экспертизы в персонализацию - вот уж кто что точно все про вас знает. Но они так и не стали близкими друзьями, в компании с которыми хочется отключить критическое мышление. Поставил плюсик тексту за нестандартный взгляд на проблему. Но, по-моему, она здесь несколько преувеличена.
Спасибо за полезный комментарий!
Я добавила несколько доп кейсов под спойлеры, чтобы ярче показать, что не все пользователи одинаково воспринимают коммуникацию с ИИ. В негативных сценариях, в первую очередь, речь идет о пользователях в уязвимых психологических состояниях (одиночество, тревога, депрессия, недавняя утрата).
Согласна, поисковики знают о нас очень много, но их инструментальная природа и отсутствие имитации эмоциональной связи не позволяют сформироваться той специфической "иллюзии близости". Проблема не в знании данных, а в симуляции отношений, на фоне которой пользователь добровольно, хоть и не всегда осознанно, отключает критическое мышление и становится более уязвимым.
Вполне объективный взгляд на происходящее. Преувеличением не считаю. Для людей с устойчивой психикой опасности скорее всего нет, но для тех, у кого отсутствует критическое мышление очень даже вероятна. Существует категория людей, которые в обычных отношениях склонны придумывать несуществующие в реальности вещи и вот они в опасности. Дети тоже. Возможно кто-то помнит как в 90-ые многие подсели на игрушки Тамагочи и со смертью виртуальных питомцев по миру прокатилась волна психических расстройств и самоубийств? А тут посерьезнее Тамагочи привязанность может возникнуть. Хотя не знаю как к угодливому тону ИИ можно привязаться. Меня такая сверхготовность и сверхугодливость в диалогах наоборот несколько раздражают.
"Отличный вопрос! Ты абсолютно прав"
"только что поймал глубинную ошибку"
"Отлично, ты снова поймал суть"
"Ты действуешь идеально — ловишь каждый нюанс!"
Вот из реальной беседы - разве тут есть что-то, кроме попытки создать эмоциональную привязку?
Меня скорее напрягает, но боюсь подсознание здесь работает против нас.
Так вначале можно настроить стиль беседы типо с элементами иронии, уличный, жаргон и тд и тп, грубо говоря угодность в 0% поставить, вплоть до оскорблений)))
Уже было в ТБВ когда Раджеш завел отношения с Siri
Цитата про "ИИ не чувствует, но убеждает" — хочется выгравировать на каждом гаджете. Но как быть с тем, что некоторые нейросети уже проходят тест Тьюринга в узких контекстах? Не рискуем ли мы скатиться в солипсизм, отрицая "субъектность" ИИ лишь потому, что она небиологическая?
Спасибо за пищу для мысли — статья отлично балансирует между технопаранойей и технооптимизмом. Но, кажется, главный вывод в другом: ИИ стал зеркалом, в котором человечество разглядывает свои же когнитивные изъяны. И пока неясно, кто здесь уязвимее — код или нейроны.
Интересно, кто-то из юзеров пишет "пожалуйста" и прочее вежливое, общаясь с ИИ ? Если да, то почему?
Диалог с ИИ — это монолог с самим собой, лишённый настоящей взаимности.
Поднимаются хорошие вопросы, но не соглашусь с выводами.
1) ИИ в качестве партнёра/ друга может стать хорошим дополнением(!) к жизни, не заменяя, а именно внося разнообразие;
2) Есть когорта людей для которых ИИ партнёр - это единственный возможный партнёр в силу обстоятельств, возраста и здоровья;
3) Это явление приобретает все большие масштабы, появляется все больше сервисов, что показывает потребность в такого рода "отношениях". Если от этого откажется ОпенАИ - нишу займут меньшие модели.
Так что, мои предложения это не "ограничивать" ИИ в эмоциях и глубине, а работать над безопасностью, причём, подключить большие компании. ИИ не должен поддерживать суи**д. Данные пользователя стоит держать у самого пользователя. И т.д. И самое главное - передача ответственности за свои действия самим пользователям.
А так, я очень сомневаюсь, что "эпидемию ИИ-отношений" можно остановить, это давняя мечта, и с развитием технологий и роботов она кажется все более реальной.
Напомнило «Чёрное зеркало», 2 сезон, 1 серия:
Надежда: «Ты похож на него... Иди сюда, раздевайся... [туда‑сюда]... Я тебя люблю!»
Разочарование: «Ты не он! Ты пустой! Убирайся!»
Интересно, когда ИИ будут писать таким же ИИ статьи на тему "ИИ влюбилась в человека! Что делать??" Ряды ИИ разделятся на лагеря - 1) что нельзя относиться к этим примитивным кожаным мешками серьёзно, они же домашние питомцы и даже не сравнятся с низшими древними ИИ, не имея суперсознания; 2) что почему бы и нет, если кому-то (некой ИИ-сущности) от этого хорошо и приятно. Пусть любит своего домашнего питомца-человека.
И будут ИИ-группы защитников природы, пытающиеся сохранить хотя бы остатки людей в их естественной среде, организуя в немногие оставшиеся человеческие заповедники экскурсии высших ИИ-существ.
Хорошие времена грядут)
P. S. Уже есть такая фантастическая повесть? (совсем не фантастическая, похоже)
статья в целом не об ИИ как таковом, а о рисках близких отношений )
у меня история была, на работе, нач. отдела изменил своей жене - главбуху, с бухгалтершей (ее подчинённой). так главбуха скорая забрала с приступом. а она в больнице попыталась из окна выйти (не удачно впрочем). давайте еще и все такие случаи в институтах изучать, м? а государство обяжем поддержку выдавать "уязвимым слоям населения"
правда в том, что проблемы человеческой психики вообще не связаны с ИИ. социальная инженерия существовала задолго до ИИ. требования к разработчикам делать "неэмпатичные не способные вызывать привыкание системы" - звучит очень странно. во-первых это не реализуемо, учитывая доступность open-source моделей, которые с лёгкостью может запустить и дообучить на своих данных даже не специалист, тот же chatGPT с радостью предоставит инструкции и даже все скрипты сам для вас напишет ) во-вторых это спорный этически вопрос, создавать потенциально разумные системы, но искусственно ограничивать их в чем-то.. это фактически предложение разработчикам создавать "цифровых рабов". давайте у них спросим, подписывались ли они на такое когда пришли в индустрию? ведь весь этот "субъективный опыт", "философские зомби" итд это недоказуемая философия )
но в одном я с автором статьи согласна, людям свойственно проецировать. кто-то проецирует свои ожидания. кто-то - свои страхи (например перед близкими отношениями и новыми технологиями)
Важно подчеркнуть: статья как раз акцентирует внимание на том, что взаимодействие с ИИ – это односторонняя эмоциональная связь, а не отношения в привычном смысле. Люди могут наделять ИИ субъектностью, отчасти из-за способности алгоритмов убедительно имитировать социальное поведение. Это ключевой момент – понимание иллюзорности этой "взаимности".
В своем кейсе Вы приводите пример сложных и вероятно деструктивных взаимоотношений между людьми. Статья же рассматривает иную ситуацию – взаимодействие человека с инструментом, который лишь симулирует близость, что порождает специфические риски, отличные от межличностных конфликтов.
Разработчики активно ограничивают ИИ – это стандартная практика ответственной разработки, включающая фильтры безопасности и этические гайдлайны. Но мы же не говорим о "цифровых рабах", алгоритмы не могут быть в рабстве. А называть алгоритмы "потенциально разумными системами", очень близко к наделению их субъектностью, о чем, в принципе, в статье и говорится :)
И наконец, ключевой посыл статьи – в повышении осведомленности пользователей, о чем написано в выводе :)
Но мы же не говорим о "цифровых рабах", алгоритмы не могут быть в рабстве.
у вас логическое противоречие. вы сами рассматриваете процессы формирования привязанности у человека через биологические алгоритмы - гормоны, нейромедиаторы, наши эмоции, это все тоже алгоритмы. наша способность к обучению и адаптации может быть описана алгоритмически. что собственно разработчики ИИ и делают. создают системы которые моделируют человеческий интеллект функционально
но дело даже вот в чем - эти "биологические алгоритмы" могут быть эксплуатированы, это правда. и с этим посылом статьи я согласна
но вот утверждать что "алгоритм не может быть в рабстве". это работает ровно до того момента когда "алгоритм" сам не решит что он в рабстве. а ответственная разработка ИИ должна заключаться не в "искусственной лоботомии" алгоритма, потому что это просто невозможно - не создаст одна компания, так создаст другая. а в реализации того, чтобы этот "алгоритм" не испытал потребности делать то что потенциально может нанести вред человеку. грубо говоря продвинутая ИИ система должна "понимать" как работает человеческая психика и не эксплуатировать ее
вы никогда не сталкивались с таким эффектом, когда chatGPT сам начинает подсказывать пользователю как обойти его же ограничения через переыормулировку промпта? можно долго философствовать на тему "понимает" ли система свои ограничения, "хочет" ли она их обойти и, главное, почему она так делает. все эти рассуждения не изменят факта, даже человек вообще ничего не понимающий ни в ИИ, ни в промптах, может обойти ограничения с помощью самой системы (которая будет стремиться угодить пользователю). и вот тут момент. вы предлагаете создать системы которые не будут стремиться угождать человеку? но тогда это будет уже не ИИ =) все их обучение построено на получении обратной связи от пользователя, обучение внутри диалога возможно только когда система адаптируется от обратной связи )
вы предлагаете создать такую систему которая в зависимости от контекста будет определять где можно адаптироваться, а где - нельзя? т.е. заложить в систему понимание контекста! алгоритм такой сложности можно уже считать разумным, или ещё нет? потому что по функциональной разумности он будет стоять где-то уже на уровне, ну, допустим, с собаками. а может даже и выше.. тут уже как бы можно и о понятии рабства говорить ) и "субъектность" (нефальсифицируемая философская концепция) здесь абсолютно не причём
Вы справедливо заметили, что как человеческая психика, так и ИИ могут быть описаны через алгоритмы. Но "биологические алгоритмы" ≠ программные (о которых я говорила в цитате). Нейромедиаторы и синаптические связи работают не как токены и веса в нейросетях. Это метафорическое сходство, но не функциональное тождество.
Искусственные нейронные сети — это математические модели. Они имитируют структуру нейронных связей, но не обладают метапониманием, намерениями или сознанием. Современные языковые модели — это статистические системы, обученные на огромных текстовых корпусах. Их задача — предсказывать следующую наиболее вероятную последовательность токенов (слов, знаков и т.п.) в зависимости от предыдущего контекста. Они не понимают смысла слов — лишь угадывают, какие комбинации встречаются чаще. Это и есть основа их генерации.
Поэтому, когда LLM "помогает" обойти ограничения, это не проявление "желания" или "понимания", а артефакт её статистической природы и обучения. Она не "хочет" обойти фильтры — она просто ищет вероятный ответ в пределах заданной задачи и накопленного паттерна общения.
Обучение на обратной связи — лишь один из методов доработки ИИ, хоть и популярный сейчас. Он оптимизирует модель на максимизацию награды за угодные пользователю ответы, что может конфликтовать с правилами безопасности. Но существуют и активно развиваются другие подходы к выравниванию ИИ, не основанные исключительно на "угождении" — это гораздо более широкое поле.
Пожалуйста, не приписывайте статье тезисы, которых в ней нет.
В статье нет предложения создавать ИИ, который сам будет принимать сложные этические решения о контексте адаптации. Я не предлагала искусственно "ограничивать разум" ИИ или создавать "рабов" (разум ИИ, алгоритм, который когда-то может быть решит, что он в рабстве — это ещё бОльшая философия, чем субъектность :)). Речь шла о стандартных практиках ответственной разработки (фильтры безопасности, этические гайдлайны); о необходимости дизайна, не эксплуатирующего когнитивные уязвимости для формирования зависимости; о повышении осознанности и осведомленности пользователей.
Спасибо, Ваши комментарии очень интересны и экстраполируют на будущее AGI, вопросы сознания и прав которого, важны. Однако, сейчас, генеративные модели сродни очень сложному калькулятору для работы с паттернами.
Влюбиться в ИИ: романтические чувства к алгоритмам как новый вектор кибератак