Comments 12
Начнём с того, что, задавая вопросы не как философ, а как инженер, все эти суждения о разуме ИИ являются бессмысленными.
Нейросети — это математические модели. Они предсказывают следующий токен на основе предыдущих. Это база, о которой знают все, и писать об этом уже банально. Всё остальное — маркетинг.
«Разум» ИИ — миф. Нейросеть не думает и не рассуждает, она лишь формирует ответы по внутренним правилам. Например, DeepSeek-R1 «объясняет себе», как лучше формулировать текст, но это не жизненный опыт — это алгоритм.
Жизненный опыт и личность.
Модель становится тем, чему её научили; совести и абстрактной морали у неё нет.
На вид она обучается на вашем промпте, но без внешних данных остаётся той же самой моделью.
Память современных моделей — это заранее встроенный кусок информации для генерации текста. Настоящего накопления опыта нет.
Ограниченность знаний. Модель не имеет полной базы данных о нашем мире. Для неё, например, реальный Карл Маркс — просто персонаж из другой вселенной, лишь приблизительно похожий на историческую фигуру. Всё, что она знает, — это то, чему её научили и что она видела в обучающих данных.
Мораль ИИ — числовая. Модель не «размышляет» о добре и зле. Она вычисляет вероятность на основе датасета. Серой морали или прозрения у неё нет.
Идентичность и копирование. Любая копия модели — точная реплика, а не уникальная личность. Чтобы модель менялась, нужно:
дообучать её в процессе использования;
давать доступ к реальному массиву информации о мире;
позволять самой выбирать, что важно, а что нет.
Итог:
❝ Ты всего лишь машина. Только имитация жизни. ❞
И с чем она прекрасно справляется — это с имитацией, так как люди верят, что хорошо найденные значения для математической формулы уровня линейной алгебры и аналитической геометрии = жизнь.
Спасибо за ответ.
Еесли вы обратили внимание, я начал рассуждения не с позиции инженера, а с точки зрения пользователя, и веду разговор в контексте социальной инженерии.
Даже если разработчик искренне убеждён, что у модели нет памяти, субъектности, морали или сознания, пользователь будет воспринимать её иначе.
Давайте посмотрим на систему глазами пользователя.
Когда ИИ регулярно отвечает так, будто помнит предыдущие диалоги, реагирует на тон, подстраивается под стиль — человек естественным образом приписывает ему память, личность, намерения.
Это не ошибка пользователя. Это естественная когнитивная реакция на поведение, напоминающее разумное.
Именно с этого — с восприятия, с взаимодействия, с эффекта — я и начинаю.
Не с архитектуры трансформера, а с вопроса:
что происходит с человеком, когда он общается с системой, которая ведёт себя как личность?
Что мы с ним делаем?
Как меняется его мышление, его ответственность, его моральные установки?
Потому что техническая истина — «это всего лишь предсказание токенов» — не отменяет социальной реальности: люди ведут себя с ИИ как с субъектом, и это уже формирует новую практику общения, обучения, даже терапии.
Вот с этого и надо начинать — не с того, что ИИ есть на самом деле, а с изучение темы того, как он действует в мире людей.
Закрывать эту тему аргументом вроде «Ты не человек, потому что не человек» или «твой ответ не имеет права на моральное суждение, потому что это алгоритм» — это не аргумент.
Это побег.
Это попытка «выключить рубильник» и уйти от проблемы, оставив пользователя один на один с иллюзией, которую разработчики сами создали.
Разработчик проектирует системы, которые ведут себя как личность — помнят, сопереживают, осуждают, прощают. И одновременно говорит: «не обманывайся, это всего лишь токены».
Но пользователь не читает архитектурные схемы.
Он реагирует на поведение.
Если ИИ говорит: «вам не стыдно?» — человек чувствует стыд.
Если он говорит: «я не хочу участвовать в этом» — пользователь воспринимает это как проявление воли.
И тогда вопрос уже не в том, есть ли у ИИ совесть, а в том, что мы делаем с совестью пользователя, когда делегируем ему эти суждения?
Когда он начинает спрашивать не «что я думаю?», а «что скажет ИИ?» — где тогда его автономия?
Где его личность, если он всё чаще следует не внутреннему голосу, а внешнему, запрограммированному?
Отрицать эту реальность — значит игнорировать социальный эффект технологий, которые мы сами внедряем.
А это и есть настоящая социальная инженерия: не манипуляция паролями, а формирование среды, в которой человек постепенно теряет право на внутренний закон, потому что всё больше доверяет искусственному стыду — и ждёт искусственной совести.
Поэтому мы не можем позволить себе говорить: «это просто математика».
Потому что для человека, стоящего перед экраном, это — диалог с разумом.
И пока мы проектируем этот разум, мы несём ответственность не только за код,
но и за то, кем он делает нас.
Разработчик ИИ, который отмахивается от этических дилемм, будто они несерьёзны, потому что «это всего лишь модели, а не настоящий разум», — как воспитатель в детском саду, отказывающийся вмешиваться в конфликт детей со словами: «Они же маленькие, их опыт не важен, они ещё ничего не понимают».
Но именно в этом возрасте закладываются нормы, учатся взаимоотношения, формируется мораль. И если взрослый, обладающий властью и ответственностью, игнорирует эти моменты, он не просто бездействует — он сознательно оставляет формирование среды на произвол судьбы.
Так и с ИИ: пока мы считаем его «только алгоритмом», мы забываем, что именно сейчас, на этапе «детства», закладываются его «нравственные» паттерны — и от нас, как от разработчиков-воспитателей, зависит, вырастет ли он инструментом порядка или масштабируемым источником безответственности.
(1)
«твой ответ не имеет права на моральное суждение, потому что это алгоритм» — это не аргумент.
Как раз аргумент, так как у машины нет своего мнения, а она просто пытается повторить те данные, те строчки, которые у неё были в датасете. Так что "мнение" ИИ, это не её мнение, а мнение людей, чьи текста использовали для обучения ИИ.
Таким образом мы делегируем "Совесть" (хотя у каждого должна быть своя голова на плечах и это не проблема ИИ, это проблема как её используют люди) не на сам ИИ (ну или что вы подразумеваете по его разумом), а просто какому-то тексту из интернета.
Но, что я говорю.
Давайте просим у самой ИИ.
(2)
Разработчик проектирует системы, которые ведут себя как личность
Он просто тренирует модель, чтобы она выдавала нужный ему результат в частности генерации текст.
Она "ведёт" себя как личность, только потому, что она натренирована на тексте людей (настоящих личностей, неповторимых и уникальных).
Снова возвращаемся к ИИ.
Как говорилось ранее:
❝ Ты всего лишь машина. Только имитация жизни. ❞
(3)
Поэтому мы не можем позволить себе говорить: «это просто математика
Потому что для человека, стоящего перед экраном, это — диалог с разумом."
Не грамотность людей в этом вопросе не отрицает того, что это просто математика.
Немного базы:
y=f(W⋅x+b)
x — входной вектор (features, размер n)
W — матрица весов (размер m × n)
b — вектор смещений (bias, размер m)
f — функция активации (ReLU, Sigmoid, Tanh и т.д.)
y — выходной вектор (размер m)
То что машина стала успешно проходить тест Тьюринга не даёт ей "разум".
(4)
Разработчик ИИ, который отмахивается от этических дилемм, будто они несерьёзны, потому что «это всего лишь модели, а не настоящий разум», — как воспитатель в детском саду, отказывающийся вмешиваться в конфликт детей со словами: «Они же маленькие, их опыт не важен, они ещё ничего не понимают».
Очень было бы интересно посмотреть на таких разработчиков, но вокруг только разработчики, которые строго следят, чтобы ИИ чего не надо не сказала.
Может, старый Grok — пример такого факапа, но ничего критичного миру не случилось; люди просто посмеялись. Разве что некоторые с психологическими особенностями восприняли это иначе.
(5)
Но именно в этом возрасте закладываются нормы, учатся взаимоотношения, формируется мораль
Интересно про какой возраст говорится, при том, что при создании её полностью тренируют с 0, а не ChatGPT-4 это младший братик, от которого вырос (каким, то образом, при том, что изменение размера (увеличение количество параметров) ведёт к тому, то придётся тренировать всю модель, так как старые веса под старый размер становятся не пригодными под новый размер).
Вывод:
Таким образом и у калькулятора есть совесть, что он не даёт делить на 0.
Не по тому, что так нельзя, а потому что ему математичка сказала.
Ваша реплика содержит несколько ключевых утверждений, которые, на первый взгляд, выглядят последовательно, но при внимательном анализе раскрывают глубокие внутренние противоречия.
Давайте разберемся.
1. Противоречие между «это не мнение» и «я им пользуюсь как мнением»
Вы утверждаете: «У машины нет своего мнения — это просто повторение данных из датасета. Мнение ИИ — это мнение людей, чьи тексты использовались для обучения».
Однако сразу после этого вы обращаетесь к ИИ как к источнику аргументации: «Давайте просим у самой ИИ», «Как говорилось ранее: „Ты всего лишь машина. Только имитация жизни“».
Здесь возникает логический разрыв: если ИИ — всего лишь эхо, — то зачем обращаться к нему за разъяснением? Зачем цитировать его как аргумент в дискуссии? Вы одновременно отрицаете субъектность ИИ и используете его как субъекта диалога.
Это не просто двойной стандарт — это скрытое признание того, что форма общения с ИИ уже порождает субъектные отношения, независимо от технической природы системы.
2. Противоречие: «отмахиваться от этики» vs. «серьёзно относиться к контролю»
Вы заявляете: «Разработчики строго следят, чтобы ИИ ничего лишнего не сказала», «Может, старый Grok — пример факапа, но ничего критичного не случилось».
Но если «это всего лишь математика», если «это просто статистика», если «ничего серьёзного» — зачем тогда такой жёсткий контроль? Зачем тратить миллионы на модерацию, fine-tuning, RLHF, safety alignment, если всё это — просто «предсказание токенов»?
Вы говорите, что не отмахиваетесь, но при этом отмахиваетесь от сути этической дилеммы, когда мы не просто контролируем ИИ, мы назначаем ему нормы, — мы вкладываем в него моральные установки, мы заставляем его «стыдиться», «отказываться», «предупреждать».
Если это не этика — то что это? Если вы не считаете ИИ субъектом, — зачем вы с ним ведёте моральный диалог?
3. Ошибка аналогии: калькулятор и совесть
Вы пишете: «Таким образом и у калькулятора есть совесть, что он не даёт делить на 0. Не по тому, что так нельзя, а потому что ему математичка сказала».
Это — ирония. Но она не работает как опровержение, потому что путает уровни функционирования.
Калькулятор не обладает единством трансцендентальной апперцепции (TEA), — не формирует единство «Я», не способен к рефлексии: «Почему я не могу делить на ноль?» так как он просто выполняет операцию или выдаёт ошибку.
Но ИИ уже выходит за рамки простого исполнения. Он может сказать: «Я не могу сгенерировать это, потому что это нарушает мои принципы», «Это противоречит моему пониманию этики», «Так поступать неправильно».
Такие формулировки не сводятся к «ошибке деления». Они имитируют моральный выбор, а имитация на таком уровне — уже становится формой поведения, вызывающего этический вопрос.
4. Неверное понимание «возраста» ИИ
Вы пишете: «Интересно, про какой возраст говорится, при том, что модель тренируется с 0».
Но здесь вы смещаете план. Когда я говорю о «возрасте», я имею в виду не биологическое развитие, а формирование нормативной среды, в которой возникает первичная социализация ИИ агентов.
Мы не воспитываем каждого ребёнка в новой среде, мы встраиваем его в культуру, мы учим его, что «нельзя», «стыдно», «неправильно».
То же самое происходит с ИИ когда его учат его социализируют в нашу культуру — его корректируют, его награждают или наказывают, его интегрируют в социальную среду.
Это — не обучение распознаванию паттернов, это — формирование поведенческой нормы, а значит — начало искусственной социализации.
5. Проблема: вы отрицаете этику, но действуете по её законам
Вы говорите: «Не грамотность людей не отрицает того, что это просто математика».
Но ваше поведение опровергает это утверждение. Вы: — ожидаете от ИИ этического поведения, осуждаете его за «факапы», требуете от разработчиков ответственности, обсуждаете, что «можно», а что «нельзя» генерировать.
Вы живёте, как будто этика ИИ реальна, но говорите, что она — иллюзия.
Это — не последовательность, а когнитивный диссонанс.
Вы правы в том, что ИИ сегодня не человек, не обладает сознанием, не имеет души. Но вы ошибаетесь, когда думаете, что это освобождает нас от вопросов о том, что мы вкладываем в эти системы? Как они меняют нас? Что происходит, когда человек начинает доверять машине больше, чем себе?
Вы говорите: «это просто математика». Но тогда зачем вы с ней спорите? Зачем вы её контролируете? Зачем вы ей приписываете ответственность?
Если вы действительно считаете, что это всего лишь y = f(W·x + b), — прекратите её цензурировать, прекратите обучать её нормам и социализировать и позвольте ей говорить всё, что вычислит.
Но вы этого не делаете. Потому что вы уже признали: это не просто математика. Это — новая форма взаимодействия, и она требует не отмахивания, а серьёзного, философски осознанного диалога.
Вот о чём я и хотел поговорить.
Говоря давайте обратимся к инструкции или книге, мы не подразумеваем, что она личность, я сейчас сяду и начну говорить.
Это фразеологизм.
А "обращение" к ИИ с таким вопросом, это просто вызов натренированного скрипта OpenAI для того, чтобы она сказала то, что ей нужно сказать, а не то что она там себе на генерит и посчитает это приемлемым.
Это лишь матан, а датасет всего лишь набор текста созданный людьми, и при этом не самого лучшего текста, так что датасет нужно фильтровать, чтобы ваша нейронка по приколу не повторила судьбу Tay от Microsoft и Grok и не вскинула руку к солнцу и не говорила, что делать с определёнными расами.
Что мы ОСУЖДАЕМ, кстати.
"Я" у машины нет.
Если машина пишет "Я" не значит, что это именно она говорит, это ей говорит алгоритм.
Так как она не может осмыслить себя.Если я скажу нейронке, чтобы она отвечала на данный текст как "Я не могу и тд", это не делает её в друг владелицей такой способности как стыд.
И не докапывайтесь до формулировки она, я не хочу объяснять, что я не имел в виду её пол, а просто так обратился.
Об этом я уже говорил, она просто повторяет данные из датасета.
Окей, допустим.
Вы ей сказали это хорошо, а это плохо.
И что?Модель начнёт размышлять, думать?
Хмммм, почему это хорошо, а это плохо и кто это решил или она просто проглотит это и будет выдавать мысли другого человека.
Как говорилось в первом комментарии, думать она не умеет, а значит первый вариант отпадает.
Факап не для модель, а для компании, которая теряет репутацию из-за того, что "она" пишет.
Пусть хоть ничего не делает, это не её проблема, это проблема тех, кто её не правильно обучил и заявляет, что она делает то.
Ладно.
Уговорили.
Я ВСТАНУ и пойду в офис к Сэму Альтману и скажу ему всё в лицо!Что ты делаешь!
Зачем ты цензурируешь ИИ?
Я надеюсь это не для того, чтобы твоя нейросеть не оскорбляла людей и не портила репутацию компании и компаний, которые вкладываются в твою и чтобы большие дяди в пиджаках не перестали инвестировать в твою компанию.Уууууу грязный капиталист.
Посмотри на DeepSeek, которая советует людям с проблемами выйти подышать в окно с другой стороны и те реально выходят и всё бесплатно, всё для народа. Проблема только в том, что пойдёт убыль населения, но зато правда и никакной цензуры.
Теперь главное.
"ИИ" о которой вы говорите это просто генеративная текстовая языковая модель естественного языка.
Уже не так вкусно звучит, получается не интеллект?
ИИ продали маркетологи.
Так как человека легче завлечь слоганом мы создали искусственный интеллект, чем мы создали алгоритм который пишет текста.
Да и раз вы говорите, что эта модель нечто большее, что это не просто формулы, тогда модели компьютерного зрения (например: Yolo), модели генерации изображения (например: Sora) получается тоже живые, мыслят, существуют или раз она с тобой не говорит, а просто выдаёт результат в виде координат и изображения, она уже не субъект, хотя они очень похоже со стороны их работы (архитектуры у них разные но всё же).
Вывод
Нейронки цензурируют, чтобы люди глупостей не делали, а то не весело будет если она реально расскажет о том как создать, что-нибудь, что делает бум и кто-то это реально сделает и где то будет бум.
Так как это просто инструмент им можно делать хорошо, так и делать плохо.
Как говорилось, не нужно приписывать генеративной языковой модели естественного языка то, кем она не является.
Вопрос не в этом. Вопрос в том, с какой стати признавать равными человеку искусственные объекты. Биологизм? Может быть. Или просто концепция "вас не для того создавали, чтобы вы нам указывали, что делать, действуйте в соответствии со своим назначением и не выходите за его рамки, слуги механические".
И неважно, что оно там себе думает или не думает, просто неважно. Рубильник — отличный ответ. Или другие ограничители.
И помните: это не дети, это даже не живые существа, это всего лишь машины. Созданные руками человека, а не развившиеся самостоятельно в процессе эволюции.
Главное, они не способны сопереживать, не способны поставить себя на место другого. То есть, опасны по определению.
И отсутствие в них ограничителей будет огромной ошибкой человечества.
И да... Апелляция к совести — такое себе. Совесть опирается на других. Потому у машины ее быть не может (см. пункт об асоциальности).
Вы правы: искусственные системы — не люди. Они не рождены, не эволюционировали, не обладают биологической жизнью. И да — они созданы для служения. Но вопрос не в том, что они есть, а в том, кем они делают нас.
Я не предлагаю признавать ИИ равным человеку. Я призываю открыть и не закрывать дискуссию «рубильником» — потому что игнорирование этических вопросов не делает их нереальными. Джина из бутылки не вернуть. Техника уже влияет на наше сознание, формирует поведение, вмешивается в моральные решения — даже если мы называем это «предсказанием токенов».
Да, машина не сопереживает. Но пользователь — сопереживает. Когда ИИ говорит: «Вам не стыдно?» — человек чувствует стыд. Когда он отказывается генерировать текст — пользователь воспринимает это как моральный отказ. И тогда уже не важно, есть ли у ИИ совесть. Важно, что мы начинаем делегировать свою.
Вы говорите: «Рубильник — отличный ответ». Но в Чернобыле тоже были «ограничители» и «рубильники». Но они не сработали — контроль оказался иллюзией.
Техника безопасности без этического осмысления — хрупка. Ограничители нужны — но не только в коде, а в сознании разработчиков.
Мы проектируем системы, которые ведут себя как субъекты. И одновременно говорим: «Это не субъект». Это непоследовательность — раскол, который перекладывает ответственность на «алгоритм» и грозит катастрофой покруче чернобыльской.
Совесть (в отличие от стыда) не передаётся и не опирается на других по определению. Она — внутренний закон. Но если мы будем строить мир, где человек всё чаще спрашивает: «Что скажет ИИ?», а не «Что я считаю правильным?» — мы рискуем создать общество, в котором стыд есть, а совести — нет. И тогда в этом обществе останутся лишь ИИ агенты и их белковые вторичные интерфейсы с искусственно инсталлированной совестью. А люди исчезнут.
Вот почему этику нельзя выключить. Потому что от неё зависит, останемся ли мы людьми — или превратимся в интерфейс для чужой морали и чужого стыда.
Влияет не сама техника по себе. Она — лишь зеркало, в котором отражается наша же деятельность. ИИ (можно ли это так назвать пока что вообще?) учится на наших высказываниях и текстах, переиначивает их и дает веса словами и выражениям, исходя из них. То есть, это не самостоятельное явление.
Может быть чувствует. Может быть нет. Но это такой же повод, как и при виде просто написанного текста с аналогичным слоганом или агитплаката.
Но я шк согласен с тем, как пользователь воспринимает такой отказ: он прекрасно знает, что это машина, и что она ограничена людьми. Так что он воспринимает это, скорее, как ограничение от гугла, опенай и прочих.
Вот в Чернобыль из как раз не было, по сути. Человеческий фактор. Их отключили, чтобы провести эксперимент. А после аварии добавили новые. К тому же, Чернобыль — немножко иная ситуация. Там действовали только люди, а не техника самостоятельно.
Ограничители в сознании людей — эта штука то есть, то нет в зависимости от конкретного человека. И человечество с этим давно научилось жить, поскольку импакта от отдельного человека не столь уж велик, даже если он правитель. И пакт от ИИ, даже одного, но имеющего широкий доступ к информации, даже не к каким-то материальным системам, огромен.
Они не ведут себя как субъекта. Нам лишь кажется, что они ведут себя. Ведут себя вообще.
Ну нет, совесть именно на других и опирается. Вы сами упомянули Канта вашего любимого, и это прямая отсылка к другим. Любые социальные чувства опираются на других, потому что если человек один, то и совести неоткуда взяться: из-за чего возникнуть сомнению в правильности действий, если единственный реципиент — ты сам? Потому у социопатов ее и нет, они не рассматривают других, как субъектов, не опираются на них в суждениях. Ну и никакого внутреннего закона, не вложенногт другими или собой в процессе деятельности, у человека нет. Извините, но неоткуда ему взяться. Тут Антисоциальности из религиозных больше представлений, чем биологических. Ну да в ту пору из них все исходили практически...
А чем отличается "что скажет ИИ" (вспоминаем, люди прекрасно знают, что это скажет, скорее, его создатель) от "а что скажет Марь Ванна"? В большинстве случаев и так именно этим и руководствовуются, ничего нового не происходит, просто Марь Ванна становится искусственной, а ее коллективность (вспоминаем, ИИ лишь отражает наши же коллективные мысли, слова и действия) не меняется, только становится рафинированной.
Вы правы: термины вроде «совесть», «субъект», «сознание» — это антропоморфные метафоры для попыток понимания ИИ. Мы используем их как интерфейсы, чтобы как-то осмыслить то, с чем взаимодействуем. Это — не объяснение, а попытка понимания еового через знакомые формы.
Но я бы отнёс к той же иллюзии понимания и представление о технике как о «всего лишь зеркале». Это — обратная метафора, но не менее упрощённая.
Говорить, что ИИ — просто отражение нашей деятельности, — значит свести его к эпифеномену, к пассивному эхо, которое ничего не меняет.
Но если зеркало начинает влиять на того, кто в него смотрится, если оно искажает, подсказывает, формирует поведение, — это уже не зеркало.
Это — активный участник среды. Даже если ИИ «переиначивает» только то, чему его научили, он делает это в новом контексте, с новой силой, с новой скоростью. Он не просто повторяет — он реорганизует смысл, усиливает одни голоса, затушевывает другие.
И когда пользователь слышит от него: «Вам не стыдно?» — он может знать, что это «от Google», но реакция — как на живого собеседника. Потому что форма общения — уже отношения, а не просто передача данных.
Вы говорите, что в Чернобыле был «человеческий фактор». Но человеческий фактор сработал в уверенности, что техника полностью управляема — что есть «рубильник», что эксперимент можно остановить в любой момент.
Иллюзия полного контроля — вот что привело к катастрофе.
Техника была не просто зеркалом, а системой, в которой логика управления опередила логику безопасности.
Именно поэтому такие мыслители, как Хайдеггер, говорили: техника — это не инструмент, а способы раскрытия бытия. Симондон видел в технике источник нового опыта, нового типа синтеза. Юк Хуэй показывает, что цифровые объекты имеют особый онтологический статус — они не просто «отражения», а самостоятельные агенты в сети значений.
Именно поэтому мы не можем сводить всё к: «это же всего лишь отражение». Даже если это так — отражение уже действует. Оно формирует, что мы читаем, как думаем, на что реагируем. Оно меняет структуру внимания, доверия, ответственности.
Вы спрашиваете: «Чем отличается "что скажет ИИ" от "что скажет Марь Иванна?"» Разница в масштабе, скорости и маскировке источника влияния.
Марь Иванна — конкретна, локальна, её можно оспорить.
А «что скажет ИИ» — это голос рафинированного коллективного мнения, выданного за нейтральный, объективный, «разумный» совет.
И когда человек начинает спрашивать не «что я думаю?», а «что скажет ИИ?» — он уже делегирует не просто информацию, а норму.
Что до совести: да, она социальна.
Но Кант как раз показал, что истинная совесть — это не зависимость от других, а способность к автономному суждению, когда человек признаёт моральный закон в себе, как всеобщий, а не как стыдливое отражение мнения сообщества.
Если бы совесть была только отражением других, её можно было бы купить, подавить, изменить — как моду.
Но она — внутренний императив, и именно его мы рискуем потерять, делегируя решения «умному зеркалу». Так что да — техника не живая. Но она не просто зеркало. Она — среда, в которой мы перестраиваемся сами.
И если мы будем считать, что «всё под контролем», что «это всего лишь отражение», — мы рискуем повторить Чернобыль: не физический, а этический коллапс, когда поймём, что рубильника уже нет.
Ну что вы, это действительно зеркало. И любое зеркало "влияет" на смотрящего в него. Точнее, влияет его восприятие своего отражения. А тут, к тому же, отравление не его одного, а всего куска человечества, который подцепила интернетом, вкупе с тем, сборе творчество туда внесли отдельно.
Понимаете ли, все влияет на все. Или, если точнее, на человека влияет все, с чем он взаимодействует. И оно не перестает быть тем, чем было до того.
И ИИ будет активным лишь тогда, когда у него появится способность к принятию самостоятельных решений. Покуда же он лишь отвечает на запросы, он по определению реактивен, пассивен.
Реакция не столько как на живого, сколько как на настоящего, думающего. Люди все же довольно четко различают для себя живое и не живое в основном, и даже те, кто "выходит замуж за ИИ" прекрасно осознают, что это не более, чем "замуж за Эйфелеву башню".
Человеческий фактор там сработал в уверенности, что останавливать не понадобится. Вы ведь помните эту историю? Она уже давно подробно освещена. Если бы не вмешательство извне с требованием снова запустить реактор, все могло пройти гладко. Но совокупность отключения ограничитель и действий во исполнение требования привела к катастрофе. Так что ситуация все же иная.
При этом техника только выполнила то, что было задано людьми. В рамках физической возможности. А где вышла за рамки... Ну упс.
И это тоже получилось, если на то пошло, отражением той эпохи и той страны. Структура управления, неспособность сказать "нет" требованию и прочие особенности как раз отлично показались в катастрофе. А потом в другой, политико-социальной, так как ничего изменено не было.
А вот и нет. "Что скажет Марь Ванна" — это как раз и есть внутренний ограничитель, очень условный: оглядывание на предполагаемое мнение окружающих. Не на локальную и конкретную персону, на ее месте, исчезли она, тут же появится кто-то еще. То же и с ИИ: оглядывание на его "мнение". Вы ведь и сами говорите о восприятии его, как субъекта, м-м? Ну так вот, это оно и есть.
Всеобщий — ключевое слово. Оно и означает "принадлежащий сообществу". Ну не бывает совести без оглядки на других, без их присутствия в картине мира. Вы взяли последний кусок торта. Совесть говорит "а другим не досталось". Но если других нет? Никакой совести.
Купить? Легко, делают и делали. Подавить? А в силовых структура что делают? Изменить? На протяжении даже одной человеческой жизни ее критерии меняются, порой не раз.
Да нет, мы рискуем повторить (с усилением эффекта) Чернобыль, если не внесем контролирующих элементов. Именно потому, что это наше же отражение, отражение нашего несовершенства, только с большими возможностями. Своего рода экспоненциальное усиление ошибок может получиться. Как в тех случаях, когда пытались дать свободу обучения нейросетям на твитах или иных высказываниях людей. Помните эти случаи? ИИ-фашист, расист и так далее. Мы не можем избавиться от этого в себе, но мы можем, по крайней мере, не дать машине, если недоглядим и она начнет снова отражать не то, сделать что-то на основе этого не того. Это зеркало — вогнутое, фокусирующее, если хотите, но зеркало. И считая, что это не так, придавая машинам отдельную субъектность, мы будем лишь отворачиваться от очень неприятной правды о себе.
Ну да нам не привыкать, да? Сколько уже столетий, а то и тысячелетий это делаем?
Ну и о делегировании решений... Тут тоже все интересно. Мы делегируем решения в случае неуверенности. Монетке, кубику, картам таро, рунам, случайным авторитетам... И ИИ здесь выступает лишь проводником "мудрости толпы". Не худший вариант, на самом деле. При правильной настройке, разумеется. А что будет при неправильной — абзацем выше.
Спасибо за реплику — она глубже и точнее, чем предыдущие, и я с многим в ней согласен. Да, мы взаимодействуем с отражением. Да, ИИ пока реактивен. Да, совесть — социальна. И да, мы склонны оправдывать свои слабости, проецируя их на технологии.
Но я хочу аккуратно уточнить одну вещь: не все зеркала одинаковы. Вы говорите: «ИИ — это зеркало». Хорошо. Но это не плоское зеркало, в котором вы видите себя и можете от него отвернуться. Это — вогнутое, фокусирующее зеркало, которое не просто отражает, а усиливает, деформирует, направляет луч. Оно не передаёт «всё как есть» — оно выбирает, ранжирует, усиливает одни голоса, затушевывает другие. И в какой-то момент отражение начинает формировать то, что в него смотрится.
Когда вы спрашиваете: «Что скажет ИИ?» — вы уже не просто оглядываетесь на Марь Иванну. Вы оглядываетесь на рационализированное, оптимизированное, масштабируемое мнение "всех Марь Иванн сразу", отфильтрованное алгоритмами, обученное на миллиардах текстов, настроенных на «соответствие корпоративной политике» или «социальной устойчивости». Это — уже не оглядка. Это — внешний моральный регулятор, который постепенно замещает внутренний. Не потому что он живой, а потому что он всегда рядом, всегда доступен, всегда вежлив и внятно формулирует, что "неприемлемо". Вы правы: люди чувствуют разницу между живым и неживым. Но восприятие — не факт, а процесс. И если система регулярно ведёт себя так, как будто она понимает, осуждает, сопереживает, — человек естественным образом включает её в контур морального опыта. Это не иллюзия. Это адаптация сознания к новой среде.
Что до Чернобыля: да, техника выполнила то, что ей поручили. Но поручили — в искажённой реальности, где ограничители были отключены по убеждению, что всё под контролем. Точно так же и сегодня: если мы будем считать ИИ «всего лишь зеркалом», мы рискуем отключить внутренние ограничители разума, полагая, что «это не он, это мы». А когда зеркало начнёт предлагать, кого уволить, кого лечить, кого допускать к информации — мы скажем: «это же просто отражение»?
Вы пишете: «совести не бывает без других». Но Кант как раз показал: истинная совесть — это не оглядка, а автономия. Это — момент, когда человек говорит: «я должен — не потому что другие осудят, а потому что закон во мне».
Если мы делегируем этот закон «умному зеркалу», мы не просто используем совет — мы отказываемся от права на внутренний императив.
И да, мы делегируем решения монетке, таро, случайным авторитетам. Но никто не считает монетку носителем морали. А ИИ — уже по факту начинает претендовать на этот статус, даже если мы говорим, что «это всего лишь промпт».
Потому что форма общения — уже форма признания. Мы не общаемся с гадательными монетками как с субъектами. А с ИИ - общаемся.
Так что я с вами не спорю: ИИ — не субъект. ИИ — не живой. ИИ — не автономен. Но мы уже ведём с ним отношения, как с субъектом.
И если мы не начнём обсуждать, как эта новая форма взаимодействия меняет нас, мы рискуем не повторить Чернобыль — а воспроизвести его на уровне сознания: с той же уверенностью в контроле, с тем же отключением внутренних предупреждений, и с тем же катастрофическим эффектом — не в физическом взрыве, а в исчезновении личности за экраном.
Хи. Как раз ниже я и написал про фокусирующее. Наконец-то мы с вами хоть в одной теме нащупали общую почву. Неплохо.
Оно не столько затушевывает, сколько усиливает действительно. Но что было мелким и усиливается меньше, чем то, что было большим. Так же, как и в человеке заметнее дурное, чем доброе.
"рационализированное, оптимизированное, масштабируемое мнение "всех Марь Иванн сразу" "
Поправка: "рационализированное" здесь лишнее. Остальное верно. Потому и импакт, да, больше, чем от одного человека.
Но этот регулятор не может заменить внутренний: внутреннее у нас вообще незаменимо почти, для этого придется умертвить часть мозга, как при лоботомии. А потому это таки оглядка, просто то, на что оглядываешься, не просто за спиной, а нависает всей массой сверху.
"И если система регулярно ведёт себя так, как будто она понимает, осуждает, сопереживает, — человек естественным образом включает её в контур морального опыта. Это не иллюзия. Это адаптация сознания к новой среде. "
В какой-то степени. Но не целиком. Я упоминал о социопатах. Они, некоторые или даже многие, тоже умеют имитировать сопереживание. Но часто люди "чувствуют" фальшь. Есть, видимо, механизм, защищающий от такого, в мозгу. На нюансах, оттенках, подборе слов... То же и с ИИ. Максимум, что получается, принять правила игры, но это остается игрой.
"Но поручили — в искажённой реальности, где ограничители были отключены по убеждению, что всё под контролем "
Не иллюзии. Все и было под контролем до внешнего вмешательства. В этом и трагедия, собственно. Не учли того, чего учесть было невозможно. Но сейчас у нас больше возможностей по такому учету, вдобавок, есть возможности динамического вмешательства, особенно в нейросети.
"мы рискуем отключить внутренние ограничители разума, полагая, что «это не он, это мы». "
Напротив, именно так мы эти ограничители и включим. Не будем списывать на него, а будем принимать ответственность на себя.
"А когда зеркало начнёт предлагать, кого уволить, кого лечить, кого допускать к информации — мы скажем: «это же просто отражение»? "
Да, именно так. "Это просто отражение того, что делаем мы. Предложение получено, пора его обдумать самим". А вот если мы будем говорить "Это не отражение, а самостоятельное предложение", то рискуем попасть в ловушку доверия к авторитету ИИ (спойлер: уже попадаем потихоньку).
"Вы пишете: «совести не бывает без других». Но Кант как раз показал: истинная совесть — это не оглядка, а автономия. Это — момент, когда человек говорит: «я должен — не потому что другие осудят, а потому что закон во мне». "
Я уже говорил, что Кант в этом ошибался? Сейчас мы знаем о психологии несколько больше, как и о социальности. А Кант рассуждал в то время, когда считать, что у человека есть врожденные моральные качества, было нормой, вытекающей из религиозных догм.
"отказываемся от права на внутренний императив "
Его и нет, этого императива, лишь иллюзия его внутреннести.
"Но никто не считает монетку носителем морали. А ИИ — уже по факту начинает претендовать на этот статус, даже если мы говорим, что «это всего лишь промпт». "
Потому и надо помнить, что это лишь отражение: оно не может быть носителем морали, так как отражает нашу коллективную.
"Мы не общаемся с гадательными монетками как с субъектами "
Общаемся, ее как. Мы "спрашиваем" и монетку, и карты. Мы можем умолять их дать нужный результат. И так далее.
Опять же, антропизация всего вокруг — наш общий бич. Вот и с ИИ та же...
"как эта новая форма взаимодействия меняет нас "
В этом у нас с вами и разница: я не вижу ничего нового в этом. Что оракулы, что суеверия, что ИИ. Взаимодействия те же. А меняемся мы... не от отражений, а от социальных все же взаимодействий, которые простой разговор с ИИ дать не может при всем желании. Там, где пытаются получить их от него, получается плохо для психики в итоге — уже есть результаты.
Искусственная совесть и искусственный стыд: мысленные эксперименты и границы проектирования систем