Что, если самые надёжные системы защиты — двухфакторная аутентификация, тренинги по социнженерии, чёрные списки — на самом деле работают против нас? Что если каждое новое правило, каждый баннер «Осторожно, фишинг!» не укрепляет безопасность, а формирует в пользователе постоянное ощущение угрозы — и делает его уязвимее? Представьте мир, где все действуют разумно: логично, автономно, добродетельно.
И при этом хладнокровно убивают или манипулируют, потому что их «добродетель» проходит тест на всеобщность. В этом мысленном эксперименте формальная логика не спасает от морального кошмара. Алгоритм не различает помощь и манипуляцию — он видит синтаксис, но не смысл. А настоящая битва идёт не за пароли, а за интерпретацию. Где проходит грань между заботой и контролем? Когда доверие становится оружием? Чтобы увидеть эти ловушки, нужен не просто код, а взгляд гуманитария.
Иначе мы будем строить идеальные системы, в которых человек постепенно перестаёт быть субъектом.
В современных информационных системах мы постоянно сталкиваемся с задачей защиты пользователя — от взломов, мошенничества, буллинга, психологического давления.
Эта защита строится на правилах: технических, юридических, этических.
Но не все правила одинаковы.
Их можно разделить на три уровня, каждый из которых соответствует определённому измерению человеческого опыта.
Первый — синтаксис, или логика. Это правила, независимые от содержания: «Если A, то B», «Перезагрузи систему», «Доступ запрещён без токена». Они оперируют формой, структурой, последовательностью. Это язык машин, чёткий, предсказуемый, безотносительный к смыслу.
Второй — семантика, или смысл. Это правила, зависящие от значения: «Не оскорбляй», «Не лги», «Уважай достоинство». Они обращаются к ценностям, к интерпретации, к контексту. Это язык морали, требующий понимания, а не только расчёта.
Третий — прагматика, или действие. Это то, как правило реализуется в практике. Например, фраза «Нажми на кнопку „Забыли пароль?“» может быть простым техническим действием, но в контексте фишинга — началом манипуляции. Здесь форма и содержание расходятся, и именно в этом разрыве и живёт социальная инженерия.
Если логика и прагматика систем более-менее рациональны и могут быть алгоритмизированы, то семантика очень часто ситуативна, контекстуальна, завязана на нормы и ценности пользователей и ее сложно назвать рациональной и логичной.
Социальная инженерия — это, как правило, не только взлом кода, но и атака на семантику именно в силу ее недостаточной формализованности и структурированности.
Она редко ищет уязвимости в алгоритмах, а переопределяет смысл: «помощь» становится «манипуляцией», «доверие» — «уязвимостью», «безопасность» — «контролем».
Если логический и прагматический анализ в проектировании систем неплохо освоены профессиональным сообществом проектировщиков, то с семантическим анализом возникают сложности.
Семантика может рассматриваться либо как иррациональное "когнитивное искажение" рациональных стратегий логики и прагматики, либо как набор логически и прагматически организованных правил.
С этой точки зрения возникает иллюзия возможности рационального упрощения семантики до логики и прагматики: а что если придумать логически непротиворечивую систему - например, конечное множество правил и алгоритмов, которые бы "раз и навсегда" решили все семантические проблемы и исключили социальную инженерию в зародыше?
Идея упрощения семантики до логики или рациональных правил не нова и она может быть связана с давней и уважаемой философской традицией - рационализмом как попыткой обосновать наши смысловые конструкции через логическое мышление и рациональное действие.
Стратегия была схожей: давайте логически формализуем семантику (например, в правовой или моральное системе), после чего "социальная инженерия" (обман, манипуляции, газлайтинг, убийство и пр.) станет невозможной - система начнет ее блокировать при первых проявлениях. При этом блокировку будут делать не суды или армия с полицией, а сами люди, вооруженные рациональными нравственными законами, которые не чувствительны к содержанию и опираются только на их рассудок (логику и прагматику).
В частности, Иммануил Кант предложил идею формальной этики в виде своего знаменитого категорического императива: «Поступай так, чтобы максима твоего действия могла стать всеобщим законом».
Это была попытка вывести гуманизм и ненасилие из разума, не опираясь на эмоции, традицию или религию, без перечисления бесчисленных семантически нагруженных этических норм и правил.
Кажется, что здесь достигнуто чудо: при выполнении императива мораль не зависит от смысла, но сама порождает смысл через его логическую и прагматическую структуру.
Красота императива в том, что не содержит семантических заповедей, которые надо дополнительно подгружать в этическую систему.
В нём нет «не убий», нет «люби ближнего», нет «береги мир».
Он запрещает только то, что приводит к логическому противоречию и поэтому не может быть использовано в качестве нормы в любой системе, где действуют логические законы.
Например, ложь разрушает доверие — а доверие необходимо для любого общения. Значит, ложь не может стать всеобщим законом. Здесь логика работает.
Но что, если логическое требование не разрушает систему, а просто её искажает?
А теперь мысленный эксперимент
Представим мир, где все субъекты — разумные, автономные кантианцы, следующие кантовскому императиву, но с одной поправкой. Они убийцы.
Каждый из них формулирует максиму: «Я убиваю других кантианцев-убийц, когда сочту это необходимым для реализации своих целей». Каждый признаёт других как цели в себе (субъектов с автономией). Но считает, что конфликт целей может разрешаться через убийство — как рациональный, предсказуемый институт.
Каждый спрашивает: «Могу ли я хотеть, чтобы эта максима стала всеобщим законом?»
И отвечает: «Да». Потому что каждый знает, что может быть убит, каждый действует осознанно, и система устойчива: рождается больше кантианцев-убийц, чем погибает (убийства не ограничены этически, но ограничены ресурсно).
Такой мир логически возможен. Он не противоречит сам себе. Он не нарушает категорический императив. Но он морально кошмарен — для меня, по крайней мере.
Проблема состоит в том, что я - как исследователь эксперимента, не могу свою личную реакцию (ощущение кошмара) превратить в максиму и на этом основании отвергнуть результат мысленного эксперимента в виде логической непротиворечивости и логической возможности мира кантианцев-убийц.
Ведь «это ужасно» — это не логическое, а семантическое суждение, зависящее от ценностей, от контекста, от субъективного переживания.
В рамках логической структуры эксперимента оно не является опровержением.
Для кого-то этот мир может показаться не кошмаром, а напряжённой, но справедливой реальностью — упорядоченным хаосом, где автономия и ответственность неотделимы от риска. Как в каком-нибудь сериале про Дикий Запад: жестоко, кроваво, но при этом — с ощущением свободы, чести и личного выбора.
Заменим «убийство» на манипуляцию, и мы получим ещё более реалистичный и устойчивый мир кантианцев-манипуляторов.
Максима: «Я манипулирую другими кантианцами, чтобы направить их к лучшему выбору, если они не осознают его сами». Каждый кантианец из этого мира не считает себя агрессором. Каждый — воспитатель разума, пастырь сознания, защитник от иррациональности. Каждый использует контекстуальное давление, триггеры доверия, скрытые угрозы, «обратную связь» как оружие.
Каждый спрашивает себя: «Могу ли я хотеть, чтобы эта максима стала всеобщим законом?»
И отвечает: «Да». Потому что каждый понимает, что может быть манипулирован, каждый сам манипулирует других — «ради их же блага», нет открытого насилия, но есть постоянное управление, доверие не разрушено — оно инструментализировано.
Такой мир не только возможен — он уже существует в рекламе, политике, ИИ-ассистентах, терапии.
Кант, безусловно, отверг бы такую интерпретацию своего императива. Он мог бы указать, например, на то, что мысленный эксперимент с «кантианцами-убийцами» или «кантианцами-манипуляторами» внутренне противоречит самой идее автономии — центральному принципу его этики.
Ведь автономия подразумевает, что разумный субъект действует по закону, который он сам даёт себе, а не подчиняется внешнему принуждению или скрытому давлению. Убийство и манипуляция, даже если они рационально оправданы, по своей сути нарушают автономию другого, превращая его в средство для чужих целей — а значит, отрицают его статус как цели в себе.
Но здесь возникает ключевое затруднение: требование уважать автономию — само по себе семантическое, а не формально-логическое. Оно исходит из содержательного понимания личности, достоинства, разумной воли. А задача кантовского проекта как раз в том, чтобы вывести эту семантику из чистой формы разума, из логической структуры поступка, а не из предварительных ценностных установок. И именно в этом задача остаётся нерешённой: формальный императив не может гарантировать гуманистическое содержание. Он может остановить лжеца, но не остановит убийцу, если тот действует последовательно.
Именно поэтому формальные правила бессильны перед манипуляцией. Они оперируют синтаксисом, но не видят смысла. Они не различают, когда фраза «Я просто хочу помочь» — искреннее предложение поддержки, а когда — начало психологического давления. Как заметил Витгенштейн, «значение — это употребление». Манипуляция не изменяет слова, она переопределяет контекст, в котором они звучат. А формальная система, лишённая способности к герменевтическому пониманию, не может уловить эту разницу. Она видит синтаксическую корректность — но не улавливает прагматическую агрессию.
Остин в теории речевых актов показал, что перформативное высказывание — это когда слово и действие совпадают («Я обещаю» — это и есть обещание). Социальная инженерия строится на ложных перформативах: «Я ваш коллега» — но не является им, «Я защищаю вашу безопасность» — но нарушает её. Такие высказывания не логически ложны, но прагматически ложны.
Таким образом, проблема не в слабости логики, а в иллюзии, будто логика может заменить этику. Чтобы защитить автономию, нужно не еще больше больше правил, а глубже понимание того, как смысл становится оружием.
Усиливая логическую и прагматическую защиту от семантических угроз, проектировщики систем натыкаются на парадокс, напоминающий парадокс Джевонса в цифровой сфере: чем больше формальных средств защиты внедряется (двухфакторная аутентификация, тренинги по социальной инженерии, системы мониторинга) — тем выше не только бдительность, но и тревожность пользователей, а вместе с ней их уязвимость к манипуляциям.
Каждое новое правило, каждый предупреждающий баннер, каждая рассылка о «новых угрозах» — это не просто защита, это постоянное напоминание о возможной опасности, которое формирует ощущение, будто мир вокруг становится всё более враждебным.
Этот разрыв между объективной безопасностью и субъективным восприятием, субъективным опытом проявляется в самых разных сферах.
Вспомним школы: в 80–90-е годы уровень физической защищённости образовательных учреждений был гораздо ниже — ни камер, ни охраны, ни систем контроля доступа.
Тем не менее, у родителей было почему-то высокое субъективное чувство безопасности. Сегодня, когда школы оснащены видеонаблюдением, турникетами и психологами, тревожность родителей резко возросла.
Повышение мер безопасности не снижает страх — напротив, оно его легитимирует и усиливает. Мы не просто защищаемся — мы обучаем себя жить в состоянии угрозы и снижаем качество собственной жизни.
Эта тревожность, подпитываемая медиа, алгоритмами и самими системами безопасности, делает людей еще более податливыми к манипуляциям. Чем больше мы слышим о «угрозах», тем охотнее соглашаемся на контроль, тем легче поддаёмся на приёмы социальной инженерии, маскирующиеся под «проверку безопасности».
Таким образом, защита порождает уязвимость. Чем больше мы полагаемся на формальные правила, тем больше отдаём свою автономию системам, которые учат нас бояться.
И в этом — главная победа манипулятора: он не взламывает систему — он встраивается в её логику защиты.
Вывод мысленного эксперимента с миром кантианцев-убийц и кантианцев-манипуляторов не просто очевиден — он неотвратим: мы не можем защитить пользователя только формальными средствами.
Алгоритмы, протоколы, двухфакторная аутентификация — всё это необходимо, но недостаточно. Потому что главная угроза сегодня — не в том, чтобы взломать систему, а в том, чтобы взломать смысл.
Именно здесь на сцену выходят гуманитарные дисциплины — не как «мягкие науки», не как «кухонные разговоры», а как необходимый инструментарий для семантического анализа, без которого любая цифровая система становится потенциально токсичной. Например, герменевтика учит читать не только текст, но и намерение. Она отвечает на вопрос: «Что скрывается за словами?» Почему «помощь» звучит как приказ? Почему «выбор» ощущается как давление?
Семиотика показывает, как знаки манипулируют. Почему красная кнопка привлекает внимание? Почему «только сегодня» вызывает тревогу? Почему «ваш аккаунт взломан» заставляет действовать без раздумий? Это — язык власти, и он не подвластен логике.
Этика ИИ — не просто «правила», а моральные рамки проектирования. Запрет на скрытое влияние, требование прозрачности, ответственность за последствия.
Вредность решения «рубильником»
Самая большая ошибка — это отмахиваться от проблемы, говоря: «Это всего лишь алгоритм, не надо философствовать. Разработчики решат все проблемы».
Это — идеологический рубильник, отключающий не только дискуссию, но и ответственность.
Когда мы игнорируем семантические уязвимости, мы не защищаем пользователя — мы подставляем его под манипуляцию, потому что он не подготовлен к чтению скрытых смыслов.
Диалог ИТ-шников и гуманитариев — не роскошь, а необходимость.
Техник видит то, как система работает. Гуманитарий видит то, что она делает с человеком. И только в диалоге рождается система, которая не просто функционирует, а служит человеку.
Без гуманитарного анализа нет понимания манипуляции, нет защиты от семантического насилия, нет автономии пользователя — есть лишь иллюзия выбора.
И чем сложнее разумнее система основанная на формальных рациональных правилах, тем опаснее её произвол.
Настоящая защита — не только в алгоритме, а в способности видеть, как смысл превращается в оружие.
И если мы хотим, чтобы технологии служили людям, нам нужно больше семантики.
Доцент МГТУ им. Н.Э. Баумана, более 30 лет занимающийся исследованием и проектирование систем, увлечен философскими основами вычислительной техники и искусственного интеллекта. Специализируется на соединении абстрактных теорий с практической реализацией.
