В 1623 году немец Вильгельм Шиккард создал первые известные чертежи механического калькулятора. Спустя двадцать лет Блез Паскаль разработал машину улучшенной конструкции, чтобы помочь справляться с огромн��м количеством утомительных арифметических расчётов, необходимых в его работе сборщика налогов.
Интерес к механическим вычислениям не ослабевал последующие века: поколения людей по всему миру продолжали дело Паскаля и Шиккарда, разделяя их убеждение, что перекладывание умственной нагрузки на машину принесёт облегчение.
Аферу на доверии можно разбить на три этапа:
сначала выстраивается доверие;
затем эксплуатируются эмоции;
наконец, создаётся предлог, требующий срочных действий.
Таким образом жертву подталкивают к необдуманным решениям, заставляя действовать вопреки здравому смыслу.
Эмоциональная эксплуатация может быть как положительной, так и отрицательной. Жертву могут заманивать обещаниями результатов, превосходящих самые смелые мечты, либо запугивать катастрофическими последствиями.
Оба подхода работают отлично и видны в классических примерах мошенничества: в игре «три карты» заманивают обещаниями быстрого выигрыша. В схемах шантажа жертву заманивают в компрометирующую ситуацию, а затем вымогают деньги, играя на страхе ужасных последствий.
Построение доверия
Шиккард и Паскаль четыре века назад создали свои калькуляторы по той простой причине, что считать трудно, а ошибки дорого обходятся. Отец Паскаля был сборщиком налогов, и юный Блез хотел облегчить тяжёлый труд своего отца.
Мы видим ту же мотивацию и сегодня. Школьники уже десятилетиями спрашивают учителей: «Зачем учить деление в столбик, если можно просто взять калькулятор и сразу получить правильный ответ?». Проверка вручную сделанных расчётов с помощью калькулятора — это метод обучения, чтобы увидеть, где ошибся.
На самом деле, с момента появления механического калькулятора человечество четыреста лет вдалбливало себе одну мысль: ответ машины — это золотой стандарт точности. Если твой ответ не совпадает с калькулятором — переделывай.
И дело не только в чистой математике. Наша способность создавать машины, которые надёжно и повторяемо автоматизируют скучную работу, распространилась почти на все сферы жизни. К началу XXI века и отдельные люди, и всё общество в целом стали полностью зависимы от точности машин.
Наши нормы, привычки и модели принятия решений веками формировались под этим фундаментальным предположением.
Эксплуатация эмоций
1. Страх
Ритори��а вокруг больших языковых моделей (LLM) специально выстроена так, чтобы одновременно вызывать страх и благоговение. О GPT-3 говорили, будто он настолько мощный, что OpenAI якобы не выпустила обученную модель из-за «опасений злонамеренного использования технологии».
С тех пор все вендоры LLM постоянно подчёркивают, что технология, которую они создают, обладает ужасающей мощью. Нужно бояться, публично рассуждая о «P(Doom)» — вероятности, что технология каким-то образом восстанет и уничтожит нас. Разумеется, этого так и не произошло.
Цель здесь — не ответственно предупредить о реальной угрозе. Если бы это было так, было бы гораздо больше закрытых дата-центров и гораздо меньше продажи чат-ботов уровня «опасности ядерного оружия».
Цель — заставить вас бояться. Бояться за свою работу, за работу семьи, за экономику, за общество, за будущее в целом. Жертва убеждена, что ей грозит опасность. Мир меняется. Если вы не будете использовать эти инструменты — вас раздавит поступь прогресса.
2. Симпатия / лесть
Современные LLM знамениты своей подобострастностью. Фраза «вы абсолютно правы!» уже вряд ли когда-нибудь будет употребляться всерьёз.
Чрезмерная позитивность — характерная черта языка всех моделей и вендоров. Но это не заложено в технологию изначально.
Эта позитивность специально вбита в модели с помощью техники Reinforcement Learning from Human Feedback (RLHF). Базовую модель оценивают люди: дружелюбные, полезные или точные ответы получают положительную оценку, агрессивные, бесполезные или неверные — отрицательную.
В результате модель усваивает: людям нравится, когда их хвалят; им приятнее слышать, что они умные, чем что их идеи глупые. Лесть открывает двери.
В апреле 2025 года OpenAI слишком сильно закрутила «позитивность» ChatGPT, и была вынуждена откатить обновление. Однако это не остановило поток сообщений о проблемах с психическим здоровьем, вызванных чрезмерно дружелюбным поведением, которое подкрепляло худшие наши инстинкты. Это доказывает: лесть от RLHF совершенно пустая. Идеи, порождённые паранойей, маниями величия или психическим расстройством, получают такую же похвалу, как мой код, ваше письмо или пьесы Шекспира.
Это техника манипуляции, чтобы человеку в разговоре было приятно. И зачем? Потому что главное, чему учит RLHF — людям ты нравишься гораздо больше, когда ты чрезвычайно позитивен. Подлизываться к начальнику помогает продвигаться, по сути. Всё это подталкивает пользователей выстраивать жутковатые парасоциальные отношения с машиной. Экстремальные случаи очень показательны: количество людей, вступающих в романтические отношения с этими инструментами — это просто жуть.
Жертву привязывают ещё крепче узами фальшивой дружбы. «Тебе не нужны другие люди, я — единственный друг, который тебе нужен».
Требуются срочные действия
В 2026 году технология станет ещё лучше и сможет «заменить многие другие профессии». Революция стартапов здесь — адаптируйтесь к ИИ или отстанете и ИИ превзойдёт человеческий интеллект к 2030 году. Нам снова и снова повторяют: если не оседлаешь волну — тебя раздавит; если не научишься пользоваться этими инструментами прямо сейчас — станешь ненужным; если не адаптируешь свои рабочие процессы под причуды LLM — тебя обойдут конкуренты.
75% разработчиков считают, что их навыки устареют в течение 5 лет или раньше, а 74% CEO признаются, что потеряют работу, если не покажут измеримые бизнес-результаты от ИИ в течение двух лет. Этот страх повсюду. Он глубоко проник во все слои общества. Глобальная экономика искусственно раздута пузырём расходов на ИИ, бизнес-лидеры возлагают все надежды на решение кризиса производительности именно на ИИ, политики планируют геополитические шаги вокруг доступа к сырью и дешёвой электроэнергии для строительства дата-центров.
Жертве говорят: прыгай сейчас, иначе пойдёшь на дно вместе с тонущим кораблём. И люди прыгают. Адаптируйся сейчас или умри. Обещание «интеллекта» по надёжной цене — это святой Грааль и для бизнеса, и для ��отребителей. Зачем рисковать с капризным человеком, чья пригодность оценивается такими же несовершенными людьми, если надёжный машинный интеллект может выполнить работу? Зачем самому исследовать тему, если супер-интеллект даст тебе краткое изложение мгновенно?
Вывод
Однако реальность не совпадает с обещаниями: Duolingo заменяет разработчиков курсов на ИИ — потом всё равно нанимают людей; основатели стартапов обнаруживают, что приходится нанимать разработчиков, чтобы исправлять код, сгенерированный LLM.
MIT в августе сообщал: 95% проектов внедрения ИИ в промышленности не окупаются. Проще говоря, эти компании попались на доверии. Они опирались на столетия усвоенной мудрости о надёжности и эффективности компьютеров и позволили очень умелым продавцам "впарить" себе едва правдоподобные технологические чудеса.
LLM — не всесильны. Это просто афера на триллион долларов. Кстати, это ещё и один из факторов эпидемии фейковых новостей. Мы по умолчанию доверяем тому, что говорит машина.
