Массовое внедрение AI в работу менеджмента и экспертов формирует пузырь, который удивительно точно повторяет механику ипотечного кризиса 2008 года. Парадокс в том, что формируется он на самом видном месте. Эксперты, инвесторы, акционеры — все пристально смотрят в документацию компании (или института). Они анализируют тексты, изучают стратегические отчёты и оценивают производительность сотрудников (порождающих документы). Но качество документа не гарантируют качества экспертной информации, которая должна была отражаться конечным артефактом. Документ может быть "токсичным".
Повсеместное внедрение генеративных моделей в бизнес-процессы, документооборот и принятие решений идёт под флагом повышения эффективности, на деле создаёт скрытую угрозу: в операционную документацию, аналитику и стратегические отчёты начинают подмешиваться материалы, созданные нейросетями, которые внешне выглядят добротно, но внутри могут содержать глобальные фактические ошибки, логические провалы и "галлюцинации".
Подразумевается, что эксперт держит в голове не только общие знания, но и сеть актуальных для его процесса акторов. На основе этого знания он порождает контекстно-ориентированную экспертизу - документ. Но AI так не умеет, в отдельном документе от "AI - эксперта" всё связно, а в рамках контекста процесса возникнет противоречие. Если документ перестает быть носителем экспертизы, организация теряет способность отличать правду от правдоподобия.
Отсюда можно формально сформулировать:
Экспертиза — документ, содержащий реальные представления эксперта о процессе.
Токсичный документ — это документ, который:
противоречит другим документам системы;
или не имеет проверяемой связи с реальностью;
или создаёт ложную согласованность при отсутствии фактов.
А что же программисты?
Программисты уже годами сталкиваются с проблемой "контекста", "качества проектирования", "глобального понимания" у AI. Не просто сталкиваются, но и обосновывают математические ограничения, формируют сложные конвейеры валидации качества сгенерированного материала, создают новые инструменты.
И всё равно, даже с таким (недостижимым для менеджмента — петля обратной связи на порядки короче) уровнем контроля за операционной документацией (а код это всегда текст) проекты ломаются. В неожиданных местах ломаются. Это не какая то статистическая ошибка, это базовые ограничения больших связных текстов, генерируемых AI.
"Всё что делает программист - это пишет и читает тексты. Текст должен быть непротиворечивым, потому что это описание последовательности действий. Если описание действий противоречиво - то компьютер не обработает программу."
Именно это базовое понимание у программистов даёт им такой высокий потенциальный иммунитет в рамках современных AI инструментов.
https://t.me/witnessesofsingularity — подробнее про ограничения "мышления ИИ"(ассоциативное, дедуктивно и индуктивное) в цикле статей "Когда ИИ заменит всех программистов?"
"Программист-прагматик." Книга, Дейв Томас и Энди Хант — про восприятие всего на свете в виде текста (от требований до конечных программ).
Предпосылка 1. KPI
Корпоративный мир построен на системе метрик и поощрений. Последние тридцать лет повсеместно стал внедряться подход, где сотрудников оценивают по динамичным измеримым показателям: количество строк кода, число закрытых задач, объем подготовленной документации, скорость реакции на запросы. Сама по себе логика KPI не плоха — она создает операционную предсказуемость и прозрачность. Но KPI не отслеживает сквозную связность, существуя в рамках предпосылки "эксперт = экспертиза".
Предпосылка 2. AI
И есть вторая сторона. Появляется инструмент, позволяющий штамповать "артефакты метрик" (отчеты, код, аналитические записки) в десять раз быстрее. И сотрудник оказывается перед простым выбором. Он может потратить три дня на глубокую проработку вопроса, а может сгенерировать правдоподобный текст за три минуты, причесать — и получить те же бонусы за "высокую производительность". Здесь экспертиза отделяется от эксперта.
В начале двухтысячных ипотечная облигация существовала и развивалась в рамках предпосылки "ипотеку берёт человек, который рассчитывает её выплатить". Ведь выдать необеспеченные ипотеки невыгодно банкам, а рисковать жильём невыгодно клиенту.
Что такое ипотечные облигации
Ипотечные облигации, или ипотечные ценные бумаги (ИЦБ), — это тип облигаций, обеспеченных ипотекой, которая обычно представляет собой недвижимость.
Субстандартная ипотека — это ипотечный кредит, который обычно выдается заемщикам с низким кредитным рейтингом.
Всё сломалось задолго до 2008, когда предпосылка была принята за данность и ипотечные брокеры стали получать бонусы за число выданных ипотек. Без проверки их качества.
"Оформленный документ содержит экспертизу, если он оформлен (синтезирован) экспертом". Ведь поощрять "плохую" экспертизу невыгодно компании, а рисковать работой невыгодно эксперту. KPI существует на этой предпосылке. AI ломает эту предпосылку.
Хорошо выглядящий документ от эксперта теперь не обязана быть экспертизой. А без экспертизы теряется "согласованность системы знаний" компании. Т.е. документ теперь может стать "точкой энтропии знаний" в рамках компании. На сцене появляется токсичный документ.
Эксперт локально заинтересован в выполнении KPI, а не составлении экспертизы. Много токсичных документов повышают KPI больше, чем экспертиза.
Инвесторы и акционеры, глядя на высокие показатели "производительности", вкладывают средства, полагая, что активы компании обеспечены реальной экспертизой, тогда как на самом деле значительная их часть становится "токсичной" — подобно субстандартным ипотечным облигациям, которые до поры выглядели надёжными благодаря рейтингам AAA.
И сейчас не существует дешёвого и масштабируемого способа фильтрации "токсичных документов" от экспертизы. Мы сталкиваемся с ситуацией, когда стоимость генерации правдоподобия стремится к нулю, а стоимость верификации остаётся высокой.
Как токсичный документ "отравляет" систему (механизм распространения энтропии информации). Сноска про моделирования рисков.
Первый уровень - теория информации.
С точки зрения теория информации, "токсичный документ" можно рассматривать как источник шума, передаваемый внутри организации. Любой документ — это сообщение, которое должно уменьшать энтропию у получателя. Но если сообщение "токсично", оно превращается в шум, маскирующийся под сигнал. Однако токсичный документ, обладая внешней согласованностью, но не имея достоверной связи с реальностью, создаёт ложное снижение неопределённости: он не устраняет энтропию, а маскирует её. Когда такие документы начинают использоваться как вход для других документов (аналитики, стратегии, кода), происходит каскадное накопление ошибки — каждый следующий уровень наследует и усиливает исходный шум, принимая его за сигнал. В терминах Клод Шеннон это означает деградацию отношения "сигнал/шум": система всё увереннее "знает" всё меньше о реальности. (Если формально, то токсичный документ часто снижает "неопределенность для читателя", давая ложное чувство понимания. Это скорее "дезинформация", чем шум.)
Второй уровень - теория катастроф.
Если добавить к модели теория информации аппарат теория катастроф, токсичный документ перестаёт быть просто источником шума и становится триггером нелинейной деградации системы. На ранних стадиях шум, вносимый такими документами, поглощается за счёт избыточности и локальных проверок — система выглядит устойчивой. Однако по мере накопления документов, основанных друг на друге, происходит скрытый рост "структурной энтропии": ошибки перестают быть независимыми и начинают неявно коррелировать, формируя связные области искажённого знания. В какой-то момент система достигает критического порога, за которым малое добавление нового "правдоподобного" документа вызывает скачкообразное изменение состояния — катастрофу: резко падает согласованность решений с реальностью, хотя внутренняя согласованность текстов может даже расти.
Это каскад накопления шума: не линейное ухудшение, а фазовый переход, при котором организация теряет управляемость не потому, что "всё стало немного хуже", а потому что нарушилась сама топология знаний — граница между сигналом и шумом коллапсирует, и система начинает воспроизводить собственные искажения как новую норму.
Один токсичный документ заражает всю цепочку документов прямо или косвенно ссылающихся на него. Т.е. все документы в такой цепочке становятся токсичными.
Те кому предстоит оценить операционную ценность компании и качество её процессов по документации не смогут понять, что имеют дело с "зараженным" активом. Ведь, как сказано ранее, уровень "правдоподобия" токсичного документа высок. Что достаточно для прохождения проверок и соответствия метрикам "качества документа" KPI. Внешне всё выглядит безупречно. Точно так же, как облигации, обеспеченные субстандартными кредитами, получали рейтинг AAA — потому что рейтинговые агентства смотрели на упаковку, а не на содержимое.
Возникает разрыв: метрики производительности растут, а реальное качество активов падает. Инвесторы вкладывают деньги, полагая, что покупают компании с глубокой экспертизой, а на деле приобретают токсичные процессы.
Красиво упакованные облигации скрывали пустоту. Красиво написанные стратегии скрывают логические провалы. Если текст может ломать программы, почему он не может ломать корпорации и институты?
Риски накапливаются скрытно. Но уже можно наблюдать за тревожными звонками для мира документации:
1) "Amazon ввела обязательный ревью ИИ-кода после сбоя на 6 часов" - https://habr.com/ru/news/1008860/
2) "Ошибки в отчётах Deloitte с AI‑сгенерированными источниками" - https://oecd.ai/en/incidents/2025-11-26-f9ab
3) "Серия инцидентов с AI‑ошибками в судебных актах" - https://www.washingtonpost.com/nation/2025/10/29/federal-judges-ai-court-orders/
4) "AI‑галлюцинации в научных конференциях (NeurIPS 2025)" - https://theoutpost.ai/news-story/ai-detection-startup-finds-100-hallucinated-citations-in-neur-ips-research-papers-23179/
и т.д.
Пока что не было крупных случаев глобального подрыва доверия ко всей системе внутренней документации определенного компании или института с цепной реакцией потери доверия к понятию "документация".
По моему мнению, это вопрос времени.
Как бы это грустно или страшно не звучало, но вернулось время настоящего радикального "реинжиниринга процессов". Того самого, из книги Майкла Хаммера и Джеймса Чампи «Реинжиниринг корпорации. Манифест революции в бизнесе». Процессы, связанные с документацией должны быть не просто автоматизированы, но реально перестроены под новые технологии. С учётом всех ограничений и возможностей AI.
Опыт 2008 года показывает, что механизм фильтрации токсичных активов появился после кризиса. Так что, по моему мнению, выбор не большой - или рисковать с радикальной перестройкой процессов или надеяться, что кризиса не случится.
В рамках иллюстраций использовались гравюры Альбрехта Дюрера, человека живущего в эпоху когда рукописи и печатные книги сосуществовали. Прекрасное сочетание поздней готики и раннего возрождения.
Обложка статьи: Святой Иероним в келье. Гравюра Альбрехта Дюрера. 1511 год
Иллюстрации в статье: Четыре всадника Апокалипсиса. Гравюра Альбрехта Дюрера. Около 1497–1498 годов ; Рыцарь, Смерть и Дьявол. Гравюра Альбрехта Дюрера. 1513 год.
Благодарность чату Свидетелей Сингулярности за экспертную оценку и конструктивное уточнение идей, лёгших в основу данной статьи.
