Искусственный интеллект может казаться чуть ли не сверхразумом, ведь он обрабатывает тонны данных и выдает, как думают многие, истину в последней инстанции. На самом деле большие языковые модели, такие как ChatGPT, страдают от тех же когнитивных искажений, что и мы с вами: они самоуверенны, предвзяты и цепляются за знакомые шаблоны. Почему ИИ, созданный быть рациональным, так похож на нас в своих ошибках? И что это значит для бизнеса, медицины или управления умным городом? Давайте посмотрим недавнее исследование ученых и попробуем разобраться.
Как ИИ проверили на человечность
Ученые из Университета Огайо и их коллеги решили проверить, насколько ИИ рационален. Они протестировали популярные языковые модели, такие как ChatGPT и Llama, на серии задач — но не машинных, а тех, что дают возможность выявить когнитивные искажения у людей. Задания включали оценку вероятностей событий в условиях неопределенности, принятие финансовых решений и анализ последовательностей данных.
Для чистоты эксперимента модели получали задачи в текстовом формате, имитирующем реальные сценарии, например прогнозирование спроса на продукт или оценку риска инвестиций. Итог оказался неожиданным: ИИ продемонстрировал 18 когнитивных искажений, которые мы обычно ассоциируем с человеческим мышлением.
Какие распространенные проблемы были выявлены у ИИ:
Сверхуверенность (overconfidence bias): модели часто переоценивали точность своих прогнозов, даже если данные были недостаточными или противоречивыми. Например, при попытке предсказать продажи ИИ мог с высокой уверенностью показать вероятный рост, игнорируя нестабильность рынка.
Эффект «горячей руки» (hot-hand fallacy): ИИ ошибочно считал, что удачное событие (например, серия успешных сделок) обязательно продолжится, хотя последовательность была случайной.
Предвзятость (confirmation bias): модели склонялись к выбору информации, подтверждающей их первоначальные выводы, и игнорировали противоречия. Например, при анализе медицинских данных ИИ может зациклиться на распространенном диагнозе, упуская редкие, но вероятные варианты.
Якорный эффект (anchoring bias): ИИ слишком сильно полагался на первую полученную информацию. В финансовых задачах модель могла завышать или занижать прогнозы, ориентируясь на начальную цифру, даже если она была случайной.
Склонность к избеганию риска (risk aversion): в задачах с неопределенностью ИИ чаще выбирал безопасные, но менее выгодные варианты, упуская возможности с высоким потенциалом.
Иллюзия контроля (illusion of control): модели порой вели себя так, как будто могут влиять на случайные события, переоценивая свои возможности в условиях неопределенности.
Эффект статус-кво (status quo bias): ИИ предпочитал сохранять существующие решения, даже если изменения сулили лучшие результаты.
Методика исследования была построена так, чтобы максимально исключить влияние человеческого фактора. Ученые использовали стандартизированные тесты, которые применяются в психологии для выявления когнитивных искажений людей. Например, в одной из задач ИИ предлагали оценить, продолжится ли выигрышная серия в спортивной игре, основываясь на случайных данных. В другой — выбрать инвестиционный портфель, где якорный эффект мог исказить решение из-за предложенной «базовой» суммы. Результаты показали, что искажения не были случайными: они систематически проявлялись в разных моделях и сценариях.
Откуда берутся баги в алгоритмах
Чтобы понять, почему ИИ повторяет человеческие ошибки, нужно заглянуть под капот самой технологии. Большие языковые модели обучаются на огромных массивах текстов — от книг и статей до постов в соцсетях. Эти данные созданы людьми, а значит, в них встречаются наши предубеждения, стереотипы и иррациональные решения. Если в текстах, на которых учится ИИ, много примеров самоуверенных прогнозов или веры в «полосы удачи», модель перенимает эти шаблоны.
Но дело не только в данных. Архитектура самих моделей тоже играет роль. Например, трансформеры, а это основа большинства современных ИИ, склонны усиливать часто встречающиеся паттерны. Это значит, что популярные человеческие заблуждения, вроде веры в то, что «все будет как раньше», закрепляются в поведении модели. Плюс разработчики часто делают ИИ «человекоподобным» — чтобы его ответы звучали естественно и убедительно. Ирония в том, что эта человечность и делает ИИ уязвимым к тем же ошибкам, которые мы совершаем.
Есть и еще один нюанс — обратная связь. Когда ИИ тестируют, его ответы оценивают люди. Если модель выдает что-то слишком необычное или противоречащее нашим ожиданиям, это часто воспринимается как ошибка. В итоге ИИ подстраивается под человеческие шаблоны мышления, даже если они далеки от истины. Получается замкнутый круг: мы создаем ИИ по своему образу и подобию, а потом удивляемся, что он повторяет наши промахи.
Почему это проблема
Когнитивные искажения ИИ — не просто академический курьез. Представьте: алгоритм прогнозирует спрос для крупной компании, но из-за эффекта «горячей руки» переоценивает продажи нового продукта. Итог — склады забиты, а бюджет трещит. Ошибки в таких сценариях могут стоить миллионов долларов США.
Риск в том, что ИИ могут воспринимать как некую всеведущую и объективную сущность. Люди склонны доверять алгоритмам больше, чем собственным суждениям. Если модель выдает ошибочный прогноз с уверенностью, мало кто будет его перепроверять. А ведь в финансовых системах неверное решение одного алгоритма может запустить цепную реакцию, как это было во время «флэш-крэша» на биржах.
Еще одна проблема — социальные последствия. Если ИИ, обученный на текстах из интернета, начинает воспроизводить стереотипы или предубеждения, это может усиливать неравенство. Например, алгоритмы для найма сотрудников ловили на том, что они отдают предпочтение мужчинам, потому что база обучения ИИ содержала соответствующие данные.
Как чинить ИИ
Можно ли что-то сделать с проблемой, описанной выше? Да. Ученые и инженеры уже работают над этим, и тут есть несколько подходов. Первый — улучшение данных. Если убрать из обучающих наборов тексты, которые пропитаны предубеждениями, или сбалансировать их, ИИ будет меньше склоняться к стереотипам. Правда, легче сказать, чем сделать: данные в интернете — хаотичная смесь, и чистить их вручную почти нереально.
Второй подход — настройка архитектуры моделей. Например, можно добавить механизмы, заставляющие ИИ перепроверять свои выводы или учитывать альтернативные гипотезы. Это как встроить в алгоритм скептика, который всегда задает вопрос: «А что, если ты ошибаешься?». Такие методы уже тестируются, но они требуют огромных вычислительных ресурсов, и пока это делает их недоступными для большинства разработчиков.
Третий путь — прозрачность. Если ИИ будет объяснять, почему он принял то или иное решение, пользователи смогут заметить его ошибки. Сейчас многие модели работают как черный ящик: вы задаете вопрос, получаете ответ, но как он родился — загадка. Разработка «объяснимого ИИ» (Explainable AI) может помочь людям лучше понимать, где алгоритм мог сбиться с пути.
Наконец, важен контроль. Даже самый умный ИИ не должен быть последней инстанцией. В критических областях, вроде медицины или правосудия, решения алгоритмов нужно перепроверять. А еще нужны новые стандарты и сертификация ИИ для определенных задач.
Что в итоге? Важно понимать, что искусственный интеллект — не магический оракул, а обычный инструмент. Понимание его слабостей — первый шаг к их исправлению. Думаю, в ближайшие годы мы увидим прогресс в создании более устойчивых и прозрачных моделей, которые смогут минимизировать человеческие ошибки, а не копировать их.