IQ — во многом псевдонаучный обман
СПОР ЗАКРЫТ (2025) Спор теперь можно считать закрытым благодаря статье Брауна, Вая и Чабриса, которые пытались опровергнуть текст ниже, но вместо этого подтвердили все его выводы. Их статья — самая свежая на тему IQ, основанная на исследованиях нескольких групп людей, — невольно показала, что IQ почти ничего не объясняет: ни успехи в образовании, ни достижения в профессии, ни… доход! И это несмотря на всю круговую логику. Я не замечал эту статью до 2024 года.
ПРЕДЫДУЩАЯ СТАТЬЯ И АРГУМЕНТЫ
Техническое дополнение этой статьи смотрите здесь.
(Обновлённый черновик (2021): добавлены комментарии о злонамеренном ранжировании стран. Также:
Использовал те же данные, что и исследователи, и выяснил, что R² для связи IQ с богатством и доходом фактически равен 0, несмотря на круговую логику.
Оказалось, что даже в лучших применениях IQ превосходит случайный выбор менее чем на 6%, обычно меньше 2%, потому что расчёт корреляций содержит ошибку, а психологи, похоже, не понимают информационной ценности корреляции — то есть "насколько больше я узнаю о B, зная A" — и как распространяется ошибка (внутритестовая вариация для одного человека).
Добавил информацию, которая показывает, что эффективность среднего национального IQ — это, с точки зрения статистики, обман. Психологи, которые пытались спорить со мной по этой статье — с многословными текстами — совершили ошибку, показав мне лучшее, что у них есть: статьи с самыми сильными доводами в пользу IQ. Они, кажется, не понимают, что такое шум и сигнал на практике.)
Предыстория
"IQ" — это устаревший тест, который якобы измеряет умственные способности, но на деле в основном выявляет крайнюю неумность (трудности с обучением), а также, в меньшей степени (и с кучей шума), некую форму интеллекта, лишённую эффектов второго порядка, — то есть насколько человек хорош в сдаче экзаменов, придуманных недалёкими ботанами. Это работает через via negativa, а не через via positiva. Тест изначально создавался для выявления проблем с обучением, но, как оказалось, он там не особо нужен (об этом ниже), и в итоге он отбирает тех, кто хорошо сдаёт экзамены, перекладывает бумажки, послушных "интеллектуалов, но идиотов" (IYI), которые плохо приспособлены к реальной жизни. (То, что IQ коррелирует с общей некомпетентностью, делает общую корреляцию высокой, даже если она случайная — см. рисунки 1 и 2.) Сама концепция плохо продумана математически: в этой области допускают серьёзные ошибки при расчёте корреляций при толстых хвостах и асимметриях, не учитывают размерность, рассматривают разум как инструмент, а не как сложную систему, и, похоже, её продвигают:
Расисты и евгенисты — люди, одержимые идеей доказать, что некоторые народы обладают худшими умственными способностями, основываясь на том, что IQ-тест якобы равен интеллекту. Они злятся на меня, потому что я внезапно лишил их "научного" инструмента, о чём говорят их ожесточённые реакции на мой первый пост в Твиттере и кампании по очернению, которые устраивают такие шарлатаны, как Чарльз Мюррей. (Кстати, великий Карл Поппер заметил, что психологи склонны "патологизировать" тех, кто их разоблачает, навешивая ярлыки вроде какого-то расстройства или дефекта личности — "ребячливый", "нарцисс", "эгоцентрик" и тому подобное.) Обратите внимание: онлайн-журнал Quillette, похоже, служит прикрытием для зловещей евгенической программы (с тенденциями, которые я назвал "неонацистскими", скрытыми под маской "свободы мысли"). И ещё: я нахожу статистические ошибки в работах Ричарда Пломина — "папы" исследований близнецов (смотрите про непереходность корреляции в моём техническом приложении; он этого не понимает).
Торговцы психометрией, которые ищут лохов (военных, крупные корпорации), покупающихся на аргумент "это лучшее, что есть в психологии", хотя IQ даже технически не является мерой. В лучшем случае он объясняет от 2 до 13% результатов в некоторых задачах (тех, что похожи на сам тест) [см. разбор корреляции 0.5 ниже], и это ещё без учёта манипуляций с данными и статистического "выбора вишенок" со стороны психологов. IQ не удовлетворяет требованиям монотонности и транзитивности, которые нужны для настоящей меры (в лучшем случае это вогнутая мера). Никакая мера, которая проваливается в 80–95% случаев, не должна считаться частью "науки". Как, впрочем, и сама психология — с её зловещей историей — не должна быть частью науки (скорее, это сциентизм), но это уже другой разговор.
В итоге IQ — это аморальный инструмент, который не работает, но может навсегда засунуть людей (а что ещё хуже — целые группы) в ящики с ярлыками на всю жизнь.
Между IQ и реальными, твёрдыми показателями, такими как богатство, нет значимой статистической связи. Большинство "достижений", которые приписывают IQ, — это круговая ерунда: успехи в бюрократии или учёбе, то есть то, что хорошо получается у тех, кто сдаёт тесты, или у наёмных работников в структурированных профессиях, похожих на эти тесты. Богатство, может, и не равно успеху, но это единственный "твёрдый" показатель, а не какие-то условные баллы за достижения. На 30 долларов ты можешь купить еду, а на "успехи" вроде высокого статуса, общественной известности или селфи с королевой — нет.
Психологи не понимают, что влияние IQ (если оно вообще есть, не считая круговой логики) меньше, чем разница в результатах IQ-тестов для одного и того же человека. Корреляция между тестом и повторным тестом — 80%, то есть то, что ты — это ты, объясняет меньше 64% твоих результатов. И хуже того: вы сами от себя отличаетесь на две трети стандартного отклонения.
Некоторые говорят, что IQ измеряет интеллектуальные способности, а результаты в реальной жизни зависят ещё и от "мудрости", терпения, "добросовестности", умения принимать решения или чего-то такого. Нет. IQ не измеряет даже интеллектуальные способности или ментальную силу.
Смещение мёртвого человека (Dead Man Bias): Даже если бы IQ был линейным и симметричным, сам факт, что слева есть "мёртвое состояние" (мёртвый = 0 IQ), а справа ничего подобного нет, создаёт серьёзное искажение.
Если хочешь понять, как человек справляется с задачей — например, с ростовщичеством, игрой в теннис или теорией случайных матриц, — пусть он эту задачу выполняет. Не нужны никакие теоретические тесты для реальных дел от психологов, которые не разбираются в вероятностях. Трейдеры это сразу понимают: гипотетическая прибыль или убыток от "бумажных" стратегий не считается. Производительность — это то, что реально. То, что происходит в голове человека, когда он смотрит на экран, не существует (разве что через via negativa).
Толстые хвосты. Если IQ по своей конструкции гауссовский (ну, почти), а производительность в реальном мире имеет толстые хвосты (а она их имеет), то либо ковариация между IQ и производительностью вообще не существует, либо она не несёт никакой информации. В выборке она покажет какое-то число, но статистически её нет — и метрики будут переоценивать предсказательную силу. Ещё одна проблема: когда говорят "чёрные на X стандартных отклонений ниже", они не понимают, о чём говорят. Разные группы людей имеют разную вариацию, даже разную асимметрию, и такие сравнения требуют более сложных моделей. Это серьёзные, очень серьёзные математические ошибки (миллиард статей в психометрии ничего не стоит, если есть такая ошибка). Подробный разбор будет в моей следующей книге.
Но "интеллект" в IQ определяется академическими психологами (никакими не гениями), примерно как "бумажная торговля", о которой мы говорили выше, через статистические конструкции вроде корреляции, которую, как я здесь показываю (см. Рис. 1), они явно не понимают. IQ действительно коррелирует с очень низкой производительностью (как и задумывалось изначально — для выявления особых потребностей в обучении), но в этом случае любой показатель сработал бы. Проблема в том, что мера, которая работает в левом хвосте, но не в правом (IQ теряет корреляцию по мере роста), ненадёжна. Мы получаем похожие результаты ещё со знаменитого лонгитюдного исследования Термана, даже с подправленными данными в более поздних исследованиях. Чтобы понять суть: если у человека есть умственные трудности, корреляция между производительностью и IQ-тестами будет 100%. Но на высоких уровнях производительность так хорошо не коррелирует, хотя психологи, не понимая эффекта нелинейности, думают, что корреляция есть. (Статистический трюк, который используют как маркетинговый аргумент: человек с IQ 70 не сможет доказывать теоремы — это очевидно для меры неумности, — но они умалчивают, сколько людей с IQ 150 занимаются низкоквалифицированной работой. То есть "очень низкий IQ" может что-то говорить, а "очень высокий IQ" не даёт ничего лучше случайного выбора — это даже не необходимое условие.)
Неверно утверждать, что IQ "измеряет аппаратное обеспечение", а не программное. Он может измерять некоторые произвольно выбранные умственные способности (в условиях теста), которые считаются полезными. Но если взглянуть на интеллект с позиции Поппера и Хайека, то станет ясно: чтобы измерить будущие потребности, нужно знать, какие умственные навыки понадобятся в будущей среде, а это требует предсказуемости этой самой среды. Плюс нужна некоторая эрогодичность — навыки, которые помогут дожить до этого будущего (отсюда и необходимость "ментальных искажений" для выживания). Пример: вы разрабатываете машину для "производительности". Maserati покажет лучший результат на трассе и обгонит козу. Но что, если вам нужно пересечь корсиканскую гаригу? Тут коза будет идеальна. В Нью-Йорке в пробке пешеходы обгоняют машины. Так что понятие "производительности" должно быть привязано к конкретной среде и обязательно предсказывать её. (Сноска: идея Херберта Саймона о ножницах: одна половинка — это способности, другая — контекст ситуации.) "g" (общий интеллект) из-за своих математических ошибок не может дать универсального решения для этой проблемы.
Ошибка лучшей карты (из Технического Incerto, Определение 2.1) - Безусловно предпочитать плохую карту полному её отсутствию. Если говорить технически — игнорировать тот факт, что принятие решений влечёт изменения в (f(x)) при отсутствии знаний о (x).
Любой здравомыслящий человек, столкнувшись с полётом на самолёте с ненадёжной моделью риска или высокой неопределённостью в безопасности, выберет поезд. Но тот же человек, не имея личной заинтересованности, работая профессором, менеджером или "экспертом по рискам", скажет: "Ну, я использую лучшую модель, которая у нас есть", и будет опираться на ненадёжные данные, вместо того чтобы следовать простому принципу: "Давай брать только те риски, для которых у нас есть надёжная модель". Эта лучшая карта нарушает главный принцип управления рисками, Принцип 2.2. Ошибка раскрывается в "Чёрном лебеде":
Это самое странное из заблуждений. Я знаю мало людей, которые согласились бы лететь в нью-йоркский аэропорт Ла-Гуардиа с пилотом, который собирается ориентироваться по карте аэропорта Атланты, “потому что ничего другого под рукой нет”. Люди с нормальными мозгами скорее поедут на машине, сядут в поезд или останутся дома. Но, оказываясь в экономическом пространстве, все они, как профессионалы, предпочитают применять в Крайнестане меры, разработанные для Среднестана, мотивируя это тем, что “ничего другого у нас просто нет”. Обладателям ученых степеней в области общественных наук чужда мысль, отлично усвоенная еще нашими бабушками: следует выбирать пункт назначения, который обозначен у вас на карте, а не выискивать “наилучшую” из имеющихся карт, уже пустившись в путь.
Это не шутка: "дайте нам что-то получше" — это постоянная проблема, с которой автор сталкивается уже давно.
Реальная жизнь: В академическом мире нет разницы между академией и реальной жизнью; в реальной жизни она есть.
Когда в реальной жизни тебе задают вопрос, ты сначала думаешь: "А почему он/она меня об этом спрашивает?", что переносит твоё внимание на окружение (см. Жирный Тони против доктора Джона в "Чёрном лебеде") и отвлекает от самой задачи. Философы знали об этой проблеме всегда. Только лохи не имеют такого инстинкта. Более того, возьми последовательность {1, 2, 3, 4, x}. Чему равно x? Только тот, кто не понимает индукцию, ответит 5, как будто это единственный ответ (см. проблему Гудмена в учебнике по философии или спроси ближайшего Жирного Тони). [Примечание: Здесь также применимая проблема Витгенштейна о следовании правилу, которая гласит, что с любой конечной последовательностью совместимо бесконечное число функций. Источник: Пол Богоссян]. Такой человек не только не понимает, но и достаточно послушен, чтобы думать определённым образом.
Реальная жизнь никогда-никогда не предлагает чёткие вопросы с чёткими ответами (у большинства вопросов нет ответов; возможно, худшая проблема IQ в том, что он отбирает людей, которые не любят говорить: "Ответа нет, не трать время, найди что-то другое".)
Нужно быть определённым типом человека, чтобы тратить умственную энергию на академические задачи. Это безжизненные бюрократы, которые могут собрать стерильную мотивацию. Некоторые люди могут сосредотачиваться только на реальных проблемах, а не на выдуманных учебных (см. примечание ниже, где я объясняю, что могу концентрироваться только на реальных, а не на выдуманных задачах).
IQ не улавливает выпуклость ошибок (по аналогии с дилеммой смещения и вариации: нужно делать много мелких, незначительных ошибок, чтобы избежать одной большой и катастрофической. См. "Антихрупкость" и как любая мера "интеллекта" без учёта выпуклости бесполезна — edge.org/conversation/n…). Чтобы преуспеть, нужно выжить; выживание требует ментальных искажений, которые приводят к определённым ошибкам.
"Одураченные случайностью": видеть поверхностные закономерности — не достоинство, это ведёт к наивному интервенционизму. Какой-то психолог написал мне в ответ: "IQ отбирает по способности к распознаванию закономерностей, что важно для функционирования в современном обществе". Нет. Не видеть закономерности, кроме тех случаев, когда они значимы, — это достоинство в реальной жизни. Чтобы преуспеть в жизни, нужны глубина и способность выбирать свои собственные задачи, а также думать независимо. И нужно быть сумасшедшим (или психологом), чтобы верить, что стандартный тест раскроет независимое мышление.
Национальный IQ — это обман. Общаясь с участниками (которые бросаются модными словечками), я понял, что у этой концепции огромная вариация, достаточная, чтобы сделать её бесполезной. Смотрите график. И обратите внимание: вариация внутри групп вообще не используется для выводов (вы усредняете по функциям, а не используете функцию по средним) — это особенно серьёзная проблема для вкладов из хвостов.[На самом деле в основополагающем исследовании говорится: "для 104 из 185 стран не было никаких данных", и они… вычислили числа на основе этнической принадлежности. Помимо непереходности корреляции, это чистое мошенничество.]
Вспомните, что в "Антихрупкости" я говорил: если богатство имеет толстые хвосты, нужно смотреть на меньшинство в этих хвостах (где отдача от IQ вообще непредсказуема), а не на среднее значение. Но это приводит к тому, что расистские глупцы начинают думать: раз у страны средний IQ 82 (допустим, это правда, а не результат отсутствия подготовки), значит, у всех там IQ 82, и, следовательно, давай запретим им иммигрировать. Как я уже сказал, они не понимают даже базовых статистических понятий вроде вариации. Некоторые используют национальный IQ, чтобы обосновать генетические различия, но это не объясняет резких изменений в Ирландии и Хорватии после вступления в Евросоюз или, наоборот, разницы между израильскими и американскими ашкеназами.
Дополнительная вариация: Вернемся к вопросу корреляции между тестом и повторным тестом. В отличие от измерений роста или богатства, где относительная погрешность минимальна, многие люди получают совершенно разные результаты на одном и том же IQ-тесте (я имею в виду одного и того же человека!), иногда с разницей до 2 стандартных отклонений, если сравнивать с выборкой по популяции, — это больше, чем ошибка выборки в самой популяции! Этот дополнительный источник ошибки выборки сильно ослабляет эффект из-за распространения неопределённости, что делает тест куда менее предсказуемым, когда его применяют к оценке одного человека. А ещё это говорит, что вы как личность намного разнообразнее толпы, по крайней мере, с точки зрения этой меры!
Существует серьёзная нелинейность в корреляции между тестом и повторным тестом, вдобавок к проблеме непереходности корреляции, о которой я говорил в техническом примечании. Представьте себе хронометр, который ошибается на 1 час при каждом измерении!
Искажения в исследованиях: Если, как показывают психологи (см. рисунок), у врачей и академиков IQ в среднем выше и это слегка информативно (выше, но на фоне сильного шума), то это в основном потому, что для поступления в школы нужно сдать тест, похожий на IQ. Само наличие такого фильтра увеличивает видимое среднее и уменьшает видимую вариацию. Вероятности и статистика вводят дураков в заблуждение.
Коэффициент функционера: Если переименовать IQ из "коэффициента интеллекта" в FQ — "коэффициент функционера" или SQ — "коэффициент наёмного работника", то кое-что станет правдой. Этот показатель лучше всего измеряет способность быть хорошим рабом, ограниченным линейными задачами. "IQ" идеально подходит для "бредовых работ" в духе Дэвида Грэбера.
Метрификация: Если бы кто-то придумал числовой "коэффициент благополучия" (WBQ) или "коэффициент сна" (SQ), пытаясь подражать температуре или физическим величинам, вы бы сочли это абсурдом. Но возьмите достаточно академиков, страдающих от зависти к физике и одержимых расовой ненавистью, и это станет официальной мерой.
Заметки и технические примечания
Аргумент психологов, чтобы сделать IQ полезным, звучит так: кого бы вы выбрали для операции на мозге / кого бы наняли в свою компанию / кого бы порекомендовали — человека с IQ 90 или с IQ 130? Это… академично (в плохом смысле). В реальном мире вы выбираете людей по их конкретным достижениям, что уже включает определённый отбор. Вы смотрите на резюме (а не на какой-то номер IQ, как в мысленном эксперименте), и, когда у вас есть резюме, человек с IQ 62 автоматически отпадает. Так что единственное, для чего IQ может быть полезен — отсеять людей с умственными ограничениями, — в реальной жизни и без того происходит: такой человек не получит диплом инженера или врача. Это объясняет, почему IQ не нужен, а его использование даже рискованно, потому что вы можете упустить Эйнштейнов и Фейнманов.
"IQ" лучше всего предсказывает результаты в военной подготовке, с корреляцией около 0,5 (что, опять же, круговая логика, потому что отбор не случайный, а подготовка — это ещё один тест).
Пломин, который изучает наследственность, похоже, не знает о непереходности корреляции. И это не единственный его промах (он, кажется, вообще не понимает, как правильно определять наследственность, но это уже другая проблема).
Существуют противоречивые данные о том, перестаёт ли IQ работать после какого-то порога, ещё со времён лонгитюдного исследования "гениев" Термана. Чего эти исследователи не понимают, так это того, что такие противоречия возникают из-за того, что вариация самого показателя IQ увеличивается с ростом IQ. Не очень-то хорошо.
Аргумент, что "некоторые расы лучше бегают", а значит, [какие-то выводы о мозге], — устарел: умственные способности гораздо более многомерны и не определяются так же, как бег на 100 метров.
В этой статье у меня нет ссылок на психологические исследования (кроме как через via negativa, беря их "лучшее"), и не потому, что я не читал эти мусорные статьи: просто вся эта область — провал. На данный момент около 50% исследований не воспроизводятся, а те, что воспроизводятся, показывают более слабый эффект. И это не считая того, что их выводы почти не применимы к реальной жизни (психологические статьи — это просто игра). Как P-значения часто — да почти всегда — оказываются мошенническими: об этом в моей статье.
Эффект Флинна должен предупреждать нас не только о том, что IQ частично зависит от среды, но и о том, что он по крайней мере отчасти круговой.
Словоблудие: У психологов поверхностное статистическое образование, и они не могут перевести в понятный смысл даже такие простые вещи, как "корреляция" или "объяснённая вариация", особенно при нелинейностях (см. статью в конце).
Шарлатаны с "лучшей мерой": IQ напоминает шарлатанов от рисков, которые настаивают на продаже "стоимости под риском" (VaR) и RiskMetrics, утверждая, что "это лучшая мера". Эта "лучшая" мера, будучи ненадёжной, взрывала их много-много раз. Заметьте, есть целый класс лохов, для которых плохая мера лучше, чем её отсутствие, — и так во всех областях.
Без вероятностей статистику не сделаешь.
Многое из того, что говорят об IQ физиков, вызывает подозрения — из-за самоотчётных искажений и отбора в тестах.
Если бы вы взглянули на Северную Европу из Древнего Вавилона, Древнего Средиземноморья или Египта, вы бы сочли её жителей полными неудачниками, лишёнными всякого потенциала… А теперь посмотрите, что произошло после 1600 года. Будьте осторожны, когда рассуждаете о группах людей.
Те же самые люди утверждают, что IQ передаётся по наследству, что он определяет успех, что у азиатов IQ выше, чем у европейцев, принижают африканцев, но при этом не замечают, что Китай на протяжении почти века имел ВВП на порядок ниже, чем Запад.
Реакции психологов
Альт-правые группы, и такие как Джеймс Томпсон
Халтура от некоего Джонатана Паллесена, полная ошибок об этой статье (и об "эмпиризме"), которую продвигают шарлатаны вроде Мюррея. Он не понял, что, конечно, можно "добыть" корреляцию из данных. Но вот интерпретация этих корреляций — полная ерунда. Паллесен также распространяет ложь о том, что я якобы сказал, и это уже разоблачили в онлайн-комментариях (например, про задачку, которую я давал, и использование логарифма вместо X).
Математические соображения
Проклятие размерности - Ошибка в попытках найти гены "интеллекта". Вы можете выделить моногенные признаки, но не полигенные (заметьте: аддитивные моногенные признаки, которые используют в разведении животных, — это НЕ полигенные).
Проблема шкуры на кону