Comments 12
Сказки, которые хотят выдать за правду. Ох уж эти сказки. Ох, уж эти сказочники
В чем ваш аргумент и можете ли выпустить опровергающую научную статью, чтобы поспорить с авторами?
И что, оценки предсказуемости слов от BERT согласуются с амплитудой N400 и предварительной активацией в мозге?! Это не доказывает, что мозг работает как LLM - это лишь говорит, что статистическая модель может аппроксимировать один из внешних эффектов нейрофизиологического процесса. Наличие корреляции - это не эквивалентность механизмов. Как и то, что камера фиксирует свет так же, как глаз, не делает её способной "видеть".
N400 - это не просто реакция на "неожиданное слово", а индикатор когнитивного напряжения, возникающего, когда входной сигнал конфликтует с внутренней моделью мира. У человека эта модель строится на опыте, эмоциях, контексте, теле, социальных целях. У LLM она вычисляется по текстовым паттернам, без понимания, без истории, без последствий. Когда человек ошибается в прогнозе, он перестраивает модель, учится, удивляется. LLM просто генерирует следующее слово и... всё забывает.
Главная разница - в желании. Человек слушает, потому что хочет понять, помочь, быть услышанным, узнать что-то важное. Его внимание, память, предсказание, они все подчинены внутреннему вектору смысла. У LLM нет ни цели, ни интереса, ни страха, ни радости. Она не "хочет" правильно ответить, она вообще ничего не может хотеть. Её поведение - это не проявление намерения, а воспроизведение статистики обучения. И пока мы не различаем реакцию и отклик, мы будем принимать имитацию за участие.
Поэтому говорить, что мозг и LLM работают по одному принципу, значит сводить живой когнитивный процесс к его "технической тени". Да, BERT помогает моделировать некоторые аспекты обработки речи. Но чтобы понять, как работает разум, нужно изучать не только корреляции в сигнале, а нейробиологию, нейродинамику, целеполагание и природу сознательного опыта, а об этом как раз в статье ничего и не сказано.
Вы, похоже, мой самый преданный фанат: почти все обзоры на последние научные статьи об ИИ стабильно получают от вас одни и те же минусы и одинаковые комментарии про «сказки». Даже завидую вашей настойчивости.
Но знаете, раз за разом повторять «корреляция не равна причинности» — это не научная критика, а тост на вечеринке невежд. Никто в статье и не утверждает, что мозг = LLM. Показано другое: метрика предсказуемости по BERT количественно совпадает с нейрофизиологическими данными. Это факт, который можно воспроизвести и проверить.
Вы пишете: «N400 — это не просто реакция на неожиданное слово, а индикатор когнитивного напряжения, связанного с моделью мира, опытом, эмоциями, телом и социальными целями. У LLM же нет ни понимания, ни истории, ни последствий. Она просто генерирует и всё забывает.»
Спасибо за поэзию, но это никак не опровергает данных. Учёные не утверждают, что BERT «понимает» или «хочет». Они показывают, что предсказуемость слов по модели хорошо коррелирует с амплитудой N400 и предстимульной активностью в мозге. Это не «сведение живого процесса к тени», а аккуратный способ измерить семантическую ожидаемость.
Вы отмечаете: «Главная разница — в желании. Человек слушает, потому что хочет понять, помочь, быть услышанным. У LLM нет ни цели, ни интереса, ни радости.»
И снова мимо: никто не писал обратного. Наука не занимается антропоморфизацией BERT. Здесь речь о том, что статистические ожидания модели можно использовать как инструмент для анализа нейросигналов. И именно это подтверждается экспериментом.
Вы завершаете: «Поэтому говорить, что мозг и LLM работают по одному принципу, значит сводить когнитивный процесс к технической тени.»
Но проблема в том, что это спор с придуманным оппонентом. Авторы статьи так не говорили. Вы воюете не с исследованием, а с воображаемой вами карикатурой.
В итоге получается: вы не оппонент, а просто постоянный зритель, которому без моих обзоров скучно. Спасибо, что читаете — хотя, судя по содержанию ваших выпадов, понимаете вы их слабо.
Может, хватит спорить с обзорами на научные статьи на Хабре? Просто возьмите и напишите своё опровержение в виде исследования. А то выходит как в басне Крылова про свинью под дубом...
Вы правы, я действительно внимательно читаю ваши обзоры, потому что они затрагивают темы, важные для будущего ИИ и когнитивных наук.
Но когда вы пишете: "статистические ожидания ИИ удивительно хорошо отражают прогнозирующую стратегию работы мозга" - это уже не нейтральный пересказ, а интерпретация, которая выходит за рамки. Я не спорю с экспериментом, а спорю с тем, как его подают и что из него делают. Да, метрика BERT коррелирует с N400 - это интересный и ценный результат. Но если Вы называете это "мостом между нейронаукой и ИИ", то Вы не просто сообщаете - Вы формируете восприятие. А оно быстро превращается в: "LLM работает как мозг". Именно против этой "поэтизации данных" я и возражаю.
Я не утверждал, что авторы статьи антропоморфизируют BERT, а говорил, что интерпретация рискует ввести читателей в заблуждение, особенно тех, кто не разбирается в нейрофизиологии. Разница между "корреляция есть" и "принцип один и тот же" - огромна и учёный обзор обязан её сохранять.
Критика - это не признак непонимания, а признак вовлечённости. А игнорирование границ между корреляцией и механизмом - первый шаг к созданию мифов вместо науки.
Если мой комментарий Вам так заметен, то значит, он не был пустым.
Замечаю интересный момент: сначала у вас были «сказки» и «сказочники», а теперь вдруг «интересный и ценный результат». Это, на мой взгляд, хороший прогресс.
Я никогда не писал, что «LLM = мозг». Формулировка «мост» — это образное описание того, что метрики из языковых моделей дают полезный инструмент для проверки гипотез о работе мозга. Это не поэтизация, а нормальная научная практика — объяснять, зачем результат важен в более широком контексте.
Ваше опасение про «введение в заблуждение» понятно, но, согласитесь, преувеличенные обвинения в «сказочничестве» куда больше создают шум и мифы, чем мой обзор.
Тогда выходит, что мы спорим не о результатах — тут все согласны, что они ценны, — а о стиле подачи. Я считаю, что популяризаторский текст имеет право на метафоры вроде «моста», если при этом фактология остаётся точной. Вы же за максимально сухое изложение. Это уже вопрос вкуса, а не науки.
На этом дискуссию объявляю закрытой.
спасибо за статью
Так мозг и большие языковые модели не одинаковы по устройству, но их объединяет ключевой принцип — предсказание следующего слова. Это показывает, что статистические ожидания ИИ удивительно хорошо отражают прогнозирующую стратегию работы мозга при восприятии речи.
Что значит объединяет? ЯМ статистическая предсказательная модель естественного языка. Точнее и эффективнее это делают рекуррентные сети, которые более адекватны прототипу в мозге, но из-за распараллеливания обработки в трансформерах временно свернули на них из-за лучшей аппаратной поддержки не смотря большие затраты энергии и другие недостатки. Предиктивная парадигма (байесовский мозг/разум) уже, как лет двадцать с лишним, доминирует в когнитивных науках, см. перевод с дополнениями. Подобные эксперименты с предсказаниями речи проводят уже давно - 1, 2, 3.
За то что обратил внимание на тему когнитивных исследований и ссылку спасибо!
Точнее и эффективнее это делают рекуррентные сети, которые более адекватны прототипу в мозге, но из-за распараллеливания обработки в трансформерах временно свернули на них из-за лучшей аппаратной поддержки не смотря большие затраты энергии и другие недостатки.
А почему трансформеры не могут быть адекватны прототипу в мозге, было бы интересно взглянуть на доказательства. При том, что математически трансформер крутится вокруг тех же идей.
А почему трансформеры не могут быть адекватны прототипу в мозге
Неплохо объяснено в статьях на вики - 1, 2. Некоторые исследования на эту тему - 1, 2. Аттракторы, нелинейная динамика, метастабильные состояния и критические режимы основные кандидаты в объяснение и моделирование нейродинамики в мозге - 1, 2, 3, 4, 5, 6, 7 ... Не случайно их пытаются возродить на новом уровне - 1, 2, 3. Трансформеры тоже имеют прототип в мозге в сетях гиппокампа, это специализированная структура мозга.
Однако в дальней перспективе это переход к нейроморфным технологиям, которые решают многие проблемы современных ИНС.
Эта работа показывает, что оценки предсказуемости из BERT действительно резонируют с тем, как мозг слушателя обрабатывает язык в живых, а не лабораторных условиях
Интересно, а кто-то считал, что может быть иначе?
Как мозг предсказывает следующее слово и при чем тут ИИ