Спасибо за такой подробный комментарий. С модельным описанием теории я в целом не спорю. Более того, в статье прямо сказано: оракул тоже можно назвать теорией. Вопрос не в наличии модели, а в различии между компактной теорией человеческого масштаба и высокоразмерным предиктором.
Вы правы, что AlphaFold и другие работают внутри областей, где уже существуют концептуальные модели, данные и ограничения. Это не примеры “науки из ничего”, а первые приближения к описанному сценарию. Но из этого, на мой взгляд, ещё не следует, что такие системы “теоретически полностью прозрачны”. Понятные вход и выход - не то же самое, что понятное отображение между ними. Мы знаем, что подали последовательность белка и получили координаты атомов, но не располагаем компактной моделью, по которой человек самостоятельно получил бы тот же результат.
Называя оракула ещё одной формальной моделью, мы классифицируем его, но не делаем интеллектуально реконструируемым. Тем более что проверка на множестве новых случаев подтверждает работоспособность, но не доказывает эквивалентность аналитической модели.
Согласен, что могут появиться надстройки, переводящие внутренние состояния модели в проверяемое символическое представление. Если такой перевод окажется точным и компактным, он фактически и станет новой теорией человеческого масштаба. Но возможность такого исхода ещё не означает, что всякая устойчивая закономерность обязательно допускает подобный перевод.
Интересно, что ваш второй вариант - обучение на сырых данных, поиск неожиданных событий в “шуме” и обнаружение паттернов, для которых пока нет концепций, - очень близок к тому, что я называю второй половиной мира. Расхождение, кажется, остаётся только в одном: вы предполагаете, что подходящие понятия со временем возникнут, а я оставляю открытой возможность, что для части закономерностей компактного человеческого описания может не существовать вообще.
Поэтому для меня центральный вопрос такой: есть ли принципиальная причина считать, что всякая предсказательная структура обязательно может быть свёрнута в концептуальную модель, которой способен овладеть человек?
Спасибо, хороший пример. Мне кажется, он как раз помогает отделить "предсказывает" от "даёт физическую теорию".
Я бы только немного развёл случай Птолемея и мой пример с нейросетью. У Птолемея физическая картина была, но не согласовывалась с предсказывающей математикой. А у гипотетического нейросетевого оракула может быть обратная ситуация: предсказывающая математика прекрасно работает, но никакой физической картины человеческого масштаба из неё вообще не удаётся извлечь.
Формально такой оракул, конечно, тоже можно назвать моделью или даже теорией. Но тогда возникает интересный вопрос: не схлопываем ли мы одним словом две довольно разные вещи - предиктор, который выдаёт правильный результат, и теорию, из которой человек может восстановить структуру происходящего?
Забавно, что два дня назад у меня вышла статья ровно про этот мысленный эксперимент - что будет с наукой, если надёжное предсказание научится существовать отдельно от человеческого понимания: "Вторая половина мира".
Тогда мы, кажется, наконец пришли к ответу: да, достаточно предсказателя.
Но фраза “если предсказывает, то она и есть модель” просто переименовывает черный ящик в модель. Черным ящиком он от этого быть не перестает.
И исследовать его будут не “точно так же”, как уравнения ОТО. В ОТО уравнения и есть явно сформулированная закономерность, а численный расчет только выводит из нее следствия. Здесь же сама закономерность может существовать только в миллиардах весов, и ее придется угадывать по поведению системы - почти как законы природы. Наблюдать за нейросетью, ставить над ней эксперименты и строить теорию ее поведения - со своей “ОТО”, “квантами”, блэкджеком и, вероятно, собственными черными ящиками.
То есть вместо теории природы мы получаем еще один кусок природы, который тоже надо объяснять.
Так что мне не кажется, что пример с ЛЛМ тут сильно выбивается из существующего ряда. Конечно, при условии что она вообще будет способна порождать физические модели. Что совсем не факт.
Вы сами добавили ключевое условие: нейросеть должна не просто предсказывать результаты, а порождать физические модели. Но я говорил как раз про случай, когда она только предсказывает и никакой доступной человеку модели не даёт.
Если без такой модели это уже не вполне научное знание, значит одной предсказательной способности всё-таки недостаточно - ровно это я и спрашивал.
Численный расчёт в ОТО всё же не совсем тот же случай. Мы можем не знать результат до вычисления, но знаем, какие физические величины связаны уравнениями и почему меняется ответ. "Трудно посчитать" и "непонятно, какую закономерность использует система" - разные проблемы.
Мы прекрасно знаем и устройство мясорубки. Но это ещё не значит, что по её схеме можно восстановить корову. А по разнице хода часов ОТО позволяет восстановить гравитационный потенциал.
В ОТО закономерность можно записать, обсудить и вывести из неё следствия. У нейросети закономерность может быть размазана по миллиардам весов так, что изложить её никто не способен.
Можно долго спорить о слове "понимание", но мой пример от этого не меняется. В механике и ОТО мы хотя бы знаем устройство модели и можем проследить, как из ее положений получается конкретное предсказание. В случае с нейросетью мы имеем только устойчивое соответствие входа и выхода, внутреннюю логику которого никто не способен изложить.
Поэтому вопрос был не о том, "объясняет" ли ОТО природу гравитации окончательно. Вопрос проще: достаточно ли для науки чёрного ящика, который надёжно угадывает результаты экспериментов?
Правильно ли я понял, что в предложенном подходе объяснение и понимание для науки необязательны, если модель хорошо предсказывает новые наблюдения?
Допустим, нейросеть стабильно предсказывает результаты ещё не поставленных экспериментов лучше любых понятных человеку теорий, но никто не может объяснить, как именно она приходит к ответу. Будет ли это считаться полноценным научным знанием, если понимания происходящего у нас так и не появится?
А от осинки не родятся апельсинки. Культура теряется, согласен. Можем себе позволить, может, даже и очень долго. А можем неудачно растерять критическую массу, которую никто не знает, — и здравствуй, светлое будущее: в эволюции есть только пока не проигравшие.
То же самое делает к примеру теория относительности. Любая высказываемая мысль должна быть с ней совместима.
Не любая мысль, только в физике и связанных областях. Теоретически посты бьюти-блогеров тоже не должны противоречить ТО, но я не уверен, что там проверяют.
Сам пример хороший: фильтр ТО действительно может действовать на ранней стадии формулирования мысли. Но это фильтр в очень узкой, пусть и важной области. В других областях работают другие фильтры - со своей историей и своими глюками.
А на другом конце у нас условный миллиард пользователей ChatGPT, или вообще 146% всей популяции, если добавить юзеров Гугла. И вот здесь физик и бьюти-блогер действительно близки как никогда. Возможно, в таком масштабе количество уже начинает переходить в качество.
Да, согласен: фильтр на фильтр накручен. Везде и по нескольку раз. Пока вроде работает, но вопрос как раз в том, где предел устойчивости такой системы для сохранения разнообразия. В случае обычного коллапса модели всё происходит быстро и наглядно. А как это будет у людей, и будет ли вообще, — о том и статья.
«Новые амиши» — скорее да, но не как полноценное решение, а как способ немного разбавлять систему свежей кровью. Полная изоляция, боюсь, быстро приведёт к другой проблеме: они не сохранят культуру, а просто станут отдельной локальной веткой. Чтобы оставаться живым источником, всё равно придётся взаимодействовать с основной популяцией: учиться, читать, спорить.
Нормы и требования в процессе обучения — тоже схема не без греха, согласен. Но она, во-первых, долго эволюционировала вместе с нами в сложном мире; во-вторых, применяется разными живыми людьми с кучей ошибок и “мутаций”; в-третьих, всё же не настолько глобальна по охвату и скорости влияния.
У ИИ другая механика: один и тот же тип нормализации может одновременно оказаться встроен в миллионы актов письма и мышления. Причём до того, как мысль попала в культурный отбор.
Проблема не в самом наличии нормы. Проблема в том, что сейчас появляется очень удобный, массовый и относительно единообразный предварительный фильтр, который может срезать значимую часть вариативности ещё на входе.
AI опасен не как цензор, а как предварительный нормализатор.
Я с базовой частью согласен: культура действительно всегда была контуром обратной связи и всегда в той или иной степени усредняла сама себя. Но тезис не в том, что AI впервые создаёт культурное усреднение, а в том, что меняется его режим.
Обычная культура чаще фильтрует уже появившиеся высказывания: через редакторов, споры, репутацию и т.п. AI входит раньше — прямо в момент производства текста, когда мысль ещё только ищет форму. Он предлагает структуру, категории, аргументы - представление о том, как должен звучать “хороший” ответ.
И это фильтр необычного типа. Он не обязательно отличает истинное от ложного или ценное от мусорного. Он тянет текст к связному, гладкому, узнаваемо нормальному. Для отдельного автора это часто полезно. Но на уровне среды такой фильтр может сглаживать различия ещё до того, как они успели стать видимыми.
Поэтому да, усреднение существовало всегда. Вопрос не в самом факте влияния, а в масштабе, скорости, невидимости и точке входа — до публикации, внутри самого процесса мышления и письма.
Я не спорю с тем, что физический мир остаётся внешним источником данных. Это как раз причина, почему грубый технический model collapse, вероятно, можно сдерживать: датчики, роботы, эксперименты, код, симуляции и реальные действия дают внешний якорь.
Но статья не о полной изоляции моделей от реальности. Она о другом: человеческий культурный слой сам начинает проходить через модели. Человек получает от AI не только формулировку, но и структуру аргумента, набор примеров, стиль, критерий «хорошего ответа». Потом он пишет уже сам — и этот текст снова считается человеческим.
Камера может проверить, есть ли на фото собака. Она не проверит, сохранилась ли в культуре редкая мысль, локальная форма, странный аргумент или самостоятельный способ видеть мир. Поэтому мультимодальность помогает против технического коллапса, но не снимает вопрос о человеческом.
А может быть, по развитому интеллекту просто ещё рано выносить эволюционный вердикт?
Кажется, здесь есть риск принять редкость явления за доказательство его невыгодности. Если понимать развитый интеллект не как отдельную “опцию”, которую эволюция могла многократно включать и выключать, а как редкую связку условий — сложный мозг, социальность, длительное обучение, память, коммуникацию, накопление и передачу опыта между поколениями, подходящую экологию, — то неудивительно, что она почти нигде не собралась целиком.
Тогда вопрос может быть не в том, что отбор “не любит” ум, а в том, что полноценных запусков такой архитектуры было слишком мало. У нас один известный массовый эксперимент, да и тот по биологическим меркам начался совсем недавно и ещё не завершён.
Поэтому по одному незавершённому примеру трудно понять, что такое развитый интеллект: эволюционная ошибка, редкая удачная находка или просто очень дорогой инструмент для узкого набора условий.
Да, я примерно в эту сторону как раз и думал добавить отдельный блок - про связь сингулярности с “концом истории”.
ОМП сделало горячую мировую войну самоубийственной, а Холодная война заменила ее как двигатель большой науки: ядерное сдерживание, космическая гонка, огромные бюджеты.
“Конец истории” сформулировали уже на волне победы в Холодной войне: дальше, казалось, должен был начаться скучный менеджмент глобализации. Но вместе с этой победой начал распадаться и режим, который во многом тащил большую науку XX века. Вместо государственной большой науки центр тяжести ушёл в корпоративную цифровую инфраструктуру.
А когда выяснилось, что история никуда не кончилась, а из-под кровати полезло всё то, чего там, как все думали, давно уже нет, вернуть прежний режим уже не смогли.
Сейчас в военной области видна та же знакомая пластинка: надо первыми сделать AGI, и он всех победит. Возможно, у военных встреча с реальностью уже частично происходит - ну или случится раньше, чем у остальных участников забега.
Спасибо за такой подробный комментарий. С модельным описанием теории я в целом не спорю. Более того, в статье прямо сказано: оракул тоже можно назвать теорией. Вопрос не в наличии модели, а в различии между компактной теорией человеческого масштаба и высокоразмерным предиктором.
Вы правы, что AlphaFold и другие работают внутри областей, где уже существуют концептуальные модели, данные и ограничения. Это не примеры “науки из ничего”, а первые приближения к описанному сценарию. Но из этого, на мой взгляд, ещё не следует, что такие системы “теоретически полностью прозрачны”. Понятные вход и выход - не то же самое, что понятное отображение между ними. Мы знаем, что подали последовательность белка и получили координаты атомов, но не располагаем компактной моделью, по которой человек самостоятельно получил бы тот же результат.
Называя оракула ещё одной формальной моделью, мы классифицируем его, но не делаем интеллектуально реконструируемым. Тем более что проверка на множестве новых случаев подтверждает работоспособность, но не доказывает эквивалентность аналитической модели.
Согласен, что могут появиться надстройки, переводящие внутренние состояния модели в проверяемое символическое представление. Если такой перевод окажется точным и компактным, он фактически и станет новой теорией человеческого масштаба. Но возможность такого исхода ещё не означает, что всякая устойчивая закономерность обязательно допускает подобный перевод.
Интересно, что ваш второй вариант - обучение на сырых данных, поиск неожиданных событий в “шуме” и обнаружение паттернов, для которых пока нет концепций, - очень близок к тому, что я называю второй половиной мира. Расхождение, кажется, остаётся только в одном: вы предполагаете, что подходящие понятия со временем возникнут, а я оставляю открытой возможность, что для части закономерностей компактного человеческого описания может не существовать вообще.
Поэтому для меня центральный вопрос такой: есть ли принципиальная причина считать, что всякая предсказательная структура обязательно может быть свёрнута в концептуальную модель, которой способен овладеть человек?
Спасибо, хороший пример. Мне кажется, он как раз помогает отделить "предсказывает" от "даёт физическую теорию".
Я бы только немного развёл случай Птолемея и мой пример с нейросетью. У Птолемея физическая картина была, но не согласовывалась с предсказывающей математикой. А у гипотетического нейросетевого оракула может быть обратная ситуация: предсказывающая математика прекрасно работает, но никакой физической картины человеческого масштаба из неё вообще не удаётся извлечь.
Формально такой оракул, конечно, тоже можно назвать моделью или даже теорией. Но тогда возникает интересный вопрос: не схлопываем ли мы одним словом две довольно разные вещи - предиктор, который выдаёт правильный результат, и теорию, из которой человек может восстановить структуру происходящего?
Забавно, что два дня назад у меня вышла статья ровно про этот мысленный эксперимент - что будет с наукой, если надёжное предсказание научится существовать отдельно от человеческого понимания: "Вторая половина мира".
Тогда мы, кажется, наконец пришли к ответу: да, достаточно предсказателя.
Но фраза “если предсказывает, то она и есть модель” просто переименовывает черный ящик в модель. Черным ящиком он от этого быть не перестает.
И исследовать его будут не “точно так же”, как уравнения ОТО. В ОТО уравнения и есть явно сформулированная закономерность, а численный расчет только выводит из нее следствия. Здесь же сама закономерность может существовать только в миллиардах весов, и ее придется угадывать по поведению системы - почти как законы природы. Наблюдать за нейросетью, ставить над ней эксперименты и строить теорию ее поведения - со своей “ОТО”, “квантами”,
блэкджекоми, вероятно, собственными черными ящиками.То есть вместо теории природы мы получаем еще один кусок природы, который тоже надо объяснять.
Вы сами добавили ключевое условие: нейросеть должна не просто предсказывать результаты, а порождать физические модели. Но я говорил как раз про случай, когда она только предсказывает и никакой доступной человеку модели не даёт.
Если без такой модели это уже не вполне научное знание, значит одной предсказательной способности всё-таки недостаточно - ровно это я и спрашивал.
Численный расчёт в ОТО всё же не совсем тот же случай. Мы можем не знать результат до вычисления, но знаем, какие физические величины связаны уравнениями и почему меняется ответ. "Трудно посчитать" и "непонятно, какую закономерность использует система" - разные проблемы.
Мы прекрасно знаем и устройство мясорубки. Но это ещё не значит, что по её схеме можно восстановить корову. А по разнице хода часов ОТО позволяет восстановить гравитационный потенциал.
В ОТО закономерность можно записать, обсудить и вывести из неё следствия. У нейросети закономерность может быть размазана по миллиардам весов так, что изложить её никто не способен.
Можно долго спорить о слове "понимание", но мой пример от этого не меняется. В механике и ОТО мы хотя бы знаем устройство модели и можем проследить, как из ее положений получается конкретное предсказание. В случае с нейросетью мы имеем только устойчивое соответствие входа и выхода, внутреннюю логику которого никто не способен изложить.
Поэтому вопрос был не о том, "объясняет" ли ОТО природу гравитации окончательно. Вопрос проще: достаточно ли для науки чёрного ящика, который надёжно угадывает результаты экспериментов?
Правильно ли я понял, что в предложенном подходе объяснение и понимание для науки необязательны, если модель хорошо предсказывает новые наблюдения?
Допустим, нейросеть стабильно предсказывает результаты ещё не поставленных экспериментов лучше любых понятных человеку теорий, но никто не может объяснить, как именно она приходит к ответу. Будет ли это считаться полноценным научным знанием, если понимания происходящего у нас так и не появится?
Письмо от избирателя: "Вы же хотели сказать, что всем людям надо выдавать по 100мл спирта или производных в день, но секретарша все перепутала?"
А от осинки не родятся апельсинки. Культура теряется, согласен. Можем себе позволить, может, даже и очень долго. А можем неудачно растерять критическую массу, которую никто не знает, — и здравствуй, светлое будущее: в эволюции есть только пока не проигравшие.
Не любая мысль, только в физике и связанных областях. Теоретически посты бьюти-блогеров тоже не должны противоречить ТО, но я не уверен, что там проверяют.
Сам пример хороший: фильтр ТО действительно может действовать на ранней стадии формулирования мысли. Но это фильтр в очень узкой, пусть и важной области. В других областях работают другие фильтры - со своей историей и своими глюками.
А на другом конце у нас условный миллиард пользователей ChatGPT, или вообще 146% всей популяции, если добавить юзеров Гугла. И вот здесь физик и бьюти-блогер действительно близки как никогда. Возможно, в таком масштабе количество уже начинает переходить в качество.
Да, согласен: фильтр на фильтр накручен. Везде и по нескольку раз. Пока вроде работает, но вопрос как раз в том, где предел устойчивости такой системы для сохранения разнообразия. В случае обычного коллапса модели всё происходит быстро и наглядно. А как это будет у людей, и будет ли вообще, — о том и статья.
«Новые амиши» — скорее да, но не как полноценное решение, а как способ немного разбавлять систему свежей кровью. Полная изоляция, боюсь, быстро приведёт к другой проблеме: они не сохранят культуру, а просто станут отдельной локальной веткой. Чтобы оставаться живым источником, всё равно придётся взаимодействовать с основной популяцией: учиться, читать, спорить.
Нормы и требования в процессе обучения — тоже схема не без греха, согласен. Но она, во-первых, долго эволюционировала вместе с нами в сложном мире; во-вторых, применяется разными живыми людьми с кучей ошибок и “мутаций”; в-третьих, всё же не настолько глобальна по охвату и скорости влияния.
У ИИ другая механика: один и тот же тип нормализации может одновременно оказаться встроен в миллионы актов письма и мышления. Причём до того, как мысль попала в культурный отбор.
Проблема не в самом наличии нормы. Проблема в том, что сейчас появляется очень удобный, массовый и относительно единообразный предварительный фильтр, который может срезать значимую часть вариативности ещё на входе.
AI опасен не как цензор, а как предварительный нормализатор.
Я с базовой частью согласен: культура действительно всегда была контуром обратной связи и всегда в той или иной степени усредняла сама себя. Но тезис не в том, что AI впервые создаёт культурное усреднение, а в том, что меняется его режим.
Обычная культура чаще фильтрует уже появившиеся высказывания: через редакторов, споры, репутацию и т.п. AI входит раньше — прямо в момент производства текста, когда мысль ещё только ищет форму. Он предлагает структуру, категории, аргументы - представление о том, как должен звучать “хороший” ответ.
И это фильтр необычного типа. Он не обязательно отличает истинное от ложного или ценное от мусорного. Он тянет текст к связному, гладкому, узнаваемо нормальному. Для отдельного автора это часто полезно. Но на уровне среды такой фильтр может сглаживать различия ещё до того, как они успели стать видимыми.
Поэтому да, усреднение существовало всегда. Вопрос не в самом факте влияния, а в масштабе, скорости, невидимости и точке входа — до публикации, внутри самого процесса мышления и письма.
Я не спорю с тем, что физический мир остаётся внешним источником данных. Это как раз причина, почему грубый технический model collapse, вероятно, можно сдерживать: датчики, роботы, эксперименты, код, симуляции и реальные действия дают внешний якорь.
Но статья не о полной изоляции моделей от реальности. Она о другом: человеческий культурный слой сам начинает проходить через модели. Человек получает от AI не только формулировку, но и структуру аргумента, набор примеров, стиль, критерий «хорошего ответа». Потом он пишет уже сам — и этот текст снова считается человеческим.
Камера может проверить, есть ли на фото собака. Она не проверит, сохранилась ли в культуре редкая мысль, локальная форма, странный аргумент или самостоятельный способ видеть мир. Поэтому мультимодальность помогает против технического коллапса, но не снимает вопрос о человеческом.
А может быть, по развитому интеллекту просто ещё рано выносить эволюционный вердикт?
Кажется, здесь есть риск принять редкость явления за доказательство его невыгодности. Если понимать развитый интеллект не как отдельную “опцию”, которую эволюция могла многократно включать и выключать, а как редкую связку условий — сложный мозг, социальность, длительное обучение, память, коммуникацию, накопление и передачу опыта между поколениями, подходящую экологию, — то неудивительно, что она почти нигде не собралась целиком.
Тогда вопрос может быть не в том, что отбор “не любит” ум, а в том, что полноценных запусков такой архитектуры было слишком мало. У нас один известный массовый эксперимент, да и тот по биологическим меркам начался совсем недавно и ещё не завершён.
Поэтому по одному незавершённому примеру трудно понять, что такое развитый интеллект: эволюционная ошибка, редкая удачная находка или просто очень дорогой инструмент для узкого набора условий.
Да, я примерно в эту сторону как раз и думал добавить отдельный блок - про связь сингулярности с “концом истории”.
ОМП сделало горячую мировую войну самоубийственной, а Холодная война заменила ее как двигатель большой науки: ядерное сдерживание, космическая гонка, огромные бюджеты.
“Конец истории” сформулировали уже на волне победы в Холодной войне: дальше, казалось, должен был начаться скучный менеджмент глобализации. Но вместе с этой победой начал распадаться и режим, который во многом тащил большую науку XX века. Вместо государственной большой науки центр тяжести ушёл в корпоративную цифровую инфраструктуру.
А когда выяснилось, что история никуда не кончилась, а из-под кровати полезло всё то, чего там, как все думали, давно уже нет, вернуть прежний режим уже не смогли.
Сейчас в военной области видна та же знакомая пластинка: надо первыми сделать AGI, и он всех победит. Возможно, у военных встреча с реальностью уже частично происходит - ну или случится раньше, чем у остальных участников забега.