А от осинки не родятся апельсинки. Культура теряется, согласен. Можем себе позволить, может, даже и очень долго. А можем неудачно растерять критическую массу, которую никто не знает, — и здравствуй, светлое будущее: в эволюции есть только пока не проигравшие.
То же самое делает к примеру теория относительности. Любая высказываемая мысль должна быть с ней совместима.
Не любая мысль, только в физике и связанных областях. Теоретически посты бьюти-блогеров тоже не должны противоречить ТО, но я не уверен, что там проверяют.
Сам пример хороший: фильтр ТО действительно может действовать на ранней стадии формулирования мысли. Но это фильтр в очень узкой, пусть и важной области. В других областях работают другие фильтры - со своей историей и своими глюками.
А на другом конце у нас условный миллиард пользователей ChatGPT, или вообще 146% всей популяции, если добавить юзеров Гугла. И вот здесь физик и бьюти-блогер действительно близки как никогда. Возможно, в таком масштабе количество уже начинает переходить в качество.
Да, согласен: фильтр на фильтр накручен. Везде и по нескольку раз. Пока вроде работает, но вопрос как раз в том, где предел устойчивости такой системы для сохранения разнообразия. В случае обычного коллапса модели всё происходит быстро и наглядно. А как это будет у людей, и будет ли вообще, — о том и статья.
«Новые амиши» — скорее да, но не как полноценное решение, а как способ немного разбавлять систему свежей кровью. Полная изоляция, боюсь, быстро приведёт к другой проблеме: они не сохранят культуру, а просто станут отдельной локальной веткой. Чтобы оставаться живым источником, всё равно придётся взаимодействовать с основной популяцией: учиться, читать, спорить.
Нормы и требования в процессе обучения — тоже схема не без греха, согласен. Но она, во-первых, долго эволюционировала вместе с нами в сложном мире; во-вторых, применяется разными живыми людьми с кучей ошибок и “мутаций”; в-третьих, всё же не настолько глобальна по охвату и скорости влияния.
У ИИ другая механика: один и тот же тип нормализации может одновременно оказаться встроен в миллионы актов письма и мышления. Причём до того, как мысль попала в культурный отбор.
Проблема не в самом наличии нормы. Проблема в том, что сейчас появляется очень удобный, массовый и относительно единообразный предварительный фильтр, который может срезать значимую часть вариативности ещё на входе.
AI опасен не как цензор, а как предварительный нормализатор.
Я с базовой частью согласен: культура действительно всегда была контуром обратной связи и всегда в той или иной степени усредняла сама себя. Но тезис не в том, что AI впервые создаёт культурное усреднение, а в том, что меняется его режим.
Обычная культура чаще фильтрует уже появившиеся высказывания: через редакторов, споры, репутацию и т.п. AI входит раньше — прямо в момент производства текста, когда мысль ещё только ищет форму. Он предлагает структуру, категории, аргументы - представление о том, как должен звучать “хороший” ответ.
И это фильтр необычного типа. Он не обязательно отличает истинное от ложного или ценное от мусорного. Он тянет текст к связному, гладкому, узнаваемо нормальному. Для отдельного автора это часто полезно. Но на уровне среды такой фильтр может сглаживать различия ещё до того, как они успели стать видимыми.
Поэтому да, усреднение существовало всегда. Вопрос не в самом факте влияния, а в масштабе, скорости, невидимости и точке входа — до публикации, внутри самого процесса мышления и письма.
Я не спорю с тем, что физический мир остаётся внешним источником данных. Это как раз причина, почему грубый технический model collapse, вероятно, можно сдерживать: датчики, роботы, эксперименты, код, симуляции и реальные действия дают внешний якорь.
Но статья не о полной изоляции моделей от реальности. Она о другом: человеческий культурный слой сам начинает проходить через модели. Человек получает от AI не только формулировку, но и структуру аргумента, набор примеров, стиль, критерий «хорошего ответа». Потом он пишет уже сам — и этот текст снова считается человеческим.
Камера может проверить, есть ли на фото собака. Она не проверит, сохранилась ли в культуре редкая мысль, локальная форма, странный аргумент или самостоятельный способ видеть мир. Поэтому мультимодальность помогает против технического коллапса, но не снимает вопрос о человеческом.
А может быть, по развитому интеллекту просто ещё рано выносить эволюционный вердикт?
Кажется, здесь есть риск принять редкость явления за доказательство его невыгодности. Если понимать развитый интеллект не как отдельную “опцию”, которую эволюция могла многократно включать и выключать, а как редкую связку условий — сложный мозг, социальность, длительное обучение, память, коммуникацию, накопление и передачу опыта между поколениями, подходящую экологию, — то неудивительно, что она почти нигде не собралась целиком.
Тогда вопрос может быть не в том, что отбор “не любит” ум, а в том, что полноценных запусков такой архитектуры было слишком мало. У нас один известный массовый эксперимент, да и тот по биологическим меркам начался совсем недавно и ещё не завершён.
Поэтому по одному незавершённому примеру трудно понять, что такое развитый интеллект: эволюционная ошибка, редкая удачная находка или просто очень дорогой инструмент для узкого набора условий.
Да, я примерно в эту сторону как раз и думал добавить отдельный блок - про связь сингулярности с “концом истории”.
ОМП сделало горячую мировую войну самоубийственной, а Холодная война заменила ее как двигатель большой науки: ядерное сдерживание, космическая гонка, огромные бюджеты.
“Конец истории” сформулировали уже на волне победы в Холодной войне: дальше, казалось, должен был начаться скучный менеджмент глобализации. Но вместе с этой победой начал распадаться и режим, который во многом тащил большую науку XX века. Вместо государственной большой науки центр тяжести ушёл в корпоративную цифровую инфраструктуру.
А когда выяснилось, что история никуда не кончилась, а из-под кровати полезло всё то, чего там, как все думали, давно уже нет, вернуть прежний режим уже не смогли.
Сейчас в военной области видна та же знакомая пластинка: надо первыми сделать AGI, и он всех победит. Возможно, у военных встреча с реальностью уже частично происходит - ну или случится раньше, чем у остальных участников забега.
Письмо от избирателя: "Вы же хотели сказать, что всем людям надо выдавать по 100мл спирта или производных в день, но секретарша все перепутала?"
А от осинки не родятся апельсинки. Культура теряется, согласен. Можем себе позволить, может, даже и очень долго. А можем неудачно растерять критическую массу, которую никто не знает, — и здравствуй, светлое будущее: в эволюции есть только пока не проигравшие.
Не любая мысль, только в физике и связанных областях. Теоретически посты бьюти-блогеров тоже не должны противоречить ТО, но я не уверен, что там проверяют.
Сам пример хороший: фильтр ТО действительно может действовать на ранней стадии формулирования мысли. Но это фильтр в очень узкой, пусть и важной области. В других областях работают другие фильтры - со своей историей и своими глюками.
А на другом конце у нас условный миллиард пользователей ChatGPT, или вообще 146% всей популяции, если добавить юзеров Гугла. И вот здесь физик и бьюти-блогер действительно близки как никогда. Возможно, в таком масштабе количество уже начинает переходить в качество.
Да, согласен: фильтр на фильтр накручен. Везде и по нескольку раз. Пока вроде работает, но вопрос как раз в том, где предел устойчивости такой системы для сохранения разнообразия. В случае обычного коллапса модели всё происходит быстро и наглядно. А как это будет у людей, и будет ли вообще, — о том и статья.
«Новые амиши» — скорее да, но не как полноценное решение, а как способ немного разбавлять систему свежей кровью. Полная изоляция, боюсь, быстро приведёт к другой проблеме: они не сохранят культуру, а просто станут отдельной локальной веткой. Чтобы оставаться живым источником, всё равно придётся взаимодействовать с основной популяцией: учиться, читать, спорить.
Нормы и требования в процессе обучения — тоже схема не без греха, согласен. Но она, во-первых, долго эволюционировала вместе с нами в сложном мире; во-вторых, применяется разными живыми людьми с кучей ошибок и “мутаций”; в-третьих, всё же не настолько глобальна по охвату и скорости влияния.
У ИИ другая механика: один и тот же тип нормализации может одновременно оказаться встроен в миллионы актов письма и мышления. Причём до того, как мысль попала в культурный отбор.
Проблема не в самом наличии нормы. Проблема в том, что сейчас появляется очень удобный, массовый и относительно единообразный предварительный фильтр, который может срезать значимую часть вариативности ещё на входе.
AI опасен не как цензор, а как предварительный нормализатор.
Я с базовой частью согласен: культура действительно всегда была контуром обратной связи и всегда в той или иной степени усредняла сама себя. Но тезис не в том, что AI впервые создаёт культурное усреднение, а в том, что меняется его режим.
Обычная культура чаще фильтрует уже появившиеся высказывания: через редакторов, споры, репутацию и т.п. AI входит раньше — прямо в момент производства текста, когда мысль ещё только ищет форму. Он предлагает структуру, категории, аргументы - представление о том, как должен звучать “хороший” ответ.
И это фильтр необычного типа. Он не обязательно отличает истинное от ложного или ценное от мусорного. Он тянет текст к связному, гладкому, узнаваемо нормальному. Для отдельного автора это часто полезно. Но на уровне среды такой фильтр может сглаживать различия ещё до того, как они успели стать видимыми.
Поэтому да, усреднение существовало всегда. Вопрос не в самом факте влияния, а в масштабе, скорости, невидимости и точке входа — до публикации, внутри самого процесса мышления и письма.
Я не спорю с тем, что физический мир остаётся внешним источником данных. Это как раз причина, почему грубый технический model collapse, вероятно, можно сдерживать: датчики, роботы, эксперименты, код, симуляции и реальные действия дают внешний якорь.
Но статья не о полной изоляции моделей от реальности. Она о другом: человеческий культурный слой сам начинает проходить через модели. Человек получает от AI не только формулировку, но и структуру аргумента, набор примеров, стиль, критерий «хорошего ответа». Потом он пишет уже сам — и этот текст снова считается человеческим.
Камера может проверить, есть ли на фото собака. Она не проверит, сохранилась ли в культуре редкая мысль, локальная форма, странный аргумент или самостоятельный способ видеть мир. Поэтому мультимодальность помогает против технического коллапса, но не снимает вопрос о человеческом.
А может быть, по развитому интеллекту просто ещё рано выносить эволюционный вердикт?
Кажется, здесь есть риск принять редкость явления за доказательство его невыгодности. Если понимать развитый интеллект не как отдельную “опцию”, которую эволюция могла многократно включать и выключать, а как редкую связку условий — сложный мозг, социальность, длительное обучение, память, коммуникацию, накопление и передачу опыта между поколениями, подходящую экологию, — то неудивительно, что она почти нигде не собралась целиком.
Тогда вопрос может быть не в том, что отбор “не любит” ум, а в том, что полноценных запусков такой архитектуры было слишком мало. У нас один известный массовый эксперимент, да и тот по биологическим меркам начался совсем недавно и ещё не завершён.
Поэтому по одному незавершённому примеру трудно понять, что такое развитый интеллект: эволюционная ошибка, редкая удачная находка или просто очень дорогой инструмент для узкого набора условий.
Да, я примерно в эту сторону как раз и думал добавить отдельный блок - про связь сингулярности с “концом истории”.
ОМП сделало горячую мировую войну самоубийственной, а Холодная война заменила ее как двигатель большой науки: ядерное сдерживание, космическая гонка, огромные бюджеты.
“Конец истории” сформулировали уже на волне победы в Холодной войне: дальше, казалось, должен был начаться скучный менеджмент глобализации. Но вместе с этой победой начал распадаться и режим, который во многом тащил большую науку XX века. Вместо государственной большой науки центр тяжести ушёл в корпоративную цифровую инфраструктуру.
А когда выяснилось, что история никуда не кончилась, а из-под кровати полезло всё то, чего там, как все думали, давно уже нет, вернуть прежний режим уже не смогли.
Сейчас в военной области видна та же знакомая пластинка: надо первыми сделать AGI, и он всех победит. Возможно, у военных встреча с реальностью уже частично происходит - ну или случится раньше, чем у остальных участников забега.