Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 13
Проблема преувеличена.
Да феномен model collapse имеет место быть, но люди продолжают взаимодействовать с реальным миром.
В этот же самый мир все больше получают доступ и существующие системы 'ИИ' в виде потоков данных от приборов, камер, а где-то и влияя на него имея физическое воплощение от дрона до человекоподобного робота.
Коллапс мог бы нам грозить будь мы ограничены исходным корпусом и его производными, но это очевидно не так, хотя разработчикам моделей конечно придется разбираться с множеством входных и выходных модальностей, но кажется эта проблема решаемая.
люди продолжают взаимодействовать с реальным миром.
Главное, чтобы человеческое общество не начало изгонять/изолировать всех, кто не считает трактовку ИИ реального мира, единственно правильной.
Проблема не в данных; проблема в наличии желания их интерпретировать человеческим образом, генеря гипотезы и спотыкаясь на ошибках.
Я не спорю с тем, что физический мир остаётся внешним источником данных. Это как раз причина, почему грубый технический model collapse, вероятно, можно сдерживать: датчики, роботы, эксперименты, код, симуляции и реальные действия дают внешний якорь.
Но статья не о полной изоляции моделей от реальности. Она о другом: человеческий культурный слой сам начинает проходить через модели. Человек получает от AI не только формулировку, но и структуру аргумента, набор примеров, стиль, критерий «хорошего ответа». Потом он пишет уже сам — и этот текст снова считается человеческим.
Камера может проверить, есть ли на фото собака. Она не проверит, сохранилась ли в культуре редкая мысль, локальная форма, странный аргумент или самостоятельный способ видеть мир. Поэтому мультимодальность помогает против технического коллапса, но не снимает вопрос о человеческом.
А давайте исключим из предлагаемого сценария AI. Люди пишут тексты. Затем тексты попадают в общее культурное поле. Их воспринимают другие люди. Которые в свою очередь пишут новые тексты, уже под их влиянием. И т.д. Культура сама себя усредняет. И более того, АКТИВНО БОРЕТСЯ с разбросом. Например на плоскоземельщиков или эфирщиков смотрят мягко говоря как на чудаков. Не говоря уже про насильников и убийц, которые тоже экстремальные формы разброса. Не понимаю, что радикально изменится, если добавить сюда AI. Да, явление(усреднение культурного поля) существует. Но оно существовало задолго до AI, возможно вообще до появления членораздельной речи. И будет существовать, пока существует культура и человечество.
Как бы то ни было, спасибо за публикацию. Тема очень интересная.
AI опасен не как цензор, а как предварительный нормализатор.
Я с базовой частью согласен: культура действительно всегда была контуром обратной связи и всегда в той или иной степени усредняла сама себя. Но тезис не в том, что AI впервые создаёт культурное усреднение, а в том, что меняется его режим.
Обычная культура чаще фильтрует уже появившиеся высказывания: через редакторов, споры, репутацию и т.п. AI входит раньше — прямо в момент производства текста, когда мысль ещё только ищет форму. Он предлагает структуру, категории, аргументы - представление о том, как должен звучать “хороший” ответ.
И это фильтр необычного типа. Он не обязательно отличает истинное от ложного или ценное от мусорного. Он тянет текст к связному, гладкому, узнаваемо нормальному. Для отдельного автора это часто полезно. Но на уровне среды такой фильтр может сглаживать различия ещё до того, как они успели стать видимыми.
Поэтому да, усреднение существовало всегда. Вопрос не в самом факте влияния, а в масштабе, скорости, невидимости и точке входа — до публикации, внутри самого процесса мышления и письма.
Он предлагает структуру, категории, аргументы - представление о том, как должен звучать “хороший” ответ.
Так культурные нормы, который инсталлируют нам в головы в процессе обучения - то же про это представление.
Он тянет текст к связному, гладкому, узнаваемо нормальному.
Смотри требования к сочинениям и прочему редактированию. Точно так же неведомое количество текстов так и не стали видимыми, потому что автор не смог достаточно гладко изложить и выкинул их в мусорную корзину или вообще не были написаны на бумаге.
Проблема в ИИ в том, что их пока слишком мало. Гораздо меньше, чем культур.
Вообще, идеально бы иметь у каждого личный (да еще не один), который постоянно дообучается вместе с владельцем. Но вычислительные мощности человечества такого не позволяют.
Нормы и требования в процессе обучения — тоже схема не без греха, согласен. Но она, во-первых, долго эволюционировала вместе с нами в сложном мире; во-вторых, применяется разными живыми людьми с кучей ошибок и “мутаций”; в-третьих, всё же не настолько глобальна по охвату и скорости влияния.
У ИИ другая механика: один и тот же тип нормализации может одновременно оказаться встроен в миллионы актов письма и мышления. Причём до того, как мысль попала в культурный отбор.
Проблема не в самом наличии нормы. Проблема в том, что сейчас появляется очень удобный, массовый и относительно единообразный предварительный фильтр, который может срезать значимую часть вариативности ещё на входе.
Так и я про то же - проблема именно в единообразии.
Сильных, независимо обученных моделей просто мало. Это и нужно исправлять и почти наверняка понемногу исправится. Хотя это приведет то ли к другому риску то ли положительному результату - модели начнут друг с другом бороться на 'инстинктивном' уровне.
Отличная статья, сформулировано то, что я сам пытался для себя сформулировать. Тут есть еще один аспект -- ИИ является слепком не самого нашего общества, а слепком интернета, в основном, плюс еще некоторого количества книг, то есть материального воплощения культуры. То есть уже является слепком слепка. И проблема возникла еще до появления LLM. Вы знаете, что далеко не все цвета, которые может различать глаз, раскладываются в RGB? Есть целая палитра, в основном, голубые и пурпурные цвета, которые никакой монитор не может отобразить. Дети, познающие мир через компьютер, никогда их не видели и даже не подозревают о существовании таких цветов. Точно так же есть целый пласт культуры, передающейся лично, не фиксируемой в книгах и не попадающей в интернет. Как раз всё то, что относится к методам и подходам, личному примеру, навыкам. В интернет попадает выжимка, результаты, а не то, как к ним приходишь, все неудачные попытки отбрасываются и не записываются. И результаты уже давно видны, молодежь не понимает, как браться за задачи, кроме типовых.
Мне кажется, спасти ситуацию могут "новые амиши" -- сообщество тех, кто принципиально не пользуется LLM, интернет используют как справочник, много общаются между собой напрямую и обсуждают решение своих задач и проблем.
Если нейросеть будет работать с цветом, не приведенным для вывода на мониторе, а в исходном пространстве камеры, она эти цвета "увидит". Можно RGB отсчёты делать отрицательными. А часто ли встречаются эти годы цвета? Думаю, что потому мониторы и применяются с тремя детьми цветами, что нечасто.
Да, согласен: фильтр на фильтр накручен. Везде и по нескольку раз. Пока вроде работает, но вопрос как раз в том, где предел устойчивости такой системы для сохранения разнообразия. В случае обычного коллапса модели всё происходит быстро и наглядно. А как это будет у людей, и будет ли вообще, — о том и статья.
«Новые амиши» — скорее да, но не как полноценное решение, а как способ немного разбавлять систему свежей кровью. Полная изоляция, боюсь, быстро приведёт к другой проблеме: они не сохранят культуру, а просто станут отдельной локальной веткой. Чтобы оставаться живым источником, всё равно придётся взаимодействовать с основной популяцией: учиться, читать, спорить.
забавно, учитывая что пупурный - внеспектральный цвет (с) “от природы”
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Почему model collapse может оказаться коллапсом не только моделей