Comments 24
Вполне ожидаемо. Имеет место быть положительная обратная связь. Если с выхода подадите на вход - начнется самовозбуждение и всякий трэш, это ТАУ, это основа. Можно регулировать петлю ПОС, и не входить в это состояние - но если ее тупо зациклить, чего же вы ждете от условного черного ящика под названием "нейросеть"? Они бы еще операционный усилитель обвинили и сказали что он негоден))
По-моему, это происходит из-за характерного неестественно огромного количества деталей на сгенерированных нейросетями изображениях
Скорее из-того, что что-то в процессе теряется и изменяется. Аппроксимация от аппроксимации от аппроскимации... А в конце только шум.
Это как игры по типу сломанного телефона. Например, где один человек рисует другому на спине, а тот в свою очередь пытается воспроизвести нарисованное.
Всё уже украдено до Вас
Garbage in, garbage out. Классика.
Помню где-то видел мысль, что пик генеративных моделей, возможно, уже достигнут, т.к. в данных из интернета теперь есть значительная доля сгенерированного контента, а это значит, что новые модели так или иначе будут кушать данные, вышедшие из своих предыдущих собратьев
Эволюционный пик моделей этого поколения возможно действительно достигнут.
С другой стороны, если умные люди придумают революционный способ сворачивать нейрончики в Шекспира, такой проблемы может и не возникнуть.
Насколько я вижу из оригинальной работы, токсичным для модели является обучение на данных, сгенерированных ей же или похожими по архитектуре моделями.
Так что можно обоснованно допустить, что пока контент для обучения не является совсем уж дегенеративным, влияние на модель он окажет не больше, чем случайно спаршеный форум плоскоземельщиков или филиал /b/.
Отличная статья. Но, возможно, есть выход из этого тупика - если на основе текста генерировать не пересказ текста, а его развитие в различные модели, и на их основе обучать, то деградации удастся избежать. Ниже постараюсь привести примеры.
Запрос:
Электричество - это ... (берем слово из словаря и добавляем "- это ...")
Ответ gpt-4o:
Электричество - это форма энергии, связанная с движением заряженных частиц, таких как электроны и протоны. Оно может проявляться в виде электрического тока, электрического поля или электрического заряда. Электричество используется в повседневной жизни для питания различного оборудования и устройств, а также в промышленности, медицине и других областях.
Новый запрос на основании полученного:
Был задан вопрос: "Электричество - это ..." и получен ответ (приведен ниже). Выдай варианты ответа для ребенка 10 лет, старшеклассника, студента-физика, студента-гуманитария, физика, энергетика, химика, биолога, математика. Собери ответы в виде json
Ответ:
{
"ребенок_10_лет": "Электричество - это то, что заставляет лампочки светить и приборы работать.",
"старшеклассник": "Электричество - это движение электронов через проводники, которое используется для передачи энергии.",
"студент_физика": "Электричество представляет собой поток зарядов и взаимодействие электрических полей, что описывается классическими уравнениями Максвелла и квантовой электродинамикой.",
"студент_гуманитарий": "Электричество - это форма энергии, которая используется для работы бытовых приборов и освещения, обеспечивая комфорт в повседневной жизни.",
"физик": "Электричество - это совокупность явлений, связанных с существованием и движением электрических зарядов, описываемая законами электродинамики.",
"энергетик": "Электричество - это форма энергии, получаемая из различных источников и преобразуемая в электрический ток для питания потребителей.",
"химик": "Электричество - это перенос электронов, который имеет ключевую роль в электрохимических реакциях, таких как аккумуляторы и электролиз.",
"биолог": "Электричество - это важный элемент в физиологии, участвующий в передаче нервных импульсов и работе клеточных насосов.",
"математик": "Электричество можно описать через математические модели и уравнения, такие как уравнения Максвелла, которые позволяют предсказывать поведение электрических и магнитных полей."
}
При таком разбросе вариантов удастся, на мой взгляд, избежать "деградирующей аппроксимации текста", поскольку будет присутствовать значительный разброс вариантов для обучения.
В статье все таки речь идёт про обучение модели на уже сгенерированных данных, а не запрос на основе уже сгенерированного. Это разные вещи.
А смысл? Цель исследования же не чтобы нейронка сама у себя училась задавая 10 вариаций генерации, а училась на том, что есть в интернете. А в интернете уже нейротексты и нейрокартинки, и все они в единственном варианте.
Напрашивается аналогия с инцестом в животном мире и его последствиями. Гены тоже не любят гены, порождённые ими же.
Гены гены не порождают (обычно). И "инцест" (правильнее - инбридинг) - важный этап искусственного отбора - с целью закрепить нужные признаки (или убрать ненужные). Например, если мы захотим избавиться от всех рыжих в популяции - то без инбридинга (с последующей селекцией) не обойтись.
Да и в природе он тоже довольно широко "используется". Например, мухи предпочитают спариваться именно с братьями, а не с "чужими" мухами.
Проблемы наступают если заниматься инбридингом без последующей селекции - т.е. терпеть начавшуюся деградацию нельзя.
Т.е. в переносе на нейросети - провести один шаг обучения на сгенерированных данных может быть полезно для закрепления "удачных" результатов. Именно чтобы обрубить "ненужные" хвосты. Но главное - не переусердствовать и чётко фильтровать деградацию.
В Stable diffusion во вкладочке img2img есть такой скриптик "Loopback". Грубо говоря это и есть тот самый механизм отбора как вы описали. На вход нейронки подаем оригинальную картинку, затем выставляем количество шагов, нейронка генерирует картинку на основе первичной, затем сама себе ее передает на вход и так много раз. Суть в отрицательной обратной связи, там есть ползунок, не дающий совсем нейронке уехать куда-то далеко в свои фантазии, исходная картинка служит фактором для сравнения. Если выкрутить ООС в ноль, то на входе у нас будет изображение кота, а на выходе - нечто абстрактное в духе импрессионизма. А можно настроить и таким образом, что на выходе будет получаться всегда кот, но меняться от картинки к картинке он будет весьма сильно. И все в том же духе. То есть надо правильно с этим работать, только и всего.
Просто сделают гуманоидных роботов, под управлением нейросеток, и будут обучаться в реальном мире (ремарка: роботы не обязательно нужны гуманоидные)
Интересное исследование могущее что-то сказать о биологическом прототипе ЯМ - нейросетях мозга и обучении самого человека, точнее процессе познания. Процессе получения новых знаний не сводящихся к имеющимся. Эти знания также являются источником для обучения ЯМ. Новые знания в науках возникают из эмпирических исследований и наблюдений. Если таких результатов нет, например, как в области фундаментальной физики в последние лет пятьдесят, со времени создания последней успешной фундаментальной теории - Ст. модели, то теоретики склонны использовать вариации старых теоретических представлений для своих новых разработок. Получается череда похожих по подходам неподтвержденных теорий вроде теории струн во всех вариациях, петлевой гравитации, причинной триангуляции, и тд., которые не делают проверяемых предсказаний в области действия старых теорий. Напомню, что КМ и ОТО такие предсказания в виде поправок в области действия классической физики делают. И все из-за отсутствия оригинальных эмпирических оснований у них, которые отсутствовали бы у ОТО и КТП. Поэтому в этой области исследований наблюдаются признаки застоя, стагнации. Это отмечается в наукометрических исследованиям, см. коменты 1, 2 с пояснениями.
Этот эффект мы назвали «Коллапсом модели» и выяснили, что он может возникать как и в LLM, так в VAE и GMM. Это явление встречается среди всех обученных генеративных моделей, и мы хотим продемонстрировать, что к данной проблеме нужно отнестись серьезно.
Это не похоже на коллапс, какие-то имеющие смысл генерации они еще делают, но все больше не имеющие. Это похоже на выход на полку возможностей для имеющихся данных, если они не обновляются и не дополняются новыми. Т.е. переходят в режим насыщения (сатурации), стагнации. Может служить некоторой моделью ситуации с застоем в области фундаментальной физики. Однако со временем, если ситуация не изменится, не смотря на гигантские вложения в новые ускорители, детекторы частиц и телескопы разных типов и базирования, он может захватывать смежные области исследований и, в перспективе, технологии, например, необходимые для обеспечения реалистичных сценариев межзвездных перелетов.
Однако, возможно ИИ будущего может найти выход из этой ситуации, если его будут обучать не на мусоре из интернета, а сразу же на зеттабайтах экспериментальных данных генерируемых этими инструментами исследований в дополнении к работам теоретиков. Возможно им останется только писать умные промпты такому ИИ, интерпретировать их ответы, как оракула, и писать статьи, что-то вроде этого)
Нейросеть при обучении формирует стереотипы, и всё, что она может выдать наружу, строится на их базисе. Новая информация может придти только извне, быть усвоена и быть использована. Но она принципиально не может возникнуть внутри.
Что касается состояний, к которым сходятся итерации, то это похоже на квантовую механику, где спектр ограниченного движения всегда дискретный. 😉
Вам не кажется, что это с другой стороны доказывает, что мы, как потребители контента созданного ИИ тоже станем тупыми и не креативными.
Проблема стара как мир. Либо развивайте критическое мышление, либо просто "не читайте до обеда советских газет."
С чего бы это?
Мы уже сотни лет потребляем контент созданный нами же самими - и нечего, не отупели. В отличии от нейросетей у нас есть чит: постоянное непосредственное взаимодействие с реальностью. Который у большинства особей даёт достаточный референс, чтобы не сходить с ума.
А нейросети заперты чуть ли не в буквальной "платоновской пещере" - им не на что опереться (кроме нас)!
Это видно например по нейросети Кандинский(fusionbrain.ai), если её просить дорисовать пустоты в изображении которая она сама же и сделала. Там такие неадекватности бывают, что видно, что модель часто не понимает, что она сама же сгенерировала. И если будет обучаться на этот, то там деградация за 1-2 поколения произойдёт.
Цель и выводы? Актуальные данные уже ищут и берут вне Интернета. Причём иногда совершенно фантастическими способами.
ИИ-модели ломаются при обучении на рекурсивно сгенерированных данных