Comments 17
Гарри Поттера просто чаще цитируют в других текстах? Растащили на цитаты.
утверждение, что ИИ лишь «учится на данных, а не копирует их», ставится под сомнение.
Если учитель сотню раз скажет ученику, что после "арахисовое" должно идти "масло", то это будет обучением, в процессе которого ученик обучится повторению (копированию) фразы "арахисовое масло". Где граница?
Да вроде просто всё) то, что вы описываете - это не обучение, а заучивание. без какой-либо логики и объяснений, просто запомни. а процесс обучения как раз подразумевает какую-то логику происходящего, её объяснение, закрепление на схожих примерах и т.д. чтобы в итоге пришло понимание. вы правда не видите разницы?
Я уже который год тестирую модели на память простым вопросом: перечисли все действия Пилата в МиМ.
И только в этом году гугловская Гемини 2.5 смогла точно ответить на этот вопрос. Что как бы намекает, что этот роман ей скормили много раз. Вот интересно, сколько? Десятки, сотни?
Гемма 3 до сих пор фантазирует.
Что-то я не понимаю, зачем такое странное ограничение наложили на нейросеть? Что она не может "запомнить прочитанное" (увиденное, сказанное и т.п.)? Ведь это так просто сохранить текст. И если вдруг выпустят "надстройки" над человеческим мозгом, то такой прямой способ "запомнить" будет самым простым и желанным.
Интересно, а не значит ли это что писатели просто пишут наиболее статистически вероятными паттернами... )
Да как бы большинство людей пишут и говорят наиболее статистически вероятными паттернами, так языки устроены. Можно, конечно, начать переставлять слова местами как какой-нибудь Йода, только понимать перестанут. В этих рассуждениях можно пойти еще дальше и вспомнить о мономифе Кэмпбелла, и понять, что все художественные произведения еще и построены по одним и тем же шаблонам, и имеют фактически одну и ту же структуру, то есть по факту любое худ.произведение ни на одном из масштабов рассмотрения текста не является уникальным. Мне интересно другое про все эти права на интеллектуальную собственность. А вот если я, например, запомнил книгу, и я ее буду ходить и пересказывать? Ну например устраивать литературные вечеринки, где мы будем друг другу пересказывать по памяти книги? (Как это делали в древности, когда какого-нибудь Гомера никто не записывал, потому что барды его знали наизусть и зарабатывали как раз его прочтением из памяти вслух). В таком случае я буду нарушать какие-то права? И чем это формально отличается от воспроизведения текста нейронкой из памяти? Ведь ни у меня, ни у нейронки нигде фактически не хранится цельный файл с текстом, который я воспроизвожу, то есть текста как бы нет.
а не значит ли это что писатели просто пишут наиболее статистически вероятными паттернами
Авторские право такой, конечно, поломанный концепт. Читать можно, запоминать нельзя. Записывать нельзя, но можно цитировать. И т.д.
Если в сша ограничат как-то развитие нейронок, то Китай вырвется вперед. С точки зрения гб на право придется положить болт. Для вида что-то придумают, но суть не тронут.
Вы открыли для себя переобучение
Одна надежда на китайцев, те просто наплюют на все эти авторские права и дальше будут учить свои Квены и Дипсики на всем наследии человечества с торрентов. И это хорошо.
Llama 3.1 и «Гарри Поттер»: сколько текста действительно запоминает ИИ?