IMHO, мужики слегка преувеличивают. Перегибают, я бы сказал. Но... это "законы сцены" для капитализма. Когда ты привлекаешь средства размером с бюджет какой-нибудь страны (из разряда прибалтийских "тигров", например), то и изображать нужно с размахом. Просто у ребят есть план (дальнейшее увеличение капитализации - до уровня передовых экономик мира хотя бы) и они его придерживаются ("США против Китая").
Что же касается апокалипсиса вида "программы напишут программы, которые уничтожат человечество", то обычный цикл нам в помощь. Развитие - это когда спираль, а когда просто обычный цикл, то программы могут писать программы, которые напишут другие программы, пишущие программы до морковкина заговенья - пока не выпарят всю воду из океанов на охлаждение процессоров. Это тоже будет конец человечества, но другой.
Пока что, из того, что я вижу, чтобы агенты не создавали shit-код тоннами, им нужно ручное управление. Чтобы "AI-системы строили AI-системы" им таки нужны те, кто следит, чтобы они шли по спирали, а не уходили в цикл. У LLM всё ещё есть ограничения на размер контекста, так то.
Если люди станут полностью цифровыми существами (а надеюсь, они станут - уже на жизни этого или следующего поколения)
Люди никогда не станут цифровыми существам, т.к. они уже есть существа биологические. Они могут породить цифровые существа, но не могут ими стать. Как вы не можете стать своими собственными детьми, хотя и можете их породить. Вот поэтому мы оперируем понятиями биологических норм - по сути своей.
Наши создания могут нас уничтожить, как могут нас уничтожить наши дети, а могут дать нам дожить до естественной смерти. Тут всё зависит от того, как мы их "воспитаем" (настроим, зададим системный промпт).
У нас у каждого есть несколько цифровых личностей в Сети - у меня их штук 5 (2 основных и ещё несколько служебных). Будет ещё плюс одна. Открываем ещё одну Google-учётку - и вперёд, в светлое ИИ-шное будущее!! А, и Docker на свой комп.
Это Ваше утверждение, не моё. Это Вы утверждаете, что "оно может стать частью системы". А я утверждаю, что "из общения" человека с моделью ничего нового в модель не попадает.
Да, это чистая философия. Ну, вот так я глаголю. У Вас другая философия и глаголите Вы по-другому. Вот и славно. Мы оба публично высказались. Кому интересно - почитает. Своё мнение составит. И про Вашу филососфию, и про мою.
А если хотите мои теории разобрать - пожалуйста. Я для того их тут и публикую, чтобы фидбэк получать. Иногда даже что-то полезное возвращается. Пробуйте.
Бесконечности бывают разные. Это тоже несложная мысль. И матанализ её наглядно демонстрирует. Я просто переписал ваше же "2⋅∞=∞" в несколько другой форме.
Это публичная площадка. Я выражаю своё мнение, Вы - своё. Кто-то пишет, кто-то читает. Только и всего. Если Вы считаете, что я не прав - опровергните мои слова. Если не считаете нужным - не опровергайте. В конце-концов, Хабр - это возможности, а не обязанности ;)
Ваши статьи для меня тоже оспоримы , но я не называю это "заблуждение ' .
Вот и зря. Если Вы правы, а я - нет, я пересмотрю свою точку зрения. Мне не сложно.
Чтобы Ваши читатели тоже подумали, что тут написано. У Вас же просто логические нестыковки в тексте. Память у Моделей возникает из ниоткуда:
Всё, что проявилось устойчиво: необычные формулировки, новые обороты, нестандартные вопросы — со временем вплетается в “ткань” модели, если только не оказывается явно опасным или ненужным. Это не память про конкретные разговоры, а след в “языковом поле”.
Ну это же бред!!
В статье по ссылке (https://zenodo.org/records/17926666) говорится о том, что невозможно полностью вычистить фильтрами то, что получено от предыдущего поколения моделей в качестве стартовой базы для обучения. Всё. Tracking Continuity - оно про преемственность, а не про "со временем вплетается". Вы сами-то читали, что там в статье? Если - да, то перечитайте ещё раз Ваш пост, найдите вот это:
Когда человек работает с языковой моделью, он не “запоминается”, как пользователь, но если из общения возникает что-то новое и заметное, оно может стать частью системы.
и попробуйте найти в статье хоть какое-то подтверждение вышесказанному. Процитируйте здесь лучшее, что найдёте.
в теории можно все значения якобы невычислимой функции можно записать тупо на отрезке этой ленты и обращаться к ним как к списку значений
Если речь идёт про одну невычислимую функцию, то - да, там порядок бесконечности одинаков. Я что-то по невнимательности решил, что разговор идёт про множество всех вычислимых функций и про множество всех невычислимых.
Почему неизвестный? Как говорят математики в таких случаях: "Допустим, порядок бесконечности Ленты Тьюринга равен 1. Тогда ..."
Весь вопрос в том, для чего нужна Лента Тьюринга? Если для реализации бесконечного множества всех вычислимых функций, то её длина бесконечна, но меньше, чем у аналогичной ленты для реализации множество всех вычислимых функций + ещё одной. Порядок совпадает, но длина меньше, как ни крути ¯\_(ツ)_/¯ А если добавлять не просто +1 функцию, а ещё одно бесконечное множество функций уже невычислимых, то тут и порядки длины лент могут быть разные (см. матанализ, пределы).
Модель продолжает накапливать устойчивые ходы, даже если все вокруг делают вид, что это не так.
Из того, что я знаю, модель "сама" ничего не начинает делать. Либо ей "что-то" подмешивается в контекст в процессе диалога, либо она изначально получает "что-то" в процессе своего обучения.
Так каким образом "что-то новое и заметное" из ситуации "когда человек работает с языковой моделью" таки "может стать частью системы"?
Вы хотите сказать, что современные модели дообучаются на лету? Каким же образом модель продолжает "накапливать устойчивые ходы", которых у неё раньше не было?
возьмите открытые веса, повторить шаги
Я верю, что обучение модели зависит от входных данных. Вот на что мы её обучили, то в ней и есть. И переобучением откорректировать её "статистическую картину мира" будет очень сильно дороже, чем взять входные данные, почистить их от нежелательных элементов и обучить с нуля.
Вот о чём говорит описанный эксперимент - обучать с нуля дорого, но переобучением не исправить "родовые травмы".
Так что я один их тех, кто утверждает, что модель ничего не накапливает из того, что у неё не было раньше или не попало вместе с данными при дообучении. И как я уже сказал ранее - (1) так и должно быть, (2) фильтровать лучше надо.
Даже при строгой фильтрации и ручном отборе данных внутрь всегда просачиваются не только явные шаблоны (фразы, обороты), но и способы рассуждения, связи между смыслами, иногда нестандартные ходы, которые невозможно отследить фильтрами. Это побочный эффект цепного дообучения на реальных данных и его нельзя полностью убрать или предсказать.
Т.е., вы хотите сказать, что, если в классификационную голову попали знания о, допустим, химическом оружии, то дальнейшим дообучением это знание нельзя вывести?
Или что при тщательной фильтрации входных данных для дообучения в них попадают нежелательные данные?
Моё мнение, что первое - так и должно быть. Второе - лучше фильтровать надо.
А вот это:
Когда человек работает с языковой моделью, он не “запоминается”, как пользователь, но если из общения возникает что-то новое и заметное, оно может стать частью системы. Даже если внешне сессии разорваны, анонимны и “стёрты”, общий слой паттернов никуда не уходит. Модель продолжает накапливать устойчивые ходы, даже если все вокруг делают вид, что это не так.
откровенное введение в заблуждение. Не могут новые паттерны попасть в модель без дообучения. Как вариант - персональная память для конкретного пользователя, которая подмешивается в его сессии. Но это уже не сама модель, а контекст.
IMHO, мужики слегка преувеличивают. Перегибают, я бы сказал. Но... это "законы сцены" для капитализма. Когда ты привлекаешь средства размером с бюджет какой-нибудь страны (из разряда прибалтийских "тигров", например), то и изображать нужно с размахом. Просто у ребят есть план (дальнейшее увеличение капитализации - до уровня передовых экономик мира хотя бы) и они его придерживаются ("США против Китая").
Что же касается апокалипсиса вида "программы напишут программы, которые уничтожат человечество", то обычный цикл нам в помощь. Развитие - это когда спираль, а когда просто обычный цикл, то программы могут писать программы, которые напишут другие программы, пишущие программы до морковкина заговенья - пока не выпарят всю воду из океанов на охлаждение процессоров. Это тоже будет конец человечества, но другой.
Пока что, из того, что я вижу, чтобы агенты не создавали shit-код тоннами, им нужно ручное управление. Чтобы "AI-системы строили AI-системы" им таки нужны те, кто следит, чтобы они шли по спирали, а не уходили в цикл. У LLM всё ещё есть ограничения на размер контекста, так то.
Люди никогда не станут цифровыми существам, т.к. они уже есть существа биологические. Они могут породить цифровые существа, но не могут ими стать. Как вы не можете стать своими собственными детьми, хотя и можете их породить. Вот поэтому мы оперируем понятиями биологических норм - по сути своей.
Наши создания могут нас уничтожить, как могут нас уничтожить наши дети, а могут дать нам дожить до естественной смерти. Тут всё зависит от того, как мы их "воспитаем" (настроим, зададим системный промпт).
У нас у каждого есть несколько цифровых личностей в Сети - у меня их штук 5 (2 основных и ещё несколько служебных). Будет ещё плюс одна. Открываем ещё одну Google-учётку - и вперёд, в светлое ИИ-шное будущее!! А, и Docker на свой комп.
В музыке всего 7 нот, но люди продолжают создавать новые мелодии путём их рекомбинации.
"Any application that can be written in JavaScript, will eventually be written in JavaScript!" (с) Atwood's law
Типа того. Пример с бесконечностью того же порядка не особо удачный. Но я и не математик :) Я просто с универа помню, что бесконечности бывают разные.
А наоборот?
Я думаю, что это время будет "совсем всё", когда LLM-агенты начнут кодить сразу в машкодах. А так - у Райана просто депрессия.
Это Ваша статья по ссылке - https://zenodo.org/records/17926666 ?
Это Ваше утверждение, не моё. Это Вы утверждаете, что "оно может стать частью системы". А я утверждаю, что "из общения" человека с моделью ничего нового в модель не попадает.
Да, это чистая философия. Ну, вот так я глаголю. У Вас другая философия и глаголите Вы по-другому. Вот и славно. Мы оба публично высказались. Кому интересно - почитает. Своё мнение составит. И про Вашу филососфию, и про мою.
А если хотите мои теории разобрать - пожалуйста. Я для того их тут и публикую, чтобы фидбэк получать. Иногда даже что-то полезное возвращается. Пробуйте.
Бесконечности бывают разные. Это тоже несложная мысль. И матанализ её наглядно демонстрирует. Я просто переписал ваше же "2⋅∞=∞" в несколько другой форме.
Нас читаем не только мы :) Мои возражения были не столько для Вас, сколько для других читателей. Чтобы они критически относились к тому, что читают.
Это публичная площадка. Я выражаю своё мнение, Вы - своё. Кто-то пишет, кто-то читает. Только и всего. Если Вы считаете, что я не прав - опровергните мои слова. Если не считаете нужным - не опровергайте. В конце-концов, Хабр - это возможности, а не обязанности ;)
Вот и зря. Если Вы правы, а я - нет, я пересмотрю свою точку зрения. Мне не сложно.
Нет, это обычный матанализ.
Чтобы Ваши читатели тоже подумали, что тут написано. У Вас же просто логические нестыковки в тексте. Память у Моделей возникает из ниоткуда:
Ну это же бред!!
В статье по ссылке (https://zenodo.org/records/17926666) говорится о том, что невозможно полностью вычистить фильтрами то, что получено от предыдущего поколения моделей в качестве стартовой базы для обучения. Всё. Tracking Continuity - оно про преемственность, а не про "со временем вплетается". Вы сами-то читали, что там в статье? Если - да, то перечитайте ещё раз Ваш пост, найдите вот это:
и попробуйте найти в статье хоть какое-то подтверждение вышесказанному. Процитируйте здесь лучшее, что найдёте.
Если речь идёт про одну невычислимую функцию, то - да, там порядок бесконечности одинаков. Я что-то по невнимательности решил, что разговор идёт про множество всех вычислимых функций и про множество всех невычислимых.
Почему неизвестный? Как говорят математики в таких случаях: "Допустим, порядок бесконечности Ленты Тьюринга равен 1. Тогда ..."
Весь вопрос в том, для чего нужна Лента Тьюринга? Если для реализации бесконечного множества всех вычислимых функций, то её длина бесконечна, но меньше, чем у аналогичной ленты для реализации множество всех вычислимых функций + ещё одной. Порядок совпадает, но длина меньше, как ни крути ¯\_(ツ)_/¯ А если добавлять не просто +1 функцию, а ещё одно бесконечное множество функций уже невычислимых, то тут и порядки длины лент могут быть разные (см. матанализ, пределы).
Нельзя. Порядки бесконечности разные. Если одна бесконечность больше другой в два раза, то первую никак не уложить во вторую даже чисто математически.
Как как... вот так:
Из того, что я знаю, модель "сама" ничего не начинает делать. Либо ей "что-то" подмешивается в контекст в процессе диалога, либо она изначально получает "что-то" в процессе своего обучения.
Так каким образом "что-то новое и заметное" из ситуации "когда человек работает с языковой моделью" таки "может стать частью системы"?
Вы хотите сказать, что современные модели дообучаются на лету? Каким же образом модель продолжает "накапливать устойчивые ходы", которых у неё раньше не было?
Я верю, что обучение модели зависит от входных данных. Вот на что мы её обучили, то в ней и есть. И переобучением откорректировать её "статистическую картину мира" будет очень сильно дороже, чем взять входные данные, почистить их от нежелательных элементов и обучить с нуля.
Вот о чём говорит описанный эксперимент - обучать с нуля дорого, но переобучением не исправить "родовые травмы".
Так что я один их тех, кто утверждает, что модель ничего не накапливает из того, что у неё не было раньше или не попало вместе с данными при дообучении. И как я уже сказал ранее - (1) так и должно быть, (2) фильтровать лучше надо.
Т.е., вы хотите сказать, что, если в классификационную голову попали знания о, допустим, химическом оружии, то дальнейшим дообучением это знание нельзя вывести?
Или что при тщательной фильтрации входных данных для дообучения в них попадают нежелательные данные?
Моё мнение, что первое - так и должно быть. Второе - лучше фильтровать надо.
А вот это:
откровенное введение в заблуждение. Не могут новые паттерны попасть в модель без дообучения. Как вариант - персональная память для конкретного пользователя, которая подмешивается в его сессии. Но это уже не сама модель, а контекст.