Вы взяли за отдельный нейрон агента. Ок. Но агент не будет работать без человека. Поэтому получается связка человек-агент. Ок.
Вы утверждаете, что связка человек-агент эффективнее, чем просто человек... Но насколько упадёт эффективность этой связки, если вместо агента поставить хорошую индексированную вики с нормальным (но не LLM) поиском? На данный момент - не сильно, если вообще упадёт. И появляется вопрос, зачем в этой нейронной модели вообще агенты и LLM?
Что делать, если определение слова мешает написать статью? Придумать слову своё определение! :)
AGI - это искусственный интеллект, который должен размышлять без участия человека, а то, о чём вы пишите - это вариант взаимодействия людей в первую очередь, а не ИИ. А в вашем варианте, вообще можно убрать агентов и LLM, оставив только людей в интернете, и смысл не поменяется :)
Всё, что раньше я считал говнокодом — перестало им быть.
А как это получилось? Как код со временем становится говнокодом - это понятно. Постоянный, можно сказать, процесс. А обратный случай? Просто я не представляю.
Да, код может работать, но ведь от этого он не перестаёт быть плохим? Да, предположим, в нем может быть заложены выдающиеся паттерны и гениальные идеи... но они могут быть плохо реализованы и плохой код не становится лучше из-за внезапно обнаруженной глубины...
Так у меня как раз вопрос к качеству данных для обучения.
Вы обновили функцию с помощью нейростетки - ок. Эта функция стала принимать новый аргумент, и производительность выросла. Но та нейросеть, которая написала функцию, всё ещё обучена на старых данных. То, что она написала - пока только чать контекста.
Следующий шаг. Вы просите нейросеть, используя контекст, написать примеры использования новой функции.
И вот тут у меня появляются вопросы.
Насколько хорошими будут эти примеры, которые лягут в основу обучения всех остальных LLM? Их же пишет сама нейросеть, которая, пока, на этих данных не обучена. Не будет ли накопления ошибок, которое приведёт к коллапсу LLM?
К тому же, автор библиотеки вряд ли знает ВСЕ сценарии использования обновлённой функции. Значит, части LLM придётся фантазировать, или "промт-опрераторы" должны будут писать запросы, чтобы автор нагенерил данные по конкретному сценарию?
Согласен. Минорные изменения, особенно если вводятся изменения, которые LLM понимает, которые уже встречал, LLM сможет... скажем так: достоверно вообразить.
Но если это структурное изменение, или изменение вводящее новое понятие, то LLM просто не сможет это осилить - у него не будет для этого базы.
Усугубляется ситуация, если изменений будет несколько. Как именно LLM соединит их, не имея чёткого примера, - отдельная интересная загадка :)
Во-первых, а как же волшебное, что нейросеть как-то сама должна это понять? :) Зачем человеку вообще что-то прямо указывать? :)
Во-вторых: вы не переучили модель! КАЖДЫЙ раз перед нужным промтом вам НАДО будет писать эти вводные... Для КАЖДОЙ библиотеки, для КАЖДОГО изменения в этой библиотеке XD
И вам придётся это повторять, повторять и повторять много раз, прежде чем нагенерится достаточное количество материала, чтобы модель переучилась... Тем более, вы сами сказали, что со второго раза, значит, в базе точно будут ошибки, вызывающие галлюцинации :) Т.е. со временем этот гениальный план точно потонет в ошибках :)
Хм... Раз вы так утверждаете, то вы, получается, знаете как догадается человек и как догадается LLM, и что эти механизмы одинаковы, правда? :)
Тогда ещё раз. Я не спрашиваю как догадывается человек. Я спрашиваю как нейросеть, large language model, без примеров, без токенезации, догадается об изменении, например, API? Сам механизм объясните, пожалуйста.
Ещё раз. Я не спрашиваю как догадывается человек. Я спрашиваю как нейросеть, large language model, без примеров, без токенезации, догадается об изменении, например, API?
Т.е. как-нибудь, сами по себе, не имея релевантных примеров, по которым можно выстроить токенезацию, LLM через какое-то время догадаются, что API в новой видеокарте изменился, а так же поймут как правильно использовать новую технологию, например, DLSS? Просто фантастика :)
П.С. папоротник живой и гораздо старше человека, у него было гораздо больше времени кристаллизировать маленькие последовательные эволюционные изменения и накопления знаний... Но Angular 9й выпустили люди :)
Ещё раз. Программистов нет. Новые данные для обучения - это данные сгенерированные теми же моделями. Т.е. новых фреймворков нет, новых языков программирования нет, новых практик нет, ничего нового просто нет, потому что модели не создают, а комбинируют только то, что уже есть.
П.С. про утопию это была игра слов :) С одной стороны время реально будет прекрасное, с другой стороны - полная стагнация... На антиутопию не тянет, ужаса нет, но жути нагоняет :)
Ох... Вы не застали перехода от .net 1.1 к .net 2.0-2.1, да? :) Счастливый человек :) И "пары примеров" там бы точно не хватило :)
Но я вас понял :) Через год, когда вайб кодинг вытеснит обычное программирование, все языки, все библиотеки, все фреймворки навечно застынут :) Всё что им будет грозить - косметические изменения, затрагивающие буквально пару функций, которые исчёрпывающе можно описать несколькими примерами :)
У меня вопрос гораздо приземлённей. У вас веб-сервис на .net 9. Вот люди, которые ничего не могут придумать, выпускают .net 10, в котором снова переделали стандартные библиотеки. Нового кода нет, ведь все вайб-кодят, и генерят код, а не пишут. Человек-программист сможет научиться новому стандарту, а что с нейросетками? Ведь для их обучения нет примеров, нет исходных данных :)
А можно ознакомиться с вашими источниками данных, которые утверждают, что ООП, функциональное программирование или Rest API появились в момент большого взрыва? :)
Забавная идея :) Но чтобы эволюция и естественный отбор что-то создали, они должны откуда-то взять исходный материал... Нельзя применить естественный отбор к чему-то, чего нет :)
Так вооот... Не подскажите, если люди ничего не могут придумать, то откуда взялись первичные практики, которые, в результате естественного отбора, превратились в лучшие практики? :)
Ещё раз.
Вы взяли за отдельный нейрон агента. Ок.
Но агент не будет работать без человека. Поэтому получается связка человек-агент. Ок.
Вы утверждаете, что связка человек-агент эффективнее, чем просто человек... Но насколько упадёт эффективность этой связки, если вместо агента поставить хорошую индексированную вики с нормальным (но не LLM) поиском? На данный момент - не сильно, если вообще упадёт. И появляется вопрос, зачем в этой нейронной модели вообще агенты и LLM?
Что делать, если определение слова мешает написать статью? Придумать слову своё определение! :)
AGI - это искусственный интеллект, который должен размышлять без участия человека, а то, о чём вы пишите - это вариант взаимодействия людей в первую очередь, а не ИИ. А в вашем варианте, вообще можно убрать агентов и LLM, оставив только людей в интернете, и смысл не поменяется :)
А как это получилось? Как код со временем становится говнокодом - это понятно. Постоянный, можно сказать, процесс. А обратный случай? Просто я не представляю.
Да, код может работать, но ведь от этого он не перестаёт быть плохим? Да, предположим, в нем может быть заложены выдающиеся паттерны и гениальные идеи... но они могут быть плохо реализованы и плохой код не становится лучше из-за внезапно обнаруженной глубины...
О, как раз "Анклавы" Панова закончил недавно читать, а тут реальность свой фанфик потихоньку выкатывает...
И это здорово :) Один вопрос: слово "дотком" о чём-то вам говорит? :)
Так у меня как раз вопрос к качеству данных для обучения.
Вы обновили функцию с помощью нейростетки - ок. Эта функция стала принимать новый аргумент, и производительность выросла. Но та нейросеть, которая написала функцию, всё ещё обучена на старых данных. То, что она написала - пока только чать контекста.
Следующий шаг. Вы просите нейросеть, используя контекст, написать примеры использования новой функции.
И вот тут у меня появляются вопросы.
Насколько хорошими будут эти примеры, которые лягут в основу обучения всех остальных LLM? Их же пишет сама нейросеть, которая, пока, на этих данных не обучена. Не будет ли накопления ошибок, которое приведёт к коллапсу LLM?
К тому же, автор библиотеки вряд ли знает ВСЕ сценарии использования обновлённой функции. Значит, части LLM придётся фантазировать, или "промт-опрераторы" должны будут писать запросы, чтобы автор нагенерил данные по конкретному сценарию?
Конечно может переучиваться :) Я с этим и не спорю. И результат уже описал: лавинообразное увеличение числа ошибок и галлюцинаций :)
Согласен. Минорные изменения, особенно если вводятся изменения, которые LLM понимает, которые уже встречал, LLM сможет... скажем так: достоверно вообразить.
Но если это структурное изменение, или изменение вводящее новое понятие, то LLM просто не сможет это осилить - у него не будет для этого базы.
Усугубляется ситуация, если изменений будет несколько. Как именно LLM соединит их, не имея чёткого примера, - отдельная интересная загадка :)
Аха :)
Вы шутите? :)
Во-первых, а как же волшебное, что нейросеть как-то сама должна это понять? :) Зачем человеку вообще что-то прямо указывать? :)
Во-вторых: вы не переучили модель! КАЖДЫЙ раз перед нужным промтом вам НАДО будет писать эти вводные... Для КАЖДОЙ библиотеки, для КАЖДОГО изменения в этой библиотеке XD
И вам придётся это повторять, повторять и повторять много раз, прежде чем нагенерится достаточное количество материала, чтобы модель переучилась... Тем более, вы сами сказали, что со второго раза, значит, в базе точно будут ошибки, вызывающие галлюцинации :) Т.е. со временем этот гениальный план точно потонет в ошибках :)
Не, не получится :)
Есть факт: API сервиса изменился.
Единственное место, где есть данные как именно изменился API: документация с абстрактным примером.
Человек, просто прочитав, сможет написать код, использующий новый API.
Нейросеть - нет.
Если вы уверены, что сможет, то каким образом? :)
Ещё раз. Как нейросеть, LLM, можно переобучить используя всего один абстрактный пример, который, обычно, и приводится в документации?
Хм... Раз вы так утверждаете, то вы, получается, знаете как догадается человек и как догадается LLM, и что эти механизмы одинаковы, правда? :)
Тогда ещё раз. Я не спрашиваю как догадывается человек. Я спрашиваю как нейросеть, large language model, без примеров, без токенезации, догадается об изменении, например, API? Сам механизм объясните, пожалуйста.
Ещё раз. Я не спрашиваю как догадывается человек. Я спрашиваю как нейросеть, large language model, без примеров, без токенезации, догадается об изменении, например, API?
Классно :)
Т.е. как-нибудь, сами по себе, не имея релевантных примеров, по которым можно выстроить токенезацию, LLM через какое-то время догадаются, что API в новой видеокарте изменился, а так же поймут как правильно использовать новую технологию, например, DLSS? Просто фантастика :)
П.С. папоротник живой и гораздо старше человека, у него было гораздо больше времени кристаллизировать маленькие последовательные эволюционные изменения и накопления знаний... Но Angular 9й выпустили люди :)
Как они будут развиваться? Да ещё и быстро?
Ещё раз. Программистов нет. Новые данные для обучения - это данные сгенерированные теми же моделями. Т.е. новых фреймворков нет, новых языков программирования нет, новых практик нет, ничего нового просто нет, потому что модели не создают, а комбинируют только то, что уже есть.
П.С. про утопию это была игра слов :) С одной стороны время реально будет прекрасное, с другой стороны - полная стагнация... На антиутопию не тянет, ужаса нет, но жути нагоняет :)
Ох... Вы не застали перехода от .net 1.1 к .net 2.0-2.1, да? :) Счастливый человек :) И "пары примеров" там бы точно не хватило :)
Но я вас понял :) Через год, когда вайб кодинг вытеснит обычное программирование, все языки, все библиотеки, все фреймворки навечно застынут :) Всё что им будет грозить - косметические изменения, затрагивающие буквально пару функций, которые исчёрпывающе можно описать несколькими примерами :)
Жуткая утопия...
О как :) Платоновскими эйдосами пахнуло :)
На таком уровне спорить я не готов :)
У меня вопрос гораздо приземлённей. У вас веб-сервис на .net 9. Вот люди, которые ничего не могут придумать, выпускают .net 10, в котором снова переделали стандартные библиотеки. Нового кода нет, ведь все вайб-кодят, и генерят код, а не пишут. Человек-программист сможет научиться новому стандарту, а что с нейросетками? Ведь для их обучения нет примеров, нет исходных данных :)
Афигеть О_о
А можно ознакомиться с вашими источниками данных, которые утверждают, что ООП, функциональное программирование или Rest API появились в момент большого взрыва? :)
Забавная идея :) Но чтобы эволюция и естественный отбор что-то создали, они должны откуда-то взять исходный материал... Нельзя применить естественный отбор к чему-то, чего нет :)
Так вооот... Не подскажите, если люди ничего не могут придумать, то откуда взялись первичные практики, которые, в результате естественного отбора, превратились в лучшие практики? :)
Эм... не совсем вас понял... А эти лучше практики они откуда взялись, если люди не могут придумать ничего нового? :)