Comments 10
Как только не извращаются производители железа, чтобы обойти то, что железные нейросети не умеют делать в отличие от биологических - учиться и меняться на ходу в процессе работы.
Для 95% рабочих дел человечества, учиться и меняться на ходу не нужно. А в процентах 50 это даже крайне вредно. От чего во всех ответственных работах, всё идёт строго по инструкциям со сверками и простановкой галочек. Под наблюдением специалистов, которые следят, чтобы ничего там не оптимизировали
Так ещё и с нейроморфами тянут. Большая часть энергии уходить на перегон данных между памятью и калк-блоками, когда куда логичнее было бы аппаратно-аналоговые нейроны делать.
Как только не извращаются авиаконструкторы, чтобы обойти то, что люди не умеют делать, в отличии от птиц - летать.
Есть те, кто видит ограничения, а есть те - кто инженерную задачу. Первые, из-за неспособности решать проблемы, кричат на каждом шагу что цель недостижима, вторые - двигают прогресс
Вторые, имея в руках молоток, все проблемы в мире воспринимают как задачу забить гвоздь. И делают что-то, потому что могут, не задумываясь, а надо ли.
Вообще-то умеют, гуглить continual learning. Статей по теме в этом году уже много. Но чат боту это и не нужно, наоброт ему это вредно - так как низкое качество датасета сильно снижает качество модели, то что учиться на обещнии с обычным пользователями идея так себе. А вот для роботов оперирующих в естсественной среде - самое оно.
С тем, что это не нужно — я бы поспорил. Вопрос в реализации: нужен промежуточный слой, который сначала проверяет и фильтрует новые данные, а уже потом допускает их в обучение. Иначе действительно можно получить деградацию вместо улучшения. Тем более, технических проблем для построения такого слоя нет — скорее вопрос приоритетов и архитектуры. Думаю, мы это ещё увидим в будущих поколениях моделей.
Если интересно, вот моё видение, как такой промежуточный слой и фильтрация данных могут работать: https://habr.com/ru/posts/945946/
Nvidia показала GPU для моделей со сверхдлинным контекстом