Comments 3
Эволюции это хорошо. Но возможно, данная, заведет процесс создания ИИ еще глубже в тупик.
Представим, что модель как-то обучена программированию и как-то знает несколько языков. Выходит новый. Для него пишется документация, учебник. Вот это переменная, вот это функция, вот это структура, вот это трейт, вот это модель владения, вот это... и так далее. Попросту представим что Rust вышел только сейчас. Скормив BDH эту доку, сможет ли он выучить язык?
Спасибо за отличный вопрос, на который у меня есть два ответа: 1) да, 2) не знаю ☺️ а теперь серьезнее (подробнее):
1) Как раз это можно реализовывать "модульностью" нейросети, так как BDH позволяет к существующей ИИ добавить еще блок нейронов, которые обучены на что-то другое.
2) Не знаю как на практике поведет себя сеть если реализовывать дообучение не через добавление модуля, в теории она должна часть нейронов и их связей выделить под новый скоп знаний. Но это в теории, а практика покажет.
Я тоже не знаю, поэтому и написал "возможно".
Однако речь немного про другое. Куда по сути этот подход и должен быть расширен — последовательное с накоплением. Мы же не учим учебник за раз. Тему за темой, параграф за параграфом, абзац за абзацем, тезис за тезисом. Используя на следующем шаге всю информацию предыдущих. А также уточняя их понимание.
Как писал в других темах, естественный язык это инструмент описания реальности. То есть языковая модель переводит с естественного языка на некий промежуточный, создавая модель этой реальности. Смысловая ей оперирует. И потом языковая выступает в роли вокодера.
То есть для изучения Rust нам не надо трогать языковую модель. Ни одного нового символа не появилось. Ну может кроме зарезервированных слов. Вся работа проводится в смысловой модели. Которая сама изначально должна быть построена на расширении, а не вытеснении или перестройке весов. И следовательно теряется смысл в этапных Hebbian-патчах. Точнее, они приобретают совсем другой смысл — фрагмента реальности с которым мы сейчас оперируем, быстрой памяти.
Дракончик учится летать: Brain-like Dragon Hatchling простыми словами