Обновить

Языковая Модель без магии: Крошечная Language Model на чистом Node.js

Уровень сложностиСредний
Время на прочтение5 мин
Охват и читатели10K
Всего голосов 12: ↑12 и ↓0+16
Комментарии3

Комментарии 3

Отличный проект! Хотелось бы, по возможности добавить сохранение-загрузку текущих весов, а так же возможность вручную изменить конкретный вес (обнулить, округлить, добавить конкретное число) - для экспериментирования будет весьма полезно.

Крутой фидбек и отличные идеи! По поводу ручного изменения весов (обнуления/округления) для тестов на лету это действительно классная фича для наглядных экспериментов с градиентами.

Идея с сохранением/загрузкой весов (условный аналог сохранения чекпоинтов .safetensors, но в нашем bare-metal формате) - тоже в точку.

Проект полностью опенсорсный, так что будет отлично, если вы закинете эти предложения прямо в Issues на GitHub (ссылка есть в конце статьи). Там их смогут изучить и другие разработчики. А если у кого-то из читающих эту ветку есть желание покодить- буду рад принять Pull Request с этой фичей, либо сделаю позже сам как будет время.

Хотелось бы не готовый код, а материал, как написать собственный, аналогичный. А так, отличная штука

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации