Обновить

Открытый проект How to Train Your GPT позволяет собрать свой ChatGPT с нуля. Это интерактивный учебник,...

Охват и читатели7K
Всего голосов 9: ↑9 и ↓0+11
Комментарии1

Комментарии 1

Интересный проект. Будет интересно почитать. Забавно что буквально на днях делал свой движок обучения моделей с нуля под metal и архитектуру rwkv8. Уперлось в пропускную способность мака (так что реальную способность полноценно обучать не смог проверить + пока многоэтапного обучения нету), но смог в пределах 1.5гб обучения с нуля почти 300млн параметров и 32 слоя (с задержкой 30 секунд шаг из за шины) с контекстом 2048 удержать.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации