Представляю вашему вниманию курс, который я недавно опубликовал на Степике - Разработка LLM с нуля.
В курсе вам предстоит с нуля разработать современную LLM и все необходимые для ее работы компоненты:
Токенизатор (BPE)
Эмбеддинги (Токенов и Позиционные)
Блок Декодера:
Multi-Head Attention
FeedForward-слои
Остаточные связи
Вероятностная генерация
После того, как основной код будет готов, мы соберем необходимый для pre-train'а датасет и обучим свою LLM.
Разработка будет вестись на Python и низкоуровневых компонентах PyTorch.
Курс платный. По промокоду ALL предоставляется скидка 10%.
