Новая LLM для русского языка - краткий обзор.
Завершено обучение первой языковой модели для русского языка с 1.6 млрд. параметров на TPU v4-128.
4096 контекстное окно
Llama в качестве основной архитектуры
128k vocab
32B токенов в датасете
Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!