Новая LLM для русского языка - краткий обзор.
Завершено обучение первой языковой модели для русского языка с 1.6 млрд. параметров на TPU v4-128.
4096 контекстное окно
Llama в качестве основной архитектуры
128k vocab
32B токенов в датасете
Ближайшие события
19 августа – 20 октября
Москва • Нижний Новгород • Екатеринбург • Ставрополь • Новосибриск • Калининград • Пермь • Владивосток • Чита • Краснорск • Томск • Ижевск • Петрозаводск • Казань • Курск • Тюмень • Волгоград • Уфа • Мурманск • Бишкек • Сочи • Ульяновск • Саратов • Иркутск • Долгопрудный • Онлайн
8 октября – 4 декабря
Онлайн
