Новая LLM для русского языка - краткий обзор.
Завершено обучение первой языковой модели для русского языка с 1.6 млрд. параметров на TPU v4-128.
4096 контекстное окно
Llama в качестве основной архитектуры
128k vocab
32B токенов в датасете
Новая LLM для русского языка - краткий обзор.
Завершено обучение первой языковой модели для русского языка с 1.6 млрд. параметров на TPU v4-128.
4096 контекстное окно
Llama в качестве основной архитектуры
128k vocab
32B токенов в датасете