Новая LLM для русского языка - краткий обзор.

Завершено обучение первой языковой модели для русского языка с 1.6 млрд. параметров на TPU v4-128.

• 4096 контекстное окно

• Llama в качестве основной архитектуры

• 128k vocab

• 32B токенов в датасете

aeonium/Aeonium-v1-BaseWeb-1B