Mistral AI представила Mistral NeMo, 12-миллиардную модель, разработанную в сотрудничестве с NVIDIA. Mistral NeMo предлагает большой контекст до 128 тысяч токенов.
Модель выпущена по лицензии Apache 2.0, что разрешает её коммерческое использование*.
Авторы также подготовили таблицу сравнения модели с другими моделями аналогичного уровня (Llama 3 8B и Gemma 2 9B, очевидно, что с большими моделями сравнивать не очень в пользу себе)
Модель тренировалась на многоязычных данных, и, что довольно приятно, графики включают в себя оценки эффективности на русском языке.
Также Mistral NeMo использует новый токенизатор, Tekken, основанный на Tiktoken, который был обучен на более чем 100 языках и более эффективно сжимает текст на естественном языке и исходный код, чем токенизатор SentencePiece, используемый в предыдущих моделях Mistral. В частности, он примерно на 30% эффективнее при сжатии исходного кода, китайского, итальянского, французского, немецкого, испанского и русского языков.
Веса на HuggingFace для базовой модели (base), и для модели, натренированной на исполнение инструкций пользователя (instruct).
* "Коммерческое использование модели разрешено". Автор: ура, подключу себе на сервис для всех желающих по API, наряду с Sonnet и GPT-4.
