MWS AI выложила в открытый доступ код и валидационный датасет к бенчмарку MWS Vision Bench - для оценки способностей мультимодальных LLM в работе с тяжелым визуально-текстовым контентом на русском: сканами документов, текстом с картинками, графиками, чертежами, таблицами и пр.

Кратко:

Бенчмарк состоит из 5 практических заданий:
- полностраничный OCR (страница→текст),
- структурированный OCR (страница→markdown),
- grounding (координаты текста),
- KIE/JSON (извлечение ключей),
- VQA (вопрос‑ответ).

Размер: 800 изображений, 2580 вопросов (валидация - 1 302, тест - 1 278). 

Репозиторий - на GitHub
Валидационный датасет - на HF

Подробно - тут: https://habr.com/ru/companies/mts_ai/articles/953292/ .

Выложили в открытый доступ Kodify Nano – модель для кодинга

Это уже вторая опенсорс-модель от MWS AI (ранее MTS AI) – первую, Cotype Nano для работы с текстами, выпустили в конце прошлого года. 

Ключевые характеристики:

• 1,5 млрд параметров; 

• контекст  32 768 токенов;

• ключевые языки: Python, Java, JavaScript, C# и Go 

Функции:

генерация и автодополнение кода;

документирование разработки;

генерация юнит-тестов;

объяснение чужого кода. 

Встраивается в среды разработки, работает в формате чат-ассистента. Поставляется в трех версиях, все можно скачать на Hagging Face:

Kodify‑Nano – рекомендуется на видеокартах Nvidia c не менее, чем 10 Гб памяти.

Kodify‑Nano-GPTQ (4bit) – квантизированная версия Kodify Nano, которая в три раза меньше оригинальной модели. Рекомендуется на видеокартах Nvidia c не менее 6 Гб памяти.

Kodify‑Nano-GGUF – сконвертирована для работы с Ollama/llama.cpp. , на случай, если нет мощной видеокарты. Есть варианты 16 бит, 8 бит и 4 бита.

Мы рекомендуем использовать модели с нашим собственным плагином (скачать тут), он уже настроен для работы с Kodify Nano. Есть версии для VS Code и IntelliJ IDEA (и других IDE Jet Brains). 

Знаем, 1,5B параметров – это совсем немного. Основная корпоративная модель – Kodify 2, вышедшая ранее, – тоже не гигант, 7B. Вот тут в статье рассказываем, почему пошли по пути создания легковесных моделей, и что делаем, чтобы они справлялись со своими задачами достойно. 

MTS AI выпустила Kodify 2 — второе поколение ИИ-ассистента для разработчиков:

• 7 млрд параметров, 

• контекст до 32 тыс. токенов, 

• поддержка 90 языков программирования,

• OpenAI-совместимый API для простой интеграции с другими системами. 

В отличие от первого поколения Kodify, использующегося c 2024 года лишь в компаниях, входящих в ПАО «МТС», Kodify 2 станет доступен внешним заказчикам.

Новый ИИ-ассистент содержит весь основной функционал для автоматизации и ускорения процесса разработки, включая автодополнение кода, исправление ошибок, генерацию тестов и документации, оптимизацию кода для улучшения производительности, а также преобразование текста в код. 

Подробнее на сайте разработчика. Демо на Java и Python здесь.

Вышла Cotype Pro 2 — самая мощная модель в линейке Cotype от MTS AI

Cotype Pro 2 на 40% быстрее предыдущей модели и на 50% точнее обрабатывает длинные тексты — до 128 тыс. токенов, что соответствует примерно 900 тыс. символов с пробелами. Она станет основой для линейки корпоративных ИИ-агентов, которые команда MTS AI собирается выпустить в этом и следующем году.

Cotype Pro 2 показала улучшение эффективности в сравнении с Cotype Pro по всем основным фронтам:

– генерация идей – с 44% до 57%, 

– резюмирование – с 79% до 85%, 

– общение на общие темы – с 55% до 64%, 

– извлечение информации – с 81% до 86%. 

– классификация – сохранение эффективности на том же высоком уровне: 87%. 

Подробности тут. А в этой статье мы рассказали, как улучшили пайплайн обучения нашей LLM с помощью новой методологии оценки.