Также это позволило протестировать их при затрате малых усилий.

Какая из моделей генерировала для Вас этот ответ? :)

Но это больше связано с оптимизацией промта и настройкой самой последовательности взаимодействия с моделью. А на текущем этапе тестирования мы сосредоточились на базовых возможностях моделей без дополнительной промт-оптимизации, чтобы оценить их "чистую" производительность.

Но мы взяли наиболее популярные версии Сайги на тот момент. Популярность оценивали по количеству скачиваний на HuggingFace. Возможно, это не совсем корректно, так как у старых версий может быть больше скачиваний, чем у более свежих версий. Тем не менее выбрали то, что более "на слуху", а Saiga Gemma 2 9B на тот момент пока не была таковой.

Mistral NeMo не поднять даже через платный Colab.

Про Qwen2 не раскопали в рамках ресерча.

Gemma 2 9B хотели протестировать, но ограничились другими моделями.

По поводу моделей, у которых "изначально русский язык не заявлен" - мы не использовали чисто англоязычные модели или модели, заточенные под какой-то конкретный язык (не русский). Часть моделей – мультиязыковые. И это тоже было сделано намерено, чтобы понять, могут ли такие модели решить наши задачи, или нам нужны более узконаправленные решения.

Такой подход позволил сравнить эффективность моделей, ориентированных на бизнес-применение (Gigachat и Yandex GPT), с более доступными локальными моделями, работающими на устройствах, подобных MacBook M1.

Я не до конца понял про среду тестирования, про то как оценивалась производительность моделей. Ведь гигачат и яндекс-гпт закрытые модели, их тестировали при помощи апи, правильно?

Верно, гигачат и YandexGPT – закрытые модели. Их тестирование проводилось через доступные бесплатные демонстрационные версии, предоставленные самими разработчиками. Это позволило нам оценить возможности моделей в условиях, близких к реальным, хотя и с возможными ограничениями на количество запросов или время отклика.

Также это позволило протестировать их при затрате малых усилий.

И ещё очень интересно, как эти модели оцениваются в сравнении с GPT-4o, который тоже очень хорошо знает русский.

Некоторые ответы моделей оценивались именно «человеческим взглядом», особенно когда нужно было оценить стиль текста, ясность изложения и креативность. Но для задач извлечения данных из больших текстов, когда необходимо было обработать большой кусок данных, ответы сравнивались с ответами GPT-4o, которые мы принимали за эталон. Потому что действительно, качество ответов GPT-4o очень высокое.

 Почему же тогда GPT-4o не принимала участия в тестировании? Потому что основной задачей исследования было найти модель, которую можно использовать для русскоязычных проектов, в которых, к сожалению, невозможно использовать модели OpenAI и многие другие из-за геополитических ограничений.

Проблемы в том, что это ОЧЕНЬ старые версии Сайги. На момент их релиза они били то, что предлагал Яндекс и Сбер, но это старые модели. То есть, если хотите тестировать Сайгу, тестируйте актуальную Сайгу, а не бородатую Mistral-7B Lora. Тогда будет честное сравнение. Сейчас Сайга может уступить Яндексу и Сберу, у них качество выросло значительно и появились новые опции моделей, моя претензия в том, что нет смысла тестировать старьё, значительно уступающее актуальным моделям за счёт новой базы тюна и его методологии, что подтверждается самим автором.

Это всё равно как если бы OpenAI была здесь представлена какой-нибудь GPT-3.

Google Gemma 2 27B - лучшая локальная модель по владению русским языком из тех, которыми я пользовался. Прямо из коробки, даже без файн-тюнов. Это точно лучше, чем старая Сайга на Мистрале 7B

Есть ещё C4AI Aya-expance 32B, с ней не сравнивал, она должна быть на сопоставимом уровне с той Геммой, но я не проверял, потому что она уже тяжеловата для моих ресурсов. Прошлая модель от этих разработчиков до выхода Геммы была лучшей, а это многоязычный файн-тюн от них же.

Saiga Mistral Nemo 12B, причем уже есть вторая версия. На данный момент это сильнейший тюн от Ильи Гусева, по тестам самого уважаемого авгура. Вроде был ещё его тюн Gemma 2 9B, можно было тестировать его. Или первую версию Сайги-Немо, но зачем сравнивать API со бородатым тюном третьей Ламы 8B? И тем более Mistral 7B Lora! Она же устарела в хлам, вы бы ещё ruGPT-2 сюда приплели. Почему так, не понятно))

И вообще нет Вихря. Никакого. А зря, у них тюны примерно на уровне Сайги - иногда чуть лучше, иногда чуть хуже, в зависимости от версии, здоровая конкуренция, короче.

У больших это тоже работает. Но у малых это особенно заметно, а ещё у малых можно дёшево повторять эти этапы работы над ошибками.

Надеялся прочитать свежий анализ работы языковых моделей с русским языком, коего в интернете критически мало, вместо этого получил напоминание, что GigaChat существует. 2/10 за попытку.

Версия Макс как минимум в 10 раз больше по параметрам, и дает совсем другого качества результаты.

Если уж сравнивать, то с 70B и выше моделями и с теми, где есть русский по дефолту, то й же aya- expance или хотя бы gemma2 на 27B где есть NLP и которая русский в разы лучше Mistral и Llama умеет.

Я не до конца понял про среду тестирования, про то как оценивалась производительность моделей. Ведь гигачат и яндекс-гпт закрытые модели, их тестировали при помощи апи, правильно?

И ещё очень интересно, как эти модели оцениваются в сравнении с GPT-4o, который тоже очень хорошо знает русский.