Comments 4
Спасибо за разбор способов.
IlyaGusev/saiga_llama3_8b действительно сейчас лучшая на русском или в открытом доступе есть что-то лучше?
А в сравнении с оригинальной Llama 3 8b - насколько оригинальная хуже понимает и воспроизводит русский текст? Есть ли тесты?
Насколько эффективен вариант переводить запрос на английский, получать ответ на нём и переводить на русский? Есть хорошие переводчики ?
С чистой llama3 перевод туда-обратно эффективнее, чем общаться на русском даже если переводить той же нейросеткой. У нас в местном сервисе на ollama сейчас без перевода используется aya:35b-23-q8_0 после ilyagusev/saiga_llama3:latest и command-r. Имена даю как скачивались с https://ollama.com/library
Лучшая Open Weight LLM для русского языка в открытом доступе (по моему скромному мнению) это Gemma2-27b-it. Официально она не понимает ничего, кроме английского, но в реальности это лучшая языковая модель для русского языка, причем у неё совершенно другой уровень владения языком, нежели у других открытых моделей - её текст практически не похож на буквальный перевод с английского, да и в целом довольно приятен на глаз. Встречаются редкие артефакты, но даже их модель на удивление может исправлять, что вероятно говорит о том, что это проблема не базовой модели, а инструктивного датасета (согласно техрепорту он был только на английском).
Если нужно что-то поменьше, то стоит присмотреться к Mistral-NeMo-12B, она, в отличие от Gemma2 официально "поддерживает" русский язык. По ощущениям, у Nemo текст более сухой и GPTшный, но зато артефактов нет совсем. Стоит отметить, что для Mistral-NeMo нужно использовать рекомендуемые параметры семплера, то есть temperature<=0,3.
Переводить подсказки и ответы переводчиком, ИМХО, идея сомнительная.
Убивает всех человеков.
От промптов к дообучению: четыре уровня адаптации open-source моделей