Три попытки обогнать в бенче базовую Gemma 4 дообучением — и все три мимо

[Tassdesu]

интересно. а если сравнить вариант "ответ в с RAG", а все отказы отдельным запросом пытаться прогнать без RAG?

[daniel_ivanov]

Добрый день, мысль развиваю, сейчас готовлю новую статью.

Спасибо!

[rodial]

Обрезку словаря пробовали? В теории если оставить только пятерку основных языков и потом дообучать на русском то должно получиться лучше для ру бенча. Но это из тыканья пальцем в небо, в этих условиях наверное больше навредит, просто смотрю эту тему сейчас.

Возможно сработает подмешивание исходных данных на которых модель обучалась(или схожих) к вашим чтобы уменьшить размытие.

[daniel_ivanov]

Добрый день, пробовал очень коротко с чувашским языком, честно - закончилось не очень хорошо, дальше копаться не стал.
То же самое мнение и про подмешивание, первые эксперименты закончились плохо с Qwen3.5, сейчас буду пробовать на вышедших недавно моделях, поэкспериментировать можно.