Как мы научили большую языковую модель говорить на карачаево-балкарском

[alex09102026]

прошу прощения, но надо еще поработать над моделью, в чате по ссылке на вопрос - "калайса брат?" модель ответить не смогла.

[keelai]

Хороший кейс, особенно потому что low-resource language быстро показывает слабые места модели.

Я бы отдельно держал маленький regression set из бытовых реплик вроде “калайса брат?”, но не только как точность ответа. Для таких языков полезно разделять хотя бы три слоя: поняла ли модель интенцию, не ушла ли в отказ/галлюцинацию, и сохранила ли естественный register ответа. Иначе одна “правильная” фраза в датасете может выглядеть как успех, хотя в живом диалоге модель всё ещё ломается.

Интересно было бы увидеть в следующей итерации не только примеры ответов, но и таблицу ошибок по типам: непонимание короткой реплики, смешение языков, слишком формальный ответ, галлюцинация перевода.

[TSjB]

отчасти делали. 100 промптов в восьми категориях и люди оценивали. Но из-за того, что 3 человека оценивали, не стал вставлять в статью, так как слишком мало респондентов.

Но примерно так выглядит в целом разброс по категориям

[domix32]

Прикольно, после КБ планируете тренировать другие вымирающие языки? Коми или марийский, например?

[TSjB]

Не-а, нам бы со своим двигаться быстрее, так как делается только на энтузиазме

А так, по Коми ситуацию не знаю, но с марийским вроде как очень не плохо всё развивается