Как мы научили большую языковую модель говорить на карачаево-балкарском

[alex09102026]

прошу прощения, но надо еще поработать над моделью, в чате по ссылке на вопрос - "калайса брат?" модель ответить не смогла.

[keelai]

Хороший кейс, особенно потому что low-resource language быстро показывает слабые места модели.

Я бы отдельно держал маленький regression set из бытовых реплик вроде “калайса брат?”, но не только как точность ответа. Для таких языков полезно разделять хотя бы три слоя: поняла ли модель интенцию, не ушла ли в отказ/галлюцинацию, и сохранила ли естественный register ответа. Иначе одна “правильная” фраза в датасете может выглядеть как успех, хотя в живом диалоге модель всё ещё ломается.

Интересно было бы увидеть в следующей итерации не только примеры ответов, но и таблицу ошибок по типам: непонимание короткой реплики, смешение языков, слишком формальный ответ, галлюцинация перевода.