Comments 4
Похоже у вас вообще ничего не работает (рис.10): чтобы безусловно предсказывать 1 (в последнем случае) и 5 (в предпоследнем случае) даже нейронки не надо - ведь судя по вашим матрицам ошибок у вас выход от входа не зависит.
Действительно, для уйгурского языка из-за сильного дисбаланса классов внутри лингвистических категорий — не работает. Этим наблюдением мы и хотели поделиться. Но если обратиться к результатам для турецкого языка, для которого дисбаланс классов выражен не так сильно, динамику увидеть всё-таки можно
А при чем тут дисбаланс классов? Мне всегда казалось, что матрица ошибок - исходные данные, и по ним можно оценивать метрики при (почти) любых дисбалансах классов. Если у вас что-то не работает при сильном дисбалансе классов - значит для обучения выбраны неверные метрики обучения и функции потерь, неустойчивые к дисбалансу. Обычно замена метрик решает проблему - взвешанную кросс-энтропию, например, вместо кроссэнтропии для логистической регрессии или просто исходно сбалансировать датасет (оверсемплинг/андерсемплинг).
А результаты для турецкого языка у вас не приведены, извините, поэтому непонятно где это можно увидеть.
В статье рассматривается фреймворк без осуществления дополнительных действий с его кодом или датасетом.
Мы хотели осветить проблему с датасетом и показать, что к тем результатам пробинга, которые аналитик получит с использованием фреймворка "из коробки", нужно относиться с осторожностью.
Результаты для турецкого языка можно увидеть в приложении ("Логистическая регрессия", "Многослойный перцептрон").
Пробинг моделей низкоресурсных языков с помощью фреймворка AIRI