Как мы искали компромисс между точностью и полнотой в конкретной задаче ML

Да, конечно, так проще. Работает только для бинарной оценки.

Как мы искали компромисс между точностью и полнотой в конкретной задаче ML

Спасибо, понял.
То есть, считали самосогласованность на разных подвыборках, но не исследовали групповую согласованность всех четверых модераторов на всей выборке (я, как раз, надеялся подглядеть, как непараметрическую статистику умные люди используют, причем именно в случае оценок, а не ранжирования).

Как мы искали компромисс между точностью и полнотой в конкретной задаче ML

Вы не могли бы подробнее рассказать, как именно считали «среднюю «самосогласованность» решений модераторов»?