Забудьте про точность. Почему для трекинга нужны десятки метрик

[RomanVelichkin]

Так, а почему нет идеальной метрики? HOTA выглядит всеобъемлющей, регулирует все части процесса трекинга. Какие у нее явные недостатки?

[matshel]

Отличный вопрос! Да, действительно, HOTA регулирует все части трекинга и выражает совершенно разного рода ошибки в единственном числе. Однако, в ситуациях, когда два разных трекера имеют одинаковые значения HOTA, для выбора оптимальной модели все равно приходится смотреть на другие метрики. И на самом деле это довольно часто происходит. У нас в команде, к примеру, возник случай, когда для двух разных моделей HOTA, DetA, AssA и LocA были практически идентичны, однако MOTA для них сильно различалась.

[RomanVelichkin]

Это скорее типичная ситуация в ML - две модели имеют, условно, accuracy 90%, но у них может различаться точность по отдельным классам, будут разные precision и recall.

[GradeVilly]

Не имея никакого опыта с трекингом сидел с открытым ртом читал. Спасибо, как будто по мозгу лобзиком прошлись.

[matshel]

Спасибо за комментарий! Да, тема достаточно сложная, но мы надеемся, что после прочтения статьи вопросов стало меньше, чем ответов)