Comments 4
А какие методы кластеризации использовали? Как алгоритм будет работать в том случае, когда объекты на картинках находятся очень близко друг к другу?
Изначально для агрегации боксов использовали MeanShift, для агрегации временных интервалов - DBSCAN. KMeans для задачи разметки HaGRID-а боксами не выбрали, так как количество кистей рук (то есть кластеров) на изображениях варьировалось от 1 до 2. Был вариант ориентироваться на количество боксов в каждой из разметок для выявления количества кластеров, однако это бы вносило больше хаоса в окончательный результат. На выбор метода кластеризации как раз повлияла специфика данного домена, а для фреймворка сделаем возможность выбирать метод кластеризации и не только.
По второму вопросу: кажется, есть 2 варианта:
1. использовать KMeans, где количество кластеров зависит от количества боксов в каждой из разметок (если разметки неконсистентны по количество боксов, то можно ориентироваться на confidence при выборе наиболее используемого)
2. ориентироваться на метку класса, тем самым изначально отдельно обрабатывая боксы каждого из объектов
Было бы интересно посмотреть, насколько модель, обученная на данных полученных с помощью ваших методов агрегации будет лучше другой модели, которая обучена на данных полученных с помощью базовых методов.
У нас есть в планах провести подобный эксперимент для разных типов разметки и, в целом, это могло бы стать неплохой метрикой оценки методов агрегации. Кроме того, таким образом можно оценивать влияние тех или иных модификаций алгоритмов агрегации, чтобы понять, улучшают они качество разметки или нет. В таком случае стоит учитывать доменность, так как одна и та же модификация может влиять на качество разметки с разным знаком (в лучшую или в худшую сторону) для различных доменов.
Мнение большинства для разметки данных в задачах компьютерного зрения