Comments 17
Почему точность результатов на ваших графиках существенно ниже опубликованных авторами сетей?
Например, по базе CoCa максимальная точность 91% для топ 1 https://paperswithcode.com/sota/image-classification-on-imagenet, а у вас меньше 30%.
Вероятно потому что 91% это заявленная точность на ImageNet (1000 классов), а автор тестировал на другом датасете из 8000+ классов. Не очень понятно только откуда взялся этот датасет и почему top-1 accuracy выше чем top-5. По идее должно быть наоборот.
Спасибо за комментарий.
Действительно, датасет использовался не ImageNet, а другой. Используемый для конкретной практической задаче классификации.
топ5 метрика в моей задаче не может быть выше топ1. Так как она разделена на 5.
топ5 - условно означает, сколько из первые 5 ближайших векторов эталонных картинок относятся к такому же классу. Где 1 - это все 5, и 0.2 если только 1 из 5.
Очевидно, что при увеличении количества классов точность уменьшается, но различие очень велико. Например, если взять подмножество ImageNet из 100 наиболее частотных классов (сократить мощность в 10 раз) и сеть EfficientNet-B4, то точность по топ 1 возрастает с 83% до 89%.
Спасибо, за комментарий.
На самом деле в статье, я указал, что использовалось в качестве оценки меру близости векторов. Вероятно в вашем примере, это другая оценка?
Кроме того, все зависит от данных. Метрики в данной задаче актуально сравнивать между собой в рамках одной данной задачи. На других исследованиях, и других данных, и результаты могут оказаться другими. Однако стоит сравнивать не сами конкретные значения, а их отношения между собой.
Оценивалась точность по ImageNet, метод измерения такой же как на 1 графике вашей статьи.
Как сопоставлять ваши результаты с чужими?
Суть исследования в том, чтобы сравнить большое количество архитектуры между собой. Данное исследования является самодостаточным, и не требует прямого сравнения с другими исследования. Хотя, кто то другой, может провести такое сравнение. Почему бы и нет!
Может являться руководством к действию, например если вам потребуется выбрать архитектуру для задачи классификации. Например можно начать новое дообучение под вашу задачу, с подбора архитектур которые являются лидерами в каждой группе, а не перебирать все 400 или более архитектур.
Кроме того, обучение нескольких архитектур удобно при использовании в ансамблях.
Я думаю вариантов много, и список далеко не исчерпывающий. Каждый сам найдет для себя, чем это может быть полезно!
Просто непонятно:
Были ли ошибки при измерениях?
Почему у вас получились низкие точности при измерении Топ 1? В чём особенность тестовых данных?
Почему не коррелируют места сетей для Топ 1 и Топ 5 как в других исследованиях?
Какая версия EfficientNet?
1) Я не понимаю о каких ошибках вы говорите. Весь процесс проходил автономно путём перебора, и если в процессе анализа вываливалась ошибка например из за недостаточности памяти. Сеть просто не бралась в расчет. Но тогда вы и не найдете эту Сеть в рейтинге.
2) Что значит низкие. Есть сети которые показали высокую точность, есть те которые показали низкую. Все приведено в графиках.
3) Почему же не коррелируют. Некоторые сети вполне неплохо коррелируют. Хотя да лидеры немного разные. Но сильных выпадов нет.
4) Я привел полное описание и название сетей. В статье указано из какой библиотеки взяты сети.
Возможна опечатка при программировании;
Низкие по сравнению с результатами авторов сетей. В чём причины?
Для первых 3 мест этого не наблюдается на графиках лидеров в отличие от результатов на https://paperswithcode.com;
В статье по EfficientNet используются другие обозначения для вариантов сетей.
1) Такого точно нет
2) Я проанализировал полученные результаты, и они мне кажутся более чем обоснованными. Закономерности явно прослеживаются. Плохие сети показывают адекватно плохие результаты, хорошие сети показывают адекватно хорошие результаты. Если бы были проблемы, то результаты невозможно было бы объяснить. А здесь закономерности на лицо. Я смотрю на все исследование целиком, а не результаты какой то конкретной нейронки.
3) Проведите свое независимое исследование и опубликуйте результаты, это будет интересно сравнить. Может быть у вас получатся такие же результаты как на этом сайте, а может быть такие как у меня. Вот мы и увидим.
4) Возможно. Но я брал названия не из статьи EfficientNet
:)
Согласен, что исследования провеждены, результаты обоснованы. А причину снижения можно объяснить?
В том то и дело, что у меня для EfficientNet совпадает с результатами https://paperswithcode.com с точностью до единиц процентов. Я ничего нового не обнаружил, а у вас множество различий.
Понятно.
Вам же еще "red_elk" в первом комментарии на ваш вопрос ответил.
Вероятно потому, что вы не поняли ответ на второй вопрос. Вот вы на каком датасете тестировали?
При этом если косинусная близость векторов с изображений одного класса максимальная, то считалось, что эта архитектура наиболее подходит, для последующего дообучения под конкретную задачу.
На чем основано такое утверждение?
Спасибо за комментарий!
Да это лишь мое предположение. Вы знаете работы которые это подтверждают, или опровергают?
Но по факту мне в практической задаче хватило и косинусной близости. т.е. я полностью отказался от дообучения модели. Так как полученной точности оказалось достаточно для решения моей задачи.
В качестве задачи для такого масштабного сравнения, я полностью отказался от самостоятельного дообучения нейросетей, и использовал методику сравнения близости векторов признаковых представлений с выхода предобученных нейросетей.
не совсем понял: если сеть обучена на выходной вектор на 1000 классов, то как без переобучения перейти на вектор из 8000 классов? что за методика?
Большое сравнение 400 нейронных сетей для задачи классификации на более 8000 классов