Большое сравнение 400 нейронных сетей для задачи классификации на более 8000 классов

1. :)

2. Согласен, что исследования провеждены, результаты обоснованы. А причину снижения можно объяснить?

3. В том то и дело, что у меня для EfficientNet совпадает с результатами https://paperswithcode.com с точностью до единиц процентов. Я ничего нового не обнаружил, а у вас множество различий.

4. Понятно.

Большое сравнение 400 нейронных сетей для задачи классификации на более 8000 классов

1. Возможна опечатка при программировании;

2. Низкие по сравнению с результатами авторов сетей. В чём причины?

3. Для первых 3 мест этого не наблюдается на графиках лидеров в отличие от результатов на https://paperswithcode.com;

4. В статье по EfficientNet используются другие обозначения для вариантов сетей.

Большое сравнение 400 нейронных сетей для задачи классификации на более 8000 классов

Просто непонятно:

1. Были ли ошибки при измерениях?

2. Почему у вас получились низкие точности при измерении Топ 1? В чём особенность тестовых данных?

3. Почему не коррелируют места сетей для Топ 1 и Топ 5 как в других исследованиях?

4. Какая версия EfficientNet?

Большое сравнение 400 нейронных сетей для задачи классификации на более 8000 классов

Оценивалась точность по ImageNet, метод измерения такой же как на 1 графике вашей статьи.

Как сопоставлять ваши результаты с чужими?

Большое сравнение 400 нейронных сетей для задачи классификации на более 8000 классов

Очевидно, что при увеличении количества классов точность уменьшается, но различие очень велико. Например, если взять подмножество ImageNet из 100 наиболее частотных классов (сократить мощность в 10 раз) и сеть EfficientNet-B4, то точность по топ 1 возрастает с 83% до 89%.

Большое сравнение 400 нейронных сетей для задачи классификации на более 8000 классов

Почему точность результатов на ваших графиках существенно ниже опубликованных авторами сетей?

Например, по базе CoCa максимальная точность 91% для топ 1 https://paperswithcode.com/sota/image-classification-on-imagenet, а у вас меньше 30%.