Нейросеть подбирает гиперпараметры другой нейросети с помощью обучения с подкреплением (reinforcement learning). Авторы AutoML пишут что использование эволюционных алгоритмов тоже неплохие результаты показало.
Идея такого подхода, как мне кажется, очевидна любому кто знаком с тематикой машинного обучения. Не менее очевидны и недостатки: необходимость использовать вычислительные мощности, которые доступны только с хорошим финансированием.
В общем это отличная новость для команд, которые могут паралельно тренировать сотни архитектур. Теперь они могут частично автоматизировать подбор гиперпараметров, который занимает несколько процентов времени затраченного на проект.
1. Интересно было бы увидеть процент распознавания или error rate для всех сетов для каждой из протестированных архитектур.
2. Результат с тренировкой на сгенерированых одним алгоритмом капчами предсказуем т.к. распределение тренировочного датасета отличается от тестировочного.
3. Почему Вы изначально решили работать с полносверточной сетью без FC слоёв?
4. Касательно неконтрастных изображений — думаю увеличение размеров фильтров помогло бы.
5. Интересно было бы почитать о сравнении результатов, если решите попробовать capsnet для той же задачи.
Идея такого подхода, как мне кажется, очевидна любому кто знаком с тематикой машинного обучения. Не менее очевидны и недостатки: необходимость использовать вычислительные мощности, которые доступны только с хорошим финансированием.
В общем это отличная новость для команд, которые могут паралельно тренировать сотни архитектур. Теперь они могут частично автоматизировать подбор гиперпараметров, который занимает несколько процентов времени затраченного на проект.
1. Интересно было бы увидеть процент распознавания или error rate для всех сетов для каждой из протестированных архитектур.
2. Результат с тренировкой на сгенерированых одним алгоритмом капчами предсказуем т.к. распределение тренировочного датасета отличается от тестировочного.
3. Почему Вы изначально решили работать с полносверточной сетью без FC слоёв?
4. Касательно неконтрастных изображений — думаю увеличение размеров фильтров помогло бы.
5. Интересно было бы почитать о сравнении результатов, если решите попробовать capsnet для той же задачи.