Comments 20
Идея очень интересная. Хотя mnist, на мой взгляд, не показатель. Слишком высокая точность, лучше на ImageNet проверять.
И не очень пока ясно, как это с reinforcement learning состыкуется.
Reinforcement learning — это подход к обучению, так что кажется нет ограничений использовать его и тут.
Другая тут история есть: все-таки учатся капсульные сети порядка на 2 затратней, это накладывает небольшие ограничения на отладку и тестирование на всех подряд задачах. Да и нужно время, чтобы отбросить лишнее, оптимизировать все элементы, из которых состоит архитектура
Все таки сомневаюсь, что проблема только с ресурсами, благо у самого Хинтона их достаточно.
Самое сложное — это заинтересовать людей чем-то, что (пока что) не SOTA. Над CNN работают уже N лет куча людей, и рассчитывать что одна группа проработает их альтернативу до такого же уровня довольно оптимистично.
Но свертки никакой проработки не требовали, как только появилось достаточно ресурсов, они сразу всех заткнули за пояс.
1) ReLu вместо sigmoid
2) свертку пошире 5х5 заменили на две 3х3 -> 3x3
3) лоссы softmax crossentropy, не сразу стали, если я не путаю
4) регрессии для ряда случаев в качестве выхода
5) потом куча разных архитектур для разных задач — там просто гигантский объем работ (тут просто все не перечислить)
6) инженерно — автодифференцирование для кастомных лоссов
7) ResNet
8) автоекнодеры — этого не было изначально
9) инструменты в конце концов! это серьезные программные пакеты, требующие много времени
ну и т.д. и т.п. Огромный объем задач
в ImageNet нужны дополнительные внешние данные для обучения
Если это довод продолжать тестировать на mnist, то он странный и мне не понятен.
Мне было интересно, даст ли капсульная архитектура прирост в сравнении с RNN на задачах типа ImageNet, а не на какой-то новой задаче с дополнительными данными.
Я хотел сказать, что данные нужны такие, которые позволят максимально использовать задумку. на ImageNet, как и на MNIST клином не сошлось
И на самом деле капсульная архитектура может дать проигрыш во многих задачах. Не в этом дело, а в том, что она заставляет задуматься о том, как соотносится организация неокортекса и тех алгоритмов/архитектур, что мы сейчас используем.
Последний год наши изыскания тоже не стояли на месте.
Еще интересует приходилось ли иметь дело с PCNN сетями?
Статья манипулятивная, так как Linnainmaa придумал метод автоматической дифференциации. Все равно что сказать что человек придумавший умножение, придумал заодно и все методы использующие умножение.
Вроде, Вадим Филиппов занимается разработкой нейросетей на основе кортикальных колонок
Капсульные сети от Хинтона