Comments 25
conv2.x — 3x3
[64in — 64out]
На вход поступает матрица весов в 64 байта — на выходе матрица такого же размера.
Вот что такое сверточные нейронные сети вообще:
https://habrahabr.ru/post/309508/
А вот цикл про эволюцию архитектур нейронных сетей для распознавания изображений соревнования ImageNet:
https://habrahabr.ru/post/301084/
https://habrahabr.ru/post/302242/
https://habrahabr.ru/post/303196/
Проблема в том, что программисты, нейробиологи и другие учёные — не художники.
Отнюдь. Визуализация позволяет окинуть взглядом весь комплекс целиком, всю сложную структуру поместить в область зрения.
Это позволяет провести анализ огромной структуры, которая просто так в оперативку мозга не помещается. (Хотя бы тупо увидеть каждую частичку системы, уже из этого можно много чего оптимизировать)
По такому анализу можно получить много идей по рефакторингу, поиску ошибок и улучшению системы.
Но в случае с нейросетью это даёт нам только начальный этап: понять что вообще внутри чёрной коробки происходит.
Что тоже неплохо.
Уже не фантастика
Красиво и непонятно.
А как с отладкой ПО? ( Просмотр как работают алгоритмы, где какие данные… )
Я один немного не понимаю, каким образом ячейки нейронной сети преобразовались в красивые пикчи а-ля сюрреализм? Если я один такой недалекий, прошу знающих пояснить принцип работы такого визуализатора
Пока что сами разработчики плохо представляют, как оно работает… И в какую сторону выстрелит… Ну а про пошаговую отладку…
Читал статью, что вначале обучения автомобиля предполагалось, что он будет ориентироваться по дорожным знакам. Все было Ок до инцидента: автомобиль резко свернул с дороги перед мостом. Долго разбирались, оказалось, что он обучился ехать по краю дороги. Т.е. с отладкой софта пока что большие проблемы…
Далее мои предположения:
Я так понимаю, что данные подаются и снимаются в центре цветных областей. В сети образуются отдельные области, никак не связанные друг с другом. На границах областей образуется мусор и «оболочки», отделяющие одни области от других.
В ходе обучения сети на нее с самого начала, видимо, подается информация, причем в каждую точку сети информация подается как бы равномерно. Далее благодаря обратной связи участки, в которые поступала менее значимая для критерия отбора информация отмирают, вокруг тех участков, где поступает более значимая информация, формируются блоки нейронных связей. В итоге получается вот такая нейросеть, которая концентрируется вокруг значимой информации и игнорирует не значимую. Когда все области нейросети формируют приемлемый ответ на поступающую информацию мы говорим, что нейросеть обучена. В результате и получается вот такая картинка, состоящая из точек, где нейросеть особенно бурно реагирует на поступающую информацию и точек, где она эту информацию игнорирует.
Исследователи визуализировали вычисления нейронной сети