Как стать автором
Обновить

Комментарии 19

Спасибо, самое понятное изложение CNN, что я видел. Планируются рассмотрение других вещей из области глубинного обучения? Обычно все циклы статей начинаются и заканчиваются на CNN, а читая новости про современный DL только диву даешься.
Да как бы на самом деле ничего революционного и грандиозного за последние годы в нейронных сетях — не было. Все эти методы и структуры были известны уже давно, вот только популярными они стали в последние годы.
А чему кстати вы диву даетесь в новостях про машинное обучение?
Некоторое время назад читал тут одну статью, в которой очень бегло были рассмотрены современные архитектуры и решения deep neural networks, кто что придумал и как оно помогало улучшать различные аспекты, щас уже не смогу найти ссылку. И (лично для меня, полного профана в этом деле) между банальным CNN и всякими накрученными схемами — пропасть.
Ну в связи с тем что вы в этом профан (без обид, ваши слова), вам и кажется что пропасть).
А по поводу новшеств структур ( https://habrahabr.ru/company/wunderfund/blog/313696/ ), обратите внимание на даты книжек в которых описаны структуры.
>Да как бы на самом деле ничего революционного и грандиозного за последние годы в нейронных сетях — не было
Ну а как же ResNet, Batch normalization и прочие веселые штуки?
Это библиотеки, которые просто реализуют уже известные алгоритмы. Если вам (или кому-то), было лень их реализовать — то это грустно, а не революционно.
Эм, я конечно извиняюсь, но вы точно «в теме»?
Residual networks это не библиотека, это вполне себе подход к организации архитектуры сети https://arxiv.org/pdf/1512.03385v1.pdf.
Batch Normalization/Layer Normalization это тоже не библиотеки.

К слову, для тех, кто желает проверить всю глубину своих знаний в машинном обучении, да и просто попрактиковаться — вот только начавшееся соревнование где надо рыбу по фотографиям классифицировать:


image


https://www.kaggle.com/c/the-nature-conservancy-fisheries-monitoring

Наконец-то. Кстати задача невероятно трудная — определить по одной фоте некоторые подвиды — невозможно — роль могут играть количество и цвет пятнышек как по центру морды, так и на брюхе.

Поэтому и приз — $150 000


Хотя если в том году китов поименно научились различать по форме пятнышек, то и здесь можно будет что-то получить.

Тем не менее, посмотрим, что происходит с количеством параметров (весов) в такой модели, когда ей на вход поступают необработанные данные. Например, CIFAR-10 содержит 32 x 32 x 3 цветных изображений, и если мы будем считать каждый канал каждого пикселя независимым входным параметром для MLP, каждый нейрон в первом скрытом слое добавляет к модели около 3000 новых параметров!

Это ведь перевод? Потому что по русски — это неправильно.
CIFAR-10 содержит 32 x 32 x 3 пикселей в каждом изображении, в котором 32 и 32 это высота, ширина, а тройка — количество каналов (RGB).

(так называемое ядро свертки), построенная таким образом, что графически кодирует какой-либо признак

Почему-то во всех статьях по CNN пропускают описание создания «ядер» свертки, а это не совсем очевидный момент. Как я понял, одним из вариантов создания «ядер» свертки является использование автоэнкодера.
Эм, а разве ядро не создается в процессе обучения? Ну в смысле отдельно обучать автоэнкодер не обязательно же.
Да, обучать отдельно не обязательно. Но при обучении многослойных нейронных сетей методом обратного распространения ошибки возникает проблема затухания градиента.
Я так понимаю, что при использовании семейства ReLU вместо сигмоид, хитрой инициализации и residual связей, проблема затухания градиентов не особо стоит
НЛО прилетело и опубликовало эту надпись здесь
Вообще распознавание картинки сводится в двум задачам: свертка и классификация.
Первая задача — не нейронка (в данной схеме). Вторая — нейронка.
В данному случае вам просто расписали способ, как можно «задрать контрастность».
Претензия к первоисточнику:
На рисунках ниже схематически изображена вышеуказанная формула, а также представлен результат применения операции свертки (с двумя разными ядрами) к изображению с целью выделить контуры объекта.

имхо, распарсить эту кривую фразу можно только заранее понимая что там нарисовано. На нижней части выделение контура с помощью фильтра (ядра) типа Собеля. Для верхней, схематичной части иллюстрации автор зачем-то взял другое ядро, хотя можно было бы взять ядро подходящее для выделения контура, например:
1 0 1
0-4 0
1 0 1
Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.