Кстати, это чувствуется при обучении. Если стоят одновременно и карта, и процессор от AMD, то оба оказываются загружены где-то на 50-60%.
Я не смог разобраться точно, в чем дело.
Но вероятно, что из-за этой фичи OPENCL часть ядер создаётся для CPU
Полностью согласен насчёт продакшена.
Считаю, данный подход в большинстве своём актуален в рамках прототипирования на Керасе и вывода моделей на нетипичные вычислительные устройства.
«Вы получаете сеть, которая распознает то, каким образом лично Вы имитируете эмоций» — конечно же, предполагается, что активации нужно смотреть на максимально широком пространстве(т.е. не только на моих фотографиях). И только тогда можно будет говорить о какой-то объективности результатов.
Один из вариантов — создать отдельную валидационную выборку, подсчитать на каждом изображении в ней активации и затем отобразить средние значения
Я наслышан про OnePixAttack.
Повторюсь, что учитывая связь данной темы с биологией, есть смысл в том, чтобы считать идеалом совпадение собственного и нейросетевого восприятий. Можно посмотреть, например, на визуализацию слоёв VGG и увидеть, что высокоуровневые признаки — это реальная, практически объективная сущность.
«14-й, 88-й, и 146-й пиксель сделали весь праздник» — кажется, мы именно противоположному и учим сеть, создавая большие датасеты и добавляя аугментацию
Мой эксперимент следует из априорного предположения о том, что нейронные связи в нашем мозгу — это идеальный вариант нейросети. Соответственно, достижение близости её восприятия к собственному является целью.
Хорошее замечание!
Думаю написать в ближайшем будущем статью про выбор способа построения карты активации и параметров. Чем больше активаций с одними параметрами мы построим, тем больше сократим число возможных интерпретаций! Если, конечно, сеть хоть как-то сошлась.
Если же на большом числе полученных карт не будет виден тренд, то у нас плохая сеть =)
Забавно, что в функции аугментации конечно же было зеркальное отображение изображений с вероятностью 0.5. Вероятно, из-за малого числа изображений в обучающей выборке, выравнивания активаций относительно вертикальной оси не произошло.
Ведь при малом числе измерений вероятность 0.5 — это далеко не 0.5 =)
Увидев, как её можно оптимизировать, мы оптимизируем и делаем её более осознанной.
Возможно, сбивает с толку само слово "осознанность" в отношение сети — доля хуманизации :)
Я долго думал, добавлять ли в статью технические моменты. Решил, что для первой статьи пусть будет попроще =)
Думаю, что в следующих статьях рассмотрю их подробнее!
Кажется, это не выяснить, пока нет конкретного пользовательского опыта. Нужно брать фокус-группу и смотреть, как быстро получилось бы обучить их взаимодействию с выводом сети и картами внимания.
Да. Тут вместо термина «нейронная сеть» было бы правильнее сказать «машинное обучение». Не сделал я этого лишь оттого, что в моём сознании нейронные сети и оптимизация уже неразрывно связаны (думаю, как и в сознании большинства разработчиков нашего направления)
Задача была не для продакшена. Целью было, скорее, показать возможности работы архитектуры сети на блоках ResNet, а также получить примерную оценку по скорости работы. Однако, всё это переросло в данное исследование =)
Кстати, это чувствуется при обучении. Если стоят одновременно и карта, и процессор от AMD, то оба оказываются загружены где-то на 50-60%.
Я не смог разобраться точно, в чем дело.
Но вероятно, что из-за этой фичи OPENCL часть ядер создаётся для CPU
Полностью согласен насчёт продакшена.
Считаю, данный подход в большинстве своём актуален в рамках прототипирования на Керасе и вывода моделей на нетипичные вычислительные устройства.
Проверил. Выходит, что особенность не в фичах изображения, а в сети
«Вы получаете сеть, которая распознает то, каким образом лично Вы имитируете эмоций» — конечно же, предполагается, что активации нужно смотреть на максимально широком пространстве(т.е. не только на моих фотографиях). И только тогда можно будет говорить о какой-то объективности результатов.
Один из вариантов — создать отдельную валидационную выборку, подсчитать на каждом изображении в ней активации и затем отобразить средние значения
Повторюсь, что учитывая связь данной темы с биологией, есть смысл в том, чтобы считать идеалом совпадение собственного и нейросетевого восприятий. Можно посмотреть, например, на визуализацию слоёв VGG и увидеть, что высокоуровневые признаки — это реальная, практически объективная сущность.
«14-й, 88-й, и 146-й пиксель сделали весь праздник» — кажется, мы именно противоположному и учим сеть, создавая большие датасеты и добавляя аугментацию
Думаю написать в ближайшем будущем статью про выбор способа построения карты активации и параметров. Чем больше активаций с одними параметрами мы построим, тем больше сократим число возможных интерпретаций! Если, конечно, сеть хоть как-то сошлась.
Если же на большом числе полученных карт не будет виден тренд, то у нас плохая сеть =)
Ведь при малом числе измерений вероятность 0.5 — это далеко не 0.5 =)
Увидев, как её можно оптимизировать, мы оптимизируем и делаем её более осознанной.
Возможно, сбивает с толку само слово "осознанность" в отношение сети — доля хуманизации :)
Соглашусь, что вышеописанное применимо исключительно к области компьютерного зрения =)
Я долго думал, добавлять ли в статью технические моменты. Решил, что для первой статьи пусть будет попроще =)
Думаю, что в следующих статьях рассмотрю их подробнее!