Deep Learning, теперь и в OpenCV

В данный момент FullConvolution (Deconvolution) не читается при загрузке из tf. Но сам слой реализован (как и его загрузка из Caffe и Torch). Если у вас есть желание и возможность — pull request будет очень кстати. Вам потребуется добавить «конвертацию» параметров из TensorFlow формата в тот, что используется в dnn (для данного слоя фактически Caffe формат). «Конвертация» в кавычках, так как иногда соответствие между параметрами идентичное. Иногда же они могут быть связаны некоторой формулой. В этом и потерубется разобраться. Для удобства можно сохранить tf модель в текстовом виде — так вы сможете непосредственно увидеть имена и значения параметров.

Deep Learning, теперь и в OpenCV

Всегда пожалуйста! Рад, что результаты моей работы будут вам полезны!

Deep Learning, теперь и в OpenCV

У пользователя всегда останется выбор, использовать какой-то бэкенд или нет. На данный момент наши эксперименты показывают, что все, что потребуется, пользователю, это указать флаг при вызове cmake. Все остальное будет сделано в фоне. Halide действительно дает ускорение, и пользователю совершенно необязательно знать, как программировать на этом языке, чтобы использовать это ускорение. В любом случае — удобство для пользователей — это то, о чем мы (команда OpenCV) постоянно думаем. Пример тому: OpenCV 2.4 до сих пор фиксится, так как много пользовательского кода использует эту версию, хотя 3.3 уже готова к релизу.

Deep Learning, теперь и в OpenCV

В данный момент используются собственные оптимизации — то есть модуль не нуждается в дополнительных библиотеках, чтобы работать также быстро, как указано в статье. В скором времени появится Halide как один из бэкендов.

Deep Learning, теперь и в OpenCV

Скорее всего речь о FullConvolution слое. Он используется для того, чтобы увеличить пространственные размерности в моделях для сегментации. И он же в разных источниках называется «In-network Upsampling», «Fractionally-strided convolution», «Backwards Convolution», «Deconvolution», «Upconvolution».

Deep Learning, теперь и в OpenCV

Не знал о такой возможности у TF, спасибо. Они вообще молодцы, оптимизируют код под CPU, активно развивают фреймворк, оказывается, еще и о мобильных устройствах позаботились

Deep Learning, теперь и в OpenCV

Да, однозначно. Портировать фреймворк теперь не нужно

Deep Learning, теперь и в OpenCV

Предположительно, должно. Построение OpenCV выполняется, кроме многих других конфигураций, еще и для некоторого числа машин с ARM

Deep Learning, теперь и в OpenCV

Сейчас dnn использует CPU. Использование GPU планируется добавить с помощью Halide и других бэкендов.

Deep Learning, теперь и в OpenCV

Спасибо, будем стараться. Насчет caffe2 — это, на самом деле, вопрос приоритетов. Срочность добавления зависит от того, насколько этот фреймворк окажется популярным. Если мы поймем, что пользователям это нужно, или что есть много классных моделей, созданных в caffe2, то с радостью займемся реализаций поддержки. Ну а в долгосрочной перспективе мы, конечно же, за как можно больший охват фреймворков.