Байесовская нейронная сеть — потому что а почему бы и нет, черт возьми (часть 1)

Может кто нибудь еще объяснит про Bayesian optimization?
https://en.wikipedia.org/wiki/Bayesian_optimization

Использование сверточных сетей для поиска, выделения и классификации

https://github.com/alexgkendall/caffe-segnet/issues/21

Попробовал так же на CPU, тоже зафейлилось, но видимо по какой то другой причине, хотя вроде как все 8Gb памяти сожрало.

Попробовал так же уменьшать размер изображения, но тогда надо подбирать параметры upsample_param, автоматом (как сверточные слои) это не работает.

Использование сверточных сетей для поиска, выделения и классификации

Так интересно сколько в пике, а nvidia-smi даст только для текущего момента, если только дергать её через какие то короткие интервалы и логировать и потом парсить.

Использование сверточных сетей для поиска, выделения и классификации

Не знаю как это реализованно в caffe, но по логике чтобы прогнать через сетку изображение надо загрузить обученные веса + в каждый момент времени в памяти можно держать данные только для curr и prev слоя, т.е. должно получится сильно меньше чем в тренировочной фазе, еще учитывая то что в блобах в тестовой фазе и градиенты не надо хранить.

Постановка задачи компьютерного зрения

а как боролись с поворотом?

Использование сверточных сетей для поиска, выделения и классификации

Попробовал запустить код из туториала, но похоже эта сеть требует очень много памяти, вы не смотрели сколько памяти занимает в пике?

Использование сверточных сетей для поиска, выделения и классификации

А какой был размер обучающей выборки? Каково время обучения? Работает ли сеть для сегментации объектов у которых изменяется скейл\поворот?

вот можете ознакомится еще с подходами
https://github.com/mrgloom/Semantic-Segmentation-Evaluation

Сравнение библиотек глубокого обучения на примере задачи классификации рукописных цифр

CPU: Core 2 Duo E8500
GPU: GeForce GTX 460

Platform: Windows 10
CUDA toolkit: cuda_7.5.18_win10_network.exe

GPU даёт прирост в x15 раз на MNIST.

Некоторые репозитории в помощь изучающим и преподающим Python и машинное обучение

Например в доках scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html#sklearn.tree.DecisionTreeClassifier не написано какой именно алгоритм обучения дерева используется ID3, CART или C4.5.

Некоторые репозитории в помощь изучающим и преподающим Python и машинное обучение

Недавно читнул некоторые главы этой книги www.amazon.com/Machine-Learning-Action-Peter-Harrington/dp/1617290181 и еще есть репа с кодом github.com/pbharrin/machinelearninginaction, хоть сам экспертом не являюсь в ML и Python, но есть подозрения, что так писать на Python противопоказано, там даже не используется numpy, но думаю автор специально делает упрощения для новичков, но не сообщает, что это явно не для продакшена код. Теоретический материал изложен очень понятно почти без формул (опять же для новичков), не весь спектр ML алгоритмов рассмотрен, но автор об этом пишет. Наверно можно порекомендовать как первую книгу, но может привить неправильное представление об использовании так скажем scientific подмножества python.

Есть еще github.com/rasbt/python-machine-learning-book выглядит посерьезнее, но пока не читал.

p.s. scikit learn хорош если его использовать как black box, т.е. именно как инструмент, но код у него не читаемый, по крайней мере для меня.

Сравнение библиотек глубокого обучения на примере задачи классификации рукописных цифр

noppa.oulu.fi/noppa/kurssi/521010j/luennot/521010J_toolbox_intro.pdf

вот еще неплохой обзор

Vision and Sports Summer School 2015 в Праге: как это было

Код случаем не доступен?

Как попасть в топ на Kaggle, или Матрикснет в домашних условиях

про matrixnet(gradient boosting of decision trees) и использование GPU
on-demand.gputechconf.com/gtc/2014/presentations/S4739-gpus-accelerate-learning-rank-yandex.pdf

Стивен Вольфрам проанализировал свою жизнь

karpathy.github.io/2014/08/03/quantifying-productivity
похожий проект

Обзор алгоритмов сегментации

Немного тяжелой артиллерии:
www.robots.ox.ac.uk/~szheng/crfasrnndemo

«Сладкое» программирование, или Как выделить этикетку с банки варенья в Mathematica?

Неплохое подспорье для детектирования этикеток винных бутылок.

Формирование музыкальных предпочтений у нейронной сети — эксперимент по созданию умного плеера

marsyasweb.appspot.com/download/data_sets

вот еще, датасет для классификации по музыкальным жанрам.

Аугментация (augmentation, “раздутие”) данных для обучения нейронной сети на примере печатных символов

Есть нечто похожее когда люди работают с unbalanced dataset'ами, один из вариантов как с ними бороться это oversampling
www.slideshare.net/dalpozz/racing-for-unbalanced-methods-selection
алгоритм SMOTE генерирует синтетические примеры.

Аугментация (augmentation, “раздутие”) данных для обучения нейронной сети на примере печатных символов

Пример обучения на искусственно сгенерированных данных:
graphics.cs.msu.ru/ru/research/projects/imagerecognition/trafficsign
Пример data augumentation на mnist (mnist8m (infinite MNIST dataset)):
leon.bottou.org/papers/loosli-canu-bottou-2006

Кстати какие есть готовые тулзы для разметки данных?

Увидеть незримое

Нечто похожее
www.zbs-ilmenau.de/pdf/FWS2014_Stricker.pdf
такой вот автомат, я так понимаю пульс меряет по цвету кожи, пейпер от 2014 года.

а если загуглить «remote pulse measurement» то можно наткнуться и на такую статью
web.media.mit.edu/~zher/papers/Poh-etal-OptExp.pdf

Даже вот как то и не вериться, что это работает.