Библиотеки для глубокого обучения Theano/Lasagne

[dim2r]

На тензорах мозг лёг из-за непонимания цели и проснулся только на картинках с точками. Рекомендую использовать связующую фразу «для того, что бы»

[sovcharenko]

Спасибо за комментарий, добавил пояснения, надеюсь так будет понятнее.

[tumbler]

Когда проходил онлайн-курсы по машинному обучению, в разделе нейронных сетей была собственная реализация back propogation. Было трудновато осозновать, что происходит, но в целом понятно. Вот тут умножение матрицы, вот тут ошибку считаем через разность векторов и т.д.
А в случае с theano всё останавливалось на "ну тут мы применили Theano во с такими слоями [картинка]": сознание отказывается переходить от понятной истории про матрицы из курсов к использованию настолько высокоуровневых конструкций.
В общем, спасибо за статью-мостик между перемножением матриц, графом вычислений и Лазаньей.

[peterglushkov]

Здравствуйте!
Вы не могли бы объяснить что за флажок такой из Вашего конфига: optimizer_including=cudnn?
Не могу его найти ни в каких мануалах. Благодарю заранее!

[Dark_Daiver]

Могу предположить что он нужен чтобы сказать theano использовать cuDNN (GPU либа с низкоуровневыми, сильнооптимизированными примитивами для глубокого обучения от NVIDIA) http://dhaneshr.net/2015/09/10/setting-up-cudnn-and-theano-on-ubuntu-14-04-and-15-10/

[peterglushkov]

Поправьте если я заблуждаюсь, но Theano и так подтягивает CuDNN, если та в свою очередь правильно интегрирована в Cuda Toolkit. Во всяком случае я на свой машине этот флаг не использовал и Theano использовал CuDNN, о чем услужливо писал в логах.

[Dark_Daiver]

Я к сожалению не особо разбираюсь в Theano от слова совсем.
Однако чуть погуглив наткнулся на это
http://deeplearning.net/software/theano/library/sandbox/cuda/dnn.html
>The recently added Theano flag dnn.enabled allows to change the default behavior to force it or disable it. Older Theano version do not support this flag. To get an error when cuDNN can not be used with them, use this flag: optimizer_including=cudnn

[sovcharenko]

Действительно Theano автоматически подключит cuDNN, если она будет доступна.Но optimizer_including=cudnn заставит Theano выбросить исключение, если cuDNN не будет обнаружена:
http://deeplearning.net/software/theano/library/sandbox/cuda/dnn.html
Я просто так перестраховываюсь.

[peterglushkov]

Спасибо за ответ!

[yorko]

А каковы преимущества Theano перед другими DL-фреймворками – TF, mxnet, torch и что там еще бывает?

[sovcharenko]

Мне в Theano больше всего нравится потрясающая гибкость и контроль над происходящим: можно достаточно легко и быстро изменять модель и проверять новые гипотезы.

• в выборе DL-фреймворка (как, наверное, и языка программирования) существенную роль играет привычка.