Предобучение ограниченными машинами Больцмана для распознавания реальных изображений

[mephistopheies]

а чего это вдруг не приносит? -) это самый самый state-of-the-art нейросетей, и реально используется в распознавании образов

[prologic]

Для того что бы на этом зарабатывать не обязательно создавать готовый продукт за свой счет. Можно устроиться в компанию где требуются программисты со знанием алгоритмов машинного обучения. Такая позиция обычно отлично оплачивается.

[KvanTTT]

Этим можно заниматься и после студенческих лет, особенно пока нет собственной семьи.

[lightcaster]

Замечание о графиках: поскольку нас фактически интересует способность сети правильно распознавать эмоции, а не минимизировать функцию ошибки, обучение продолжается, пока эта способность улучшается, даже после того, как функция ошибки начинает расти.

Не понял этот момент. А как вы понимаете что способность распознавать эмоции все еще улучшается?

[Igel_SK]

Там два графика: слева функция ошибки нейросети (cross entropy), справа — процент неправильно распознанных изображений. Пока процент неправильно распознанных изображений на тестовом множестве уменьшается (правый график), способность распознавать эмоции улучшается.

[lightcaster]

А, понял, ок. Подумалось, что вы попадаете на переобучение.

[lightcaster]

И еще один момент. Вроде как товарищи из той же компании что и Хинтон говорят что можно достичь хорошего обучения и без при-тренинга через один из квазиньютоновских методов. Не пробовали, случаем?

Вот статья: Martens, J. (2010). Deep learning via hessian-free optimization

ps я практически не занимался дип ленингом и нейросетями, просто интересно

[mephistopheies]

на самом деле то способов много, я например тестил через principal component analysis habrahabr.ru/post/176257/, если проинициализировать веса слоя нейронов используя значения полученные из PCA, то сеть будет обучаться лучше нежели при рандомной инициализации; фишка именно в качестве главных компонент, rbm ищет очень компактные признаки, что можно увидеть на картинках по вышеупомянутой ссылке

предобучение в целом, или любую умную инициализацию можно сформулировать немного по другому — это проекция исходного образа в пространство другой размерности, такое что бы минимизировать потери информации, чем по сути и занимается rbm: максимизирует вероятность того, что образ будет из пространства, размерности скрытого слоя, восстановлен верно; так что в принципе можно брать методы из en.wikipedia.org/wiki/Nonlinear_dimensionality_reduction и адаптировать их для инициализации весов

[lightcaster]

Ну смысл предварительной настройки весов вобщем-то понятен. Но я немного о другом. В той статье что я привел (да и в куче последующих у коллег Хинтона) используется не вычисление градиента как в стандартном backprop, а вычисление гессиана. Точнее, не гессиана а его приближения, т.к. сам гессиан конечно никто считать не будет. Т.е. фактически инициализация весов не важна — важен сам способ оптимизации.

По-моему в питоновском theano все функции для этого есть. Нужно попробовать.

[Igel_SK]

Слышал, но в деталях не разбирался. Хинтон упоминал этот метод в своем видеокурсе. Если буду разбираться — обязательно сравню с предобучением и напишу на хабр, что получилось :)

[lightcaster]

Было бы интересно, спасибо.