Comments 14
UFO just landed and posted this here
а чего это вдруг не приносит? -) это самый самый state-of-the-art нейросетей, и реально используется в распознавании образов
+2
Этим можно заниматься и после студенческих лет, особенно пока нет собственной семьи.
-1
Замечание о графиках: поскольку нас фактически интересует способность сети правильно распознавать эмоции, а не минимизировать функцию ошибки, обучение продолжается, пока эта способность улучшается, даже после того, как функция ошибки начинает расти.
Не понял этот момент. А как вы понимаете что способность распознавать эмоции все еще улучшается?
0
Там два графика: слева функция ошибки нейросети (cross entropy), справа — процент неправильно распознанных изображений. Пока процент неправильно распознанных изображений на тестовом множестве уменьшается (правый график), способность распознавать эмоции улучшается.
0
И еще один момент. Вроде как товарищи из той же компании что и Хинтон говорят что можно достичь хорошего обучения и без при-тренинга через один из квазиньютоновских методов. Не пробовали, случаем?
Вот статья: Martens, J. (2010). Deep learning via hessian-free optimization
ps я практически не занимался дип ленингом и нейросетями, просто интересно
Вот статья: Martens, J. (2010). Deep learning via hessian-free optimization
ps я практически не занимался дип ленингом и нейросетями, просто интересно
0
на самом деле то способов много, я например тестил через principal component analysis habrahabr.ru/post/176257/, если проинициализировать веса слоя нейронов используя значения полученные из PCA, то сеть будет обучаться лучше нежели при рандомной инициализации; фишка именно в качестве главных компонент, rbm ищет очень компактные признаки, что можно увидеть на картинках по вышеупомянутой ссылке
предобучение в целом, или любую умную инициализацию можно сформулировать немного по другому — это проекция исходного образа в пространство другой размерности, такое что бы минимизировать потери информации, чем по сути и занимается rbm: максимизирует вероятность того, что образ будет из пространства, размерности скрытого слоя, восстановлен верно; так что в принципе можно брать методы из en.wikipedia.org/wiki/Nonlinear_dimensionality_reduction и адаптировать их для инициализации весов
предобучение в целом, или любую умную инициализацию можно сформулировать немного по другому — это проекция исходного образа в пространство другой размерности, такое что бы минимизировать потери информации, чем по сути и занимается rbm: максимизирует вероятность того, что образ будет из пространства, размерности скрытого слоя, восстановлен верно; так что в принципе можно брать методы из en.wikipedia.org/wiki/Nonlinear_dimensionality_reduction и адаптировать их для инициализации весов
0
Ну смысл предварительной настройки весов вобщем-то понятен. Но я немного о другом. В той статье что я привел (да и в куче последующих у коллег Хинтона) используется не вычисление градиента как в стандартном backprop, а вычисление гессиана. Точнее, не гессиана а его приближения, т.к. сам гессиан конечно никто считать не будет. Т.е. фактически инициализация весов не важна — важен сам способ оптимизации.
По-моему в питоновском theano все функции для этого есть. Нужно попробовать.
По-моему в питоновском theano все функции для этого есть. Нужно попробовать.
0
Слышал, но в деталях не разбирался. Хинтон упоминал этот метод в своем видеокурсе. Если буду разбираться — обязательно сравню с предобучением и напишу на хабр, что получилось :)
+1
UFO just landed and posted this here
Sign up to leave a comment.
Предобучение ограниченными машинами Больцмана для распознавания реальных изображений