Комментарии 14
НЛО прилетело и опубликовало эту надпись здесь
Замечание о графиках: поскольку нас фактически интересует способность сети правильно распознавать эмоции, а не минимизировать функцию ошибки, обучение продолжается, пока эта способность улучшается, даже после того, как функция ошибки начинает расти.
Не понял этот момент. А как вы понимаете что способность распознавать эмоции все еще улучшается?
И еще один момент. Вроде как товарищи из той же компании что и Хинтон говорят что можно достичь хорошего обучения и без при-тренинга через один из квазиньютоновских методов. Не пробовали, случаем?
Вот статья: Martens, J. (2010). Deep learning via hessian-free optimization
ps я практически не занимался дип ленингом и нейросетями, просто интересно
Вот статья: Martens, J. (2010). Deep learning via hessian-free optimization
ps я практически не занимался дип ленингом и нейросетями, просто интересно
на самом деле то способов много, я например тестил через principal component analysis habrahabr.ru/post/176257/, если проинициализировать веса слоя нейронов используя значения полученные из PCA, то сеть будет обучаться лучше нежели при рандомной инициализации; фишка именно в качестве главных компонент, rbm ищет очень компактные признаки, что можно увидеть на картинках по вышеупомянутой ссылке
предобучение в целом, или любую умную инициализацию можно сформулировать немного по другому — это проекция исходного образа в пространство другой размерности, такое что бы минимизировать потери информации, чем по сути и занимается rbm: максимизирует вероятность того, что образ будет из пространства, размерности скрытого слоя, восстановлен верно; так что в принципе можно брать методы из en.wikipedia.org/wiki/Nonlinear_dimensionality_reduction и адаптировать их для инициализации весов
предобучение в целом, или любую умную инициализацию можно сформулировать немного по другому — это проекция исходного образа в пространство другой размерности, такое что бы минимизировать потери информации, чем по сути и занимается rbm: максимизирует вероятность того, что образ будет из пространства, размерности скрытого слоя, восстановлен верно; так что в принципе можно брать методы из en.wikipedia.org/wiki/Nonlinear_dimensionality_reduction и адаптировать их для инициализации весов
Ну смысл предварительной настройки весов вобщем-то понятен. Но я немного о другом. В той статье что я привел (да и в куче последующих у коллег Хинтона) используется не вычисление градиента как в стандартном backprop, а вычисление гессиана. Точнее, не гессиана а его приближения, т.к. сам гессиан конечно никто считать не будет. Т.е. фактически инициализация весов не важна — важен сам способ оптимизации.
По-моему в питоновском theano все функции для этого есть. Нужно попробовать.
По-моему в питоновском theano все функции для этого есть. Нужно попробовать.
Слышал, но в деталях не разбирался. Хинтон упоминал этот метод в своем видеокурсе. Если буду разбираться — обязательно сравню с предобучением и напишу на хабр, что получилось :)
НЛО прилетело и опубликовало эту надпись здесь
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Предобучение ограниченными машинами Больцмана для распознавания реальных изображений