Да, наши эксперименты показывают, что это работоспособная схема не только для СЛАУ, но и для обучения сеток. Нейросети начинают обучать нейросети… :)) И таки да, есть ощущение, что нейронки можно (а может даже нужно) использовать для решения обратных задач, как для оптимизации, так и для обращения матриц и пр. Ссылок сходу дать не могу, т.к. не моя область, но работы на НИПСе и ИСМЛ я такие видел. Исследования в этой области активно ведутся.
Поверьте, мой случай еще не клинический. Я хотя бы создаю воспитываю молодых исследователей (судя по тому, что моих аспирантов потом массово хантит DeepMind, небезуспешно), разрабатываю новые учебные курсы, не имеющие в России аналогов, и публикуюсь на ведущих конференциях (где докладов от России меньше чем пальцев на руке), повышая престиж нашей страны. Да и гранты у меня не десятками миллионов рублей исчисляются как в некоторых отечественных университетах, где коллективы пишут тысячестраничные(!) отчеты и прикладывают чужие коды с гитхаба в качестве результатов своей работы (у меня студенты лучше шифруются, когда списывают практические задания по байесовским методам :)) ). Вот это я понимаю грантопилы, производящие ничего. А мне еще учиться и учиться до них…
Ой, тут очень простой рецепт. Я шел на встречу с представителями Самсунга с твердым намерением отказаться от любых предложений по причинам, которые по этическим соображениям озвучивать не буду. Переговоры вел соответственно. К чести наших южнокорейских коллег, они это быстро поняли и перестроили свою линию. В итоге мы договорились.
Я бы хотел в этой связи обратить внимание на несколько моментов: (1) Самсунг по своим размерам это компания калибра гугла и майкрософта, поэтому тут противопоставления не должно быть; (2) небольшая лаборатория, занимающаяся фундаментальными исследованиями, которые могут привести к появлению новых направлений в области машинного обучения, стоит недорого и вполне по карману крупной национальной компании — транснациональной корпорацией для этого быть не нужно; (3) Самсунг открывает весной ПЕРВЫЙ исследовательский центр крупной корпорации в Москве, который бы занимался разработкой новых технологий ИИ (не путать с совместной лабораторией Самсунг-ВШЭ вашего покорного слуги). До сих пор такие центры открывались в Лондоне, Монреале, Торонто и пр. Кажется, что это большой успех для страны, вообще, и, в особенности, для наших молодых исследователей, которые получат возможность разрабатывать новые технологии в наиболее перспективной области науки в России и не стыдиться при этом своей зарплаты в разговорах с друзьями-разработчиками из индустрии. Заниматься наукой снова станет круто, престижно и прикольно! Жалко, что только в отдельно взятой области…
Мои предпочтения сильно смещенные относительно общих трендов. Мне не очень нравятся статьи в духе «мы вот тут добавили skip-connections причем через два слоя и у нас все заработало», хотя именно такие статьи обозначают новые направления развития глубинного обучения. Я люблю статьи, которые объясняют, почему та или иная эвристика работает или которые предлагают новый математический аппарат, который на большие объемы данных переносится. Примерами таких статей могут быть:
1. Stochastic Variational Inference. www.columbia.edu/~jwp2128/Papers/HoffmanBleiWangPaisley2013.pdf
2. Doubly Stochastic Variational Bayes for non-Conjugate Inference proceedings.mlr.press/v32/titsias14.pdf
3. Variational Dropout and the Local Reparameterization Trick arxiv.org/pdf/1506.02557.pdf
Это не самые хорошо написанные статьи. Но они дают новый инструментарий и/или расширяют наше понимание происходящего в нейронных сетях. Ну и еще они байесовские ;-)
Я бы хотел в этой связи обратить внимание на несколько моментов: (1) Самсунг по своим размерам это компания калибра гугла и майкрософта, поэтому тут противопоставления не должно быть; (2) небольшая лаборатория, занимающаяся фундаментальными исследованиями, которые могут привести к появлению новых направлений в области машинного обучения, стоит недорого и вполне по карману крупной национальной компании — транснациональной корпорацией для этого быть не нужно; (3) Самсунг открывает весной ПЕРВЫЙ исследовательский центр крупной корпорации в Москве, который бы занимался разработкой новых технологий ИИ (не путать с совместной лабораторией Самсунг-ВШЭ вашего покорного слуги). До сих пор такие центры открывались в Лондоне, Монреале, Торонто и пр. Кажется, что это большой успех для страны, вообще, и, в особенности, для наших молодых исследователей, которые получат возможность разрабатывать новые технологии в наиболее перспективной области науки в России и не стыдиться при этом своей зарплаты в разговорах с друзьями-разработчиками из индустрии. Заниматься наукой снова станет круто, престижно и прикольно! Жалко, что только в отдельно взятой области…
1. Stochastic Variational Inference. www.columbia.edu/~jwp2128/Papers/HoffmanBleiWangPaisley2013.pdf
2. Doubly Stochastic Variational Bayes for non-Conjugate Inference
proceedings.mlr.press/v32/titsias14.pdf
3. Variational Dropout and the Local Reparameterization Trick arxiv.org/pdf/1506.02557.pdf
Это не самые хорошо написанные статьи. Но они дают новый инструментарий и/или расширяют наше понимание происходящего в нейронных сетях. Ну и еще они байесовские ;-)