В микроблогах предлагают угадать по списку референсов, кто написал научную работу.

Список состоит из работ Юргена Шмидхубера — одного из самых цитируемых исследователей ИИ. На Google Scholar у него более 200 тыс. цитирований, индекс Хирша — 116.

Шмидхубер не стесняется своего статуса. Он даже хвастает им у себя на странице на сайте Института исследований искусственного интеллекта Далле Молле. Страница называется «Все самые цитируемые нейросети построены на работе, выполненной в моих лабораториях». В микроблоге Шмидхубер ещё более скромен: он говорит «нашей работе», а не «моей».

Вообще, преувеличить роль Шмидхубера сложно. Он мог бы побороться с Яном Гудфеллоу за право называть себя изобретателем генеративно-состязательных сетей.

Трансформеры — тоже развитие идей Юргена. 26 марта 1991 года он представил технику neural fast weight programmers. Аналог из наших дней — трансформеры с механизмом внутреннего внимания. Разве что ключ и значение в 1991 году назывались FROM и TO, соответственно. Как известно, термин «трансформеры» закрепился из работы 2017 года «Attention Is All You Need» Ашиша Васвани и других.

Впрочем, Юрген признаёт: это лишь демонстрирует ограниченность и самозацикленность англоязычного мира. На деле глубинное обучение зародилось в 1965 году в «Кибернетических предсказывающих устройствах» Алексея Ивахненко и Валентина Лапы академии наук УССР, считает Юрген.

Что касается документа со скриншота, это работа «One Big Net For Everything» 2018 года. Написал её тоже Шмидхубер.