Искусственный интеллект (ИИ) быстро переходит из области научной фантастики в повседневную жизнь. Современные устройства распознают человеческую речь, способны отвечать на вопросы и выполнять машинный перевод. В самых разных областях, от управления беспилотным автомобилем до диагностирования рака, применяются алгоритмы распознавания объектов на базе ИИ, возможности которых превосходят человеческие. Крупные медиакомпании используют роботизированную журналистику, создающую из собранных данных статьи, подобные авторским. Очевидно, что ИИ готов стать по-настоящему универсальной технологией, такой как электричество. Какие подходы и технологии считаются наиболее перспективными? Какие крупные открытия возможны в ближайшие годы? Можно ли создать по-настоящему мыслящую машину или ИИ, сравнимый с человеческим, и как скоро? Какие риски и угрозы связаны с ИИ, и как их избежать? Вызовет ли ИИ хаос в экономике и на рынке труда? Смогут ли суперинтеллектуальные машины выйти из-под контроля человека и превратиться в реальную угрозу?
Разумеется, предсказать будущее невозможно. Тем не менее, эксперты знают о текущем состоянии технологий, а также об инновациях ближайшего будущего больше, чем кто бы то ни было. Вас ждут блестящие встречи с такими признанными людьми, как Р. Курцвейл, Д. Хассабис, Дж. Хинтон, Р. Брукс и многими другими.
Ян Лекун
ВИЦЕ-ПРЕЗИДЕНТ И ОСНОВАТЕЛЬ ЛАБОРАТОРИИ ИССЛЕДОВАНИЯ ИИ В FACEBOOK (FAIR), ПРОФЕССОР COMPUTER SCIENCE В НЬЮ-ЙОРКСКОМ УНИВЕРСИТЕТЕ
Вместе с Джеффри Хинтоном и Иошуа Бенджио Ян Лекун входит в группу исследователей, усилия и настойчивость которых привели к нынешней революции в отношении к нейронным сетям и глубокому обучению. Работая в Лабораториях Белла, он изобрел сверточные нейронные сети. Диплом инженера-электрика получил в Париже в ESIEE, а докторскую степень в области computer science — в Университете Пьера и Марии Кюри. После аспирантуры работал в Лаборатории Джеффри Хинтона в Университете Торонто.
Мартин Форд: Взрыв интереса к глубокому обучению последние 10 лет — это следствие одновременного совершенствования нейронных сетей, увеличения мощности компьютеров и количества доступных данных?
Ян Лекун: Да, но процесс был более обдуманным. Появившийся в 1986–87 гг. алгоритм обратного распространения дал возможность обучать многослойные нейронные сети. Это вызвало волну интереса, которая продержалась вплоть до 1995 г. В 2003 г. Джеффри Хинтон, Иошуа Бенджио и я придумали план, как возобновить интерес сообщества к этим методам, потому что были уверены в их неминуемой победе. Так что можно сказать, что имел место умышленный сговор.
М. Ф.: Вы уже тогда понимали все перспективы? Сейчас ИИ и глубокое обучение считают синонимами.
Я. Л.: И да, и нет. Мы знали, что методы лягут в основу компьютерного зрения, распознавания речи и, возможно, пары других вещей, но никто не ожидал, что они распространятся на понимание естественного языка, робототехнику, анализ медицинской визуализации и даже поспособствуют появлению беспилотных автомобилей. В начале 1990-х гг. я думал, что движение к этим вещам будет более плавным, а появятся они немного раньше. Нас же ждала революция, случившаяся примерно в 2013 г.
М. Ф.: А как возник ваш интерес к ИИ и машинному обучению?
Я. Л.: Я с детства интересовался наукой, техникой и глобальными вопросами о зарождении жизни, интеллекта, происхождении человечества. Идея ИИ привела меня в восторг. Но в 1960–70 х гг. во Франции этим никто не занимался, поэтому после школы я пошел учиться на инженера.
В 1980 г. мне очень понравилась книга по философии Language and Learning: The Debate Between Jean Piaget and Noam Chomsky («Язык и обучение: дискуссия между Жаном Пиаже и Ноамом Хомским»), в которой создатель теории когнитивного развития и лингвист обсуждали природу и воспитание, а также зарождение языка и интеллекта.
На стороне Пиаже выступал профессор MIT Сеймур Пейперт, который стоял у истоков машинного обучения и в конце 1960-х гг. фактически способствовал прекращению работ с нейронными сетями. И вот спустя 10 лет он превозносил так называемый персептрон — очень простую модель машинного обучения, которая появилась в 1950-х гг. и над которой он работал в 1960-х гг. Так я впервые познакомился с концепцией обучения машин и был ею абсолютно очарован. Способность к обучению я считал неотъемлемой частью интеллекта.
Студентом я прочитал по машинному обучению все, что удалось найти, и сделал несколько проектов по этой теме. Оказалось, на Западе никто не работает с нейронными сетями. Над тем, что позже стало называться этим термином, трудились несколько японских исследователей. У нас же эта тема никого не интересовала, отчасти из-за вышедшей в конце 1960-х гг. книги Пейперта и Минского.
Я начал самостоятельные исследования и в 1987 г. защитил докторскую диссертацию Modeles connexionnistes de l'apprentissage («Коннекционистские модели обучения»). Мой руководитель Морис Милгрэм этой темой не занимался и прямо сказал мне, что может официально стать моим консультантом, но ничем не сможет помочь технически.
В начале 1980-х гг. я обнаружил сообщество людей, которые работали над нейронными сетями, и связался с ними. В итоге параллельно Дэвиду Румельхарту и Джеффри Хинтону я открыл такую вещь, как метод обратного распространения ошибки.
М. Ф.: То есть в начале 1980-х гг. в Канаде велись многочисленные исследования в этой области?
Я. Л.: Нет, все происходило в США. В Канаде такие исследования тогда еще не велись. В начале 1980-х гг. Джеффри Хинтон был сотрудником Калифорнийского университета в Сан-Диего, где работал с такими специалистами по когнитивной психологии, как Дэвид Румельхарт и Джеймс Макклелланд. В результате появилась книга, объясняющая психологию при помощи простых нейронных сетей и компьютерных моделей. Затем Джеффри стал доцентом в Университете Карнеги — Меллона. В Торонто он переехал только в 1987 г. Тогда же в Торонто перебрался и я, и в течение года работал в его лаборатории.
М. Ф.: В начале 1980-х гг. я был студентом, изучавшим вычислительную технику, и не помню, чтобы где-то применялись нейронные сети. Сейчас ситуация резко изменилась.
Я. Л.: Нейронные сети не просто оказались на обочине науки. В 1970-х гг. и начале 1980-х гг. их фактически предали анафеме. Статьи отклонялись за одно упоминание нейронных сетей.
Известна статья Optimal Perceptual Inference («Оптимальный персептивный вывод»), которую в 1983 г. опубликовали Джеффри Хинтон и Терри Сейновски. Чтобы описать в ней одну из первых моделей глубокого обучения и нейронной сети, они использовали кодовые слова, даже в названии.
М. Ф.: Вы известны как автор сверточной нейронной сети. Объясните, пожалуйста, что это такое?
Я. Л.: Изначально эта нейронная сеть была оптимизирована под распознавание объектов на изображениях. Но оказалось, что ее можно применить к широкому кругу задач, например распознаванию речи и машинному переводу. Идеей для ее создания послужили особенности зрительной коры мозга животных и людей, изученные в 1950–60-х гг. Дэвидом Хьюбелом и Торстеном Визелом, позднее получившими Нобелевскую премию в области нейробиологии.
Сверточная сеть — это особый способ соединения нейронов, которые не являются точной копией биологических нейронов. В первом слое — слое свертки — каждый нейрон связан с небольшим количеством пикселов изображения и вычисляет взвешенную сумму своих входных данных. В процессе обучения веса меняются. Группы нейронов видят небольшие участки изображения. Если нейрон обнаруживает определенный признак на одном участке, другой нейрон обнаружит точно такой же признак на соседнем участке, а все остальные нейроны — в остальных участках изображения. Математическая операция, которую нейроны выполняют вместе, называется дискретной сверткой. Отсюда название.
Затем идет нелинейный слой, где каждый нейрон включается или выключается, в зависимости от того, выше или ниже заданного порога оказалась вычисляемая слоем свертки взвешенная сумма. Наконец, третий слой выполняет операцию субдискретизации, чтобы убедиться, что небольшое смещение или деформация входного изображения не сильно меняет результат на выходе. Это обеспечивает независимость от деформаций входного изображения.
По сути, сверточная сеть — это стек, организованный из слоев свертки, нелинейности и субдискретизации. Когда они сложены, появляются нейроны, распознающие объекты. Например, нейрон, который включается при нахождении лошади на изображении, другой нейрон — для автомобилей, третий — для людей и так далее, для всех нужных вам категорий.
При этом то, что делает нейронная сеть, определяется силой связей между нейронами, то есть весами. И эти веса не запрограммированы, а являются результатом обучения.
Сети показывается изображение лошади, и, если она не отвечает «лошадь», ее информируют, что это неправильно, и подсказывают правильный ответ. После этого с помощью алгоритма обратного распространения ошибки сеть корректирует веса всех соединений, чтобы в следующий раз при демонстрации такого же изображения результат был ближе к нужному. При этом приходится демонстрировать ей тысячи изображений.
М. Ф.: Это обучение с учителем? Как я понимаю, сейчас это доминирующий подход.
Я. Л.: Именно так. Почти все современные приложения глубокого обучения используют обучение с учителем. Магия в том, что обученная сеть по большей части дает правильные ответы даже для изображений, которых ей раньше не показывали. Но нуждается в огромном количестве примеров.
М. Ф.: А чего можно ожидать в будущем? Можно ли будет учить машину как ребенка, которому достаточно один раз показать кошку и назвать ее?
Я. Л.: На самом деле вы не совсем правы. Первые тренировки сверточной сети действительно проходят на миллионах изображений различных категорий. А потом, если нужно добавить новую категорию, например научить компьютер распознавать кошек, для этого достаточно нескольких образцов. Ведь сеть уже обучена распознавать объекты практически любого типа. Дополнения к обучению касаются пары верхних слоев.
М. Ф.: Это уже похоже на то, как учатся дети.
Я. Л.: Нет, к сожалению, это совсем не похоже. Дети получают большую часть информации до того, как кто-то скажет им: «Это кошка». В первые несколько месяцев жизни дети учатся, не имея понятия о языке. Они узнают устройство мира, просто наблюдая за миром и немного взаимодействуя с ним. Такой способ накопления знаний машинам недоступен. Как это назвать, непонятно. Некоторые используют провокационный термин «обучение без учителя». Иногда это называют предвосхищающим, или индуктивным, обучением. Я называю это самообучением. При обучении этого типа не идет речи о подготовке к выполнению какой-то задачи, это просто наблюдение за миром и тем, как он функционирует.
М. Ф.: А обучение с подкреплением в эту категорию попадает?
Я. Л.: Нет, это совсем другая категория. По сути, выделяют три основные категории: обучение с подкреплением, обучение с учителем и самообучение.
Обучение с подкреплением происходит методом проб и ошибок и хорошо работает для игр, где можно делать сколько угодно попыток. Хорошая производительность AlphaGo была достигнута после того, как машина сыграла больше игр, чем все человечество за последние три тысячи лет. К задачам из реального мира такой подход нецелесообразен.
Человек может научиться водить автомобиль за 15 часов тренировок, ни во что не врезавшись. Если использовать существующие методы обучения с подкреплением, машине, чтобы научиться ездить без водителя, придется 10 тысяч раз упасть с обрыва, прежде чем она поймет, как этого избежать.
М. Ф.: Мне кажется, что это аргумент в пользу моделирования.
Я. Л.: Скорее, это подтверждение того, что тип обучения, которым пользуются люди, сильно отличается от обучения с подкреплением. Это похоже на обучение с подкреплением на базе моделей. Ведь человек, садясь за руль впервые, имеет модель мира и может предсказывать последствия своих действий. Как заставить машину самостоятельно изучать прогностические модели — это главная нерешенная проблема.
М. Ф.: Именно с этим связана ваша работа в Facebook?
Я. Л.: Да, это одна из вещей, над которыми мы работаем. Еще мы обучаем машину наблюдать за разными источниками данных. Строим модель мира, надеясь на отражение в ней здравого смысла, чтобы потом использовать ее как прогностическую.
М. Ф.: Некоторые считают, что одного глубокого обучения недостаточно, и в сетях изначально должна быть структура, отвечающая за интеллект. А вы, похоже, убеждены, что интеллект может органически появиться из относительно универсальных нейронных сетей.
Я. Л.: Вы преувеличиваете. С необходимостью структуры согласны все, вопрос в том, как она должна выглядеть. А говоря о людях, которые считают, что должны быть структуры, обеспечивающие логическое мышление и способность к аргументации, вы, вероятно, имеете в виду Гари Маркуса и, возможно, Орена Этциони. С Гари мы спорили на эту тему сегодня утром. Его мнение не очень хорошо воспринимается в сообществе, потому что, не сделав ни малейшего вклада в глубокое обучение, он критически писал о нем. Орен работал в этой сфере некоторое время и при этом высказывается значительно мягче.
Фактически, сама идея сверточных сетей возникла как попытка добавить в нейронные сети структуру. Вопрос в том, какую: позволяющую машине манипулировать символами или, например, соответствующую иерархическим особенностям языка?
Многие мои коллеги, в том числе Джеффри Хинтон и Иошуа Бенджио, согласны с тем, что рано или поздно мы сможем обойтись без структур. Они могут принести пользу в краткосрочной перспективе, потому что пока не придуман способ самообучения. Этот момент можно обойти, привязав все к архитектуре. Но микроструктура коры, как визуальной, так и префронтальной, кажется полностью однородной.
М. Ф.: А мозг использует что-то похожее на метод обратного распространения ошибки?
Я. Л.: Это неизвестно. Может оказаться, что это не обратное распространение в том виде, как мы его знаем, а похожая на него форма аппроксимации оценки градиента. Над биологически правдоподобными формами оценки градиента работал Иошуа Бенджио. Существует вероятность того, что мозг оценивает градиент какой-либо целевой функции.
М. Ф.: Над какими еще важными вещами ведется работа в компании Facebook?
Я. Л.: Мы занимаемся множеством фундаментальных исследований, а также вопросами машинного обучения, поэтому в основном имеем дело с прикладной математикой и оптимизацией. Ведется работа над обучением с подкреплением и над так называемыми порождающими моделями, которые представляют собой форму самообучения или предвосхищающего обучения.
М. Ф.: Разрабатывает ли компания Facebook системы, умеющие поддерживать разговор?
Я. Л.: Фундаментальные темы исследований я перечислил выше, но есть еще и множество областей их применения. Facebook активно ведет разработки в области компьютерного зрения, и можно утверждать, что у нас лучшая в мире исследовательская группа. Мы много работаем и над обработкой текстов на естественном языке. Сюда относится перевод, обобщение, категоризация (выяснение, о какой теме идет речь) и диалоговые системы для виртуальных помощников, систем вопросов и ответов и т.п.
М. Ф.: Как вы думаете, появится ли однажды ИИ, который сможет пройти тест Тьюринга?
Я. Л.: В какой-то момент это случится, но я не считаю тест Тьюринга хорошим критерием: его легко обмануть, и он в некоторой степени устарел. Многие забывают или отказываются верить, что язык — это вторичное явление по отношению к интеллекту.
» Более подробно с книгой можно ознакомиться на сайте издательства
» Оглавление
» Отрывок
Для Хаброжителей скидка 25% по купону — Архитекторы интеллекта
По факту оплаты бумажной версии книги на e-mail высылается электронная книга.
