Алгоритмы машинного обучения ещё не понимают реальность так, как это делают люди — иногда с катастрофическими последствиями
Об авторе: Мелани Митчелл — профессор компьютерных наук в Портлендском государственном университете и приглашённый профессор в Институте Санта-Фе. Её книга «Искусственный интеллект: руководство для мыслящих людей» будет опубликована в 2019 году издательством Farrar, Straus, and Giroux
Посетитель выставки Artificial Intelligence Expo в ЮАР, сентябрь 2018 года. Фото: Nic Bothma/EPA, via Shutterstock
Наверное, вы слышали, что мы находимся в разгаре революции ИИ. Нам говорят, что машинный интеллект прогрессирует с поразительной скоростью, опираясь на алгоритмы «глубокого обучения», которые используют огромные объёмы данных для обучения сложных программ, известных как «нейронные сети».
Сегодняшние программы могут распознавать лица и записывать речь. У нас есть программы для обнаружения тонкого финансового мошенничества, для нахождения релевантных веб-страниц в ответ на неоднозначные запросы, для прокладки оптимального маршрута практически в любом месте, эти программы побеждают гроссмейстеров в шахматы и Go и переводят между сотнями языков. Более того, нам обещают уже скоро и повсеместно беспилотные автомобили, автоматическую диагностику рака, роботов по уборке домов и даже автоматические научные открытия.
Основатель Facebook Марк Цукерберг недавно заявил, что в течение следующих пяти-десяти лет компания будет развивать ИИ, чтобы «превысить уровень человека по всем основным чувствам: зрение, слух, язык, общее понимание». Шейн Легг, главный научный сотрудник подразделения Google DeepMind, прогнозирует, что «ИИ превзойдёт человеческий уровень в середине 2020-х годов».
Как человек, работающий в области ИИ на протяжении нескольких десятилетий, я стала свидетелем провала множества подобных предсказаний. И я уверена, что последние прогнозы тоже не оправдаются. Проблема создания человеческого интеллекта в машинах остаётся сильно недооцененной. Сегодняшним системам ИИ катастрофически не хватает сущности человеческого интеллекта: понимания ситуаций, которые мы переживаем, способности понять их смысл. Математик и философ Джан-Карло Рота задал знаменитый вопрос: «Интересно, сможет ли ИИ когда-нибудь преодолеть барьер понимания». Для меня это по-прежнему самый важный вопрос.
Отсутствие человеческого понимания в машинах подчёркивается проблемами, которые недавно появились в основах современного ИИ. Хотя современные программы гораздо более впечатляющи, чем системы 20-30-летней давности, ряд исследований показывает, что системы глубокого обучения демонстрируют ненадёжность совершенно нечеловеческими способами.
Приведу несколько примеров.
«Человеку с непокрытой головой нужна шляпа» [The bareheaded man needed a hat] — программа распознавания речи на телефоне распознаёт эту фразу как «Под руководством медведя человеку нужна шляпа» [The bear headed man needed a hat]. Фразу «Я завёл свинью в стойло» [I put the pig in the pen] Google Translate переводит на французский как «Я подложил свинью в ручку» [Je mets le cochon dans le stylo].
Программы, которые «читают» документы и отвечают на вопросы о них, легко одурачить, если к документу добавляются короткие, несущественные фрагменты текста. Точно так же и программы, которые распознают лица и объекты (прославленный триумф глубокого обучения) терпят неудачу, если хоть немного изменить входные данные с помощью определённых типов освещения, фильтрации изображений и других изменений, которые ни в малейшей степени не влияют на эффективность распознавания объектов человеком.
Одно недавнее исследование показало, что добавление небольшого количества «шума» к изображению лица серьёзно мешает работе современных программ распознавания лиц. Другое исследование, с юмором названное «Слон в комнате», показывает, что небольшое изображение постороннего объекта, такого как слон, в углу изображения гостиной странным образом заставляет системы машинного зрения на глубоком обучении неправильно классифицировать другие объекты.
Более того, программы, которые научились мастерски играть в конкретную видеоигру или настольную игру на «сверхчеловеческом» уровне, полностью теряются при малейшем изменении условий (изменение фона на экране или изменение положения виртуальной «площадки» для отбивания «шарика»).
Это лишь несколько примеров, демонстрирующих ненадёжность лучших программ ИИ, если ситуация немного отличаются от тех, на которых они обучались. Ошибки этих систем варьируются от смешных и безвредных до потенциально катастрофических. Например, представьте систему безопасности аэропорта, которая не позволит вам сесть на рейс, потому что ваше лицо перепутали с лицом преступника, или беспилотный автомобиль, который из-за необычных условий освещения не заметил, что вы выезжаете на перекрёсток.
Еще более тревожны недавние демонстрации уязвимостей ИИ перед так называемыми «враждебными» примерами. В них злонамеренный хакер может вносить определённые изменения в изображения, звук или текст, которые незаметны или незначительны для людей, но могут привести к потенциально катастрофическим ошибкам ИИ.
Возможность таких атак показана почти во всех областях применения ИИ, включая компьютерное зрение, обработку медицинских изображений, распознавание и обработку речи. Многочисленные исследования показали лёгкость, с которой хакеры могут обмануть системы распознавания лиц или объектов мизерными изменениями картинки. Незаметные наклейки на дорожном знаке «Стоп» заставляют систему машинного зрения в беспилотном автомобиле принять его за «Уступи дорогу», а модификация звукового сигнала, который звучит для человека как фоновая музыка, приказывает системе Siri или Alexa скрытно выполнить определённую команду.
Эти потенциальные уязвимости иллюстрируют, почему текущий прогресс в ИИ упирается в барьер понимания. Любой, кто работает с системами ИИ, знает, что за фасадом похожих на человеческое зрения, речи и умения играть эти программы совершенно не понимают — каким-либо человеческим способом — входные данные, которые получают для обработки, и результат, которые выдают. Отсутствие такого понимания делает эти программы восприимчивыми к неожиданным ошибкам и незаметным атакам.
Что потребуется для преодоления этого барьера, чтобы машины смогли глубже понимать ситуации, с которыми они сталкиваются, а не полагаться на мелкие детали? Чтобы найти ответ, нужно обратиться к изучению человеческого познания.
Наше собственное понимание ситуаций, с которыми мы сталкиваемся, основано на широких интуитивных «понятиях здравого смысла» о том, как работает мир, и о целях, мотивах и вероятном поведении других живых существ, особенно других людей. Кроме того, наше понимание мира опирается на наши основные способности обобщать то, что мы знаем, формировать абстрактные концепции и проводить аналогии — короче говоря, гибко адаптировать наши концепции к новым ситуациям. На протяжении десятилетий исследователи экспериментировали с обучением ИИ интуитивному здравому смыслу и устойчивым человеческим способностям к обобщению, но в этом очень трудном деле мало прогресса.
Программы ИИ с отсутствием здравого смысла и других ключевых аспектов человеческого понимания всё чаще развёртывают в реальные приложения. В то время как некоторые люди беспокоятся о «суперинтеллекте» ИИ, самым опасным аспектом ИИ является то, что мы слишком доверимся и дадим слишком много автономии таким системам, не будучи полностью осведомлёнными об их ограничениях. Как исследователь Педро Домингос отметил в своей книге «Главный алгоритм»: «Люди беспокоятся, что компьютеры станут слишком умными и захватят мир, но реальная проблема в том, что они слишком глупы и уже его захватили».
Гонка по коммерциализации ИИ оказала огромное давление на исследователей по созданию систем, которые работают «достаточно хорошо» в узких задачах. Но в конечном счёте цель развития надёжного ИИ требует более глубокого изучения наших собственных замечательных способностей и нового понимания когнитивных механизмов, которые мы сами используем, чтобы надёжно понимать окружающий мир. Преодоление барьера понимания ИИ, вероятно, потребует шага назад — от всё более крупных сетей и наборов данных обратно к корням отрасли как междисциплинарной науки, изучающей самую сложную научную проблему: природу интеллекта.
Об авторе: Мелани Митчелл — профессор компьютерных наук в Портлендском государственном университете и приглашённый профессор в Институте Санта-Фе. Её книга «Искусственный интеллект: руководство для мыслящих людей» будет опубликована в 2019 году издательством Farrar, Straus, and Giroux
Посетитель выставки Artificial Intelligence Expo в ЮАР, сентябрь 2018 года. Фото: Nic Bothma/EPA, via Shutterstock
Наверное, вы слышали, что мы находимся в разгаре революции ИИ. Нам говорят, что машинный интеллект прогрессирует с поразительной скоростью, опираясь на алгоритмы «глубокого обучения», которые используют огромные объёмы данных для обучения сложных программ, известных как «нейронные сети».
Сегодняшние программы могут распознавать лица и записывать речь. У нас есть программы для обнаружения тонкого финансового мошенничества, для нахождения релевантных веб-страниц в ответ на неоднозначные запросы, для прокладки оптимального маршрута практически в любом месте, эти программы побеждают гроссмейстеров в шахматы и Go и переводят между сотнями языков. Более того, нам обещают уже скоро и повсеместно беспилотные автомобили, автоматическую диагностику рака, роботов по уборке домов и даже автоматические научные открытия.
Основатель Facebook Марк Цукерберг недавно заявил, что в течение следующих пяти-десяти лет компания будет развивать ИИ, чтобы «превысить уровень человека по всем основным чувствам: зрение, слух, язык, общее понимание». Шейн Легг, главный научный сотрудник подразделения Google DeepMind, прогнозирует, что «ИИ превзойдёт человеческий уровень в середине 2020-х годов».
Как человек, работающий в области ИИ на протяжении нескольких десятилетий, я стала свидетелем провала множества подобных предсказаний. И я уверена, что последние прогнозы тоже не оправдаются. Проблема создания человеческого интеллекта в машинах остаётся сильно недооцененной. Сегодняшним системам ИИ катастрофически не хватает сущности человеческого интеллекта: понимания ситуаций, которые мы переживаем, способности понять их смысл. Математик и философ Джан-Карло Рота задал знаменитый вопрос: «Интересно, сможет ли ИИ когда-нибудь преодолеть барьер понимания». Для меня это по-прежнему самый важный вопрос.
Отсутствие человеческого понимания в машинах подчёркивается проблемами, которые недавно появились в основах современного ИИ. Хотя современные программы гораздо более впечатляющи, чем системы 20-30-летней давности, ряд исследований показывает, что системы глубокого обучения демонстрируют ненадёжность совершенно нечеловеческими способами.
Приведу несколько примеров.
«Человеку с непокрытой головой нужна шляпа» [The bareheaded man needed a hat] — программа распознавания речи на телефоне распознаёт эту фразу как «Под руководством медведя человеку нужна шляпа» [The bear headed man needed a hat]. Фразу «Я завёл свинью в стойло» [I put the pig in the pen] Google Translate переводит на французский как «Я подложил свинью в ручку» [Je mets le cochon dans le stylo].
Программы, которые «читают» документы и отвечают на вопросы о них, легко одурачить, если к документу добавляются короткие, несущественные фрагменты текста. Точно так же и программы, которые распознают лица и объекты (прославленный триумф глубокого обучения) терпят неудачу, если хоть немного изменить входные данные с помощью определённых типов освещения, фильтрации изображений и других изменений, которые ни в малейшей степени не влияют на эффективность распознавания объектов человеком.
Одно недавнее исследование показало, что добавление небольшого количества «шума» к изображению лица серьёзно мешает работе современных программ распознавания лиц. Другое исследование, с юмором названное «Слон в комнате», показывает, что небольшое изображение постороннего объекта, такого как слон, в углу изображения гостиной странным образом заставляет системы машинного зрения на глубоком обучении неправильно классифицировать другие объекты.
Более того, программы, которые научились мастерски играть в конкретную видеоигру или настольную игру на «сверхчеловеческом» уровне, полностью теряются при малейшем изменении условий (изменение фона на экране или изменение положения виртуальной «площадки» для отбивания «шарика»).
Это лишь несколько примеров, демонстрирующих ненадёжность лучших программ ИИ, если ситуация немного отличаются от тех, на которых они обучались. Ошибки этих систем варьируются от смешных и безвредных до потенциально катастрофических. Например, представьте систему безопасности аэропорта, которая не позволит вам сесть на рейс, потому что ваше лицо перепутали с лицом преступника, или беспилотный автомобиль, который из-за необычных условий освещения не заметил, что вы выезжаете на перекрёсток.
Еще более тревожны недавние демонстрации уязвимостей ИИ перед так называемыми «враждебными» примерами. В них злонамеренный хакер может вносить определённые изменения в изображения, звук или текст, которые незаметны или незначительны для людей, но могут привести к потенциально катастрофическим ошибкам ИИ.
Возможность таких атак показана почти во всех областях применения ИИ, включая компьютерное зрение, обработку медицинских изображений, распознавание и обработку речи. Многочисленные исследования показали лёгкость, с которой хакеры могут обмануть системы распознавания лиц или объектов мизерными изменениями картинки. Незаметные наклейки на дорожном знаке «Стоп» заставляют систему машинного зрения в беспилотном автомобиле принять его за «Уступи дорогу», а модификация звукового сигнала, который звучит для человека как фоновая музыка, приказывает системе Siri или Alexa скрытно выполнить определённую команду.
Эти потенциальные уязвимости иллюстрируют, почему текущий прогресс в ИИ упирается в барьер понимания. Любой, кто работает с системами ИИ, знает, что за фасадом похожих на человеческое зрения, речи и умения играть эти программы совершенно не понимают — каким-либо человеческим способом — входные данные, которые получают для обработки, и результат, которые выдают. Отсутствие такого понимания делает эти программы восприимчивыми к неожиданным ошибкам и незаметным атакам.
Что потребуется для преодоления этого барьера, чтобы машины смогли глубже понимать ситуации, с которыми они сталкиваются, а не полагаться на мелкие детали? Чтобы найти ответ, нужно обратиться к изучению человеческого познания.
Наше собственное понимание ситуаций, с которыми мы сталкиваемся, основано на широких интуитивных «понятиях здравого смысла» о том, как работает мир, и о целях, мотивах и вероятном поведении других живых существ, особенно других людей. Кроме того, наше понимание мира опирается на наши основные способности обобщать то, что мы знаем, формировать абстрактные концепции и проводить аналогии — короче говоря, гибко адаптировать наши концепции к новым ситуациям. На протяжении десятилетий исследователи экспериментировали с обучением ИИ интуитивному здравому смыслу и устойчивым человеческим способностям к обобщению, но в этом очень трудном деле мало прогресса.
Программы ИИ с отсутствием здравого смысла и других ключевых аспектов человеческого понимания всё чаще развёртывают в реальные приложения. В то время как некоторые люди беспокоятся о «суперинтеллекте» ИИ, самым опасным аспектом ИИ является то, что мы слишком доверимся и дадим слишком много автономии таким системам, не будучи полностью осведомлёнными об их ограничениях. Как исследователь Педро Домингос отметил в своей книге «Главный алгоритм»: «Люди беспокоятся, что компьютеры станут слишком умными и захватят мир, но реальная проблема в том, что они слишком глупы и уже его захватили».
Гонка по коммерциализации ИИ оказала огромное давление на исследователей по созданию систем, которые работают «достаточно хорошо» в узких задачах. Но в конечном счёте цель развития надёжного ИИ требует более глубокого изучения наших собственных замечательных способностей и нового понимания когнитивных механизмов, которые мы сами используем, чтобы надёжно понимать окружающий мир. Преодоление барьера понимания ИИ, вероятно, потребует шага назад — от всё более крупных сетей и наборов данных обратно к корням отрасли как междисциплинарной науки, изучающей самую сложную научную проблему: природу интеллекта.
