company_banner

Мы не можем доверять ИИ-системам, построенным на одном лишь глубоком обучении

Автор оригинала: Karen Hao
  • Перевод


Этот текст — не результат научного исследования, а одно из многих мнений относительно нашего ближайшего технологического развития. И заодно приглашение к дискуссии.

Гари Маркус, профессор Нью-Йоркского университета, уверен, что глубокое обучение играет важную роль в развитии ИИ. Но он также считает, что избыточное увлечение этой методикой может привести к её дискредитации.

В своей книге Rebooting AI: Building artificial intelligence we can trust Маркус, по образованию невролог, который построил карьеру на передовых исследованиях в сфере ИИ, обращается к техническим и этическим аспектам. С точки зрения технологий, глубокое обучение может успешно подражать решению задач на восприятие, которые выполняет наш мозг: например, распознавание изображений или речи. Но для решения иных задач, вроде понимания разговоров или определения причинно-следственных связей, глубокое обучение не годится. Чтобы создать более продвинутые интеллектуальные машины, способные решать более широкий круг задач — их часто называют общим искусственным интеллектом — глубокое обучение необходимо комбинировать с другими методиками.

Если ИИ-система на самом деле не понимает свои задачи или окружающий мир, это может привести к опасным последствиям. Даже малейшие неожиданные изменения в окружении системы могут привести к её ошибочному поведению. Таких примеров уже было множество: определители неподобающих выражений, которые легко обмануть; системы для поиска работы, которые постоянно дискриминируют; беспилотные автомобили, которые попадают в аварии и иногда убивают водителя или пешехода. Создание общего искусственного интеллекта — это не просто интересная исследовательская проблема, у неё есть множество совершенно практических применений.

В своей книге Маркус и его соавтор Эрнест Дэвис выдвигают выступают за другой путь. Они считают, что мы ещё далеки от создания общего ИИ, но уверены, что рано или поздно его удастся создать.

Для чего нам нужен общий ИИ? Специализированные версии уже созданы и приносят немало пользы.

Верно, и пользы будет ещё больше. Но есть много задач, которые специализированный ИИ просто не в состоянии решить. Например, понимание обычной речи, или общая помощь в виртуальном мире, или робот, помогающий в уборке и приготовлении пищи. Такие задачи вне возможностей специализированного ИИ. Ещё один интересный практический вопрос: можно ли с помощью специализированного ИИ создать безопасный автомобиль-беспилотник? Опыт показывает, что у такого ИИ до сих пор много проблем с поведением в аномальных ситуациях, даже при вождении, что весьма осложняет ситуацию.

Думаю, все мы хотели бы получить ИИ, который способен помочь нам сделать новые масштабные открытия в медицине. Неясно, подойдут ли для этого текущие технологии, ведь биология — сфера сложная. Нужно быть готовым прочитать немало книг. Учёные понимают причинно-следственные связи во взаимодействии сетей и молекул, могут разрабатывать теории о планетах и так далее. Однако со специализированным ИИ мы не можем создать машины, способные к таким открытиям. А с общим ИИ мы смогли бы совершить революцию в науке, технологиях и медицине. На мой взгляд, очень важно продолжать работу над созданием общего ИИ.

Похоже, под «общим» вы понимаете сильный ИИ?

Говоря «общий» я подразумеваю, что ИИ сможет на лету обдумывать и самостоятельно решать новые задачи. В отличие от, скажем, Го, в котором проблема не менялась последние 2000 лет.

Общий ИИ должен уметь принимать решения как в политике, так и в медицине. Это аналог человеческой способности; любой здравомыслящий человек может делать очень многое. Берёте неопытных студентов и через несколько дней заставляете их работать практически над чем угодно, начиная с юридической задачи и заканчивая медицинской. Это благодаря тому, что они имеют общее понимание мира и умеют читать, и поэтому могут внести свой вклад в очень широкий спектр занятий.

Взаимосвязь между таким интеллектом и сильным заключается в том, что не сильный интеллект, вероятно, не сможет решать общие задачи. Чтобы создать нечто достаточно надёжное, способное работать с постоянно изменяющимся миром, вам, возможно, потребует как минимум приблизиться к общему интеллекту.

Но сейчас мы от этого очень далеки. AlphaGo может прекрасно играть на доске 19x19, но его нужно переобучать для игры на прямоугольной доске. Или возьмите среднестатистическую систему глубокого обучения: она способна распознать слона, если он хорошо освещён и видна текстура его кожи. А если виден лишь силуэт слона, система наверняка не сможет его распознать.

В своей книге вы упоминаете, что глубокое обучение не способно достичь возможностей общего ИИ, поскольку оно не способно на глубокое понимание.

В когнитивистике говорят о формировании различных когнитивных моделей. Я сижу в номере отеля и понимаю, что вон там шкаф, там кровать, там телевизор, который необычно подвешен. Я знаю все эти предметы, я не просто идентифицирую их. Также я понимаю, как они взаимосвязаны друг с другом. У меня есть идеи о функционировании окружающего мира. Они не идеальны. Они могут быть ошибочны, но они весьма хороши. И на их основе я делаю немало умозаключений, которые становятся руководством для моих повседневных действий.

Другая крайность — что-то вроде игровой системы Atari, созданной DeepMind, в которой он запоминал, что ему нужно делать, когда видел пиксели в определенных местах на экране. Если вы получите достаточно данных, то может показаться, что у вас есть понимание, но на деле оно очень поверхностное. Доказательством тому является то, что если сдвинуть объекты на три пиксела, то ИИ играет гораздо хуже. Перемены ставят его в тупик. Это противоположно глубокому пониманию.

Для решения этой проблемы вы предлагаете вернуться к классическому ИИ. Какие его преимущества нам нужно постараться использовать?

Преимуществ несколько.

Во-первых, классический ИИ на самом деле является фреймворком для создания когнитивных моделей мира, на основе которых можно потом делать выводы.

Во-вторых, классический ИИ идеально совместим с правилами. Сейчас в сфере глубокого обучения наблюдается странная тенденция, когда специалисты стараются избегать правил. Они хотят всё делать на нейросетях и не делать ничего такого, что выглядит как классическое программирование. Но есть задачи, которые были спокойно решены подобным образом, и на это никто не обращал внимание. Например, построение маршрутов в Google Maps.

На самом деле нам нужны оба подхода. Машинное обучение позволяет хорошо учиться на данных, но очень плохо помогает в отображении абстракции, которую представляет собой компьютерная программа. Классический ИИ хорошо работает с абстракциями, но его целиком нужно программировать вручную, а в мире накоплено слишком много знаний, чтобы всех их запрограммировать. Очевидно, что нам нужно объединить оба подхода.

Это связано с главой, в которой вы рассказываете о том, чему мы можем научиться у человеческого разума. И в первую очередь о концепции, базирующейся на упомянутой выше идее, что наше сознание состоит из множества различных систем, которые работают по-разному.

Думаю, есть другой способ объяснить это: каждая когнитивная система, которая у нас есть, действительно решает разные задачи. Аналогичные части ИИ должны быть спроектированы для решения различных задач, которые имеют различные характеристики.

Сейчас мы пытаемся использовать некие всё-в-одном технологии для решения задач, которые кардинально отличаются друг от друга. Понять предложение — вовсе не то же самое, что распознать объект. Но люди пытаются в обоих случаях использовать глубокое обучение. С когнитивной точки зрения это качественно разные задачи. Я просто поражен тем, как мало в сообществе специалистов по глубокому обучению ценят классический ИИ. Зачем ждать появления серебряной пули? Она недостижима, и бесплодные поиски не позволяют постичь всю сложность задачи создания ИИ.

Также вы упоминаете, что ИИ-системы необходимы для понимания причинно-следственных связей. Вы считаете, что в этом нам поможет глубокое обучение, классический ИИ или что-нибудь совершенно новое?

Это ещё одна сфера, для которой глубокое обучение не слишком подходит. Оно не объясняет причины каких-то событий, а вычисляет вероятность события в заданных условиях.

О чём мы говорим? Вы смотрите некие сценарии, и вы понимаете, почему это происходит и что может произойти, если какие-то обстоятельства изменятся. Я могу посмотреть на подставку, на которой стоит телевизор, и представить, что если я отрежу ей одну ногу, то подставка перевернётся и телевизор упадёт. Это причинно-следственная связь.

Классический ИИ даёт нам для этого некие инструменты. Он может представить, к примеру, что такое поддержка и что такое падение. Но не стану перехваливать. Проблема в том, что классический ИИ по большей части зависит от полноты информации о происходящем, а я сделал вывод, всего лишь посмотрев на подставку. Я каким-то образом могу обобщать, представлять части подставки, которые мне не видны. У нас пока нет инструментов для реализации этого свойства.

Ещё вы говорите о том, что у людей есть врождённое знание. Каким образом это можно реализовать в ИИ?

В момент рождения наш мозг уже представляет собой очень тщательно продуманную систему. Она не фиксирована, природа создала первый, грубый черновик. А затем обучение помогает нам пересматривать этот черновик в течение всей нашей жизни.

Грубый черновик мозга уже обладает определёнными возможностями. Новорождённый горный козёл уже через несколько часов способен безошибочно спускаться по склону горы. Очевидно, что у него уже есть понимание трёхмерного пространства, своего тела и взаимосвязи между ними. Весьма сложная система.

Отчасти поэтому я считаю, что нам нужны гибриды. Трудно представить, как можно создать робота, хорошо функционирующего в мире без аналогичных знаний, с чего ему начинать, вместо того, чтобы начинать с чистого листа и учиться на длительном, огромном опыте.

Что касается людей, то наше врождённое знание происходит из нашего генома, который эволюционировал долгое время. А с ИИ-системами нам придётся пойти другим путём. Частично это могут быть правила построения наших алгоритмов. Частично это могут быть правила создания структур данных, которыми манипулируют эти алгоритмы. И частично это могут быть знания, которые мы напрямую будем вкладывать в машины.

Интересно, что в книге вы подводите к идее доверия и создания доверительных систем. Почему вы выбрали именно этот критерий?

Я считаю, что сегодня всё это представляет собой игру игру в мяч. Мне кажется, мы проживаем странный момент истории, во многом доверяя ПО, которое не заслуживает доверия. Думаю, свойственные нам сегодня беспокойства не будут вечными. Через сто лет ИИ оправдает наше доверие, а может быть и раньше.

Но сегодня ИИ опасен. Не в том смысле, как опасается Илон Маск, а в том, что системы собеседования при приёме на работу дискриминируют женщин, причём вне зависимости от того, что делают программисты, потому что их инструменты слишком просты.

Я хотел бы, чтобы у нас был более качественный ИИ. Не хочу, чтобы началась «зима искусственного интеллекта», когда люди осознают, что ИИ не работает и просто опасен, и не захотят это исправлять.

В некотором смысле ваша книга действительно кажется очень оптимистичной. Вы предполагаете, что можно построить заслуживающий доверия ИИ. Просто нам нужно посмотреть в другом направлении.

Верно, книга очень пессимистична в краткосрочной перспективе и очень оптимистична в долгосрочной. Мы считаем, что все описанные нами проблемы могут быть решены, если шире посмотреть на то, какими должны быть правильные ответы. И мы думаем, что если это произойдёт, мир станет лучше.
Mail.ru Group
1 190,38
Строим Интернет
Поделиться публикацией

Комментарии 19

    +1
    Одни общие слова.
      0
      Слова одни скрывают часто слова другие — зачастую это ставит в тупик не только ИИ.
      +1
      Жаль, что он забыл про искусственную эволюцию. Выглядит вполне неплохим подходом к этим самым по его словам «врождённым знаниям».
        +3
        Про неустранимые ограничения современного подхода, когда создают системы ML и выдают его за AI ныне ясно даже детям. Для этого совсем не надо «построил карьеру на передовых исследованиях в сфере ИИ». Печально, что аш «профессор Нью-Йоркского университета» так и не понял что такое полноценный AI и свое непонимание скрывает за общими фразами.
          +8
          А разве есть кто понял, что такое полноценный AI и кто может об этом рассказать?)
            +2
            Когда-то и механическое устройство, которое играет в шахматы была AI. Но потом перестало. А то, что является глубоким обучением, — то же со временем перестанет быть AI
              0
              Ну, думаю довольно много таких, кто считает, что да. И пытается об этом рассказывать. ;) Просто те, кому они это рассказывают с ними не очень согласны… Или даже согласны, но не очень понимаю, как перейти от всего этого к практической стороне вопроса. Т.е. реализовать.
                +1
                Я вот точно понял. Но от этого не легче. В 2х словах: устройство обладающее когнитивными способностями лошади, собаки или обезъяны способное обучиться человеческой культуре после успешного обучения этой самой культуре начинает проявлять интеллект. Тот самый всеми искомый общий интеллект. Но пока устройства с когнитивными способностями лошади, собаки или обезьяны для нас недостижимы. Для нас недостижимо понимание работы микро нервной системы состоящее из несчастных 302 нейронов червя Caenorhabditis elegans. 302 нейрона отвечают за все в реальном мире: обучение, рефлексы, пищевое поведение, половое поведение (у червя есть нетривиальное половое поведение), все мыслимые движения червя в реальной природе во всех мыслимых ситуациях, избегание опасностей, иннервация кишечника, иннервация размножения, за всю невероятную нейрорегуляцию внутри тела. Список можно продолжать долго. А потому, что все от избытка ума сосредоточились на 20 слойных многосоттысячных псевдонейронных сетях. И удивляются почему все работает как-то криво и почти не работает.
                  0
                  В 2х словах: устройство обладающее когнитивными способностями лошади, собаки или обезьяны способное обучиться человеческой культуре после успешного обучения этой самой культуре начинает проявлять интеллект.
                  калькулятор, способный осуществлять полный ray tracing начинает демонстрировать способности видеокарты… ;)

                  Где-то я читал (сначала даже думал, что в этой статье, но что-то не нашел сходу), что человек всегда начинает с повторения природы (ну а как еще?), но действительно хороших результатов добивается, когда отказывается от этого повторения: самолеты не машут крыльями, машины на колесах, а не шагоходы и тп…

                  Червь — это «обученная» нейронная сеть (веса синапсов заданы), архитектура которой сформировалась именно так, а не иначе за тысячелетия эволюции. Просто соединить нейроны — не достаточно дял понимания принципов работы, а реверс даже искусственных нейронных сетей пока затруднителен — чего уж говорить о естественных…

                  А главное — понимание работы этого червя, возможно прольет свет на некоторые нюансы, но точно не станет откровением/прорывом в ИИ…
              +2
              потому что их инструменты слишком просты
              очень верное замечание.

              Есть программы, которые умеют принимать решения по узкому классу задач. С какой-то вероятностью эти решения правильные. Вот и все, что умеет сегодняшний искусственный интеллект. Так и человек такое умеет. Но преимущество компьютера в скорости.

              По уровню необходимого интеллекта, работы которые можно доверить компьютерному мозгу сродни работе практиканта. Сортировать бумажки, например. Разложить документы по папкам. Может мусор сортировать. Не требующий как такового «интеллекта» монотонный труд в большом обьеме. Т.е. такой работе человека на производстве обучают один день. Компьютерную программу дольше. Тратят время на ее разработку, но потом она окупается за счет обьема. Я бы не называл это искусственным интеллектом, а хотя бы просто искуственной обучаемой системой. Слово «интеллект» очень неудачно прилипло к этой технологии, и сбивает людей с толку.

              С другой стороны ИИ ошибаются в том, что делают гораздо реже чем люди. Мы делали как-то тест: один сидит с маркером, люди с листочками проходят мимо него по очереди и на каждом листочке он должен писать по одной букве имени этого человека. Две группы, кто быстрее. Были ошибки. И качество работы было весьма среднее. Компьютер бы на такой работе ошибся гораздо реже.
              И уверяю вас, человеческий эйчар также дискриминирует кандидатов, только доказать это сложнее. Компьютер не умеет оправдываться и обосновывать свой выбор. Обоснование, оно в заложенных в него алгоритмах. А их делают люди.
              Искусственные обучаемые системы распознают спам в почте лучше людей. А люди до сих пор верят в наследство от родственников в дальних странах.

              Все эти нападки на ИИ, они оттого что можно. Систем таких не так много, ошибки очень на виду. Да там была какая-то история, что трейдинговый бот слил кучу денег, но сколько денег слили человеческие трейдеры, это словами не передать. Так что я бы сказал — в чужом-то глазу, соринку видно… Да, блин! И я туда же! Кто вообще сказал, что искуственный интеллект находится в какой-то конкурренции с естественным, это чистейшая инсинуация. Это все из-за слова «интеллект». Всё это программы. Просто программы.
                +1
                Тут просто ещё есть такой ньюанс что от программ иногда требуется каким-то образом формально описанное поведение и «доказательство» что она работает именно та, а не иначе.
                И если это предоставить не получается, то программу просто нельзя сертифицировать для определённых вещей. Такое например часто встречается в АЭ, медицине, авиа- и автостроении.

                И пока у «ИИ» с этим пунктом сложно. То есть надо либо методы искать, либо правила менять.
                –3
                Новорождённый горный козёл уже через несколько часов способен безошибочно спускаться по склону горы. Очевидно, что в него уже есть понимание трёхмерного пространства

                И вот подобный маразм у 99 из 100 людей, занимающихся точными науками. Как можно создать искусственный интеллект, если явно нет натурального?
                  +2
                  А развернуть можно? Вы это про что?
                    –5
                    ну если не понятно, то придется долго, а мне лень
                    представьте что это предсмертная загадка Минковского ))
                  0
                  А может кто-нибудь пояснить, в чём концептуальная разница между весами в AI и нашим мозгом, в котором за это отвечают гормоны? В чём кардинальное отличие разных зон мозга — левого и правого полушария? Для каких целей природой было создано два полушария? Почему разные полушария берут на себя разные «функции» и чем принципиально отличаются лобные доли от теменных? Там какие-то другие клетки и он как-то по другому «взвешивают»?
                    0
                    Для каких целей

                    Ни для каких. У естественного отбора нет цели, вообще. Это процесс.
                    Наш современный мозг суть результат последовательных успешных(размножившихся) мутаций, имеет баги и неоптимальности(как и весь организм; точнее, как и все организмы на Земле). Тот же глаз возникал где-то около шести, что ли, раз — в разных вариантах исполнения(и у человеков можно было бы и получше сделать, но не сложилось). Мозг человека эволюционировал в условиях этих аппаратных багов "периферии", оттуда, например, "подтасовка" результатов зрения мозгом для закрытия слепого пятна.


                    Так что более точный вопрос будет "в результате каких условий сложился именно такой мозг?". Может кто и знает ответ.

                    0

                    del(не в ту ветку)

                      0
                      Сейчас в сфере глубокого обучения наблюдается странная тенденция, когда специалисты стараются избегать правил. Они хотят всё делать на нейросетях и не делать ничего такого, что выглядит как классическое программирование. Но есть задачи, которые были спокойно решены подобным образом, и на это никто не обращал внимание.
                      Все хотят делать на нейросетях потому что знают, что и мозг решает любые задачи на нейросетях, пусть и с разной структурой и отличающимися по свойствам нейронами. Это как в физике, все пытаются объяснить путем сведения к атомам, и кв. механике, потому что знают, что все состоит из атомов, включая мозг вместе с интеллектом, который придумывает придумывает физические теории и разрабатывает ИИ)
                      Пожелаем успехов и тем, и другим!
                        0
                        Так и естественный интеллект опасен, возьмите любое дикое животное и любой скажет, кто его знает, о чем оно думает и что будет сейчас делать. Лучше всего отточены, только примитивные «ящерные» рефлексы бей-беги (1-й уровень мозга), а вот уже стайные «свой-чужой» (2-й уровень) дают сбои, а для принятия решений (3-м уровне) мы постоянно наблюдаем отклонения — не то увидел, не туда побежал, не там свернул, не разглядел, не то сказал и т.п.
                        А это миллионы лет эволюции!

                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                        Самое читаемое