Как многие из вас знают, в 2015 году Стивен Хокинг, Элон Маск и сотни учёных, разработчиков искусственного интеллекта и крупных бизнесменов подписали открытое письмо, в котором подчеркнули опасность ИИ для существования человечества и призвали сообщество инженеров и учёных не создавать искусственные интеллекты, которые не могут полностью контролироваться человеком. В 2016-м на конференции Code Conference основателю Space X и Tesla задали вопрос: какие компании, разрабатывающие сегодня ИИ, вызывают у него опасения? На это ответил, что сейчас его пугает лишь одна из них. Какая — не сказал. И несмотря на все уверения техноадептов в том, что ИИ — исключительно благо, цена пренебрежения механизмами безопасности может оказаться непомерной высока.
Пожалуй, одной из причин разногласий касательно рисков, связанных с ИИ, является скептицизм учёных и IT-бизнесменов в отношении друг друга. Одним кажется, что другие совершенно не врубаются в суть дела. Есть ещё и третья сторона — правительственные структуры, в которых считают, что бизнес не видит дальше своего носа, а учёные витают в облаках. Причём и бизнесмены, и учёные воспринимают чиновников как бюрократическое болото. Так что все три сообщества не понимают друг друга и тянут одеяло на себя.
Тем не менее, среди представителей самых разных сообществ сегодня крепнет понимание того, что нам нельзя развёртывать и использовать интеллектуальные решения, системы машинного обучения или платформы когнитивных вычислений, если их процесс «мышления» непрозрачен для нас. Нам необходимо знать, о чём они думают.
Сегодня мы склонны слепо доверять результатам работы систем, принцип действия большинства из которых мы не понимаем на алгоритмическом уровне. Это допустимо для функции идентификации лиц на Facebook, но совершенно неприемлемо для систем, вырабатывающих решения в рамках очень важных и ценных бизнес-логики, целей и приоритетов. И от последних как раз зависит наша жизнедеятельность.
Сегодня для кого-то из нас ценность ИИ-технологий определяется созданием машин, способных объяснить существование себя и окружающего мира. И одним из важнейших моментов является прозрачность мышления интеллектуальных и аналитических систем. Некоторое время назад казалось, что многие разработчики пренебрегают этим критерием в пользу производительности, но, к счастью, в последние месяцы всё чаще поднимается вопрос прозрачности ИИ.
К примеру, в академической среде обсуждаются модели распаковки результатов работы систем глубинного обучения, а также идеи, связанные с доказательными подходами к процессу мышления ИИ. В бизнес-среде руководители верхнего звена всё чаще задаются вопросом, как можно развёртывать системы обучения и выработки решений, чей ход рассуждений совершенно неизвестен. По сути, они спрашивают, как им использовать программное обеспечение, которое никто не может понять? И последней каплей стало недавнее объявление от DARPA, в котором был озвучен интерес агентства в работах над «объяснимым ИИ».
Очевидно, что всё больше людей осознают необходимость прозрачности ИИ. Но как нам этого добиться? Некоторые технологии, например, модели глубинного обучения, настолько непонятны, что даже среди практиков бывают разногласия относительно того, как они работают, если немного выйти за границы специфики их алгоритмов. Что можно сделать в подобных ситуациях?
В долгосрочной перспективе необходимо сосредоточиться на разработке систем, которые не просто думают, но которые могут думать и объяснять. А пока мы ждём появления таких разработок, нужно придерживаться нескольких правил развития существующих систем.
В первую очередь — не развёртывайте интеллектуальную систему, если не можете объяснить ход её рассуждений. Вы должны понимать, что она делает, даже если не понимаете, как она это делает на алгоритмическом уровне. Это необходимое, но не достаточное условие, поскольку вы лишь будете понимать, какие данные нужны системе, какие она собирается принимать решения и на основании каких рассуждений она приходит к этим решениям. Помимо этого, есть ещё три важных уровня возможностей.
Объяснить и обсудить. Хотелось бы, что бы системы могли объяснять и обсуждать свой ход мыслей. Нам нужны ИИ, которые могут ясно и связно рассказать, как они пришли к конкретному решению и какие были альтернативы. Например, система, предназначенная для выявления мошенничества со стороны вендоров, должна уметь не только выдать список признаков, по которым было выдано предупреждение, но и разъяснить, почему каждый из признаков указывает на факт мошенничества. Поскольку некоторые индикаторы могут находиться за пределами набора данных, или не быть включёнными в модель системы, то очень важна возможность предложить их системе и оценить их влияние. Возможность спросить: «А что насчёт Х?» важна как при работе с людьми, так и с интеллектуальными системами.
Формулирование. Даже системы, моделями которых конечные пользователи не могут манипулировать, должны быть в состоянии, как минимум, сформулировать учитываемые характеристики и рамки самого рассуждения. Это не означает, что достаточно просто вывалить 10 тысяч доказательств, которые привели к какому-то заключению. Системы должны уметь как минимум выделять действительно релевантные характеристики, а также описывать их взаимосвязи. Если система предупреждает пользователя, что она обнаружила пример мошеннического поведения, то она должна уметь выделить набор неблагоприятных транзакций, на основании которых было выдано предупреждение.
Проверяемость. Если система не даёт объяснений в реальном времени, или не умеет формулировать причинно-следственные связи, то её решения хотя бы должны быть проверяемы впоследствии. Логика её действий должна быть отслеживаема, чтобы можно было затем исследовать обстоятельства каких-либо проблемных или спорных ситуаций. Даже если конечный пользователь не имеет доступа к отслеживанию, такая возможность должна быть у аналитика, разработавшего бэкенд.
Учитывая неразвитость ИИ-технологий, многие системы пока просто не в состоянии поддерживать функции объяснения, обсуждения, формулирования или проверки. Они работают довольно эффективно, но должны использоваться только в тех сферах, где нет необходимости в вышеперечисленных функциях. Вроде того же распознавание по фотографиям для автоматического тэгирования на Facebook. Но ту же систему нельзя применять, скажем, для оценки кредитоспособности при анализе заявок на ипотечные кредиты, потому что несмотря на точность работы она не сумеет дать полезное объяснение, почему она одобрила или отклонила ту или иную заявку.
Как и в случае с людьми, дома и на рабочих местах мы хотим иметь возможность работать с, а не для ИИ-систем. Но для этого они должны уметь объяснять нам ход своих мыслей. В противном случае мы придём к ситуации, когда нам останется лишь слушать и подчиняться. Мы стоим перед выбором: создавать искусственный интеллект, который будет нашим партнёром, или который будет лишь указывать, что нам делать.
Хотя прозрачность мышления ИИ выглядит чисто технической задачей, у неё есть широкие социально-экономические последствия. Без этой прозрачности пользователей будут заставлять доверять и уважать ИИ-системы. А без доверия и уважения внедрение таких систем забуксует, и мы не получим тех преимуществ, которые нам могли быть дать ИИ-технологии.
З.Ы. В качестве бонуса ссылочка на подборку фильмов по теме ИИ.
