Когда я задался вопросом, а что есть почитать на тему управления рисками ИИ, я удивился тому, насколько мало информации по этому поводу опубликовано. В основном, найденные тексты касались морально-этических норм и будущего человечества. Я решил чуть более детально изучить вопрос, а результатом исследования с радостью делюсь в данном материале.

Сейчас, в декабре 2023 года, тема искусственного интеллекта продолжает набирать популярность, так как человечество осознало потенциал использования искусственного интеллекта в различных областях своей жизнедеятельности.

Данная статья не затрагивает социальные и этические проблемы ИИ и не претендует на полноту охвата области рисков, присущих искусственному интеллекту, а служит, в первую очередь, отправной точкой для последующих исследований, является попыткой автора затронуть данную тему и понять возможные риски, присущие всему тому, что называют искусственным интеллектом (ИИ aka AI).

Для этого в первую очередь давайте разберемся, а что такое ИИ и какой ИИ существует, какие цели перед ним стоят.

Что такое ИИ?

Компания IBM (What is artificial intelligence (AI)?) считает, что ИИ это -

Имитация возможностей человеческого разума по решению проблем и принятию решений с помощью компьютера или автоматизированных машин.

Т.е. термин «искусственный интеллект» (ИИ) относится к моделированию человеческого интеллекта с помощью машин и алгоритмов, реализованных с помощью программного кода.

Хорошо, это звучит так, что ИИ может быть разнообразным и применяться в различных областях и разными способами. Как следствие, вариантов того, что что-то может пойти не так, также может быть весьма много. Тем не менее, чтобы не пытаться охватить неохватываемое, давайте остановимся на основных типах ИИ. Для них и попробуем понять, что может пойти не так, т.е. какие риски присущие работе подобных типов ИИ.

Какие типы ИИ существуют? Для ответа на этот вопрос я взял, на мой взгляд наиболее популярный перечень, опубликованный на сайте компании Forbes, так как, на мой взгляд, данный перечень наиболее всеобъемлющ и дает простое и доступное описание типам ИИ.

Ниже адаптированный под нужды данного материала перевод статьи, опубликованной на сайте компании Forbes (Naveen Joshi 7 Types Of Artificial Intelligence). Публикация дает следующие определения:

Реактивные машины (Reactive Machines)

Это старейшие формы систем ИИ, возможности которых крайне ограничены. Они имитируют способность человеческого разума реагировать на различные виды стимулов.
Эти машины не имеют функций, основанных на памяти. Это означает, что такие машины не могут использовать ранее приобретенный опыт для использования в своих текущих действиях, то есть эти машины не обладают способностью «обучаться».
Эти машины можно было использовать только для автоматического реагирования на ограниченный набор или комбинацию входных данных. Их невозможно использовать, полагаясь на память для улучшения операций таких машин.
Популярным примером реактивной машины искусственного интеллекта является IBM Deep Blue, машина, которая победила шахматного гроссмейстера Гарри Каспарова в 1997 году.

Вывод: машина не обучается, но есть данные, с которыми работает ИИ и его алгоритм, т.е. от корректности используемых данных, заданных параметров, корректности самого алгоритма и его исполнения зависит итоговый результат. Т.е. это те области, где что-то для такой машины может пойти не так.

Ограниченная память

Машины с ограниченной памятью — это машины, которые, помимо возможностей реактивных машин, также имеют способность учиться на исторических данных для принятия решений.
Почти все современные приложения искусственного интеллекта, от чат-ботов и виртуальных помощников до беспилотных транспортных средств, управляются искусственным интеллектом с ограниченной памятью. Почти все существующие приложения, о которых мы знаем, подпадают под эту категорию ИИ. Это все современные системы искусственного интеллекта, например те, которые используют глубокое обучение (deep learning), обучаются на больших объемах обучающих данных, которые они хранят в своей памяти, чтобы сформировать эталонную модель для решения будущих проблем.
Например, ИИ, распознающий изображения, обучается с использованием тысяч изображений и их меток, чтобы научить его называть объекты, которые он сканирует. Когда изображение сканируется таким ИИ, он использует обучающие изображения в качестве эталонов для понимания содержания представленного ему изображения и на основе своего «опыта обучения» маркирует новые изображения с возрастающей точностью.

Вывод: можно сказать, что машина обучается, т.е. формирует новые данные для свое�� работы. Таким образом, есть алгоритм, заданные параметры, входные данные и выходные данные. Т.е. это те области, где что-то для такой машины может пойти не так.

Теория разума

Подобного типа ИИ на данный момент существуют либо в виде концепции, либо в стадии разработки. Теория разума ИИ — это следующий уровень систем ИИ, над созданием инноваций, в которых в настоящее время работают исследователи. Теория ИИ на уровне разума сможет лучше понимать сущности, с которыми он взаимодействует, распознавая их потребности, эмоции, убеждения и мыслительные процессы.
Хотя искусственный эмоциональный интеллект уже является многообещающей отраслью и областью интересов ведущих исследователей ИИ, достижение ИИ уровня Теории разума потребует развития и в других областях ИИ.
Это связано с тем, что для того, чтобы по-настоящему понять человеческие потребности, машинам ИИ придется воспринимать людей как личностей, чей разум может формироваться под воздействием множества факторов, по сути, «понимая» людей.

Вывод: данный тип ИИ пока находится на стадии изучения, и во всяком случае мне, сложно сказать что-то конкретное о возможных рисках или том, что может пойти не так в работе подобного ИИ.

Самосознание

Это заключительный этап развития ИИ, который на данный момент существует лишь гипотетически.
Самосознающий ИИ, который, само собой разумеется, представляет собой ИИ, который в ходе эволюции стал настолько похож на человеческий мозг, что у него развилось самосознание.
Создание такого типа ИИ, до реализации которого останутся десятилетия, если не столетия, есть и всегда будет конечной целью всех исследований ИИ.
Этот тип ИИ сможет не только понимать и вызывать эмоции у тех, с кем он взаимодействует, но также иметь собственные эмоции, потребности, убеждения и потенциально желания. И это тот тип ИИ, которого опасаются предсказатели этой технологии.
Хотя развитие самосознания потенциально может ускорить наш прогресс как цивилизации, оно также потенциально может привести к катастрофе. Это связано с тем, что, обретя самосознание, ИИ будет способен иметь такие идеи, как самосохранение, которые могут прямо или косвенно означать конец человечества, поскольку такая сущность может легко перехитрить интеллект любого человека и разработать сложные схемы, чтобы предпринять действия над человечеством.

Вывод: данный тип ИИ пока тоже находится фактически в теории и проходит стадию изучения, и о рисках, присущих работе такого ИИ, можно только спекулировать и фантазировать, что находится за рамками данного материала.

Альтернативная система классификации ИИ

Также нельзя не отметить, альтернативную систему классификации, которая более широко используется в техническом жаргоне, — это классификация технологий:

ограниченный искусственный интеллект (Artificial Narrow Intelligence - ANI)
общий искусственный интеллект (Artificial General Intelligence - AGI)
искусственный сверхинтеллект (Artificial Super Intelligence - ASI).

Ограниченный искусственный интеллект (ANI)

Этот тип искусственного интеллекта представляет собой весь существующий ИИ на текущий момент, включая даже самый сложный и мощный ИИ, который когда-либо был создан на сегодняшний день.

Ограниченный искусственный интеллект относится к системам искусственного интеллекта, которые могут выполнять только конкретную задачу автономно, используя возможности, подобные человеческим.

Эти машины не могут делать ничего, кроме того, на что они запрограммированы, и поэтому имеют очень ограниченный или узкий диапазон компетенций. Согласно вышеупомянутой системе классификации, этим системам соответствуют все реактивные и ограниченные по памяти ИИ. Даже самый сложный ИИ, использующий машинное и глубокое обучение для самообучения, подпадает под ANI.

ANI это наиболее распространенная форма ИИ, которую на текущий момент можно найти на рынке.

Эти системы искусственного интеллекта предназначены для решения одной-единственной проблемы и могут очень хорошо выполнить одну задачу. По определению, у них ограниченные возможности, например, рекомендация продукта пользователю электронной коммерции или прогнозирование погоды.

Данный тип ИИ способен приблизиться к человеческому функционированию в очень специфических контекстах и даже превзойти его во многих случаях, но преуспевает только в строго контролируемых средах с ограниченным набором параметров.

Общий искусственный интеллект (AGI)

Общий искусственный интеллект — это способность ИИ учиться, воспринимать, понимать и функционировать, полностью как человек. Эти системы смогут независимо формировать множество компетенций и формировать связи и обобщения между областями, значительно сокращая время, необходимое для обучения. Это сделает системы искусственного интеллекта такими же способными, как и люди, за счет повторения наших многофункциональных возможностей.

AGI все еще остается теоретической концепцией. Он определяется как ИИ, обладающий когнитивными функциями человеческого уровня, в самых разных областях, таких как обработка языка, обработка изображений, вычислительные функции, рассуждение и так далее.

Таким образом, нынешнее общество, возможно, еще далеко от создания системы AGI. Система AGI должна будет состоять из тысяч систем искусственного узкого интеллекта, работающих в тандеме и взаимодействующих друг с другом, чтобы имитировать человеческое мышление.

Даже при использовании самых передовых вычислительных систем и инфраструктур, таких как Fujitsu K или IBM Watson, им потребовалось 40 минут, чтобы смоделировать одну секунду активности нейронов. Это говорит, как об огромной сложности и взаимосвязанности человеческого мозга, так и о масштабах задачи создания ОИИ с использованием наших нынешних ресурсов.

Искусственный сверхинтеллект (ASI)

Развитие искусственного сверхинтеллекта, вероятно, станет вершиной исследований ИИ, поскольку AGI станет, безусловно, самой мощной формой интеллекта на Земле.

ASI, помимо воспроизведения многогранного интеллекта человека, будет намного лучше во всем, что он делает, благодаря значительно большей памяти, более быстрой обработке и анализу данных, а также возможностям принятия решений.

Развитие AGI и ASI приведет к сценарию, который чаще всего называют сингулярностью. И хотя потенциал наличия в нашем распоряжении таких мощных машин кажется привлекательным, эти машины также могут угрожать нашему существованию или, по крайней мере, нашему образу жизни.

На данный момент трудно представить состояние нашего мира, когда появятся более продвинутые типы ИИ. Однако очевидно, что до этого предстоит пройти долгий путь, поскольку нынешний уровень развития ИИ по сравнению с тем, каким он прогнозируется, все еще находится на зачаточной стадии.

Для тех, кто придерживается негативного взгляда на будущее ИИ, это означает, что сейчас еще слишком рано беспокоиться о сингулярности, и еще есть время обеспечить безопасность ИИ. А для тех, кто с оптимизмом смотрит на будущее ИИ, тот факт, что мы лишь прикоснулись к его развитию, делает будущее еще более захватывающим.

ASI - здесь мы почти вступаем на территорию научной фантастики, но ASI рассматривается как логическое развитие AGI. Система искусственного сверхинтеллекта (ASI) сможет превзойти все человеческие возможности. Это будет включать в себя принятие решений, принятие рациональных решений и даже такие вещи, как улучшение искусства и построение эмоциональных отношений.

Как только мы достигнем общего искусственного интеллекта, системы искусственного интеллекта смогут быстро улучшить свои возможности и продвинуться в области, о которых мы, возможно, даже не мечтали.

Хотя разрыв между AGI и ASI будет относительно небольшим (некоторые говорят, что всего лишь наносекунда, потому что именно с такой скоростью будет учиться искусственный интеллект), предстоящий нам долгий путь к самому AGI делает эту концепцию похожей на далекую перспективу.

Общие черты, общие характеристики ИИ

Вернемся к теме данной статьи - "Риски, присущие работе искусственного интеллекта".

Перечень типов ИИ и классификаций ИИ, указанный выше, не претендует на исчерпывающий списков всех возможных ИИ, однако, как стартовая точка в рамках нашей цели по идентификации рисков ИИ вполне себе годный.

Мне кажется, важно понимать, что попытка сформировать исчерпывающий перечень всех возможных ИИ может нас увести не в том направлении которое нам необходимо. На мой взгляд, в данном случае возникает «Ловушка терминологии» - я так ее называю, когда одна и та же сущность, вещь называется разными именами, и создается впечатление о наличии многих сущностей, вещей вместо одной.

Таким образом на основании того, что мы сейчас понимаем о существующих ИИ, давайте подведем итог что же общего в каждом типе ИИ. Т.е. что может пойти не так при работе ИИ?

Наиболее популярные на текущий момент (2023 год) примеры использования ИИ:

Поиск в данных и оптимизация поиска для получения наиболее релевантных результатов
Логические цепочки для рассуждений «если-то», которые можно применять для выполнения строки команд на основе параметров
Обнаружение закономерностей для выявления существенных закономерностей в больших наборах данных для получения уникальной информации
Прикладные вероятностные модели для прогнозирования будущих результатов

Перечень, уверен, крайне мал, однако уже можно сделать вывод: – работа ИИ обеспечивается: данными, самими алгоритмами, настройками и "железом", - ничего сверхнового, как мне кажется.

Что ИИ необходимо, для того чтобы ИИ мог функционировать, так как этого ожидают от него?

Я вижу наиболее критичными следующие варианты, при возникновении которых, могут реализоваться риски:

Ситуация прерывания работы ИИ в следствие остановки работы самого алгоритма в силу ошибок в коде или аппаратном сбое. Вопросы: Как ИИ продолжит работать? С какой точки прерывания? Без потерянных данных? Как об этом узнает владелец ИИ?
Прекращения доступа ИИ к данным, либо использование ИИ неполных, неточных и/или неактуальных данных – Вопросы: Как обеспечивается доступ к данным? Их качество, целостность и консистентность?
Несанкционированные изменения в данных, алгоритмах, настройках ИИ. – Вопросы: Как обеспечивается безопасность используемых ИИ данных? Как обеспечивается надежность и корректность работы всех аспектов ИИ? Как владелец ИИ узнает обо всех событиях возможных в пункте 1 и 2?

Что дальше?

Как я писал ранее, область ИИ еще достаточно не изучена, а риски, присущие ИИ, тем более.

Думаю многие крупные компании, уже реализуют программы, направленные на управление рисками ИИ, и уже в ближайшем будущем, я уверен, теме управления рисками ИИ будет уделяться пристальное внимание.

Однако уже сейчас можно попытаться понять, что может пойти не так. Таким образом понимая и прогнозируя риски (Управление риском ИТ), можно реализовать необходимые меры (Внедрение контроля над ИТ), позволяющие реализовать неограниченный потенциал ИИ безопасным и надежным способом (Безопасная разработка, управление рисками и внутренний контроль).

Можно точно сказать, что ИИ — это область дальнейшего изучения. В настоящее время прикладной характер ИИ находится в стадии формирования, однако с каждым годом его востребованность во всех областях жизнедеятельности человека будет только возрастать.

Благодарю вас за то, что дочитали статью до конца! Буду признателен, если поделитесь в комментариях вашим мнением, относительно рисков, присущих ИИ и методами управления подобными рисками.

В данной статье использовались адаптированные для целей данной статьи материалы:
https://www.ibm.com/topics/artificial-intelligence
https://www.forbes.com/sites/cognitiveworld/2019/06/19/7-types-of-artificial-intelligence
https://www.mygreatlearning.com/blog/what-is-artificial-intelligence

Матрица рисков присущих работе ИИ

Практически одновременно с публикацией данной статьи ISO/ИСО: независимая международная организация по стандартизации выпустила международный стандарт ISO/IEC 42001:2023. Документ является первым в мире стандартом, определяющим требования к созданию, внедрению, обслуживанию и постоянному совершенствованию системы управления искусственным интеллектом (AIMS) в организациях.

Стандарт предназначен для организаций, предоставляющих или использующих продукты, или услуги на основе ИИ, обеспечивая ответственную разработку, развитие и использование систем ИИ.

Стандарт является структурированным способом управления рисками и возможностями, связанными с ИИ, балансируя инновации с управлением и дает рекомендации по управлению технологиями ИИ в таких областях как этические соображения, прозрачность и непрерывное обучение.

Продолжение следует...