Компания ASRC Federal, специализирующаяся на разработке технологий для разведки и обороны, соместно с Мэрилендским университетом опубликовала мрачный прогноз о последствиях неизбежного применения искусственного интеллекта в вооруженных конфликтах.

По мнению авторов, неизбежным такое развитие событий следует считать потому, что на сегодняшний день процесс уже запущен. В США в рамках проекта Sea Hunter уже запущен беспилотный военный корабль. В России работа над построением ракет, оснащенных системой управления с искусственным интеллектом, ведется с 2017 года. В 2019 году о своем намерении присоединиться к гонке вооружений заявило и китайское правительство. В будущем наличие полностью автоматизированной военной техники, вероятно, станет необходимым условием поддержания обороноспособности государства на должном уровне.

Одна из фундаментальных проблем применения искусственного интеллекта заключается в рисках, связанных с утратой контроля со стороны разработчика. Алгоритмы машинного обучения можно разделить на три группы: самые простые отвечают за механические операции, не требующие критического осмысления, у более комплексных поле ответственности включает все задачи, не предполагающие принятая ключевых решений, наконец, наиболее развитые системы работают в полностью автономном режиме, без человеческого надзора. Как правило, последняя группа используется в сценариях с серьезными угрозами, когда нужна сверхчеловеческая скорость осмысления и реагирования.

Вооруженные конфликты, по мнению авторов, тяготеют именно к этой категории ситуаций. Когда одна из сторон начинает применять беспилотную военную технику, она получает огромное преимущество: без дополнительного звена в виде куратора, оценивающего обстановку и принимающего решения процесс построения стратегии и санкционирования атаки ускоряется в разы. Соответственно, это подталкивает и других участников процесса принять такую же модель.

«Если системы искусственного интеллекта окажутся эффективными, неизбежно начнет нарастать давление, вынуждающее повысить уровень их вовлеченности в военные действия. Стабильный успех будет означать, что человек постепенно будет вытесняться из процесса… его роль сведется к проведению криминалистического анализа пост-фактум, когда уже завершены бои или подписаны соглашения».

Бесконтрольность принятия решений означает, что технология будет сама определять, когда, по отношению к кому и в каком объеме применять силу. Подобная ответственность ставит массу этических вопросов, на данный момент неразрешимых — искусственный разум пока не может проводить настолько тонкие моральные оценки.

Другая опасность кроется в ошибках и сбоях системы. Исключить их совсем невозможно в принципе, даже при нормальном режиме работы, в условиях же войны кибератаки станут одной из стандартных разновидностей диверсии. Системы, основанные на технологиях искусственного интеллекта, будут нести серьезный урон от уязвимостей нулевого дня. Исследователи полагают, что современные классификаторы не могут обеспечить нужный баланс универсальности и устойчивости против манипуляций. Масштабные атаки могут перегрузить систему аномалиями по одному вектору, чтобы не оставить ей ресурсов для защиты по другому. Последствием таких взломов будет рост числа человеческих жертв.

Рисуя столь мрачную картину будущего, авторы не смягчают ее перечислением контрмер, которые могут в корне поменять ситуацию. Основной вывод, к которому они приходят, заключается в необходимости ограничивать экспансию искусственного интеллекта, «пока он не научится самостоятельно принимать этические решения лучше, чем при совместной работе с людьми», и придерживаться принципов интерактивности, прозрачности и устойчивости при его создании. Тем не менее, их работа представляет полезный и отрезвляющий обзор рисков, тем более полезное, что исходит от специалистов, поставляющих технологии правительству США.