Дилемма двойного применения: как совместить открытость исследований и безопасность
Открытые технологии, разработанные для гражданского сектора, могут быть использованы в военных целях или во вред. Проблема двойного применения становится все актуальнее для инженерных дисциплин. Хотя "открытость" open-source технологий стимулирует инновации и обеспечивает всеобщий доступ, она же делает эти технологии доступными для военных и преступников.
Что произойдет, если непризнанные государства, незаконные вооруженные формирования или школьные стрелки проявят такую же креативность и изобретательность с открытыми технологиями, как и инженеры? Именно этот вопрос мы обсуждаем: как сохранить принципы открытых исследований и инноваций, стимулирующих прогресс, одновременно снижая риски, присущие доступным технологиям?
Сила и опасность открытости
Открытые публикации, программное обеспечение и образовательные ресурсы фундаментально важны для развития робототехники. Они демократизировали доступ к знаниям, обеспечили воспроизводимость результатов и способствовали созданию активного международного сообщества ученых. Такие платформы, как arXiv и GitHub, а также инициативы вроде Robot Operating System (ROS) и Open Dynamic Robot Initiative, сыграли ключевую роль в ускорении исследований и инноваций в робототехнике. Нет сомнений, что доступ к этим ресурсам должен оставаться открытым. Потеря такого доступа была бы катастрофой для области.
Однако робототехника несет в себе риски двойного применения, поскольку большинство робототехнических технологий можно перепрофилировать для военных или вредоносных целей. Недавний пример с самодельными дронами в текущих конфликтах особенно показателен. Изобретательность украинских военных, переделывающих и иногда модернизирующих гражданские дроны, получила широкое освещение в мировых СМИ, часто с восхищением. Их креативность стала возможной благодаря доступности коммерческих дронов, запчастей, 3D-принтеров и открытого ПО и аппаратного обеспечения. Это позволяет людям с минимальными техническими знаниями и небольшими средствами легко создавать, управлять и перепрофилировать роботов для военных применений. Безусловно, это оказало вдохновляющий эффект на украинцев, защищающих свою страну. Однако те же условия создают возможности для широкого спектра потенциально опасных субъектов.
Открыто доступные знания, проекты и программное обеспечение могут быть использованы во вред для усовершенствования существующих систем вооружения, добавляя им возможности вроде навигации по изображению, автономного наведения или роевого поведения. Кроме того, без надлежащих мер безопасности публичная природа open-source кода делает его уязвимым для кибератак, что потенциально позволяет злоумышленникам получать контроль над робототехническими системами и заставлять их работать неправильно или использовать в злонамеренных целях. Многие пользователи ROS уже осознают, что недостаточно инвестируют в кибербезопасность своих приложений.
Необходимость руководящих принципов
Риски двойного назначения, связанные с открытостью исследований и инноваций, вызывают обеспокоенность во многих инженерных областях. Знаете ли вы, что изначально инженерное дело было связано только с военной сферой? Слово «инженер» появилось в Средние века и обозначало «проектировщика и строителя укреплений и оружия». В некоторых инженерных областях, особенно в тех, которые связаны с разработкой оружия массового поражения (химического, биологического, радиологического и ядерного), разработаны чёткие инструкции, а в некоторых случаях и правила проведения и распространения исследований и инноваций. Кроме того, существуют процессы, управляемые сообществом, которые призваны снизить риски двойного назначения, связанные с распространением знаний. Например, BioRxiv и MedRxiv — серверы препринтов по биологии и здравоохранению — перед публикацией проверяют материалы на наличие угроз биобезопасности или здоровью.
В сфере робототехники, для сравнения, нет конкретных правил и рекомендаций о том, как робототехникам следует оценивать риски, связанные с открытостью, и устранять их. В большинстве университетов не преподают тему рисков, связанных с двойным назначением, несмотря на то, что студенты, скорее всего, столкнутся с ними в своей карьере, например, при оценке того, подпадает ли их работа под правила экспортного контроля в отношении товаров двойного назначения.
В результате специалисты по робототехнике могут не чувствовать, что у них есть стимул или возможность оценивать и снижать риски двойного назначения, связанные с их работой. Это серьёзная проблема, поскольку вероятность причинения вреда в результате ненадлежащего использования открытых исследований и инноваций в области робототехники, скорее всего, выше, чем в случае с ядерными и биологическими исследованиями, которые требуют значительно больше ресурсов. Создать роботизированную систему вооружения «сделай сам», используя открытый исходный код, программное обеспечение и готовые коммерческие компоненты, относительно просто и доступно. Учитывая это, мы считаем, что сообществу робототехников пора разработать собственные отраслевые рекомендации о том, как исследователям и компаниям лучше всего справляться с рисками двойного назначения, связанными с открытым распространением их разработок.
План действий для ответственной робототехники
Найти баланс между безопасностью и открытостью — сложная задача, но сообщество робототехников должно с ней справиться. Мы не можем позволить себе сдерживать инновации, но и не можем игнорировать потенциальную опасность. Чтобы решить эту дилемму двойного назначения, нужен проактивный, многосторонний подход. Опираясь на опыт других областей инженерии, мы предлагаем дорожную карту, в которой основное внимание уделяется четырём ключевым направлениям: образование, стимулирование, модерация и «красные линии».
Образование
Интеграция ответственных исследований и инноваций в обучение робототехнике на всех уровнях имеет первостепенное значение. Это касается не только специализированных курсов, но и систематического включения вопросов двойного назначения и кибербезопасности в основные учебные программы по робототехнике. Мы должны развивать культуру ответственных инноваций, чтобы дать специалистам по робототехнике возможность принимать взвешенные решения и заблаговременно устранять потенциальные риски.
Образовательные инициативы могли бы включать:
Разработка и распространение образовательных материалов с открытым исходным кодом по ответственной робототехнике для преподавателей робототехники, исследователей и специалистов из таких организаций, как Управление ООН по вопросам разоружения (УВР ООН) и Центр ответственного ИИ при Нью-Йоркском университете.
Организация мастер-классов и семинаров по вопросам двойного назначения и этики на конференциях по робототехнике и в университетах.
Поощрение университетов за создание курсов или модулей, посвященных ответственному подходу к исследованиям и инновациям в области робототехники.
Стимулы
Каждый должен быть заинтересован в оценке потенциальных негативных последствий полной или частичной публикации своей работы. Финансирующие организации могут требовать проведения оценки рисков в качестве условия для финансирования проекта, тем самым подчеркивая их важность. Профессиональные организации, такие как Общество робототехники и автоматизации IEEE (RAS), могут внедрять и продвигать лучшие практики, предоставляя исследователям инструменты и платформы для выявления, оценки и снижения рисков. Такие инструменты могут включать в себя контрольные списки для самооценки отдельных исследователей и рекомендации для факультетов и лабораторий по созданию этических комитетов. Научные журналы и конференции могут сделать оценку рисков рецензирования неотъемлемой частью процесса публикации, особенно для статей с высоким уровнем риска.
Кроме того, такие стимулы, как премии и программы поощрения, могут способствовать привлечению внимания к образцовому вкладу в оценку рисков и их снижению, формируя культуру ответственности в сообществе. Оценку рисков можно поощрять и вознаграждать и более неформальными способами. Руководители, например научные руководители и заведующие лабораториями, могут создавать специальные возможности для обсуждения возможных рисков студентами и исследователями. Они могут проводить семинары на эту тему и знакомить с внешними экспертами и заинтересованными сторонами, такими как социологи и эксперты из неправительственных организаций.
Умеренность
Сообщество робототехников может внедрить механизмы саморегулирования для ограничения распространения материалов с высоким уровнем риска. Это может включать в себя:
Проверка перед публикацией для предотвращения распространения контента, представляющего серьёзную угрозу.
Внедрение поэтапного контроля доступа («гейтинга») к определённому исходному коду или данным в репозиториях с открытым исходным кодом, что может потребовать от пользователей идентификации и указания цели использования.
Разработка чётких инструкций и общественного контроля для обеспечения прозрачности и предотвращения неправомерного использования этих механизмов модерации. Например, такие организации, как RAS, могли бы разработать категории уровней риска для исследований и применения робототехники, а также создать комитет по мониторингу для отслеживания и документирования реальных случаев неправомерного использования робототехники, чтобы понять и визуализировать масштабы рисков и разработать более эффективные стратегии их снижения.
Красные Линии
Сообщество робототехников также должно стремиться к определению и соблюдению «красных линий» при разработке и внедрении робототехнических технологий. В этом направлении уже предпринимаются попытки определить «красные линии», в частности в рамках Глобальной инициативы IEEE по этике автономных и интеллектуальных систем. Компании, в том числе Boston Dynamics, Unitree, Agility Robotics, Clearpath Robotics, ANYbotics и Open Robotics, написали открытое письмо с призывом ввести правила, регулирующие использование роботов общего назначения в военных целях. К сожалению, их усилия были направлены на очень узкую сферу, и было бы полезно составить более полный список областей применения робототехники, которые следует считать запретными или требующими особой осторожности.
Сообществу будет крайне сложно договориться о стандартных «красных линиях», потому что то, что считается приемлемым с этической точки зрения, а что — проблематичным, весьма субъективно. Чтобы поддержать этот процесс, отдельные лица и компании могут обсудить, что они считают неприемлемым использованием своих работ. Это может привести к появлению правил и условий использования, с которыми должны будут официально соглашаться получатели результатов открытых исследований и программного обеспечения с открытым исходным кодом (например, лицензии с открытым исходным кодом для конкретного использования). Это послужило бы основанием для отзыва доступа, отказа в обновлении программного обеспечения и, возможно, для подачи в суд или внесения в чёрный список лиц, злоупотребляющих этой технологией. Некоторые компании, в том числе Boston Dynamics, уже в некоторой степени внедрили эти меры. Любой человек или компания, проводящие открытые исследования, могут повторить этот пример.
Открытость — это ключ к инновациям и демократизации многих инженерных дисциплин, в том числе робототехники, но она также повышает вероятность злоупотребления. Инженерное сообщество обязано активно решать проблему двойного назначения. Внедряя ответственные подходы — от обучения и оценки рисков до модерации и установления «красных линий», — мы можем создать экосистему, в которой сосуществуют открытость и безопасность. Проблемы серьёзны, но ставки слишком высоки, чтобы их игнорировать. Крайне важно обеспечить, чтобы исследования и инновации приносили пользу обществу во всем мире и не становились движущей силой нестабильности в мире. Мы считаем, что эта цель соответствует миссии IEEE, которая заключается в “продвижении технологий на благо человечества”. Инженерному сообществу, особенно робототехникам, необходимо проявлять инициативу в решении этих вопросов, чтобы предотвратить любую негативную реакцию общества и предотвратить потенциально контрпродуктивные меры или международные нормативные акты, которые могут нанести ущерб открытой науке.
