Представим, что у автономного автомобиля отказали тормоза. Прямо перед ним пешеход. Справа бетонное ограждение, столкновение с которым может убить пассажира. Слева встречная машина. Куда должен повернуть автомобиль?

Так обычно формулируют этическую проблему автопилота: кого спасти и кем пожертвовать. Хотя конечно, реальная машина не видит готовые надписи «один пешеход» и «два пассажира». Она получает неполные данные с камер и радаров, оценивает вероятности и действует по правилам, заданным задолго до аварии. Кто-то выбрал целевую функцию, допустимый риск, набор маневров, способ контроля водителя и условия допуска на дорогу.
Юридическая практика уже вышла за пределы транспорта. Суды и комиссии разбирали ошибку чат-бота Air Canada, алгоритмическую оценку арендаторов SafeRent, закрытый скоринг COMPAS, государственные системы SyRI и Robodebt. Не все они являются ИИ в современном полном смысле. Но во всех случаях компьютерному результату придавали власть, а человеку было трудно понять или оспорить его.
В этой статье я рассматриваю восемь юридических и моральных коллизий, которые предстоит решить, прежде чем ИИ можно будет повсеместно внедрять в сферы, связанные с жизнью, здоровьем, свободой, жильем, работой, кредитом и государственной помощью. Даже если система в среднем точнее человека, остается вопрос: кто задает ей цель, кто отвечает за ошибку и как пострадавший сможет это доказать?
Важный момент! В статье я не обозначаю путей решения этих коллизий. У меня их попросту нет. Я только показываю какие существуют на данный момент и как их решали или прямо сейчас решают различные системы права.
Я более 10 лет занимаюсь аналитикой, SEO и управлением командами в digital‑маркетинге. А в своем Телеграм канале и на сайте пишу еще больше про всякое из реального маркетинга. Консультирую по аналитике web‑проектов и настройке инструментов маркетинга, помогаю проводить технические собеседования специалистов по различным типам трафика.
Как выбирать между несовместимыми потерями
Коллизия возникает между минимизацией общего вреда и обязанностью одинаково защищать каждого человека. В автомобильном примере спасение пассажира переносит риск на пешехода, а спасение большинства требует сознательно направить опасность на меньшинство. Дополнительная трудность состоит в том, что машина не знает исход заранее, а лишь сравнивает вероятности. Минимизация общего вреда позволяет пожертвовать отдельным человеком. Пользовательская настройка «всегда спасать владельца» превращает деньги в возможность купить приоритет собственной жизни.
Современное регулирование, конечно, старается не составлять таблицу допустимых жертв. Немецкая комиссия по этике автоматизированного вождения предложила не ранжировать людей по личным характеристикам в официальном отчете. Британский проект принципов безопасности 2026 года требует уменьшать общий вред и не создавать непропорциональный риск для отдельных групп консультация Department for Transport.
Иными словами, право регулирует миллионы поездок, конечно, ведь оно должно работать на больших цифрах. Оно может требовать, чтобы машина раньше снижала скорость, лучше распознавала людей и не входила в ситуацию, где остается только выбрать жертву.
Эта же коллизия встречается и в медицине, социальных выплатах, кредитовании. Любая целевая функция распределяет риск. Поэтому разработчик не должен единолично решать, что считать успехом системы. Для высокорискового ИИ цель, допустимые потери и запрещенные критерии должны устанавливаться публичными правилами.
Вопрос читателю. Купили бы вы автомобиль, который обязан одинаково ценить жизнь пассажира и пешехода, если однажды это равенство может сработать против вас?
Может ли организация отделить себя от решения собственного ИИ

Коллизия возникает, когда организация считает результат ИИ частью своей услуги, пока он приносит выгоду, но пытается представить систему отдельным субъектом после ошибки. Пользователь при этом взаимодействует не с независимым ИИ, а с авиакомпанией, банком, больницей или государственным органом.
В деле Moffatt v. Air Canada чат-бот неверно объяснил клиенту порядок получения льготного тарифа. Авиакомпания пыталась отделить его ответ от другой информации на своем сайте. Трибунал эту позицию не принял: компания сама разместила инструмент и отвечала за точность его сообщений. Организация получает выгоду от автоматизации и предлагает пользователю полагаться на результат. Ошибка системы поэтому остается ошибкой услуги, даже если конкретную фразу не писал сотрудник.
Похожий спор возник в деле Louis v. SafeRent. Поставщик алгоритмического скоринга утверждал, что окончательное решение об аренде принимает владелец жилья. Истцы и Министерство юстиции США указывали, что арендодатель не мог изменить алгоритм и фактически полагался на его оценку позиция Министерства юстиции. Дело завершилось соглашением без признания нарушения, поэтому оно не доказывает вину SafeRent. Оно показывает, что слово «рекомендация» не снимает ответственности, если система фактически определяет результат. Но тут прецедент интересен именно тем, что виновный не признан!!!
В обоих примерах организация или поставщик пытались провести границу между собой и автоматическим результатом. Юридический вопрос состоит в том, кто реально контролировал инструмент и предлагал человеку полагаться на него, а не в том, назывался ли результат решением или рекомендацией.
Для пострадавшего первым адресатом должна оставаться организация, которая внедрила ИИ в услугу. Она может затем предъявить требование разработчику. Внутреннее устройство цепочки не должно лишать клиента понятного ответчика.
Вопрос читателю. Может ли компания считать ответ ИИ своим, когда он приносит прибыль, и чужим, когда причиняет вред?
Как разделить ответственность внутри технической цепочки

Коллизия возникает между правом пострадавшего на одного понятного ответчика и необходимостью справедливо разделить вину между участниками технической цепочки. Одно решение может зависеть от разработчика модели, поставщика данных, заказчика, оператора, владельца устройства, сервиса и автоматического обновления. Назначить одного виновного заранее трудно. Заставить пострадавшего разбираться со всеми еще хуже.
Сейчас складывается несколько подходов. В США системы помощи второго уровня требуют постоянного контроля водителя, хотя производитель и должен отвечать за дефект и недостаточное предупреждение. NHTSA отдельно регулирует безопасность и отчетность об авариях обзор NHTSA.
Великобритания создала конструкцию authorized self-driving entity. По Automated Vehicles Act 2024 эта организация отвечает за соответствие допущенной системы требованиям. Режим вводится поэтапно, поэтому его практика еще формируется.
В Европейском союзе AI Act распределяет обязанности между участниками цепочки высокорисковой системы, а Директива 2024/2853 включает программное обеспечение в ответственность за дефектную продукцию.
Российский проект 2026 года для высокоавтоматизированного транспорта распределяет обязанности между изготовителем, разработчиком, владельцем, сервисом и оператором дистанционной поддержки публикация Минтранса. Обсуждается схема, при которой владелец сначала компенсирует вред, а затем предъявляет требование фактическому виновнику (описание модели). Пока это законопроект.
Каждая модель по-разному пытается разрешить одну и ту же коллизию. США допускают одновременную ответственность водителя и производителя, Великобритания заранее назначает ответственную организацию, а российский проект отделяет первичную выплату потерпевшему от последующего поиска виновного звена.
Наиболее практична двухэтажная система. Сначала известная организация или страховщик платит потерпевшему. Затем профессиональные участники распределяют убыток по логам, договорам и нарушениям. Компенсация не должна ждать окончания спора о каждой строке кода.
Вопрос читателю. Кто должен платить первым: разработчик, организация, применившая систему, или тот, кто оказался последним в цепочке управления?
Когда человеческий контроль является фикцией

Коллизия возникает между формальной ответственностью человека и отсутствием у него реальной возможности повлиять на решение. Водитель может получить несколько секунд на вмешательство после долгого автоматического движения. Врач видит готовую рекомендацию, но не знает данных модели. Сотрудник банка подтверждает риск-балл, который не вправе изменить.
Последнее нажатие остается человеческим, а реальное решение уже нет.
Мадлен Клэр Элиш назвала такое положение «моральной зоной деформации»: ближайший к системе человек принимает на себя вину, хотя не контролирует ее устройство Moral Crumple Zones.
Авария Tesla в Маунтин-Вью в 2018 году хорошо показывает проблему. NTSB связал гибель водителя с сочетанием ограничений автопилота, отсутствия вмешательства, слабого контроля вовлеченности водителя и состояния дорожного ограждения (материалы расследования). Водитель должен был следить за дорогой, но производитель тоже обязан учитывать предсказуемое снижение внимания при длительной автоматизации.
В деле Benavides v. Tesla присяжные во Флориде распределили 33 процента ответственности на Tesla, а остальную часть на водителя. Это решение конкретного суда, но оно показывает, что ответственность водителя и производителя может существовать одновременно.
В делах Tesla коллизия выразилась в двойном требовании: водитель обязан контролировать систему, но сама система должна быть устроена так, чтобы этот контроль был возможен. Нельзя требовать постоянной готовности к вмешательству и одновременно проектировать режим, который приучает человека не участвовать.
В State v. Loomis суд разрешил ограниченно использовать закрытый скоринг COMPAS при назначении наказания, но потребовал учитывать его ограничения решение Верховного суда Висконсина. В австралийской системе Robodebt автоматическое начисление долгов перекладывало на граждан обязанность опровергать расчет. Королевская комиссия рекомендовала раскрывать применение автоматизации и обеспечить содержательный пересмотр (итоговый отчет).
Человеческий контроль существует только тогда, когда человек понимает систему, видит необходимые данные, имеет время и вправе отменить результат. Если этих условий нет, решение следует признавать автоматизированным, а ответственность переносить на организацию, построившую процесс.
Вопрос читателю. Можно ли считать человека ответственным за решение, которое он подтвердил, но не мог понять или изменить?
Кто должен доказать ошибку системы

Коллизия возникает между обязанностью пострадавшего доказать ошибку и контролем ответчика над всеми необходимыми доказательствами. Модель, логи и версия программы находятся у потенциального ответчика. Получается замкнутый круг: для доступа к данным нужно обосновать ошибку, а для обоснования ошибки нужны данные.
В деле Loomis закрытость COMPAS ограничивала возможность проверить расчет риска. В Нидерландах государство не раскрыло суду модель и показатели системы SyRI. Суд Гааги признал регулирование несовместимым с правом на частную жизнь из-за недостаточной прозрачности и проверяемости (разъяснение суда).
В Loomis и SyRI коллизия проявилась одинаково: решение системы использовали против человека, но проверить систему мог только ее владелец. Формальное бремя доказывания поэтому давало преимущество стороне, контролировавшей технологию.
Высокорисковая система должна сохранять входные данные, версию модели, настройки, обновления, результат и вмешательства человека. Суд и регулятор должны получать контролируемый доступ к этим материалам. Если организация не сохранила обязательный лог, процессуальный риск должен ложиться на нее, а не на пострадавшего.
При этом исходный код сам по себе редко дает понятное объяснение. Инженеру нужен отчет для поиска дефекта, суду нужна причинная связь, а человеку нужно основание для обжалования. Регулирование должно различать эти три задачи.
Вопрос читателю. Должна ли компания пользоваться отсутствием доказанного дефекта, если все доказательства находились только у нее?
Можно ли повышать точность ценой неравного обращения

Коллизия возникает между ростом средней точности и правом отдельных групп на равное обращение. Система может реже ошибаться в целом и одновременно чаще ошибаться на конкретной группе. Она не обязана использовать расу, пол или инвалидность напрямую. Район проживания, кредитная история, язык и занятость позволяют восстановить их косвенно.
Исследование Gender Shades выявило заметную разницу в точности коммерческих систем классификации пола для разных групп. В медицине алгоритм, исследованный Зиадом Обермейером и соавторами, использовал расходы как приближение потребности в лечении. Поскольку на чернокожих пациентов исторически тратили меньше при одинаковом состоянии здоровья, модель занижала их нуждаемость в дополнительной помощи исследование в Science.
В первом случае перекос находился в данных и качестве распознавания. Во втором система точно оптимизировала неверно выбранный показатель. Поэтому одной общей метрики недостаточно.
Именно так коллизия выражается в примерах: улучшение общего показателя скрывает, что цена улучшения распределена неравномерно. Система считается успешной по средней метрике, а конкретная группа получает больше отказов или меньше медицинской помощи.
Полный запрет чувствительных признаков тоже мешает: без них нельзя измерить неравный результат. Разумнее запрещать их использование для ухудшения решения, но разрешать в защищенном контуре аудита.
Высокорисковый ИИ нужно проверять отдельно по затрагиваемым группам до внедрения и после обновлений. Человек должен иметь возможность представить индивидуальные обстоятельства и добиться пересмотра. Если поставщик контролирует расчет, а организация применяет его к людям, ответственность может лежать на обеих сторонах.
Вопрос читателю. Можно ли считать систему справедливой, если она точнее в среднем, но чаще ошибается на одной группе?
Можно ли обеспечить безопасность без постоянного наблюдения

Коллизия возникает между необходимостью хранить данные для безопасности и доказательств и правом человека на частную жизнь. Автомобиль записывает дорогу и взгляд водителя, больница хранит историю лечения, государство объединяет реестры. Чем полнее запись, тем проще восстановить решение и тем глубже вмешательство в частную жизнь.
Согласие здесь часто фиктивно. Пешеход не выбирает, попадать ли ему в камеры автомобиля. Пациент не может отказаться от обработки, если иначе не получит лечение. Гражданин не выбирает государственную систему выплат.
В SyRI государство оправдывало объединение данных борьбой с мошенничеством, а суд увидел несоразмерное и непрозрачное вмешательство в частную жизнь. В Robodebt данные усилили возможность массово предъявлять требования, но не обеспечили справедливость индивидуального расчета. Польза автоматизации и глубина наблюдения здесь росли одновременно.
Статья 22 GDPR защищает человека от ряда решений, основанных исключительно на автоматизированной обработке и имеющих существенные последствия. Но номинальное подтверждение сотрудника может вывести процесс из этой категории, не добавив реальной проверки.
Практический принцип можно сформулировать так: достаточно для доказательства, недостаточно для слежки. Подробные логи следует хранить ограниченное время, по возможности локально. Данные безопасности, обучения, рекламы и дисциплинарного контроля должны находиться в разных контурах. При инциденте суд сохраняет нужную запись, а обычные данные удаляются по установленному сроку.
Вопрос читателю. Сколько частной жизни мы готовы отдать ради возможности восстановить каждое решение ИИ?
Кто отвечает сейчас
Единого ответа «всегда водитель» или «всегда производитель» нет. Для потерпевшего наиболее работоспособна модель, в которой организация или страховщик платит сразу. Затем участники цепочки распределяют убыток: был ли дефект у разработчика, нарушил ли владелец условия применения, пропустил ли сервис неисправность.
Что предстоит решить
До повсеместного внедрения высокорискового ИИ нужны семь правил:
Публично определенная цель системы и запрещенные способы ее достижения.
Заранее назначенный платежеспособный субъект ответственности.
Быстрая компенсация пострадавшему с последующим регрессом к виновному звену.
Обязательные логи решений, версий и человеческих вмешательств.
Признание человеческого контроля только там, где человек способен изменить результат.
Проверка не только средней точности, но и распределения ошибок между группами.
Ограничение целей и сроков хранения данных.
Алгоритм может рассчитать многое, но цель расчета, право применить его к человеку и порядок ответственности остаются общественными решениями. Главная трудность сейчас состоит в том, что люди и организации продолжают все больше решать через машину, но перестают считать эти решения своими.

