В 2018 году беспилотник Uber в Аризоне насмерть сбил женщину — система не распознала пешехода. В 2020-м алгоритм распознавания лиц в США стал причиной ареста невиновного — модель ошиблась с идентификацией. Это не сюжет антиутопии, а реальные ошибки искусственного интеллекта, которые уже стоили людям свободы, жизни и дохода.
Разбираемся, почему ИИ может ошибаться, кто в этом виноват и что с этим делать. В статье — комментарии двух экспертов: инженера по прикладному ИИ и кандидата юридических наук — исследователя в сфере AI governance.
Почему ошибается ИИ
ИИ-системы ошибаются не потому, что сломались, а потому, что изначально не обязаны быть безошибочными. Это не баг, а встроенная особенность. Модель может быть мощной, точной, дорогой, но всё равно выдать неверный результат, если где-то в цепочке — от данных до архитектуры — допущена неточность.
1. Ошибки в данных
Проблемы чаще всего начинаются на входе: если данные плохие, устаревшие или собраны с перекосами, это напрямую влияет на результат. Модель учится на примерах из реального мира, и если в них есть неравенство, дискриминация или шум, она начнёт воспроизводить те же искажения в своих ответах.
Так, в 2020 году полиция Детройта арестовала афроамериканца Роберта Уильямса из-за ошибки в системе распознавания лиц — алгоритм не отличил его от другого мужчины. Причина — в базе, на которой обучалась модель, было недостаточно разнообразных лиц, особенно среди темнокожих. Система просто не научилась хорошо распознавать такие изображения.
2. Ошибки в архитектуре и логике
Даже если данные охватывают реальные сценарии, классы и типичные ошибки, модель всё равно может ошибаться из-за просчётов в архитектуре или логике работы.
Один из самых известных кейсов — трагедия с беспилотником Uber в 2018 году. Автомобиль не распознал женщину с велосипедом, переходившую дорогу.
Расследование Национального совета по безопасности на транспорте США показало, что система заметила объект за шесть секунд до столкновения, но не смогла точно классифицировать его: сначала это был «неизвестный объект», затем — «транспортное средство», потом — «велосипед».
Алгоритм несколько раз переоценивал ситуацию, а финальное решение о торможении было отключено на уровне софта, чтобы избежать ложных срабатываний. Водитель за рулём не успел среагировать.
Ярослав Найчук
Инженер по прикладному ИИ, преподаватель онлайн-магистратуры УрФУ и Нетологии «Прикладной искусственный интеллект»
ИИ ошибается просто потому, что не существует алгоритма, который бы идеально что-то предсказывал. Это проблема и данных, и архитектуры.
3. Нехватка контроля
Даже если модель обучена на качественных и сбалансированных данных, она может давать неожиданные результаты после выхода в продакшен. Ошибка тут не в модели как таковой, а в слабом контроле за последствиями.
Если цель — просто удерживать пользователя как можно дольше, ИИ может начать рекомендовать кликбейт или токсичный контент. Формально модель делает то, что от неё просят, но результат — нежелательный. В таких случаях ответственность лежит не только на разработчиках, но и на бизнесе: кто ставит задачу, тот и управляет результатом.
Кто в итоге виноват: разработчики, компании или ИИ
Когда ИИ допускает ошибку, это не всегда вопрос технологии — часто речь о юридических и организационных просчётах. Чтобы разобраться, как сейчас распределяется ответственность между разработчиками, компаниями и другими участниками ИИ-процессов, мы обратились к Дмитрию Кутейникову — юристу, специализирующемуся на правовом регулировании ИИ.
Ниже — его ответы на ключевые вопросы: от распределения ответственности в разных юрисдикциях до перспектив признания ИИ самостоятельным субъектом.
1. В каких случаях закон рассматривает ошибки ИИ как ответственность разработчиков, а когда — как ответственность компаний-пользователей?
Для начала необходимо определиться с тем, что мы понимаем под ошибками. Современные системы ИИ, в основе которых лежат модели, созданные на основе архитектуры трансформера, не могут работать со стопроцентной точностью. Все существующие системы ИИ подвержены ошибкам, включая всем известные «галлюцинации», — именно поэтому ИИ-компании размещают соответствующие предостережения и в документации, и в интерфейсе.
Дмитрий Кутейников
Юрист и исследователь в сфере AI governance, кандидат юридических наук, автор Telegram-канала howtocomply_AI, преподаватель онлайн-магистратуры ВШЭ и Нетологии «LegalTech: автоматизация юридических процессов»
Каждый пользователь систем ИИ, в том числе и коммерческий, регулярно сталкивается с ошибками, однако не все из них представляют общественную опасность и приводят к нарушению законодательства. Что касается распределения ответственности внутри цепочки поставки систем ИИ, то данный вопрос не является полностью решённым ни в одной юрисдикции.
Попробуем разобраться на примере региона с наиболее развитым законодательством в этой сфере — Европейского союза.
В августе прошлого года вступил в силу Регламент ЕС об ИИ (AI Act, AIA), который устанавливает по большей части требования для провайдеров (providers) систем ИИ, к которым могут относиться как разработчики, так и те, кто выводит такие системы на рынок ЕС под своим именем или торговой маркой. Поэтому если организация заказала разработку системы ИИ у другой компании, но выводит её на рынок самостоятельно, то требования закона возлагаются именно на неё. А вот компания-разработчик в этом случае будет отвечать за качество своих работ в рамках их договора. Также закон определяет и другую группу субъектов — эксплуатантов (deployers), которые только используют уже выведенную на рынок провайдером систему ИИ в своей деятельности. На них тоже распространяются некоторые, значительно меньшие, обязательства.
Регламент касается и провайдеров моделей ИИ общего назначения. Не будем уходить в детали, а представим условный OpenAI или Anthropic, которые предоставляют доступ к своим продуктам для бизнеса через API. В данном случае может сложиться ситуация, что сами эти компании могут не выводить системы ИИ на рынок ЕС, а предоставлять свои модели ИИ или их выходные результаты для создания продуктов других компаний, которые уже будут выводить их на рынок ЕС. Такие компании закон именует последующими поставщиками (downstream providers). Чтобы сбалансировать их ответственность, на поставщиков моделей ИИ общего назначения также возлагаются дополнительные требования в части информирования и предоставления документации для последующих провайдеров.
Дмитрий Кутейников
Юрист и исследователь в сфере AI governance, кандидат юридических наук, автор Telegram-канала howtocomply_AI, преподаватель онлайн-магистратуры ВШЭ и Нетологии «LegalTech: автоматизация юридических процессов»
Однако в тех случаях, когда функционирование систем ИИ привело к причинению вреда физическим лицам, то, как и в случае с обычными товарами, мы должны понять, нарушил ли пользователь правила, установленные разработчиком, или данный продукт был некачественным. Непосредственно эти правила определяются гражданским законодательством той или иной страны или региона.
Очень важно различать несколько видов внедоговорной ответственности: виновную (fault-based liability) и безвиновную (strict liability). В первом случае необходимо установить наличие вины, а во втором владелец предмета несёт ответственность, даже если его вины в произошедшем нет. Классический пример — источники повышенной опасности, такие как автомобили. Поэтому часто предлагается для поставщиков или производителей систем ИИ тоже ввести правила о безвиновной ответственности. В этом случае они будут по умолчанию ответственны за любое причинение вреда. Однако такой перекос может негативно сказаться на развитии технологий, поэтому важно найти оптимальный баланс, который позволит защитить права человека, но не затормозит развитие инноваций.
Например, на уровне ЕС правила о внедоговорной ответственности решили гармонизировать на уровне союза, приняв обновлённую версию Директивы об ответственности за качество продукции (Product Liability Directive, PLD). Документ, во-первых, напрямую распространяется на ПО и ИИ в частности. Во-вторых, не требует от потерпевшего доказывания вины производителя или провайдера, а предусматривает лишь необходимость доказать ненадлежащее качество продукта, понесённый ущерб и причинно-следственную связь. В-третьих, способствует помощи потерпевшим в доказывании за счёт того, что требует от производителей и провайдеров обязательного раскрытия информации.
К сожалению, у нас пока нет достаточного понимания нюансов данных законов, так как полностью применяться они начнут только в течение ближайших нескольких лет.
2. Как регулирование ИИ за границей отличается от российского подхода? Что стоит учитывать IT-специалистам при разработке и внедрении решений на международном рынке?
Необходимо отметить, что в России никакого чёткого подхода в плане ответственности пока не выработано. На системы ИИ распространяются общие требования гражданского законодательства. Также отсутствует какая-либо специфичная для данной сферы судебная практика.
Как я уже отмечал в предыдущем вопросе, необходимо учитывать особенности законодательства конкретных стран и регионов: в ЕС, например, сформулированы гармонизированные правила, однако необходимо учитывать и специфику законодательства стран-членов; в США вопросы ответственности по большей части относятся к предметам ведения штатов, соответственно, необходимо учитывать особенности законодательства каждого из них и судебную практику.
3. На каком этапе разработки ИИ-проектов стоит учитывать юридические риски и что конкретно нужно сделать, чтобы их минимизировать?
Как мы иногда шутим с коллегами, когда возникает подобный вопрос, то ответ прост: начинать нужно с момента, когда вам в голову пришла идея создать продукт на основе системы ИИ.
Чтобы избежать многочисленных рисков, лучше сразу оценить вызовы и начать выстраивать комплексную систему менеджмента ИИ в организации, которая должна включать в себя в том числе и подготовку к соблюдению требований отдельных юрисдикций. Сейчас при создании такой системы можно ориентироваться на технические стандарты ISO/IEC (особенно ISO/IEC 42001), американскую систему риск-менеджмента NIST AI Risk Management Framework и требования европейского AI Act. Кстати, многие стандарты ISO в части ИИ были приняты Росстандартом и действуют с 1 января 2025 года. В этом смысле теперь отечественным компаниям ничто не мешает сразу выстраивать процессы таким образом, чтобы они соответствовали лучшим международным практикам.
4. Что вы думаете об идее отдельной юридической ответственности для самого ИИ как самостоятельного субъекта?
Вопрос правосубъектности систем ИИ не является приоритетным или практически актуальным в сообществе специалистов по регулированию ИИ, поскольку на текущем этапе он скорее отвлекает от реальных юридических проблем. Если не затрагивать техническую сторону вопроса о возможности создания общего или сильного ИИ, который был бы равен способностям среднего человека, то вопрос заключается только в целесообразности и общественной пользе.
Дмитрий Кутейников
Юрист и исследователь в сфере AI governance, кандидат юридических наук, автор Telegram-канала howtocomply_AI, преподаватель онлайн-магистратуры ВШЭ и Нетологии «LegalTech: автоматизация юридических процессов»
Например, в современном мире уже существуют искусственные субъекты, наделённые правами, такие как юридические лица. Однако их создание было продиктовано экономической целесообразностью ввиду стимулирования предпринимательской активности за счёт ограничения персональной ответственности предпринимателей.
В случае с системами ИИ такое ограничение ответственности не является оправданным, так как дополнительной экономической выгоды для общества это не принесёт, а вот лица, использующие и разрабатывающие системы ИИ, смогут таким образом уходить от ответственности за некачественные товары, что, безусловно, неправильно. Поэтому вопрос правосубъектности ИИ сейчас лучше рассматривать через призму теории права, на стыке с философией и этикой, а не юридической практики.
Как минимизировать риски и ошибки ИИ: практические рекомендации
Хорошая новость: есть способы снизить вероятность ошибки или хотя бы вовремя её заметить. Ниже — базовый набор практик, которые стоит учитывать, если вы внедряете или развиваете ИИ-систему.
1. Тестируйте, как будто от этого зависит бизнес — потому что так и есть
Многие ошибки ИИ проявляются не сразу, а уже в продакшене — особенно если не предусмотрен контроль за поведением модели в реальных условиях.
Ярослав Найчук
Инженер по прикладному ИИ, преподаватель онлайн-магистратуры УрФУ и Нетологии «Прикладной искусственный интеллект»
ИИ — это ведь большая функция, а насколько хорошо она справляется с задачей, уже человек оценивает. Нас либо устраивает, как она работает, либо нет, и мы стараемся, чтобы она нас больше устраивала.
Классический вариант: модель уже запущена в продуктовой среде, но потребитель или разработчик видят, что есть ошибки. Самое простое решение — собрать новые данные и дообучить старую модель.
Чтобы таких ошибок было меньше, важно тестировать модель на каждом этапе — не только во время обучения, но и после внедрения. Вот что помогает:
юнит-тесты для моделей — проверяют, что отдельные компоненты, логика препроцессинга или поведения, в крайних случаях работают корректно;
adversarial testing — ввод провокационных, нестандартных данных, чтобы убедиться, что модель не ломается при малейшем отклонении от шаблона;
cross-validation — разбиение данных на множество подмножеств с многократным обучением, чтобы избежать переобучения и получить более надёжную оценку.
2. Внедряйте мониторинг — не только логов, но и метрик модели
Даже хорошо обученная модель может начать выдавать странные результаты, если изменятся входные данные или условия, в которых она работает. Чтобы не пропустить момент, когда что-то идёт не так, нужно следить за моделью в продакшене: не только собирать логи, но и отслеживать ключевые метрики.
Что стоит мониторить:
Дрифт входных данных (input drift) — изменился ли состав или распределение данных. Модель может терять адекватность даже без пересобирания.
Предсказания вне ожидаемых границ (prediction outliers) — если модель начала выдавать что-то совершенно ей не характерное, это тревожный звоночек.
Качество предсказаний (если есть разметка) — базовые метрики: precision, recall, F1, RMSE и так далее. Нужно следить, не поплыли ли они.
Фидбэк от пользователей — особенно важно для рекомендательных систем и чат-ботов.
Примеры инструментов, которые помогут с мониторингом
Evidently AI — отслеживание метрик качества и дрифта.
Fiddler AI — мониторинг в продакшене с визуализациями и алертами.
WhyLogs AI — логирование и анализ данных, которые модель получает на вход.
3. Обновляйте данные и дообучайте модель
Регулярно пересматривайте данные, на которых обучалась модель. Неактуальные данные = неактуальные предсказания.
Внедрите ML pipeline, где переобучение — автоматическая часть цикла через MLflow, Kubeflow или Metaflow.
Контролируйте баланс классов и разнообразие в новых данных, чтобы не усиливать старые искажения.
Ярослав Найчук
Инженер по прикладному ИИ, преподаватель онлайн-магистратуры УрФУ и Нетологии «Прикладной искусственный интеллект»
Для ведения истории экспериментов с моделями, отслеживания метрик, значения функции потерь и анализа датасетов можно использовать ClearML. Он легко встраивается в проекты, использующие библиотеки глубокого обучения. Одно из лучших open-source-решений.
4. Документируйте модель, как будто завтра её будет разбирать чужая команда
Недопонимание того, как именно работает модель, — одна из частых причин ошибок в ИИ-проектах. Это особенно заметно, если модель передаётся между командами или используется в среде без сильного ML-бэкграунда.
Подробная документация помогает быстрее находить проблемы, упрощает поддержку и снижает риски при масштабировании. Вот что стоит в неё включить:
описание логики предсказаний, если есть интерпретируемость;
допустимые границы входных значений;
версию данных, на которых модель обучена;
риски и ограничения — в каких случаях модель не должна использоваться без проверки человеком: для юридически значимых решений вроде отказа в кредите или блокировки аккаунта.
Чтобы снизить риск ошибок, важно не только обучить модель, но и сопровождать её после запуска: тестировать, наблюдать, дообучать, объяснять. Чем серьёзнее вы относитесь к этим процессам, тем меньше шансов, что однажды вас вызовут разбираться, почему ИИ принял странное решение и кто за это в ответе.
Что делать с человеческим фактором
Даже самая точная модель может давать сбои, если её применяют не по инструкции. Как объясняет юрист Дмитрий Кутейников, при рассмотрении ответственности важно установить: ошибся ли пользователь, нарушив правила эксплуатации, или проблема была в самой системе.
В первом случае виноват тот, кто использует ИИ неправильно, во втором — тот, кто вывел некачественный продукт на рынок. Чтобы снизить риски, важно документировать правила применения и обучать команды корректной работе с ИИ.
Типичная ситуация — когда цель сформулирована без учёта рисков. Если сотруднику ставят KPI «максимизировать вовлечённость» без ограничений, модель может начать рекомендовать токсичный или кликбейтный контент, как это происходило с алгоритмами YouTube. В такой ситуации алгоритм работает формально правильно, но задача была поставлена некорректно, и ответственность лежит на бизнесе.
Другой риск — слепое доверие модели без понимания её ограничений. ИИ-система не принимает решений в буквальном смысле, она лишь предлагает вероятностный результат на основе данных. А вот как использовать этот результат, какие действия предпринять и кто будет нести ответственность — это остаётся на стороне человека или организации.
Как можно выстроить работу команды с ИИ:
обучать команду правильно интерпретировать поведение моделей и понимать, что это не абсолютная истина, а статистическая оценка;
объяснять ограничения моделей — где им можно доверять, а где обязательно нужна проверка;
выносить критические решения из ИИ-зоны — в чувствительных сценариях вроде блокировки аккаунтов или отказа в кредите нужен ручной контроль.
Резюмируем: как не допустить ошибок ИИ и кто будет в ответе
ИИ — это не магия и не живой разум. Он не ошибается сам по себе: за каждым прогнозом стоит цепочка технических, юридических и организационных решений. Вот краткий чек-лист, который поможет не допустить проблем.
Проверьте данные: актуальны ли они, сбалансированы ли, отражают ли реальность.
Протестируйте модель: используйте юнит-тесты, adversarial-тесты и мониторинг после релиза.
Ведите документацию: объясняйте, как работает модель и где её не стоит применять.
Настройте контроль: следите за дрифтом данных и за результатами модели в продакшене.
Оцените риски заранее: используйте AI Act, ISO 42001, NIST RMF как основу для менеджмента.
Обучите команду: объясните, что модель — это не эксперт, а инструмент.
Закрепите зоны ответственности: кто именно отвечает за модель, её вывод и поведение.
Уже пробовали внедрять ИИ в реальных задачах? Как договорились в команде, кто отвечает, если модель выдаст что-то не то?
Погрузиться в мир искусственного интеллекта и сделать шаг к карьере AI-инженера поможет онлайн-магистратура УрФУ и Нетологии «Прикладной искусственный интеллект». Освоите Python, нейронные сети, работу с данными и научитесь внедрять ИИ в реальные бизнес-задачи. Обучение — с практикой, кейсами и поддержкой от действующих экспертов. А если ещё не готовы учиться платно, начните с бесплатного вводного курса.