Национальная администрация безопасности дорожного движения (NHTSA) крупно рискует своей репутацией после разгромного отчёта, который опубликовала маленькая исследовательская и консалтинговая фирма под названием Quality Control Systems. Этот отчёт посвящён анализу доклада NHTSA от 2017 года, в результате которого чиновники выяснили, что автопилот Tesla снижает риск попасть в ДТП на 40% (диаграмма выше).
Отчёт опубликован только сейчас, почти через два года. Quality Control Systems пришлось подать в суд на NHTSA, чтобы в соответствии с законом «О свободе информации» получить данные, лежащие в основе выводов агентства.
В своём докладе QCS говорит о недостатках методологии NHTSA, которые достаточно серьёзны, чтобы полностью дискредитировать 40-процентную цифру, которую Tesla несколько раз цитировала за последние два года, подчёркивая пользу автопилота для безопасности.
NHTSA изучила безопасность автопилота после аварии со смертельным исходом владельца Tesla Джошуа Брауна в 2016 году. Автопилот, а точнее функция поддержания полосы Autosteer, была активна во время аварии, и Браун проигнорировал несколько предупреждений, чтобы положить руки обратно на рулевое колесо. Критики задались вопросом, может автопилот снижает безопасность, стимулируя водителя меньше внимания уделять дороге?
Однако NHTSA выяснила, что на самом деле Autosteer снизил аварийность на 40%, так что всё в порядке. Tesla цитировала эту цифру в своём блоге, где приводила аргументы в защиту технологии. Через несколько недель Илон Маск даже ругал репортёров, которые «зациклились» на авариях Tesla, а не рассказывают о том, что автопилот объективно делает вождение более безопасным.
Как выясняется, доводы Илона Маска могли возникнуть в результате фатальной ошибки экспертов Tesla в подсчёте статистики.
В чём суть, если вкратце. Как NHTSA оценивала безопасность транспорта? Самым понятным и логичным способом. Они запросили у Tesla полную статистику по всем автомобилям, проданным между 2014 и 2016 годами, и посчитали коэффициент аварийности до и после установки Autosteer.
Методику выбрали такую: взяли количество аварий до установки автопилота и поделили на количество пройденных миль до активации Autosteer. Аналогично, взяли количество аварий после установки автопилота и тоже поделили на количество пройденных миль после активации Autosteer.
Всего Tesla предоставила данные по 43 781 автомобилю.
Проблема только в том, что в таблице от Tesla по большинству автомобилей данные неполные. Например, не указано, в какой момент на автомобиле был активирован Autosteer. Оказалось, что по 29 051 автомобилю в базе отсутствуют необходимые поля для проведения таких вычислений.
NHTSA при подсчёте посчитала все эти автомобили как на 100% оснащённые Autosteer, словно они ни одной мили не проехали перед активацией этой функции. Однако 18 ДТП, которые произошли с участием этих автомобилей, занесены в статистику до Autosteer, а это более 20% из всех 86 аварий, которые произошли с автомобилями Tesla без функции Autosteer!
Совершенно очевидно, что такой серьёзный перекос в подсчёте итоговой статистики сильно сдвинул результат в пользу безопасности Autosteer. Насколько сильно — неизвестно. Мы не можем посчитать реальные данные по всей выборке, поскольку бóльшая часть данных повреждена. Однако QCS провела аналогичные вычисления для 5714 автомобилей, по которым была полная информация одометра «до Autosteer» и «после Autosteer» без зазора между этими двумя пунктами (это ещё один недостаток базы Tesla: во многих автомобилях эти две цифры не совпадали). Так вот, на нормальной выборке подсчёт показал, что аварийность после установки Autosteer увеличилась на 59%. Хотя и это нельзя считать объективной цифрой, потому что 5714 машин представляют слишком малую часть автопарка Tesla и нет способа понять, являются ли они репрезентативной выборкой.
Судя по всему, NHTSA давно заметила свою ошибку, просто стеснялась в ней признаться. Ещё в мае прошлого года ведомство дистанцировалось от собственного отчёта, назвав его «беглым сравнением», которое «не оценивает эффективность технологии Autosteer».
Почему они так долго отказывались передать QCS исходные данные для повторной экспертизы? Ведь запрос на информацию был отослан в феврале 2017 года, примерно через месяц после публикации оригинального отчёта. Агентство не могло сразу выдать информацию потому, что компания Tesla заявила о конфиденциальности данных.
Только в ходе судебного разбирательства суд отверг аргументы NHTSA о конфиденциальности статистики и приказал рассекретить информацию.
