Комментарии 34
Все верно в Tesla написали.
Их машины безопаснее живых водителей. С чего их отзывать?
Их машины безопаснее живых водителей. С чего их отзывать?
Кто-то здесь на хабре уже комментировал их статистику в том ключе, что автопилот Теслы обычно включают на простых участках пути, так что ничего удивительного, что смертность во время движения на автопилоте ниже, чем смертность на всех дорогах вместе взятых.
Честнее было бы сравнивать «смертность во время движения на автопилоте» со «смертностью во время вождения вручную на тех же самых участках дороги при тех же самых погодных условиях»; но такое сравнение вряд ли осуществимо.
Честнее было бы сравнивать «смертность во время движения на автопилоте» со «смертностью во время вождения вручную на тех же самых участках дороги при тех же самых погодных условиях»; но такое сравнение вряд ли осуществимо.
Тем не менее, автопилот все равно имеет неоспоримые преимущества.
Он лишен эмоций, он никогда не поедет опасно специально в духе «гляди как я могу», «проскочу как-нибудь» и т.п. У него, несомненно, есть недостатки, но недостатки устранимые. А человеческие понты и халатность неустранимы принципиально.
Он лишен эмоций, он никогда не поедет опасно специально в духе «гляди как я могу», «проскочу как-нибудь» и т.п. У него, несомненно, есть недостатки, но недостатки устранимые. А человеческие понты и халатность неустранимы принципиально.
Это всё верно. Дело в том, что никто не хочет стать crash dummy, благодаря которому «устранимые недостатки» будут обнаружены и устранены.
Любой взрослый участник современного дорожного движения должен осознавать, что вероятность его гибели — величина ненулевая. При этом вероятность погибнуть в автомобиле, управляемом живым водителем, скорее всего не меньше, а больше. Есть водители лучше существующего автопилота, но по моему субъективному мнению их меньшинство. Учитывая доступность кредита и автомобилей как таковых, сейчас за рулем масса тех, кто просто в принципе не способен управлять автомобилем безопасно. Вряд ли стать crash dummy для Теслы много хуже, чем стать трупом в обычной аварии.
При этом вероятность погибнуть в автомобиле, управляемом живым водителем, скорее всего не меньше, а больше.
В том-то и дело, что (по состоянию на 2017 год, а не «в неизбежном будущем») непонятно, больше или меньше.
Нету достоверной статистики; есть только субъективные предположения.
Тут дело в психологии. Люди боятся когда они не могут контролировать и даже понять ситуацию. Почему многие боятся летать на самолетах, но не боятся ездить на авто, хотя объективно шанс погибнуть в ДТП намного выше, чем в авиакатастрофе? Потому что в случае авто остается иллюзия контроля ситуации и есть понимание того что происходит.
Что характерно, один из способов лечения аэрофобии (на себе проверял) — это пойти в аэроклуб и полетать за штурвалом небольшого самолета. Тогда появляется понимание процесса полета и страх от незнания уходит.
Автопилоты в этом плане ближе к самолетам, чем к машинам. У человека опять отбирают контроль, при этом еще и лишают понимания того что происходит. Человек может представить что творится в голове даже у нетрезвого Ашота на ржавой шохе, но не может представить ход мышления железки. Кто его знает, как у нее биты в мозгах сложатся и куда она руль дернет в следующую секунду? Отсюда опять возникает иррациональный страх и недоверие.
При этом бесполезно уповать на привычку. Авиации вон сто лет уже, а многие люди летать до сих пор боятся. С автопилотами в авто думаю будет то же самое — многие люди будут им не доверять и избегать использования за исключением простейших ситуаций.
Что характерно, один из способов лечения аэрофобии (на себе проверял) — это пойти в аэроклуб и полетать за штурвалом небольшого самолета. Тогда появляется понимание процесса полета и страх от незнания уходит.
Автопилоты в этом плане ближе к самолетам, чем к машинам. У человека опять отбирают контроль, при этом еще и лишают понимания того что происходит. Человек может представить что творится в голове даже у нетрезвого Ашота на ржавой шохе, но не может представить ход мышления железки. Кто его знает, как у нее биты в мозгах сложатся и куда она руль дернет в следующую секунду? Отсюда опять возникает иррациональный страх и недоверие.
При этом бесполезно уповать на привычку. Авиации вон сто лет уже, а многие люди летать до сих пор боятся. С автопилотами в авто думаю будет то же самое — многие люди будут им не доверять и избегать использования за исключением простейших ситуаций.
У человека опять отбирают контроль, при этом еще и лишают понимания того что происходит.
Пока что проблемы возникают как раз из-за того, что человек отдаёт контроль, когда не должен бы.
Человек может представить что творится в голове даже у нетрезвого Ашота на ржавой шохе,
Значит, я не прошёл эту разновидность теста Тьюринга.
но не может представить ход мышления железки. Кто его знает, как у нее биты в мозгах сложатся и куда она руль дернет в следующую секунду?
Для любителей следить не за дорогой, а за «ходом мышления железки» можно, например, выводить на ветровое стекло всякие прямоугольнички, которые железка считает опасными.
Но не окажется ли «лекарство хуже болезни»?
Если продолжать тему багов в автомобиле и что никто не хочет стать crash dummy, то история знает вагон и маленькую тележку неэлектронных багов в автомобилях, которые тоже убивали людей. Только некоторые из самых громких в США на массовых автомобилях:
— скандал с шинами Firestone (в частности на Ford Explorer) на рубеже веков;
— высокая аварийная опасность и пожароопасность заднемоторных Chevrolet Corvair в 60-ых годах.
Мы все и в любой момент можем стать тем самым crash dummy.
— скандал с шинами Firestone (в частности на Ford Explorer) на рубеже веков;
— высокая аварийная опасность и пожароопасность заднемоторных Chevrolet Corvair в 60-ых годах.
Мы все и в любой момент можем стать тем самым crash dummy.
Нормальный человек в любом случае водит вез эмоций. А если человек не может ехать на пределе своей реакции в быстром темпе, то ему в любом случае лучше не ездить.
Программное обеспечение автомобиля премиум-класса содержит около 100 миллионов строк кода
Признаться, очень сомнительно. В вашей же ссылке на статью о разборе кода Toyota (или вот тут вот чуть покороче) написано про 280 тысяч строк — и это куда реальнее, как по мне. Понятно, что нынче и коробка, и движок, и всякие ESP, и многое другое работают за счет ПО, но едва ли все эти системы можно назвать сильно интеллектуальными. Колесо прокручивается, включаем ESP. На педаль нажали на Х%, заслонку открыли на X%.
Linux — это ~20 млн. строк кода. Крайне сомневаюсь, что в авто бизнес-класса в 5 раз больше. Ну или ребята считаю ядро Linux + ядро БД + OpenCV + куча всего еще + свой код.
Тоже полагаю, что цифра завышена. Может, это 100млн. строк кода не едут в автомобиле (разве только в android-магнитоле), а содержатся в бесконечных CAD-программах, программах расчёта аэродинамики, режимов двигателя и т.д., использованных при разработке и создании автомобиля.
Ну или ребята считаю ядро Linux + ядро БД + OpenCV + куча всего еще + свой код.
Весьма вероятно, что так и есть.
Потому что водитель оказывается зависим от ошибок в любых частях этого ПО.
Попасть в аварию из-за бага в ядре Linux, в ядре БД, в OpenCV или где угодно ещё (или даже из-за бага в одном из компиляторов, использованных при разработке всего этого ПО) — ничуть не лучше, чем из-за бага в коде, написанном разработчиками самого автомобиля.
Как дополнение к теме. Материальный ущерб и причинение вреда здоровью и жизни человека как-то на слуху, но есть еще как минимум один потенциальный вид вреда который могут причинить ошибки в ПО. В 2016 году ошибка в алгоритме обработки изображений МРТ скомпрометировала результаты нейробиологических исследований. Кроме того, некоторые широко цитируемые работы в области экономики и экологии содержали ошибки в алгоритмах обработки данных, которые были обнаружены гораздо позднее, чем эти работы получили широкое распространение.
Современные информационные системы настолько масштабны, что в некотором смысле уже не мы контролируем их поведение, но, напротив, данные полученные от них являются руководством к действию для людей. Таким образом ошибки в ПО могут скомпрометировать достоверность наших суждения о мире.
P.S. На мой взгляд один из лучших докладов по теме ошибок в ПО (во всяком случае с точки зрения подачи материала) — доклад Кевлина Хеннея на конференции GOTO 2016.
Современные информационные системы настолько масштабны, что в некотором смысле уже не мы контролируем их поведение, но, напротив, данные полученные от них являются руководством к действию для людей. Таким образом ошибки в ПО могут скомпрометировать достоверность наших суждения о мире.
P.S. На мой взгляд один из лучших докладов по теме ошибок в ПО (во всяком случае с точки зрения подачи материала) — доклад Кевлина Хеннея на конференции GOTO 2016.
Все причастные к аварии лица были привлечены к уголовной ответственности и крупным штрафам.
Стрёмно в роскосмосе работать :(
Зря минусуете, действительно ответственность выше, чем в «социальной сети для панд»…
В таких масштабных корпорациях никогда не работал, но всегда было интересно, а каким образом распределяется ответственность на виновных в аварии? Допустим если речь идет об ошибке в софте, тогда вся цепочка начинается с разработчика, непосредственно связанного с данным участком кода? или под раздачу попадают тестировщики, ревьюеры и вверх по руководящим должностям? и кто из них получит наибольший штраф?
Что касается объема кода в автомобилях, то его действительно критичная часть меньше на порядки.
В статье по ссылке указано, что Альфред Катценбах, директор IT-подразделения Daimler сообщил о более чем 20 MLOC в радио- и навигационной системе. Ни радио, ни навигация критичными для безопасности автомобиля не являются (если водитель не идиот). И раздувание объема скорее всего будет идти именно в этих областях.
В тоже время объем ПО F-22 — всего 1,7 MLOC, F-35 — 5,7 MLOC, Boeing-787 — 6,5 MLOC. При этом смешно сравнивать сложность решаемых задач для любого сколь угодно дорогого и сложного автомобиля и самолета.
В статье по ссылке указано, что Альфред Катценбах, директор IT-подразделения Daimler сообщил о более чем 20 MLOC в радио- и навигационной системе. Ни радио, ни навигация критичными для безопасности автомобиля не являются (если водитель не идиот). И раздувание объема скорее всего будет идти именно в этих областях.
В тоже время объем ПО F-22 — всего 1,7 MLOC, F-35 — 5,7 MLOC, Boeing-787 — 6,5 MLOC. При этом смешно сравнивать сложность решаемых задач для любого сколь угодно дорогого и сложного автомобиля и самолета.
Ни радио, ни навигация критичными для безопасности автомобиля не являются (если водитель не идиот).
Сбой в работе радио и/или навигации приведёт, как минимум, к рассеиванию внимания водителя, конечным итогом чего вполне может стать авария.
При этом смешно сравнивать сложность решаемых задач для любого сколь угодно дорогого и сложного автомобиля и самолета.
И что же в задачах самолёта намного более сложного? Объезжать препятствия ему не нужно, светофоров и перекрёстков в воздухе тоже нету.
Если вы читали статью про «Тойоту», то там описан случай самопроизвольного разгона автомобиля из-за ошибки в ПО. Не нужно сравнивать случаи, когда ошибка в ПО ведет к аварии непосредственно, со случаями, когда это происходит косвенным путем. Внимание рассеиваться может и со вполне аналоговым радио и вовсе без радио.
И я специально подчеркнул — если водитель не идиот. Но если водитель идиот, то его гораздо надежнее вовсе исключить из управления автомобилем, чем делать сверхнадежный (и сверхдорогой) радиоприемник и навигатор.
В задачах самолета много более сложного. Но вы даже без разбора этих задач начали со светофоров и перекрестков. Только вот в статье не было речи об автомобилях с автопилотами. Обычный автомобиль объездом препятствий, светофорами и перекрестками не занимается, это задача водителя.
Самолет же, как минимум, произвольно перемещается в 3 измерениях, у него гораздо жестче ограничения по скорости, есть ограничения по углу атаки, перегрузкам, высотам полета, ему нужно управлять гораздо большим количеством исполнительных механизмов, его двигатели тоже имеют кучу ограничений. Собственно, о сравнении сложности управления самолетом указанного класса и автомобилем можно судить как по их панели приборов, так и по сроку обучения. Ну, и если вы покажете мне автомобиль премиум-класса с радиолокатором с ФАР и системой управления пушечно-ракетно-бомбовым вооружением…
И я специально подчеркнул — если водитель не идиот. Но если водитель идиот, то его гораздо надежнее вовсе исключить из управления автомобилем, чем делать сверхнадежный (и сверхдорогой) радиоприемник и навигатор.
В задачах самолета много более сложного. Но вы даже без разбора этих задач начали со светофоров и перекрестков. Только вот в статье не было речи об автомобилях с автопилотами. Обычный автомобиль объездом препятствий, светофорами и перекрестками не занимается, это задача водителя.
Самолет же, как минимум, произвольно перемещается в 3 измерениях, у него гораздо жестче ограничения по скорости, есть ограничения по углу атаки, перегрузкам, высотам полета, ему нужно управлять гораздо большим количеством исполнительных механизмов, его двигатели тоже имеют кучу ограничений. Собственно, о сравнении сложности управления самолетом указанного класса и автомобилем можно судить как по их панели приборов, так и по сроку обучения. Ну, и если вы покажете мне автомобиль премиум-класса с радиолокатором с ФАР и системой управления пушечно-ракетно-бомбовым вооружением…
Только вот в статье не было речи об автомобилях с автопилотами.Ну кто бы мог подумать!
Поговорим, конечно же, о Tesla Model S. 7 мая 2016 Джошуа Браун, прославившийся благодаря своим роликам на YouTube, посвященным восхвалениям электромобиля, попал в автокатастрофу. Он находился за рулем Tesla Model S. Будучи на 100% уверенным в интеллекте машины, он доверился автопилоту. Результат доверия трагичный — от полученных травм Джошуа скончался на месте.
Кто бы мог подумать, что речь идет о статье по ссылке?
Если вы читали статью про «Тойоту», то там описан случай самопроизвольного разгона автомобиля из-за ошибки в ПО. Не нужно сравнивать случаи, когда ошибка в ПО ведет к аварии непосредственно, со случаями, когда это происходит косвенным путем.
Не так: основная проблема была в конструктиве «электронной педали», которая могла заедать, а проблема с ПО была в том, что оно не отрабатывало нормально такие ситуации (газ нажат, и водитель топчет тормоз), т.к. код в контроллере был написан через то самое отверстие. Без механических проблем с педалью этот баг продолжал бы жить долго и счастливо.
А где вы находите здесь противоречие написанному мной? Из-за бага в ПО машина неконтролируемо и самопроизвольно разгонялась вопреки действиям водителя. Причинно-следственная связь прямая.
Прочтите еще раз мое последнее приложение. Первопричина лежит в механических проблемах с конструктивом модуля педали газа, а электроника не подстраховала этот откровенный п… еб. Точно так же в ВАЗ-2108 и ее производных со временем протирается моторный щит в районе отверстия для тросика газа и его (тросик) может прикусить. Чаще всего тросик все-таки перекусывается или перетирается, но у меня в свое время его именно закусило панелью при почти полностью нажатой педали газа. И никакой страхующей электроники — только навыки работы ногами и руками :)
Я внимательно прочитал ваш комментарий целиком. И еще раз повторю — это именно критический баг ПО. Может быть проблема с механическим конструктивом, может быть проблема с датчиком, может быть проблема с АЦП — нажатие на педаль тормоза должно душить двигатель вплоть до полной остановки (естественно, мы говорим о дорожных машинах).
Хотя в целом с тормозом зажатым в пол и так большинство машин никуда не уедут.
Хотя в целом с тормозом зажатым в пол и так большинство машин никуда не уедут.
Knight Capital Group. Трейдинг на бирже.
Функция которая использовалась в тестовом сервере просочилась в продакшн. За одну ночь потеряли $440М. Утром владелец проснулся, а компании больше нет.
Спасибо, статья интересная. Вывод тоже понятен — если от дефектов кода страдает доход или капитализация компании — есть стимулы такой код делать качественным, а если неизбежные ошибки обнаружены — быстро их патчить.
А вот чего я не прочитал, так это доказательств, что «на первый план выходит надежность программного обеспечения». Нет, не выходит. Для условных кофеварок, телевизоров подешевле, фотоаппаратов код пишут студенты-второкурсники в перерывах между парами и кустари-самоучки. Так дешевле. Хорошо, если код работает на 90%. Если Ваша кофеварка перестаёт работать каждый четверг при повышенной влажности, то никаких последствий для программиста не будет. Хотите — возвращайте кофеварку по гарантии в магазин. Возврат определённого процента брака заложен в стоимость изделия. А за залитую кофе мраморную столешницу Вам никто платить не будет.
А вот чего я не прочитал, так это доказательств, что «на первый план выходит надежность программного обеспечения». Нет, не выходит. Для условных кофеварок, телевизоров подешевле, фотоаппаратов код пишут студенты-второкурсники в перерывах между парами и кустари-самоучки. Так дешевле. Хорошо, если код работает на 90%. Если Ваша кофеварка перестаёт работать каждый четверг при повышенной влажности, то никаких последствий для программиста не будет. Хотите — возвращайте кофеварку по гарантии в магазин. Возврат определённого процента брака заложен в стоимость изделия. А за залитую кофе мраморную столешницу Вам никто платить не будет.
Как мне кажется, вы сильно заблуждаетесь. Причиненный нештатной работой той же кофеварки материальный ущерб без проблем компенсируют даже в России, не говоря уже о более цивилизованных странах. Первично, конечно, компенсацию будут взыскивать с продавца. И, даже, если этот продавец впоследствии не взыщет свои убытки с производителя/дистрибьютора, то во всяком случае просто перестанет иметь с ним дело. А это уже недополученная прибыль.
В копилку: шесть человек получили передозировку радиации из-за бага в рентген-аппарате; двое скончались.
С каждым годом сложность программного обеспечения растёт, а его качество падает. Этому много причин, начиная от квалификации разработчиков и тестировщиков и заканчивая накоплением устаревшего кода и усложнением систем.
Так что готовьтесь, что ком проблем с программным обеспечением будет только нарастать… И исправить это можно только переписыванием старых систем и исправлением ошибок в новых (а также внедрением автоматизированного тестирования и повышения квалификации программистов).
Так что готовьтесь, что ком проблем с программным обеспечением будет только нарастать… И исправить это можно только переписыванием старых систем и исправлением ошибок в новых (а также внедрением автоматизированного тестирования и повышения квалификации программистов).
Всеобщий масштаб — Беда 2038 года
Эхх… корвет 70х, и ничего ему не страшно.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Цена ошибки: кто и сколько платит за промахи программистов?