Комментарии 14
Результаты опыта показали, что участники, использовавшие АМА, допустили
больше пропусков 6 выделенных событий, чем участники, не пользовавшиеся
АМА. Коэффициент точности первой группы в этих событиях составил 59%,
когда как второй – 97%.
А известны коэффициенты точности по всем 100 событиям?
Особенно доставляют случаи, когда человек видит своими глазами, что что-то не так, но автоматика ему говорит, что все ок. И если уровень этого человека в иерархии процесса является достаточно низким, то действует он исходя из решения автоматики.
А пример с боингом некорректный.
Цикл рассказов о Пирксе у С. Лема.
Демидов В. Е., очерк "На полшага впереди времени".
В начале прошлого десятилетия в голландскую налоговую были внедрены программы автоматизированной обработки деклараций о расходовании государственных пособий на детей. Алгоритм обрабатывал полученные от родителей отчеты и мог выявить предполагаемые случаи нецелевого расходования пособия.
В смысле? Они проверяют, куда тратят граждане детские пособия? Они совсем опухли? Даже у нас до такого не додумались.
Неужели в смежных сферах этого до сих пор не понимают?
Эта проблема элементарно лечится даже незначительным опытом программирования. Например, в школе на уроках информатики. Сразу возникает понимание, что кода без ошибок не бывает. И доверять любой программе следует не более, чем охранной собаке, которая может как поднять лай без толку, так и подружиться со злоумышленником с сосисками.
Есть случай противоположный: Когда в СССР офицер служивший на одной из загоризонтных РЛС задачей которой было выявление пусков ядерных ракет американцев не поверил показаниям радара который обнаружил массовый пуск ракет со стороны США.
Он усомнился в верности данных радара и предпринял волевой шаг на передавать эти данные далее в ЦУП, так как люди в ЦУП полностью бы полагались на данные его доклада и не стали бы колебаться.
Если бы этот человек поступил бы по другому вряд-ли удалось избежать ядерной войны.
Отличный пример того, как человек не подвергся этому эффекту automation bias
в голландскую налоговую были внедрены программы автоматизированной обработки деклараций о расходовании государственных пособий на детей. Алгоритм обрабатывал полученные от родителей отчеты и мог выявить предполагаемые случаи нецелевого расходования пособия. Инспектор мог использовать рекомендации алгоритма при проведении проверки и на основании них инициировать проверку или даже расследование. В конце 2021 года выяснилось, что многие инспектора полагались на рекомендации алгоритма, проводя ручную проверку более халатно, в результате чего количество запросов, требований предоставить дополнительные документы и объяснения возросло в десятки раз.
Подобное происходит у нас с начала внедрения инфосистемы по НДС в ФНС РФ - эти автоматически создаваемые пустопорожние "требования об уточнении" посыпались на бухгалтеров предприятий как с водопада. Только на налоговую и работают с тех пор и по сей день. К этому добавились ещё и "аниотмывочные процедуры" в банках, которые тоже теперь автоматизированы и блочат счета клиентов по маломальскому формальному поводу превращая профессию в филиал Ада на Земле.
Создатели этих алгоритмов и систем, вероятно, довольны их работой и не видят в этом никаких "искажений" ;)
зы... сегодня чудесный день 06.06.2022 (2+0+2+2=6) =>666 ;)
У нас чаще свои косяки валят на систему: Это ваша 1С неправильно считает. А потом начальник it отдела тратит 2 недели , чтобы доказать, что бухи сами в ндфл накосячили.
Automation bias или побочные эффекты автоматизации. Доверяй, но проверяй