Как bias может повлиять на мир вообще и людей-пользователей в частности?

    В прошлом посте, посвященном ошибкам искусственного интеллекта, мы обсудили причины возникновения смещений данных и привели несколько примеров, по поводу которых велась оживленная дискуссия в профессиональных кругах. Сегодня продолжаем тему. Александра Царева, дата-сайнтист "Инфосистемы Джет", раскроет тему возможного влияния bias на мир.

    «Предвзятость» (многие лучше знакомы с коротким английским термином bias), ведущая к получению искаженных выводов, свойственна  искусственному интеллектутак же, как и его «естественному» собрату.

    Думаю, что мои ровесники — те, кому сейчас около 30–40 лет — взрослели в удивительное время, когда искусственного интеллекта вокруг них становилось все больше. Приложения и алгоритмы, делающие нашу жизнь удобнее, постоянно появляются и сейчас. Всегда интересовало: нельзя ли сделать так, чтобы «угнетение роботами», которое нам обещали фантасты и на которое жалуются сейчас люди, с обеспокоенностью смотрящие в будущее, происходило еще лучше и качественнее, чем сейчас? Чтобы умный дом лучше разбирался в моих повседневных привычках и меньше нуждался в настройке, чтобы рекомендации рекомендательных систем были более точными и не советовали мне то, что может не понравиться…

    Тем не менее, у этого возрастающего удобства и приспособленности мира лично к твоим нуждам на основании решений алгоритмов и рекомендательных систем есть и темная сторона: чем лучше «роботы» знают, что нам нужно, тем больше они закрепляют определенное положение вещей.

    То, что по сравнению с миром прошлого мы все больше опираемся на то, что нам посоветуют системы, созданные дата-сайнтистами, довольно специфическим образом меняет наше восприятие мира.

    Идеальный пример — новостные ленты. В целом и до того, как появился интернет и новостные паблики, уже было известно, что люди склонны искать подтверждение своему мнению и формировать круг того, что они читают, и тех, с кем они общаются, исходя из близости их взглядов к своим. В ранних исследованиях эффект назывался «эхо-комнатами», сейчас более привычным термином стал «информационный пузырь». Повсеместное внедрение рекомендательных систем закрепило и развило этот давно хорошо известный эффект, приводящий к смещению восприятия и приверженности такой когнитивной ошибке, как предвзятость подтверждения.

    Вчера человек выписывал газеты определенной направленности — сегодня подборку новостей делает алгоритм на главной странице поисковика или социальной сети. Вчера мы подбирали друзей по интересам — сегодня всегда можно найти в социальных сетях сообщество, разделяющее даже самые экзотичные воззрения (вплоть до теории плоской земли). Раньше шансы выйти за пределы своего информационного пузыря были невелики, его поддерживали наши привычки и круг общения. Сегодня эти шансы практически нулевые для всех, кто не делает для этого специальных усилий.

    Мир, в котором рекомендации становятся все лучше, сужает наш угол обзора и в некотором смысле начинает формировать нашу повестку самостоятельно.

    В придачу к этому — тут мы начинаем подходить к вопросу буквального смещения данных — есть такая проблема, что модели, которые мы обучаем, обучаются не в вакууме, а уже в некоторой среде, где у людей были определенные когнитивные искажения и они тоже отпечатались в наборе данных.

    Например, в США используется система, рассчитывающая вероятность повторного правонарушения и рекомендующая судьям более или менее строгое наказание. Казалось бы, хорошая идея — так судья будет избавлен от личных симпатий или антипатий к правонарушителю. На деле оказалось, что точно так же, как судьи бывают предубеждены против людей с определенным набором характеристик, была предубеждена в этом и система. Почему? Разработчики утверждают, что расовые характеристики при разработке не использовались. Тем не менее, есть множество косвенных признаков, которые позволяют вывести, к какой группе населения относится человек — место проживания, состав семьи, образование, сфера занятости и т.п.

    Это довольно интересный кейс: мы ведь понимаем на бытовом уровне, почему какие-то категории людей более подвержены тому, чтобы совершить правонарушение и оказаться в тюрьме. При этом, если мы это понимание автоматизируем, предоставив те же факты, на которых мы пришли к этому выводу, системе искусственного интеллекта, то получается, что мы закрепляем неравноправие, возникшее на основании неучтенных искусственным интеллектом фактов. И продолжаем воспроизводить однажды возникшую ситуацию — в некоем дистопическом будущем уже, возможно, даже не рефлексируя о том, почему мы считаем одних людей более вероятными преступниками, чем других.

    Поэтому важна работа аналитиков уже после внедрения аналитических систем: у живого человека есть некоторый люфт, в пределах которого он может задуматься о своей правоте, сделать какую-то личную оценку, приобрести новый опыт, учесть неожиданные изменения, произошедшие в системе.

    Опыт, который был приобретен искусственным интеллектом, основан на прошлом: алгоритм знает, как было хорошо, и что делать, чтобы было хорошо и дальше.

    Кто понесет ответственность за ошибки искусственного интеллекта?

    Это сложный этический вопрос, и однозначного ответа на него еще нет (как и на многие другие вопросы выше).

    Посмотрим, например, на разработку управляемых искусственным интеллектом автомобилей. С одной стороны, они всё более самостоятельны, с другой стороны, как правило, разработчики требуют, чтобы за рулём был человек, готовый перехватить управление. И ученые, и простые люди продолжают дискутировать о том, в чью пользу должен быть выбор машины, которую ведет искусственный интеллект, если перед ней возникает угроза сбить пешехода — в пользу человека, которого она везет, или в пользу пешехода?

    В зависимости от выбранной точки зрения можно спорить дальше: если машина должна прежде всего отвечать за безопасность тех, кто внутри машины, то почему? Пешеход же ни в чем не виноват, он просто мимо проходил. А если она должна совершать выбор в пользу пешехода против безопасности тех, кто сидит в машине, то почему? Они же в ней сидят, и, казалось бы, искусственный интеллект должен позаботиться о тех, кто ему доверился.

    И ситуаций, куда нельзя применить что-то вроде «трех законов робототехники», немало. Возьмем классическую дилемму вагонетки (где нужно выбрать, кто пострадает — один человек или много), или ее вариацию про толстяка, которого нужно столкнуть/не столкнуть на рельсы, чтоб не допустить/допустить большее число жертв, — как должен поступать хороший робот? Классические задачи на этику, использовавшиеся в экспериментах психологов, вовсю обсуждаются и с точки зрения действий искусственного интеллекта в такой ситуации.

    На данный момент принято, что от искусственного интеллекта, который должен будет принять решение, ценой которого могут быть жизни людей (а не какая-то экономическая упущенная выгода), конечное решение передается к человеку. Алгоритмы не решают, они советуют специалисту. Пока такие перспективные проекты, как искусственный интеллект-доктор, ставящий диагноз, все еще остаются нереализованными и действующими в лучшем случае в пилотной роли советчика. Ведь если искусственный интеллект ставит некий диагноз и на его основании дает врачебные рекомендации, на кого должна быть переложена ответственность за его ошибку? Если ошибся доктор-человек — существуют давно разработанные механизмы, а вот как поступать в случае, если ошибся алгоритм, дав неверную или опасную рекомендацию — непонятно. Так что, несмотря на то, что в медицине довольно много перспектив по передаче внешне тривиальных случаев в руки искусственного интеллекта, такого перехода пока не произошло.

    Как крупные компании борются с проблемами?

    Разумеется, смещения данных — не тайна, и крупные компании прекрасно об этом знают. Существуют разные методы борьбы в зависимости от того, что вызывает само смещение (изначальная неполнота относительно моделируемой области; изменения, обусловленные изменением моделируемой области в связи с обновлением процессов или просто во времени; контроль качества за изменением поведения акторов после того, как модель на них повлияла и т.п.).

    Мне доводилось слышать, что у некоторых уже есть специальные отделы мониторинга data quality (качества данных), которые занимаются непосредственно тем, что ищут неучтенные аномалии, какое-то странное поведение модели, а также контролируют, чтобы ее качество было равномерным на всех типах объектов. В общем, это такие профильные специалисты, которые следят, чтобы в дата-сайнтистской операционной было чисто.

    Нo, насколько я знаю по общению с коллегами, как правило, занимаются этими вопросами те же дата-сайнтисты, которые разрабатывали изначальные модели, просто потому, что они профильные специалисты в изучении данных и всего, что происходит на стороне систем машинного обучения. Если у вас есть другой опыт — будет интересно узнать о нем в комментариях.

    Александра Царева, ведущий специалист Центра машинного обучения "Инфосистемы Джет"

    Инфосистемы Джет
    Системный интегратор

    Comments 25

      +4
      Разработчики утверждают, что расовые характеристики при разработке не использовались. Тем не менее, есть множество косвенных признаков, которые позволяют вывести, к какой группе населения относится человек — место проживания, состав семьи, образование, сфера занятости и т.п.

      В переводе на простой язык: представители определённой социальной группы (назовём её условно "негры") по тем или иным причинам чаще совершают преступления. И система это считала безо всякого воздействия вроде расовых характеристик в коде. Значит, проблема не в системе, а в том, что негры чаще совершают преступления, и надо решать именно эту, реально существующую, проблему, а не вымышленную.


      И ученые, и простые люди продолжают дискутировать о том, в чью пользу должен быть выбор машины, которую ведет искусственный интеллект, если перед ней возникает угроза сбить пешехода — в пользу человека, которого она везет, или в пользу пешехода?

      100500-й раз этот вопрос упоминается на Хабре. Ложь, повторенная тысячу раз, становится правдой? Выбор машины должен быть в пользу соблюдения ПДД и ни в чью более. При этом травматизм её пассажиров исключается, поскольку ПДД так устроены, что при их всеобщем соблюдении аварии невозможны, в правилах нет такой лазейки.


      Пешеход же ни в чем не виноват, он просто мимо проходил.

      Каким образом этот мимокрокодил оказывается на проезжей части, когда по ней едут машины? На красный перебегает? Из-за угла в неположенном месте выскакивает? Или, может, машина, алгоритмы которой полностью исключают нарушение ПДД, взяла и поехала по тротуару? Каким вообще образом может возникнуть угроза сбить пешехода, если и он и машина соблюдают ПДД? Это абсолютно невозможно.


      И да, если пешеход почему-то внезапно оказывается посреди проезжей части, то на этот счёт в ПДД тоже есть чёткая инструкция: экстренно тормозить вплоть до полной остановки. Учитывая скорость реакции автопилота по сравнению с живым водителем и соответственное увеличение тормозного пути, у пешехода-нарушителя в любом случае больше шансов выжить при внедрении автопилотов.


      Классические задачи на этику, использовавшиеся в экспериментах психологов

      … оторваны от реальности и потому абсолютно бесполезны в практическом плане. (Ради мысленного эксперимента хотелось бы заслушать юрист-куна, будут ли судить по 105-й того, кто перевёл стрелку, или спишут на обоснованное причинение вреда).

        +1
        Каким вообще образом может возникнуть угроза сбить пешехода, если и он и машина соблюдают ПДД? Это абсолютно невозможно.

        Поскользнулся и упал. Толкнули. В рамках ПДД переходил дорогу в плохо освещённом месте с отвратной разметкой под снегом.
        Минимум три варианта сразу видятся.


        то на этот счёт в ПДД тоже есть чёткая инструкция: экстренно тормозить вплоть до полной остановки

        Если не ошибаюсь — ещё и не меняя полосы. То есть именно тормозить ровно, чтоб не создавать аварийные ситуации в других полосах.

          +2
          В любой из этих ситуаций и во всех, которые я могу себе представить, автопилот должен в первую очередь сохранять жизнь пассажиру. Как минимум потому, что никто не будет покупать автопилот, для которого владелец — не первый кандидат на спасение жизни. Если никто не будет покупать автопилоты, то отрасль может сильно задержаться в развитии, даже при законодательном принуждении к их использованию.

          То есть в любом случае ситуация
          1 — автопилот пытается спасти пешехода (и имеет на это больше шансов, чем водитель), но в первую очередь спасает пассажира — более выгодна, чем
          2 — водитель пытается спасти пешехода, но в первую очередь спасает себя, и чем
          3 — автопилот пытается спасти пешехода в первую очередь, но не имеет почти никаких шансов вообще оказаться на дороге с пассажирами внутри
            +1
            Как минимум потому, что никто не будет покупать автопилот, для которого владелец — не первый кандидат на спасение жизни.

            Если законом разрешены только такие, то будут покупать именно такие :)


            То есть это примерно из той же серии что и ситуация с какими-нибудь "кенгурятниками". То есть владельцу машины от кенгурятников есть заметная польза(меньше поверждений у машины и/или их дешевле ремонтировать), но при этом повышенная травмоопасность для пешеходов. Поэтому в ряде стран они либо вообще запрещены, либо достаточно жёстко регулируется кому и какие можно ставить.

              +3
              Кенгурятники запрещают, потому что есть повышенная опасность для пешеходов по сравнению с остальными автомобилями, при этом для водителя разница в смысле выживания не так велика. Автопилоты запрещать в таком контексте смысла меньше, тк оба вида автопилотов более безопасны и для водителей, и для пешеходов. Вопрос в том, кто будет в большей безопасности, и для такого выбора я вижу два критерия — соблюдение ПДД (кто прав, у того больше шансов выжить) и драйвер развития самой отрасли автопилотов — мотивация к покупке автопилота.

              Разница в желании водить обычный внедорожник и с кенгурятником невелика, в любом случае водитель несет ответственность за свою жизнь на дороге. Эта же разница в случае с автопилотами принимает совсем другие масштабы. Я не берусь предсказывать, какую популярность могли бы завоевать автопилоты с приоритетом для пешеходов, но причин запрещать приоритет для водителя явно меньше по сравнению с теми же кенгурятниками.

              Если по каким-то причинам будут разрешены только автопилоты с приоритетом для пешехода, то водители-пассажиры будут искать разного рода уловки для повышения собственной безопасности. Так как доверие в целом к автопилотам у водителей будет невысоким, можно предположить, что эти уловки будут деструктивными. Возможно, будут использоваться системы имитации автопилота или другие способы, сводящие на нет усилия со стороны производителей и властей. Возможно, пассажиры просто будут бояться садиться в авто. В любом случае, это должно привести к более сильному конфликту.
                0
                Я не берусь предсказывать, какую популярность могли бы завоевать автопилоты с приоритетом для пешеходов, но причин запрещать приоритет для водителя явно меньше по сравнению с теми же кенгурятниками.

                Да их даже запрещать по хорошему не надо. Достаточно парочки дорогих судебных процессов когда родственники погибших пешеходов обвинят производителей этих самых автопилотов с приоритетом для водителей. А они наверняка рано или поздно обвинят. И рано или поздно где-нибудь да и выиграют.


                Если по каким-то причинам будут разрешены только автопилоты с приоритетом для пешехода, то водители-пассажиры будут искать разного рода уловки для повышения собственной безопасности.

                Зачем из одной крайности в другую? Скорее всего просто запретят "автопилоты с приоритетом" как таковые и всё.

                  0
                  По такому же принципу можно представить судебные процессы от родственников водителей. Но я согласен, такие крайности сильно упрощают реальную картину, в действительности будет большое количество нюансов и намного более сложные системы принятия решений, где вопрос приоритета не будет таким однозначным)
                    +1

                    Если сделать автопилоты с приоритетами для кого-то другого, то да. Поэтому скорее всего такое как минимум не будут афишировать.


                    Плюс как бы в ряде стран уже сейчас вроде бы определились что никаких приоритетов у автопилотов быть не должно. Даже вполне себе "логичных" приоритетов.


                    А вряд ли производители будут делать разные автопилоты для разных стран.

                  +1
                  автопилоты с приоритетом для пешеходов

                  А можете объяснить более предметно, что вы вкладываете в понятие «приоритет»? Откуда и в каких условиях этот приоритет берётся? На секунду, у нас в стране, да и в большинстве стран мира (за исключением тех, в отношении которых Трамп дал очень краткую и точную характеристику) действуют ПДД, которые непротиворечивы, т.е. не допускают возможности аварии при их соблюдении потенциальными её участниками. Если же авария произошла из-за нарушения правил, то виновен в ней именно нарушитель. Беспилотники ПДД не нарушают и с неисправными тормозами никуда не едут, это в них вшито как аксиома.

                  Итак, откуда же в таких условиях взяться разнообразным приоритетам? Надо просто соблюдать правила. Если впереди зебра — заранее чуть сбавляем скорость и внимательно следим за людьми по краям дороги, чтобы иметь возможность затормозить. Если пешеход вышел в неположенном месте — тормозим, чтобы не сбить. Если он внезапно появился прямо перед машиной — ПДД предписывают экстренно тормозить, а там уж как получится, ибо ССЗБ. Вертеть рулём и уходить на встречку/в столб при этом совершенно необязательно и не нужно. (Тем не менее, если беспилотник видит возможность безопасно увернуться — например, встречка совершенно свободна и сзади никто не подпирает — то он вполне может это сделать и сделает с большей безопасностью и реакцией, чем живой водитель, который при таком манёвре уж точно не оглянется на предмет обгоняющих).
                    +1
                    Если же авария произошла из-за нарушения правил, то виновен в ней именно нарушитель


                    Все не так просто, к сожалению… ст. 1079 ГК РФ:
                    Юридические лица и граждане, деятельность которых связана с повышенной опасностью для окружающих (использование транспортных средств, механизмов, …, обязаны возместить вред, причиненный источником повышенной опасности, если не докажут, что вред возник вследствие непреодолимой силы или умысла потерпевшего. Владелец источника повышенной опасности может быть освобожден судом от ответственности полностью или частично также по основаниям, предусмотренным п. 2 и 3 ст. 1083 настоящего Кодекса… и т.д.


                    И еще:
                    Вина потерпевшего не влияет на размер взыскиваемых с причинителя вреда расходов, связанных с возмещением дополнительных затрат (пункт 1 статьи 1085 ГК РФ), с возмещением вреда в связи со смертью кормильца (статья 1089 ГК РФ), а также при компенсации расходов на погребение (статья 1094 ГК РФ).

                    Короче, если 100% виноват пешеход, а водитель нет — то в РФ ты все равно должен компенсировать стоимость лечения (похорон) пешехода и его расходы (одежду порвал, ноут жахнул, сделка на миллиард сорвалась (если докажет)). Или попробовать судится и доказать его злой умысел (пешеход не просто дурак, а хотел совершить самоубийство или мошенник) или доказать, что это была непреодолимая сила.
                    Но это именно надо доказать. А по умолчанию — надо платить. Во всех случаях, кроме злого умысла и форс-мажора, выплаты можно только уменьшить. Но не отменить полностью.

                    Вот и начнут пешеходы шугать автопилоты. А их шугать проще — они тупые и линейные. Проще просчитать их реакцию.
                      +1
                      Вы задали очень правильный вопрос, я хотел уточнить еще в прошлом комментарии, но было очень лень печатать(

                      Такого приоритета, который предвзято делает выбор в пользу одного из участников событий, даже если он неправ, конечно, быть не должно. Речь идет о выборе, когда другие аргументы не дают возможности принять решение. Например, когда никто не нарушил ПДД. Несколько опрометчиво утверждение, что при неукоснительном соблюдении ПДД спорных ситуаций возникать не может. Кто-то здесь уже описывал вариант, когда автомобиль уже вытолкнут с трассы в результате аварии и движется в сторону остановки с людьми. Автопилот может скорректировать движение и вылететь с обрыва, сохранив жизни людям на остановке.

                      Конечно, главная задача разработчиков — сделать все, чтобы таких ситуаций не возникало вообще. Хотя в целом стремление избежать ситуаций с принятием сложных этических решений — верное направление мысли, вряд ли возможно сократить вероятность влияния третьих сил до нуля. И пока полной ответвенности ПДД за жизни людей нет, лучше подумать, как принимать такие решения.
                        +1
                        Кто-то здесь уже описывал вариант, когда автомобиль уже вытолкнут с трассы в результате аварии и движется в сторону остановки с людьми. Автопилот может скорректировать движение и вылететь с обрыва, сохранив жизни людям на остановке.

                        Когда автомобиль был вытолкнут с трассы (т. е. находится в движении с ухудшенной управляемостью, предположительно вне асфальтового покрытия, да ещё и может иметь повреждения), единственное верное решение — экстренно тормозить, а не крутить рулём, потому что это может привести к заносу или другим непредсказуемым последствиям. Максимум скорректировать движение в сторону своей полосы движения, если она свободна. Если же автомобиль летит боком, то попытки куда-то вырулить в принципе не будут эффективны. Плюс довольно умным решением будет в момент аварии немедленно активировать клаксон на 5-10 секунд, чтобы привлечь внимание окружающих.


                        Вообще, экстренное торможение без маневрирования — это довольно универсальная стратегия действий в аварийной ситуации. Она не всегда идеальная, но всегда минимально приемлемая. Проще говоря: если точно знаешь, что делать — делай как знаешь; в любом ином случае тормози.


                        Короче, если 100% виноват пешеход, а водитель нет — то в РФ ты все равно должен компенсировать стоимость лечения (похорон) пешехода и его расходы

                        (это ответ не вам, а комменту выше) Уточнение: платить должны не лично вы, а ваша страховая компания. Ну или его страховая компания. В плане материальных расходов вообще всё просто: есть страховка, нет проблем.

                          0
                          платить должны не лично вы, а ваша страховая компания

                          Это в случае, если виноват водитель.
                          А если виноват пешеход, то он обращается с прямым иском к водителю. И платит водитель, а не страховая. Конечно, если это прописано в договоре со страховой — водитель может выставить счёт страховой (но я такого не встречал). Но в случае если виновный пешеход заявляет компенсацию на лечение — тяжба именно пешеход-водитель, а не пешеход-страховая.

                          Да, вот так это и работает. Страховая ОСАГО тут бесполезна. И вроде стандартная КАСКО тоже не работает.
                          И иск взыскании денег о потери кормильца, инвалидности, смерти тоже идёт напрямую водителю.
              +1
              При этом травматизм её пассажиров исключается, поскольку ПДД так устроены, что при их всеобщем соблюдении аварии невозможны, в правилах нет такой лазейки.

              К сожалению, пешеходы и велосипедисты очень часто не соблюдают ПДД — и однозначно рассуждения на эту тему будут другими для ситуации, где и не-автомобиль всегда будет строго соблюдать ПДД. Плюс внедрение автопилотов явно не будет одномоментным и долгое время на одной дороге будут соседствовать несовершенные люди и строго соблюдающие ПДД машины под управлением автопилота.


              Затормозить до полной остановки в случае внезапного появления пешехода перед машиной (например, перелезшего через заграждения магистрали человека, ребенка, который скатился с горки у оживленного шоссе) нередко невозможно просто по законам физики, повсеместное внедрение автопилотов тут не поможет, увы.


              Ну и пункт 10.1 ПДД (который коротко можно пересказать как «правильно скорость выбирайте, а не правильно — не выбирайте») скорее сформулирован за всё хорошее и против всего плохого :) Он совершенно не поддается переносу в алгоритм, а набор обучающего набора данных с разными погодными условиями, разным освещением, разными типами дорожного покрытия и т.п. потребует очень большого времени. Возьмем, к примеру, выход лосей на трассу — разумной для автомобиля скорости, при которой удастся избежать столкновения в 100% случаев, просто не существует (да, существуют техники, позволяющие избежать столкновения, но для всех из них требуется обнаружение лося за некоторое время до, что не всегда возможно — они крайне любят выходить прямо под колеса). Должен ли автопилот в период миграции лосей всегда выбирать скорость пешехода как гарантирующую мгновенную остановку? Будет ли смысл в таком автомобиле? :) Можно было бы предположить, что в идеальном мире будущего все трассы перехода лосей через дорогу будут закрыты заборами, как сейчас делается на магистралях, — но скорее всего найдется какое-то более простое решение, чем огородить вообще все дороги.

                +1
                При этом травматизм её пассажиров исключается, поскольку ПДД так устроены, что при их всеобщем соблюдении аварии невозможны, в правилах нет такой лазейки.

                Остаётся достаточно большая вероятность технического сбоя.
                Например перегорел светофор, частично. Или украли (упал, повредился) знак приоритета (уступи дорогу). В этом случае возможны аварии где оба участника полностью соблюдают ПДД. К сожалению.
                  +1
                  Значит, проблема не в системе, а в том, что негры чаще совершают преступления, и надо решать именно эту, реально существующую, проблему, а не вымышленную.

                  Во первых "разработчики утверждают" не обязательно означает что так оно и есть. Ну то есть если я правильно помню эту историю, то утверждать то они утверждали, а вот проверить это никому не дали.


                  А во вторых даже если они и не использовались, то это не значит что система не могла сама по себе "подхватить" какой-то биас. То есть банально вспоминается история когда военный ИИ из-за кривой выборки для обучения "опознавал" военную технику на фотографиях по наличию/отсутствию на фотографиях теней от облаков. И там тоже потребовалось прилично времени прежде чем это заметили и исправили.


                  То есть речь скорее о том что есть ситуации когда за такую вот "кривую выборку" и ущерб от её последствий кто-то должен отвечать.


                  При этом травматизм её пассажиров исключается, поскольку ПДД так устроены, что при их всеобщем соблюдении аварии невозможны, в правилах нет такой лазейки.

                  Это не совсем так. Ведь есть ещё как минимум форс-мажорные ситуации.

                  0
                  В зависимости от выбранной точки зрения можно спорить дальше: если машина должна прежде всего отвечать за безопасность тех, кто внутри машины, то почему? Пешеход же ни в чем не виноват, он просто мимо проходил. А если она должна совершать выбор в пользу пешехода против безопасности тех, кто сидит в машине, то почему? Они же в ней сидят, и, казалось бы, искусственный интеллект должен позаботиться о тех, кто ему доверился.


                  В литературе приведены случаи, когда человек в похожей неразрешимой ситуации самоуничтожался. Может ИИ научившись на такой литературе будет самоуничтожатся? В этом случае неуправляемая машина на большой скорости убьет пешехода и пассажира.
                    0
                    По форме. Только вчера написал про «русское» слово «кейс» в инструкцию написания статей на Хабр. И вот здесь читаю:

                    Это довольно интересный кейс

                    Но потом:

                    И ситуаций, куда нельзя применить что-то вроде «трех законов робототехники», немало.


                    Объясните: когда какое слово применять? ;)
                      +1

                      Я совсем не филолог или писатель-профи, так что выбираю скорее так, как мне кажется более логичным, это скорее моя вкусовщина :) Но «кейс» очень укоренился к русском в значении «конкретная ситуация».

                        0
                        Спасибо за ответ. И я не филолог, но думаю что вопрос:

                        какие мазер-платы юзал фазер Майкрософта Уильям Гейтс?

                        все поймут, но форма не всем понравится ;)
                      +1
                      Раньше шансы выйти за пределы своего информационного пузыря были невелики, его поддерживали наши привычки и круг общения. Сегодня эти шансы практически нулевые для всех, кто не делает для этого специальных усилий.

                      Да уж, "вы смотрели такое — вам может понравиться похожее" и резко упрощение ликвидации из ленты любых не нравящихся точек зрения/новостей/источников очень способствует "окукливанию".
                      (ps пардон, сперва коряво прочёл исходник, потом уже перечитал и исправился)


                      Тем не менее, есть множество косвенных признаков, которые позволяют вывести, к какой группе населения относится человек — место проживания, состав семьи, образование, сфера занятости и т.п.

                      А ещё существует проблема что да, определённые категории населения(речь же про США и проблему что цветное население непропорционально много преступлений совершает, за что и попадает под проверку чаще же — но говорить об этом нельзя, потому что фу и расизм) статистически чаще совершают такие или такие правонарушения. А другие статистически чаще в других оказываются замешаны. Статистика, неполиткорректная ты с… наука.
                      Так что проблема не в "неполиткорректном ИИ", а в том, что связь и правда есть. И её настоящую первопричину никакой ИИ и программист/составитель датасетов не испавит. Потому что она в области социальной, экономической, культурной.

                        +1
                        Надо выкинуть из модели все признаки относящиеся к большим группам людей и незначительные веса. Вроде таких
                        Носит бороду(истина для большой группы) = +0.0001223 к весу того что убийца. На выброс.
                        Мужчина = +1 к весу того что убийца. Это тоже выбросить.
                        Тогда должны остаться только значимые и специфичные корреляции.
                          0

                          Африканское происхождение = +1 к применению комплекса изосорбид/гидралазин для сердечных заболеваний. Выкидываем.

                          +1
                          определённые категории населения статистически чаще совершают такие или такие правонарушения

                          В целом всё так, но, скажем, для исправления ситуации с повторяющимися преступлениями — важно найти истинные причины (помня о том, что в статистике корреляция не означает причинность). В противном случае мы можем оказаться в ситуации, когда ИИ проанализировал поведение людей с диагностированным раком легких и посоветовал выбросить зажигалки, потому что наличие зажигалки в вещах пациента коррелирует в большим риском такого диагноза — а на деле человек, изучавший датасет, должен был сказать «постойте, но там может быть третий фактор!»
                          Для судебной системы, например, может быть ценно через анализ значимости признаков понять, почему одни совершают снова преступление, а другие точно такие же по своим характеристикам — нет (и на этот признак воздействовать или ввести дополнительные факторы, с ним связанные, в модель). Но в поведении людей столько влияния латентных переменных, что процесс может быть очень-очень длительным.

                          +1
                          Классная, и на мой взгляд, архиважная тема.
                          Тут нельзя не вспомнить историю Калеба Кейна, когда поднялся вопрос о радикализации пользователей потребителей контента ютуба.
                          Но выводы в NYT, по-моему сделаны не полные. Они либо не смогли, либо постеснялись сделать комплексные выводы. Ведь ютуб радикализирует не в одном направление, он радикализирует во всех направлениях. С той точки зрения, что радикализация пользователей начинает напоминать кластеризацию, которую строят алгоритмы машинного обучения.
                          Если человек попадается в какоую-то группу интересов, система формирует аттрактор смещения его интересов приводя его в какой-то устойчивой кластер потребителей контента.
                          Здесь вызывает умиление следующий тезис
                          Разумеется, смещения данных — не тайна, и крупные компании прекрасно об этом знают. Существуют разные методы борьбы ...

                          Кто сказал, что компаниям выгодно бороться со смещением данных, и в конечном счете смещением восприятия потребителей этих данных. Ведь это смещение формирует положительную обратную связь. А с точки зрения, больших компаний, пользователи интересы которых гипертрофируются, радикализируются, или перемещаются в центр какого-то выделенного кластера, более выгодны чем пограничные не устойчивые потребители контента.
                          Чем важнее контент, с точки зрения потребителя, тем больше в нем необходимость. Поэтому вполне выгодно слегка подвинуть восприятие потребителя.

                          Only users with full accounts can post comments. Log in, please.