Comments 134
Во-первых, высказывание, что нейросети похожи на мозг - это маркетинговая уловка. Они на заре существования были похожи на мозг, а сейчас это дифференцируемые вычислительные графы, в которых нет такой концепции, как нейрон.
Во-вторых, черноящичность вытекает не только из применения нейросети, а ещё из характера задачи. Мы говорим компьютеру: найди формулу, которая отличает такие-то штуки от таких. Если бы формула была простой и маленькой, мы бы и так её нашли. Но эти данные плохо описываются короткой формулой - и потому компьтер строит сложную формулу. А мы ещё не можем потом прочитать, так как она имеет размер в пару гигабайт. Это была ожидаемая ситуация, и она акутальна не только для нейросетей.
В любом случае, есть способы улучшить "подконтрольность" нейросети, не заглядывая внутрь. Можно задавать ей правильные вопросы и смотреть, что она отвечает. Например, если мы хотим узнать, почему она человека такого-то считает фродером, можно подвигать данные по этому человеку (чуть-чуть поменять их в разные стороны) и посмотреть, на какие из фичей самая сильная реакция. Или можно взять эмбеддинг (внутреннее состояние одного из слоёв) и поискать другие экземпляры данных с тренировочной выборки, у которых похожий же эмбеддинг.
Или, если нейросеть нам рекомендует нечто, мы можем спросить её: а что конкретно будет, если мы последуем этой рекомендации? А если сделаем иначе - что изменится?
Насчёт обучения с подкреплением - хорошо бы учитывать, сколько это стоит по данным. Самое быстродействующее RL, что мне известно, начинает действовать лучше рандома где-то на стотысячном действии. Вручную разметить столько наград - ну не знаю, сомнительно. В оффлайне это обучить (то есть на данных наблюдений, а не экспериментов, идущих вот-прям-щас) тоже не факт, что выйдет.
В машинном зрении также применяются salient maps и feature maps. А касательно мозга, нейросетки никогда не были похож на мозг. Первые из них были вдохновлены тогдашними нейромоделями, которые никогда не охватывали работу всего мозга, а лишь отдельных его отделов. Нейрон нейросетки и нейрон мозга не сводятся к одному и тому же.
Во-первых, высказывание, что нейросети похожи на мозг — это маркетинговая уловка. Они на заре существования были похожи на мозг, а сейчас это дифференцируемые вычислительные графы, в которых нет такой концепции, как нейрон.Ну все же модели формальных нейронов моделируют суммативные способности биологических, а это их основная функция. Другое дело, что биологические функционируют в энергетически выгодном, импульсном режиме, и могут обладать, как пространственной, так и временной суммацией. Однако есть ИНС с импульсными моделями нейронов, но наилучшие результаты и перспективы в этом направлении у нейроморфных решений. Отдельные модели нейросетей весьма успешно моделируют некоторые возможности мозга, напр, сверточные сети с архитектурой подобной архитектуре связей областей вентрального тракта зрительной системы хорошо моделируют процессы категоризации в мозге.
Настолько успешно, что до нюансов воспроизводят, например, возникновение чувства численности. И такие примеры можно еще привести. Поэтому нельзя сказать, что это только маркетинговая уловка. Немалая истина в этом есть, но и в другом также имеется, это упрощенные модели биологических нейронов и сетей, по той даже причине, что реальные возможности биологических нейронов моделируются целыми нейросетями, см. 1, 2, 3. А биологические регулируются дополнительно с помощью нейромедиаторов. Использование аппаратных ускорителей и оптимизация вычислений ничего в этом плане не меняет. Не исключено, исходя из соображений энергетической эффективности, со временем технологическая эволюция этих решений постепенно сольется с нейроморфным подходом, или останется нишевым решением.
Понятно, что можно сделать более похоже на нейрон. Но в чём конкретно профит? Он же измеряется не в энергоэффективности (сколько там стоит месяц работы нейросети в сравнении с ценой сервера, на котором её обучали?), а либо в меньшем loss, либо в менее дорогой видеокарте, либо в более быстром процессе обучения. Правда ли импульсные нейросети лучше по этим характеристикам? И если да, то почему не вытеснили дифференцируемые графы, как в Торче?
Что свёрточные похожи на зрительную кору - согласен. Но сейчас SOTA в этой области - трансформеры, которые не особо биологичны
Понятно, что можно сделать более похоже на нейрон.Насколько помню у вас специфичный подход к разработке. Обычные используют модификации этой обобщенной схемы, прототипом которой является биологические нейроны.
Но в чём конкретно профит? Он же измеряется не в энергоэффективности (сколько там стоит месяц работы нейросети в сравнении с ценой сервера, на котором её обучали?),Зря не дооцениваете, как бы это не секрет 1, 2.
Правда ли импульсные нейросети лучше по этим характеристикам?Как бы тоже не секрет, в разных статьях про это видел, включая расчеты и демонстрации — 1, 2, 3.
И если да, то почему не вытеснили дифференцируемые графы, как в Торче?Потому что традиционные модели намного проще пока в реализации, включая в программном виде, а нейроморфные на стадии внедрения, т.к. требуют аппаратной реализации. Intel, IBM, и другие вкладываются в разработки. Традиционные ИНС реализуют статические схемы, нейроморфные динамические, асинхронные, что намного ближе к биологическим прототипам. Пока конечно традиционные решения еще долго будут определять эту отрасль из-за относительной простоты реализации.
трансформеры, которые не особо биологичныЭто потому что много обвязки вокруг таких сетей, которые не реализованы в сетевой среде + необходимость оптимизации под ускоряющие вычисления оборудование. Смотрим в описание
Каждый кодировщик состоит из механизма самовнимания (вход из предыдущего слоя) и нейронной сети с прямой связью (вход из механизма самовнимания). Каждый декодировщик состоит из механизма самовнимания (вход из предыдущего слоя), механизма внимания к результатам кодирования (вход из механизма самовнимания и кодировщика) и нейронной сети с прямой связью (вход из механизма внимания).Никто не требует, и это бессмысленная затея, все реализовывать с помощью только технологии нейросетей)
Отдельные модели нейросетей весьма успешно моделируют некоторые возможности мозга, напр, сверточные сети с архитектурой подобной архитектуре связей областей вентрального тракта зрительной системы хорошо моделируют процессы категоризации в мозге.
Общего на этой картинке только то, что и там и там несколько уровней обработки информации. Несколько слоев сами по себе это не архитектура, архитектура это то, как передается и преобразуется информация между ними. На данные момент неизвестно, как обрабатывается информация в "областях вентрального тракта". Поэтому ваше утверждение неверно и бессмысленно, непонятно, почему вы везде про это говорите.
Многослойность плюс рецептивные поля. Вроде действительно стянули идею у живых организмов.
Иногда что-то действительно делают через бионику, иногда это становится SOTA
Это не делает утверждение верным, что архитектуры подобны потому что они состоят из нескольких шагов.
Многослойность это довольно очевидная вещь, любой сложный алгоритм состоит из нескольких шагов. Рецептивные поля сами по себе тоже — раз мы можем выделять один и тот же объект в разных положениях на видимой области и отслеживать несколько объектов, значит она как-то разбивается на более мелкие части. Вот первый шаг с круговыми ON-OFF полями это да, так сходу и не догадаешься.
Это не уловка, просто процесс настройки или калибровки весовых коэффициентов нейросети похож на обучение человека или животного. Чтобы "научить" нейросеть букве А нужно ей 100 раз "показать" букву А. Если ей потом не показывать букву А а 100 раз показать букву Б, то она научится букве Б, но забудет букву А. А чтоб она запомнила обе буквы, то их нужно показывать попеременно. (если собаку научить сидеть по команде, а потом учить только лежать, то она забудет команду сидеть, вот и сходство )
если собаку научить сидеть по команде, а потом учить только лежать, то она забудет команду сидеть, вот и сходство
Нет.
Настрока коэффициентов нейросети технически не очень похожа на то, что происходит у живых существ. В живых нейросетях нет обратного распространения ошибки и нет некоего внешнего по отношению к сети алгоритма, который обучал бы её (по крайней мере из того, что пишут нейрофизиологи, этот алгоритм не следует).
В ИНС используется концепция дифференцируемого вычислительного графа, а не отдельных нейронов - то есть это по сути программный код с параметрами, абсолютно любой программный код, лишь бы можно было взять производную.
Трансформер, который сейчас SOT на многих задачадх, довольно далёк от биологической нейросети.
Ну и используются эти системы по-разному: основной сценарий применения ИНС - это апроксимация, а основной режим работы живой нейросети - это система управления.
Это не что-то плохое: ИНС делаются в первую очередь для задач бизнеса. Решение задачи важно, соответствие биологическому аналогу - по боку.
В живых нейросетях нет обратного распространения ошибки и нет некоего внешнего по отношению к сети алгоритма, который обучал бы её (по крайней мере из того, что пишут нейрофизиологи, этот алгоритм не следует).Это не совсем так, хотя этот механизм продолжает изучаться. Основной механизм хеббовский, но он формулируется как правило, конкретизируется в STPD. Хотя сейчас все больше говорят о нейропластичности на всех уровнях мозга. Эти принципы как раз пытаются реализовать в нейроморфных решениях.
Ну и используются эти системы по-разному: основной сценарий применения ИНС — это апроксимация, а основной режим работы живой нейросети — это система управления.В мозге тоже происходит аппроксимация в куда больших масштабах. Объекты реконструируются, границы интерполируются, прогнозируются окклюзии, достраиваются контуры, и еще много подобного, короче, наше восприятие)
Решение задачи важно, соответствие биологическому аналогу — по боку.Всему свое. Бизнесу приложения, нейробиологам метод моделирования функций мозга, и это взаимно влияет друг на друга, отсюда черпаются идеи для приложений.
Может стоит смириться с тем, что в задачах, где недопустимы ошибки, искусственные нейросети без сильного ИИ могут иметь только вспомогательную роль, а последнее слово должно оставаться за человеком с полноценным мозгом и жизненным опытом?
А ИИ -- и подавно.
Тут как с роботами автомобилями, ошибаться никак нельзя будут трупы. Но если ошибаться реже то будут спасённые жизни, много спасённых жизней.
Если ошибся человек - виноват конкретный человек. А если машина?
Бывает же что никто не виноват — стихийное бедствие например, какая-то катастрофа которую невозможно было предотвратить, неизлечимые болезни.
Почему в данном случае нельзя рассматривать это как подобное событие?
Можно вести серьезные, но фиксированные штрафы компаниям разработчикам автопилотов в зависимости от серьезности ДТП если причины по расследованию выявят их ошибки. Которые будут изменяться коэффициентом который зависит от общей статистики по аварийности их автопилота к среднему на дорогах.
То есть проблема только в том, чтобы было кого наказать?
Да. В развитом мире целые армии юристов, которые только и ждут, появления повода засудить.
Почему в данном случае нельзя рассматривать это как подобное событие?
Потому что это катастрофа, созданная творением человеческих рук. Если проносится ураган и человек страдает - виновата природа, взятки гладки, бог трубку не берет. Если рядом на бензоколонке происходит взрыв из-за статического электричества и нарушения ТБ (а их обязательно найдут) и страдает человек, то виноват хозяин бензоколонки,и он будет оплачивать ущерб.
Когда все эти автоматические системы будут в н-ом поколении полностью созданы такими же автоматическими системами, тогда и можно будет к результатам их деятельности относиться как к природному событию. Когда эти системы станут сильными ИИ с гражданскими правами и свободами, то все претензии тоже можно будет направлять им. А пока что при просчетах ИИ юристы и регуляторы будут натягивать переход туловища в ноги на визуальные персептривные органы создателю программного продукта.
Да. В развитом мире целые армии юристов, которые только и ждут, появления повода засудить.Армии юристов действуют в рамках правового поля, которое задает государственная власть (законодательная и судебная системы). Поэтому если профит от технологии многократно превышает риски, то законы будут адаптированы под это дело.
У нас давно есть куча потенциально смертельно опасны технологий от которых периодически гибнут люди, но никто никогда от них не откажется, потому что профит многократно перевешивает риски. Поэтому газовое оборудование продолжит с некоторой небольшой но не нулевой вероятностью взрываться, самолеты изредка падать, медицинские манипуляции и лекарства иногда убивать людей вместо спасения и т.д. и т.п — ничего принципиально уникального нет в ситуации, что человек использует что-то опасное что не может полностью контролировать и что может его потенциально убить.
Посмотрите на фармакологию, например. Там куча рисков, что созданное лекарство может калечить и убивать пациентов. И концепция черного ящика тоже частично применима, так как сложность организма на молекулярном уровне настолько огромна, что нельзя предугадать все возможные влияния препарата и исключить риски. И в истории известны эпические провалы в этой сфере, тот же талидомид, например. Из-за опасности отрасль сильно зарегулирована, куча дорогостоящих тестов и экспертиз перед запуском препарата, но отрасль продолжает работать. И никакой провал отдельного препарата или компании в этой отрасли никогда саму отрасль не похоронит.
Поэтому газовое оборудование продолжит с некоторой небольшой но не нулевой вероятностью взрываться, самолеты изредка падать, медицинские манипуляции и лекарства иногда убивать людей вместо спасения
И во всех этих случаях встает вопрос о компенсации погибшим или пострадавшим. Касательно медицины - врачи в США имеют страховку от судебных дел из-за malpractice suits. Да, иногда выкручиваются, на чаще платят.
Когда ошибается врач - это ошибка конкретного врача. Когда ошибается единая система -это ошибка всей системы, и возможны групповые иски.
Так кстати в фарм индустрии и происходит. Системный сбой автопилота это аналог примеси в лекарственном средстве, от которого люди массово начинают болеть и умирать, а не побочных эффектов во-время клин испытаний.
Ну так точно так же можно ввести обязательную страховку для использования определённых категорий ИИ.
И в случае с машинами это для кучи стран вообще не проблема потому что там всё равно есть обязательное страхование для машин.
То есть если случилась авария, то по дефолту оплачивает страховка. А потом в случае чего она сама уже разбирается с производителями машин/создателями ИИ. Как это сейчас делается в случае с заведомо неисправным "железом" в машинах.
Проблема в ПДД.
Из-за неспособности составить "правильные" ПДД, они составлены так, чтобы всегда можно было назначить виновного.
Не учёл дорожную обстановку и двигался слишком быстро самое распространённое.
По вашему в случае одинаковых ДТП в случае если за рулём человек, ему будут назначать вину за несоблюдение ПДД, а в случае если за рулём ИИ это стихийное бедствие?
А в то, что ПДД смогут корректно переписать я не верю.
По вашему в случае одинаковых ДТП в случае если за рулём человек, ему будут назначать вину за несоблюдение ПДД, а в случае если за рулём ИИ это стихийное бедствие?А если человек двигался 100% по правилам, машина прошла все ТО и правильно обслуживалась, но например взорвалось колесо, что вызвало потерю управления и аварию, то виновен тоже водитель?
На практике в каждом кокретном случае разбираются: мог видеть/не мог, брак/не брак. Но по-умолчанию водитель виноват. т.к. он управляет средством повышенной опасности.
Юридический принцип здесь прост: не хочешь нести ответственности — не садись за руль. А раз сел, то да, ты уже виноват в том, что вывел в общественное пространство опасную хрень и потому несёшь ответственность за ущерб этой хренью принесённый.
Это примерно как стать родителем — ты тоже можешь быть виноват в том, что не совершал, но что обязан был контролировтаь.
и таким образом имеет документ об исправности транспортного средства
Ну вот вы например и нашли крайнего. То есть того кто подписал этот документ.
В таком случае он проверил перед выездом, но не обеспечил в пути
2.3.1. Перед выездом проверить и в пути обеспечить исправное техническое состояние транспортного средства в соответствии с Основными положениями по допуску транспортных средств к эксплуатации и обязанностями должностных лиц по обеспечению безопасности дорожного движения **.
2.3.1. Перед выездом проверить и в пути обеспечить исправное техническое состояние транспортного средства в соответствии с Основными положениями по допуску транспортных средств к эксплуатации и обязанностями должностных лиц по обеспечению безопасности дорожного движения **.
Да, с точки зрения ПДД виноват водитель.
2.3.1. Перед выездом проверить и в пути обеспечить исправное техническое состояние транспортного средства в соответствии с Основными положениями по допуску транспортных средств к эксплуатации и обязанностями должностных лиц по обеспечению безопасности дорожного движения **.
То есть есть же разница между «решения нейросети в норме приводят к 4% смертей, но это ниже, чем 6% без нейросетей, так что норм», и «решение нейросетей из-за чьей-то халатности приводят к 5% смертей, и хотя это меньше 6% без нейросетей, но можно лучше»?
Вот эту самую халатность и надо бы выявить. Ведь если её не выявлять, то часть ответственных людей на ответственность забьёт.
А в случае стихийного бедствия обычно нет человеческого фактора и выявлять не чего. Хотя на самом деле и это не всегда так. Вспомнить хотя-бы несоблюдение норм пожарной безопасности или недостаточную сейсмостойкость зданий.
С этой точки зрения контроль ИИ+человек определённо лучше, чем что-то одно.
Проблема в том, что способность человека что-то контролировать будет деградировать, если она почти никогда не нужна. Хотя, ИИ может специально мнимо пропускать какие-то проблемы, чтобы проверять человека.
Вы правы, но только нужно проработать вопрос принятия решения. Если анализировать техногенные катастрофы, то можно заметить, что автоматика защиты и без всякого ИИ предвидела катастрофу, но человек пренебрегал правилами и предупреждениями. В случае ИИ его предсказания будут казаться человеку ещё менее обоснованными.
В задачах, где недопустимы ошибки, "сильный" ИИ будет показывать ещё худшие результаты, чем "слабый". В таких задачах нужна голая алгоритмика.
И без сильного ИИ, и с сильным - ответственность должна быть на человеке. Знаю, что эта точка зрения непопулярна. К счастью, насколько я знаю, это пока ещё так
В статье просто ужасные отхождения от этого принципа - ИИ назначает химиотерапию, и садит людей в тюрьму. В данных примерах ИИ может лишь помочь врачу в диагностике, обрабатывая большие объёмы данных, подсвечивая подозрительные места, и аналогично помочь в поимке преступников, анализируя видео, телефонные звонки или подобное
И чаще всего ошибаются при обнаружении женщин с более темной кожей (61% ошибок). Причины, видимо, там было три: фотографий темнокожих женщин меньше всего в базах данных; разработчики таких систем сами преимущественно являются белыми мужчинами; датчики камер хуже распознают детали в темных цветах.
А есть какие-то аргументы в пользу того, что рассово-гендерный состав разработчиков реально как-то влияет на работу системы? Мне вот на вскидку не понятно, как бы он в принципе мог бы повлиять — если речь идёт именно про ML-систему, и разработчики не наполняли систему какими-то эвристик, которые были близки им самим.
Кажется, состав исходной базы данных и оптические свойства тёмной кожи сами по себе достаточно всё хорошо объясняют, а гендерно-рассовый состав разработчиков притянули чисто ради повестки.
Ну и, кстати, говоря, — а как сами BLM относятся к тому, что автор статьи предлагает дискредитировать схему с чёрным ящиком в пользу белого ящика?
Удивительно, что еще не предложено переименовать ящики в прозрачные и непрозрачные.
Процент черных женщин может стать выше. Но про расы я не понял, я может промыт, но насколько мне известно, черное население США действительно более бедно и криминогенно, что выливается в отказы по ипотеке, что не так? Это же чистый рационализм.
Компьютер вам откажет не потому, что вы чёрный, а потому что живёте в районе, который он сочтёт слишком черным и носите имя, которое он сочтёт слишком чёрным.
Т.е., грубо говоря, сменив имя и переехав на соседний переулок, вы получите одобрение по ипотеке, что довольно экзотично. При этом, естественно, вам не скажут, что нужно сделать именно это.
На подобный рационализм всё равно умудряются оскорбляться. Помнится, была автоматизация расчета количества патрулей на районы, и «дискриминируемые» возмущались, мол почему программа направляет больше патрулей в гетто, хотя, разумеется, она отправляла их туда, где больше преступлений.
Если человеку отказали в ипотеке потому что он бедный и имеет судимость, то это нормально. Даже если он чёрный.
А вот если человеку отказали потому что он чёрный и "черное население США действительно более бедно и криминогенно", то это проблема. Потому что этот конкретный человек совсем не обязательно "бедный и криминогенный".
Это буквально одно и тоже же.
То что человек судимый и бедный, не значит что он не отдаст ипотеку. Это тоже статистика же.
Тут мы уже всё-таки потихоньку переходим к причинно-следственным связям. И да, "судимый и бедный" это не особо хороший пример и я его использовал просто "по инерции".
Но вот скажей если "бедный и безработный", то тут уже не прoсто статистика. Потому что если денег нет и заработать он их не может, то и вернуть ипотеку ему не с чего.
Но в США хотя бы есть четкий маркер, позволяющий быстро определять такой провальный ИИ. «Тест по темнокожему».
Интересно, можно ли судить о "провальности" ИИ, если негативный с точки зрения повесточки результат его работы появляется только у одной группы людей? Может, это больше в сторону социологии, а не алгоритмов? С точки зрения математики, на мой взгляд, все очевидно, особенно когда дело касается кредитов.
А как можно сделать белыми (понятными) например правила для хорошей игры в Го? Ведь AlphaGo в итоге опровергла некоторые тактики человеческих мастеров, да и сами мастера часто не могут сказать почему хороша та или иная стратегия, играют на интуитивном уровне.
Можно много смотреть на то, как играет бот, и пытаться уловить паттерны. Если повезёт, их удастся формализовать до уровня слов.
Вроде как научиться у бота хорошей игре люди смогли, а вот что там со словесным описанием этих тактик - хз
правила для хорошей игры в Го
Правило у этого MCTS одно - "просчитывай варианты". Чем больше вариантов просчитаешь и чем лучше эвристики при просчёте - тем сильнее игра. Терафлопсы решают.
ЧСХ, игроки задолго до появления этого типа ИИ использовали подобный метод (быстрая интуитивная оценка, затем просчёт вариантов), это в относительно старых книжках по го есть.
Но дело в том, что "просчитывай варианты" гораздо лучше подходит компьютеру, чем человеку. Человек не может добавить себе ещё 100x вычислительных ядер, и это соревнование бесполезно. Профессионалы го, конечно, заимствуют идеи у ИИ (которые могут выделить), но таким образом ещё никто не смог победить ИИ (и вряд ли сможет).
автоматически отклоняли 80% заявлений от темнокожих заявителей. Используя обширные базы данных, они определили, что люди с такими фамилиями и именами в целом живут в более дешевых домах, а значит, запросы от похожих людей в целом проще отменять.
Я правильно понял, что запрос на ипотеку должны отклонять с большей вероятностью, если заявитель живёт в более дешёвом жилье, но это правило должно действовать только для белых?
Когда такие ИИ внедряли, казалось, они позволят навсегда отказаться от расизма в университетах, при покупках домов и при приеме на работу. Но оказалось, что на деле они только привязались к текущим тенденциям, успешно нашли эти паттерны, и дополнительно их усилили.
Очень странное предположение что должны были избавить от дискриминации, так как статистика по образованию, уровню дохода, количеству преступлений среди темнокожих в США более грустная чем для белых. А обучающая выборка фактически эту статистику и обрабатывала для принятия решений. А не задумывалась о каком то равенстве.
Вопрос в том зачем ИИ вообще что-то знать о параметрах вроде цвета кожи кандидата? Или зачем эти данные были добавлены в обучающую выборку?
Я так предпологаю - ИИ в своем решении исходило только из адреса проживания кандидата. Анкета точно не могла иметь графу "цвет кожи". Просто потом взяли список "отказников" и потом ВДРУГ выяснилось, что они в большинстве своем чернокожие.
Если я всё правильно понимаю, то в случае с ипотеками ИИ ориентировалось по имени-фамилии:
Используя обширные базы данных, они определили, что люди с такими фамилиями и именами в целом живут в более дешевых домах
Вопрос нужно ли знание имени-фамилии для обучения ИИ и для принятия решений по ипотеке? Аналогично с вопросом о принятии в университет или на работу. То есть естественно потом при положительном решении эти данные нужны. Но вот нужно ли их давать ИИ?
А что еще какую информацию тогда нельзя давать ИИ? Возраст (а почему он отказал этому старичку 81 летнему), пол, рост и т.д.? Тогда зачем тогда ИИ нужен? Достаем наугад пару заявок и даем добро. Честно и непредвзято.
А что еще какую информацию тогда нельзя давать ИИ?
Зависит от ситуации и от того что должен решать ИИ. В случае с ипотекой возраст это однозначно важный фактор. В случае с принятием на работу скорее нет. В случае с университетом зависит от правил, может там какие-то ограничения по возрасту есть.
А вот фамилия и имя точно роли играть не должны. Во всех трёх случаях.
Достаем наугад пару заявок и даем добро. Честно и непредвзято.
А потом окажется, что заявки чаще подают белые гетеросексуальные мужчины. Упс...
Кредиты/ипотеки наименее рискованно отдавать людям, которые их выплатят. Т.е. здоровым (не наркоманам/алкоголикам), образованным, с хорошей зарплатой, из благополучной семьи, без отсидок, не на смертном одре и т.д. и т.п. Эти данные необходимы чтобы сеть выполняла свое прямое предназначение. И на данном этапе истории темнокожие во многих регионах будут объективно выгребать по этим параметрам, потому что они исторически так сложились, а не потому что нейросети - расисты. Лет через 50-100 может и не будет разницы.
Условный Барак Обама тоже будет "объективно выгребать"? Или всё-таки нет?
То есть если ИИ получил даные что человек без образования и зарплаты, отказал на этих основаниях и потом выяснилось что человек негр, то это вполне легитимно.
А если ИИ посмотрел имя-фамилию, прикинул что по статистике люди с таким именем-фамилией обычно без образования и хорошей зарплаты и отказал на этом основании, то вот это уже провал ИИ. Вне зависимости от того какой там цвет кожи был у человека.
Условный Барак Обама - не среднестатистический темнокожий. Он этот тест ИИ даже проходить не будет.
А если ИИ посмотрел имя-фамилию, прикинул что по статистике люди с таким именем-фамилией обычно без образования
Это еще доказать нужно. А вой будет в любом случае, просто по факту результирующей статистики.
У условного Барака Обамы будут плюсы в виде высокого дохода, проживания не в гетто, хорошего образования итп
А как вообще можно по имени и фамилии установить цвет кожи ? Вот, например, человека зовут Mike Wilson. Он чёрный или белый ?
По статистике же. Если большинство с такими именем и фамилией чёрные, то значит чёрный.
А откуда у нейросети статистика, позволяющая сопоставлять фамилии и цвет кожи? Если этого параметра не было во входных данных (а согласно статье его не было), и он напрямую не используется как фактор в обучении (то же самое), в недрах нейросети вообще не появится такой абстракции как "темнокожесть".
А ей и не нужен параметр "темнокожесть". Ей достаточно привязки имени и фамилии к каким-то другим параметрам.
То есть например "Mike Wilson" - > бедный и безработный. Поэтому всем с таким именем и фамилией оказываем.
Ну и при этом "Mike Wilson" это сочетание, которое чаще встречается у темнокожих. Что сразу политизирует ситуацию. Хотя она проблематична уже и без этого.
А ей и не нужен параметр "темнокожесть"
Для того чтобы сказать что сеть расистская, потому что она определяет человека как негра, и поэтому ему отказывает - нужен.
Во первых нет. Если кто-то или что-то кого-то там дискриминирует, то это дискриминация вне зависимости от того какими терминами там при этом оперируют. Дискриминация она либо есть, либо её нет.
А во вторых проблема не в том что ИИ там "расист" или нет. ИИ расистом вообще быть не может. Проблема в том что он просто криво работает.
Дискриминация она либо есть
Дискриминация буквально означает ущемление на основании какого-либо признака. Если нейросеть в принципе не кодирует в себе понятия этого признака, то дискриминации по нему по определению быть не может.
Проблема в том что он просто криво работает.
Так она и не работает криво.
Если нейросеть в принципе не кодирует в себе понятия этого признака, то дискриминации по нему по определению быть не может.
Дискриминация определяется по результатам. У вас в теории чугунная гиря может дискриминировать людей. Потому что одни её могут поднять, а другие нет.
Так она и не работает криво.
Работает. Если она вместо релевантных факторов смотрит на имя-фамилию, то это уже криво. Потому что может существовать вполне себе кредитоспособный человек с "неправильной" фамилией. И некредитоспособный с "правильной".
Дискриминация определяется по результатам
Еще раз. У слова дискриминация есть четкое, однозначное определение. Условная нейросеть будет оценивать по именам/геолокации/образовании/судимостям цветных людей ровно так же, как и белых. Следовательно, дискриминации по цвету кожи тут нет.
У вас в теории чугунная гиря может дискриминировать людей. Потому что одни её могут поднять, а другие нет.
Это вообще к чему? Ну да, все люди отличаются друг от друга, и если начать замерять эти отличия, то они (внезапно) будут обнаружены.
Если она вместо релевантных факторов смотрит на имя-фамилию, то это уже криво
Во-первых, мы уже определили ранее по источникам, что она не смотрит на имя и фамилию, зачем вы делаете вид что забыли про это? Во-вторых, даже если бы она смотрела на имя-фамилию, оценивать вероятность возвращения кредита на основе ограниченных данных и имеющейся статистики - это прямое предназначение нейросети. Единственный способ этого избежать это давать кредит вообще всем.
У слова дискриминация есть четкое, однозначное определение.
Ну так приведите ваше и посмотрим насколько оно чёткое, однозначное и самое главное общепринятое.
Это вообще к чему?
Это к тому что если вы повести на дверь гирю и войти смогут только сильные люди, то это тоже дискриминация.
Во-первых мы уже определили ранее по источникахам, что она не смотрит на имя и фамилию
Мы ничего не определили. Мы обсуждаем ситуацию, описанную в статье.
Во-вторых даже если бы она смотрела на имя-фамилию, оценивать вероятность возвращения кредита на основе ограниченных данных - это прямое предназначение нейросети.
Ну да. Но при этом она всё ещё может выдавать кривые результаты. И всё ещё может дискриминировать людей.
Единственный способ этого избежать это давать кредит вообще всем.
Дискриминация вполне себе может быть легитимной. А может и не быть.
Не давать кредит потому что бедный и безработный это легитимно. Не давать кредит потому что чернокожий или имеешь какие-то имя-фамилию не легитимно. По крайней мере это так в большинстве западных государств.
Ну так приведите ваше
Да не нужно никакое "мое", "ваше", и прочих васянов из интернета. В этом и суть - оно уже есть готовое, в толковом словаре. К тому же дискриминировать без признака нельзя, это абсурд.
Это к тому что если вы повести на дверь гирю и войти смогут только сильные люди, то это тоже дискриминация
Ну так не вешайте, и не будет дискриминации. Нейросети такой параметр не передается, и не проверяется. Они лишь находит закономерности существующие в реальности, но это ее прямое предназначаение.
Мы ничего не определили
Определили. И позже я на это еще раз указывал.
Но при этом она всё ещё может выдавать кривые результаты
Может, но к тому что в статье это не имеет никакого отношения. Закономерности в вероятностях которые она находит это именно те закономерности которые ее просили найти. Если нужно чтобы она не учитывала какие-то из входных данных, нужно просто исключить их из списка входных данных и обучить заново по той же базе.
Не давать кредит потому что бедный и безработный это легитимно. Не давать кредит потому что чернокожий или имеешь какие-то имя-фамилию не легитимно
Ну так условная нейросеть не дает кредит потому что человек бедный и безработный, потому что он во входных данных бедный, безработный, а еще у него имя и фамилия которая на N% чаще встречается у бедных и безработных. Все что касается темнокожести просто высосано из пальца и требует пруфов. Особенно это касается утверждений, что она может отсеять обеспеченного человека только по имени и фамилии. Чисто технически у этих параметров не должно быть таких значимых весов, даже если бы они передавались (а это еще нужно подтвердить).
В этом и суть - оно уже есть готовое, в толковом словаре
Толковые словари тоже разные есть. С разными формулировками. Так что давайте конкретно какое определение вы имеете ввиду.
Закономерности в вероятностях которые она находит это именно те закономерности которые ее просили найти.
Тогда мы имеем действительно умышленную дискриминацию. Со стороны тех кто "просил ИИ найти именно такие закономерности"
так нейросеть не дает кредит потому что человек бедный и безработный, потому что он бедный, безработный, а еще у него имя и фамилия которая на N% чаще встречается у бедных и безработных.
И это дискриминация по имени-фамилии. И это точно так же нелигитимно как и дискриминация по цвету кожи.
Толковые словари тоже разные есть. С разными формулировками. Так что давайте конкретно какое определение вы имеете ввиду.
Например. Вот еще. А можно пример словаря, где в определении написано что-то резко другое?
Тогда мы имеем действительно умышленную дискриминацию
Ну да, дискриминацию наркоманов, алкоголиков, преступников, безработных, необразованных, стариков, инвалидов и т.д. По сути каждый параметр, по которому нейросеть сможет найти в статистике корреляцию по возвращению кредитов, будет дискриминационным после определенного порога.
А вот умысел кстати требует отдельного обоснования. Исходя из статьи ничего на это ничего не указывает. Более того, у них были заявлены цели исключить дискриминацию, и если только это не супертонкие тролли, то так оно скорее всего и было.
И это дискриминация по имени-фамилии
Крайне сомнительно, что на исправно настроенной и обученной сетке было бы легко обнаружить такую закономерность, потому что она в и в обучающих данных снятых с реальности не факт что имеет сильную корреляцию. Это все требует подтверждений.
Вот еще. А можно пример словаря, где в определении написано что-то резко другое?
Читаем:
ДИСКРИМИНА́ЦИЯ (лат. discriminatio – различение), ограничение прав человека (группы людей) по определённому признаку
И где здесь что-то про какие-то намерения или ещё что-то такое? Если ограничивают права чернокожих, то это дискриминация. Вне зависимости от того как конкретно реализован "механизм". Аналогично если ограничивают права людей с определёнными именем и фамилией, то это тоже дискриминация.
Ну да, дискриминацию наркоманов, алкоголиков, преступников, безработных, необразованных, стариков, инвалидов и т.д.
Нет. Дискриминацию людей с определёнными именем и фамилией. Это было целью?
Крайне сомнительно, что на исправно настроенной и обученной сетке было бы легко обнаружить такую закономерность,
Ну так речь и идёт о том что сетка неправильно настроена и обучена раз имеет такие косяки.
И где здесь что-то про какие-то намерения или ещё что-то такое?
А откуда вы взяли какие-то намерения? Цитирую себя же: "Дискриминация буквально означает ущемление на основании какого-либо признака".
Вне зависимости от того как конкретно реализован "механизм".
Если программа определяет раны на лице, к ней приходит пять целых белых и пять темнокожих с разбитым лицом, то это не дискриминация темнокожих. Это объективно замеренная данность по параметру "раны на лице".
Дискриминацию людей с определёнными именем и фамилией. Это было целью?
Этого вообще не было.
Ну так речь и идёт о том что сетка неправильно настроена и обучена
Под "исправно" я подразумевал с технической точки зрения, т.е. то что сетка не выдает полурандомный мусор. Если передавать сети фамилии, и в реальности люди с именем Mike возвращают кредиты на 1% реже, то и влияние должно быть таким же крошечным. Если хочется что-бы сеть что-то не учитывала, нужно это вообще не передавать (кэп).
Цитирую себя же: " Дискриминация буквально означает ущемление на основании какого-либо признака".
Если ИИ ущемлят чернокожих то это дискриминация или нет? Это всё ещё дискриминация если такое происходит не намеренно? Это всё ещё дискриминация если просто чернокожих ущемляет немного сильнее или чаще других?
Под "исправно" я подразумевал с технической точки зрения, т.е. то что сетка не выдает полурандомный мусор.
А я что она выдаёт тот результат, который от неё ожидали при создании.
Если ИИ ущемлят чернокожих то это дискриминация или нет? Это всё ещё дискриминация если такое происходит не намеренно? Это всё ещё дискриминация если просто чернокожих ущемляет немного сильнее или чаще других?
Еще раз. Определение дискриминации необходимое и достаточное для понимания дискриминации, больше ничего не нужно. Нейросеть показывает объективный шанс вернуть кредит, не больше и не меньше, и знать ничего не знает про цвета кожаных мешков, и что цвета и кожа вообще существуют.
Если бы объективной зависимости не было, а нечто соверщающее выбор (без разницы кто или что) чаще отказывала бы именно темнокожим, то это было бы дискриминацией темнокожих. Но нейросеть обучается на объективной статистике, и если ее объем достаточен, то такого просто не может получиться.
Определение дискриминации необходимое и достаточное для понимания дискриминации, больше ничего не нужно.
Ну то есть если кого-то ущемляют по какому-то признаку, то это дискриминация. Тогда непонятно о чём вы тут спорите.
Нейросеть показывает объективный шанс вернуть кредит,
Нет. На данный момент о каких-то объективных шансах даже близко речи не идёт. Вообще когда мы говорим о решениях в единичных конкретных случаях принятых на основании какой-то статистики, то это в принципе не может быть чем-то точным.
Тогда непонятно о чём вы тут спорите.
О том, что вы подменяете признак в своих утверждениях. Нейросеть не дискриминирует чернокожих, потому что она даже не пытается определить, кто чернокожий, а кто нет. Она определяет исключительно шанс вернуть кредит. То что эти два отдельных признака ИРЛ частично перекрываются вообще не проблема нейросети. Пусть люди ответственные за социальное состояние страны поднимают жопу и исправляют ситуацию.
На данный момент о каких-то объективных шансах даже близко речи не идёт
Если шанс вычисляется по статистике возврата кредитов постфактум, то он по определению объективен. Точность и объективность это не одно и то же, если что.
Нейросеть не дискриминирует чернокожих, потому что она даже не пытается определить, кто чернокожий, а кто нет.
Вы не знаете что конкретно там делает ИИ. Это чёрный ящик.
Но при этом вы видите результат. И если в результате при прочих равных одни получают кредит, а другие нет, то вполне можно говорить о дискриминации.
Если шанс вычисляется по статистике возврата кредитов постфактум, то он по определению объективен.
Нет. Например потому что статистика она строится по прошлому и в принципе не может учитывать какие-то изменения, произошедшие после того как собрали данные. А если мы говорим об обществе, то изменения есть всегда.
Более того данные на которых строится статистика далеко не всегда на 100% репрезентативны. Мягко говоря.
Вы не знаете что конкретно там делает ИИ
Во-первых вы тоже не знаете, но противоположное утверждение делаете. Во-вторых так же как случайная ошибка в программе не может сделать из нее вирус, в черном ящике нейросети ничего само просто так не появляется, это все мифы из кино. Чтобы в нейросети закодировалось понятие чернокожести, оно должно либо быть входящим параметром, либо формироваться обучением. По сути, единственная причина по которой в нейросети могло естественным образом возникнуть такое понятие, это если бы темнокожие на генетическом уровне имели предрасположенность к невыплате кредитов, независимо от большинства остальных переданных параметров. Т.е. если бы это было объективно существующим, замеряемым явлением. Но это вряд ли так.
то вполне можно говорить о дискриминации.
Нельзя. Выше я конкретно описал когда можно.
Нет
Да. Иначе вы спорите с определением понятия "объективный". Опять же не мной придуманным.
Например потому что статистика она строится по прошлому
Это лишь может сделать замер неактуальным, но не может сделать его не объективным. К тому же, у нас просто нет выбора, данные из будущего мы получать не умеем. Т.е. сделать как-то иначе просто нельзя.
Более того данные на которых строится статистика далеко не всегда на 100% репрезентативны
Выборка по ИРЛ всегда не репрезентативна на 100%. Но это, опять же, не претензия к объективности.
Во-первых вы тоже не знаете, но противоположное утверждение делаете.
Ну так если результат налицо, то меня лично не особо интересует было ли так задумано создателями ИИ или оно так просто случайно как-то получилось.
Выше я конкретно описал когда можно.
Вот только ваше мнение не является истиной в последней инстанции. Я с вами не согласен. И не только я.
Выборка по ИРЛ всегда не репрезентативна на 100%. Но это, опять же, не претензия к объективности.
Если выборка была создана абсолютно объективно. А учитывая что её делали люди...
Ну так если результат налицо, то меня лично не особо интересует было ли так задумано создателями ИИ или оно так просто случайно как-то получилось.
А вот тут вы принципиально не правы.
В вопросах дискриминации роль играет как раз намерение (в данном случае — немерение ущемлять чёрных), но обсуждаемая система не проектировалась с намерением дискриминировать какую-то группу, кроме группы неплательщиков по кредитам. Любые параллели между этой группой и цветом кожи проводятся уже людьми, заинтересованными в "позитивной дискриминации", а не самой системой.
Мякотка в том, для исправления не нравящихся вам перекосов в результатах есть несколько путей решений:
- Внести-таки в систему понятие расы, чтобы она дискриминировала в нужную вам сторону. Тогда она натурально станет расистской, потому что даже в намерениях проектировщиков будет заложен принцип различного применения правил в зависимости от расы, но вам, я полагаю, это понравится, потому что перекос будет в нужную сторону.
- Найти и исправить перекос в обучающих данных. Это может не сработать, потому что в данных может и не оказаться никакого перекоса.
- Принять результат работы системы как данность, и ничего с ней не делать — вместо этого что-то сделать должно будет само общество. Исправление перекосов в какой-нибудь условной криминальной статистике не должно ложиться на плечи ипотечных кредиторов.
Если выборка была создана абсолютно объективно. А учитывая что её делали люди...
Да, люди могли ошибаться в создании выборки. Но тогда возможно было бы обнаружить проблемы с выборкой после соответствующего аудита системы — а такие аудиты проводятся регулярно и сами по себе, а уж после серии скандалов и подавно. Но можете ли вы привести доказательства перекоса в процессе принятия решений или в выборках? Статьи, которые я читал для расследования, таких доказательств предоставить не сумели, хотя вы и они друг с другом согласны, что перекос существует.
В вопросах дискриминации роль играет как раз намерение
Можно указать где в вышеприведённом определении слова "дискриминация" написано о необходимости наличия какого-то намерения?
Кроме того можете погуглить словосочетание "неумышленная дискриминация" или "непреднамеренная дискриминация" на разных языках мира и посмотреть как часто она приводила к тем или иным проблемам.
Можно указать где в вышеприведённом определении слова "дискриминация" написано о необходимости наличия какого-то намерения?
Для абстрактной дискриминации из словаря намерение действительно не нужно. Но абстрактная дискриминация из словаря лишена любой моральной характеристики — она не может быть "неоправданной", абстрактная дискриминация из словаря это полный аналог деления людей на тех, кто может поднять гирю и тех, кто не может.
Расовая же дискриминация из числа тех, которые общество в США решило считать не только аморальными, но и нелегальными — подразумевает намерение дискриминировать именно по расе или национальности. В разговоре о нелегальных видах дискриминации тезис о том, что реальные причины перекоса в наблюдаемых данных не важны — настолько же аморален, как и сама целевая нелегальная дискриминация. Потому что под соусом борьбы с неумышленным расизмом слишком часто предлагается заниматься тоже расистскими практиками, только в "правильную" сторону.
Кроме того можете погуглить словосочетание "неумышленная дискриминация" или "непреднамеренная дискриминация" на разных языках мира и посмотреть как часто она приводила к тем или иным проблемам.
Нагуглить можно слишком много материалов, и в моей выборке будет примерно равное количество доводов как о проблемах, так и о том, что борьба с непреднамеренной дискриминацией приводит только к обострению дискриминации. Поэтому если хотите что-то конкретное сказать — приведите конкретные ссылки.
Расовая же дискриминация из числа тех, которые общество в США решило считать не только аморальными, но и нелегальными — подразумевает намерение дискриминировать именно по расе или национальности.
Я не знаю откуда вы это взяли. Как раз таки статья, которую мы обсуждаем и поднимает проблему той самой "неумышленной дискриминации" в случае "чёрного яшика" ИИ.
Нагуглить можно слишком много материалов, и в моей выборке будет примерно равное количество доводов как о проблемах, так и о том, что борьба с непреднамеренной дискриминацией приводит только к обострению дискриминации
Да это сколько угодно. Но мы видим что дискриминация бывает как преднамеренная, так и непреднамеренная. И раз кто-то там хочет боротся с непреднамеренной дискриминациэ, то это значит что кого-то она всё-таки не устраивает. В том числе и в США.
А можно я страшную вещь скажу - может нейросеть совершенно правильно решила, что не стоит давать займы людям, в массе живущим на пособиях, в неблагополучных районах, долбящим крэк, совершающим мелкие правонарушения? А потом пришли кожаные мешки с идеалистским прокрустовым ложем социальной справедливости, и возмутились независимому исследованию?
Нейросеть же не человек, она не называет кого-то конкретно "неплатежеспособным ниггером". Она просто оценивает плотность вероятности нарваться на невыплату денег от определенного типа людей. И из предоставленных ей дискретных параметров роста/веса/пола/расы/района проживания получилась такая картина. Это не дискриминация, нейросеть не может мотивированно дискриминировать, это констатация факта. А вот почему цветные оказались в таких условиях в обществе - уже вопрос социальной политики.
Приведу предельный пример: если бы в рабовладельческой Америке нейросеть оценивала перспективность принятия абитуриента в университет, то 100% она не пустила бы ни одного негра. Но не потому что негры не люди, а потому что они были тогда в таких условиях, что нормального образования для подготовки к поступлению не получали. Просто констатация факта. А почему так - вопрос уже к людям.
Так что делайте такие обучающие параметры, чтобы нейросеть смотрела на состояние банковского счета у конкретного человека, а не оценивала популяцию в целом по стереотипным средним.
А можно я страшную вещь скажу — может нейросеть совершенно правильно решила, что не стоит давать займы людям, в массе живущим на пособиях, в неблагополучных районах, долбящим крэк, совершающим мелкие правонарушения?
В данном слуичае ИИ решил не давать займы людям у которых имя-фамилия часто встречаются среди людей "в массе живущим на пособиях, в неблагополучных районах, долбящим крэк, совершающим мелкие правонарушения".
То есть представьте себе что по какой-то там причине люди с именем "Всеволод" чаще других употребляют наркотики. Ну вот банально флюктуация в статистике. И вам на этом основании отказывают в займе. Хотя вы никогда не употребляли и не собираетесь.
В данном случае ИИ решил не давать займы людям у которых имя-фамилия часто встречаются среди людей "в массе живущих на пособиях, в неблагополучных районах, долбящим крэк, совершающим мелкие правонарушения".
Я честно решил проверить и поискать, верно ли изначальное утверждение, и пошёл по ссылкам. Далеко вниз уйти не получилось, вот эта статья AP News, и дальше прямых никаких ссылок нет, но из неё вообще никак нельзя сделать вывод, что ИИ принимал какие-то решения на основании имён и фамилий. Напротив, говорится напрямую про такие метрики, как кредитная история, основные источники дохода (gig workers), наличие наследства, и историческая несправедливость в размещении "payday loan sellers' branches". Где всё перечисленное "suffers from historical injustices". А ещё:
In written statements, Fannie Mac [компания, участвующая в выдаче тех самых ипотек] said its software analyzes applications "without regard to race" and both Fannie and Freddie said their algorithms are routinely evaluated for compliance with fair lending laws, internally and by the FHFA and the Department of Housing and Urban Development.
<...>
Crystal Marie and Eskias McDaniels' lender denied race had anything to do with their denial. In an email, loanDepot vice president of communications Lori Wildrick said the company follows the law and expects "fair and equitable treatment" for every applicant.
--[прим.: McDaniels для меня вообще звучит как шотландская фамилия, а Crystal и Marie — не являются, насколько я знаю, "чёрными" именами. Разве что Eskias как-то можно сюда притянуть с точки зрения конкретно имени, оно для меня незнакомое. Хотя, имена наверняка изменены, и в оригинале может быть и было, за что зацепиться.]
Исходя напрямую из того, что в статье написано, получается, не так, что ИИ вычислил расу по имени, а скорее так, что ИИ как раз не знал о расе просителей ипотеки, и потому не сумел правильно "скомпенсировать историческую несправедливость". Ну а основная идея статьи как раз ровно та же, что и у этой статьи на Хабре — "мы не знаем, как работает этот алгоритм, но нам не нравятся его результаты".
Вся эта тема с bias elimination обычно переходит к разговору о кредитах или найме на работу и дальше начинается околополитический дискурс, уводящей от сути проблемы. Не так давно на CACM проскакивала статья, где приводился пример попроще и получше. Допустим, нейросеть изучает эмоциональную окрашенность слов по текстам в интернете, и выясняет, что "Ричард" звучит лучше, чем "Ахмед". На этом этапе можно сказать, что ну вот таков мир, и чинить надо мир, а не нейросеть, окей. Проблемы начинаются, когда мы пытаемся применить нейросеть на конкретных задачах, где "общемировой контекст" может быть неинтересен. Например, мы пытаемся определить эмоциональное отношение к фильму и читаем отзывы зрителей. При этом получится, что отзыв со словом "Ахмед" имеет куда больше шансов оказаться помечен как негативный. Тот ли этот результат, на который рассчитывает проводящий исследование? Маловероятно. То есть мы получаем кривой ответ на свой вопрос и на его основании делаем кривые выводы.
На больших числах статистически значимых флуктуаций быть не может. И если по большой статистике люди с именем Всеволод чаше употребляют наркотики, значит между именем и потреблением есть связь.
Нет. Есть корреляция. И это всё-таки немного другое. А вот наличие связи сначала надо доказать.
Для ИИ это не имеет значения. У ИИ цель - максимизировать прибыль отсеивая риски, и он с ней справляется.
Самый простой способ отметить риски это вообще никому не давать кредиты.
И совсем не факт что такой ИИ хорошо отслеживает риски. Ведь если он по имени-фамилии принимает хорошего кандидата за плохого, то где гарантия что он не ошибается и в обратную сторону? То есть не даёт займы некредитоспособному с "правильными" именем и фамилией?
Решать такие вопросы при помощи статистики это возможно самый простой или даже дешёвый способ. Но это не значит что это оптимальный способ.
Самый простой способ отметить риски это вообще никому не давать кредиты.
максимизировать прибыль
Ведь если он по имени-фамилии принимает хорошего кандидата за плохого
Во-первых выше уже углубились в источники, и оказалось что в оригинале ничего про фамилии и имена нет. Во-вторых, даже если результат не справедлив к конкретному человеку, это еще не значит что ИИ выдает некорректный результат для имеющихся входных данных. Это не ИИ работает неправильно, это задача поставлена так, как было выгодно.
максимизировать прибыль
Ну да. И для этого надо давать кредиты.
Это не ИИ работает неправильно, это задача поставлена так, как было выгодно.
"Выгодно" это когда кредит получают все кредитоспособные, которые хотят его получить.
Выгодно - это когда соотношение кредитоспособных и некредитоспособных минимально. С определенными весовыми коэффициентами
это когда кредит получают все кредитоспособные, которые хотят его получить
Нет таких наборов данных для которых это можно определить точно, максимум оптимально. Так-то, некоторые умирающие от рака 80-летние наркоманы с десятью отсидкамии без образования тоже вернут кредит, только вот отличить их от остальных заранее никак не получится. И вполне может оказаться, что безусловная блокировка некоторых районов гетто может быть оптимальной алгоритмически.
максимизировать прибыль
Не совсем. В первую очередь, увеличить капитализацию компании, во-вторую, закабалить побольше людей, в-третью, обеспечить устойчивость пузыря, в-четвертую, показать важность и обеспечить премиями отдел разработки ИИ. Ну и прибыль где-то между ними.
С замечанием частично согласен. Возможно причинно-следственной связи нет. Но, например, это имя пользуется особой популярностью у определенного криминального элемента, в честь какого-нибудь авторитета.
Но при этом у вас могут быть люди получившие своё имя по какой-то другой причине. И об этом и речь: статистика хорошо работает на больших числах. Но не особо хорошо в конкретных единичных случаях.
Ну то есть как известно по статистике у среднего человека одна грудь и одно яйцо. Много вы таких людей знаете?
Разумеется, какая-то часть нормальных Всеволодов будет ущемлена необоснованно. Но в целом для системы, это оправданная жертва. Особенно, если ему все но лишь не дадут кредит.
Тут же вопрос не жизни и смерти, как в средние века или при Сталине - лучше случайно убить несколько невиновных, чем упустить виновных.
Статистика про одну грудь и яйцо вообще не к месту - ИИ уж точно эти взаимосвязи найдет на первом десятке моделей.
Разумеется, какая-то часть нормальных Всеволодов будет ущемлена необоснованно. Но в целом для системы, это оправданная жертва.
Угу. Так многие считают. Ну пока не оказывается сами таким вот "Всеволодом".
Статистика про одну грудь и яйцо вообще не к месту - ИИ уж точно эти взаимосвязи найдет на первом десятке моделей.
Это гипербола.
Тут есть ещё одна ловушка: двойной учёт факторов.
Предположим, что потенциальный клиент принёс справку о том, что он наркотиков не употреблял. Ну, должен же быть способ установить этот факт достовернее чем на основе косвенных признаков вроде имени. Так вот, начиная с этого момента корреляции с именем работать перестают, и оснований считать его наркоманом — нет.
Однако, "стандартному" нейросетевому ИИ этого не объяснить, и он продолжит учитывать имя даже при наличии справки. Точнее, объяснить-то можно, но только через включение в обучающую выборку достаточного количества Всеволодов со справкой, чего наверняка сделано не будет (ведь если бы мы заранее знали ВСЕ подобные закономерности — то могли бы собрать известную из древности экспертную систему, а не прибегать к нейросетям).
Можно сделать два уровня нейросетевого анализа. Сначала например выдаётся на основе всей доступной информации профиль клиента(например сетка которая выдаст с какой вероятностью человек наркоман и тд). А потом от этого профиля уже считается конечный результат. Таким образом специалист с помощью справок и прочего сможет вмешиваться в работу системы и она станет куда более прозрачной
Хорошего человека Вольдемаром не назовут.
Я вашу точку зрения разделяю. Но мы с вами говорим об ортогональных вещах.
Я, не отрицая несовершенства нейросети в данном случае, выступаю резко против наделения ее свойствами, присущими только человеческой мотивации - например, "расизмом". Нет намерения оскорбить или дискриминировать - нет и расизма, это очевиднейшая вещь, а попытка педалировать эту атрибуцию и вешать ярлыки вызывает только подмену понятий, и с определенного момента вы не переспорите ширнармассы, подхватившие это ложное в корне определение.
Теперь то, что обсуждаете вы. Да, нейросеть может отказать по причинам, сходным с дискриминационным. И тут важно не то, как на это реагирую я, а как это влияет на бизнес. Глупый бизнес потеряет часть дохода из-за такой неоптимизированной нейросети. Крупному бизнесу или бизнесу на устойчивых госзаказах будет по барабану на индивидуальные кейсы частников с улицы. Бизнес, ставящий во главу угла репутацию, постарается как можно сильнее оптимизировать нейросети, или вообще от них откажется. Но ни в одном из этих сценариев мое мнение значения вообще не имеет. В здоровой экономике, если я оскорбился, я просто уйду к конкурентам.
Ну я так понимаю что в общем-то взгляды у нас схожие и особо спорить не о чем.
Единственное что для того чтобы кого-то дискриминировать совсем не нужны намерения. Дискриминировать может и алгоритм. То есть вот именно "расистом" ИИ быть не может. А дискриминировать кого-то по расовым признакам вполне.
Единственное что для того чтобы кого-то дискриминировать совсем не нужны намерения. Дискриминировать может и алгоритм. То есть вот именно "расистом" ИИ быть не может. А дискриминировать кого-то по расовым признакам вполне.
Точно так же, как сама по себе дискриминация вообще не носит никакой внутренней моральной оценки, потому что дискриминация — это только отделение одного от другого. Американцы, как общество, заключили, что дискриминация конкретно по расовому признаку — это плохо (и то с оговорками, потому что иначе расовые квоты в университетах придётся отменять), это верно.
Но как я уже замечал выше, в оригинальной статье нет признаков явной алгоритмической дискриминации по расе заявителя. Напротив, это сам заявитель, получив предварительный отказ, тут же задался знаменитым вопросом — "это потому, что я чёрный?" И в результате, кстати, к делу подключились шишки чуть ли не федерального уровня, и проблему отказа решили вообще в ручном режиме.
Точно так же, как сама по себе дискриминация вообще не носит никакой внутренней моральной оценки, потому что дискриминация — это только отделение одного от другого.
Абсолютно верно. Дискриминация может быть вполне себе легитимной.
Американцы, как общество, заключили, что дискриминация конкретно по расовому признаку — это плохо
Тут скорее дело в том что большинство западных стран решило что дискриминация исключительно по принадлежности к какой-то группе это плохо.
То есть "дискриминировать" можно только на основании релевантных личных качеств. Это тоже далеко не всегда так работает(например совершенолетие определяется по возрасту, а не по действительному уровню развития), но к этому пытаются стремиться.
Ну, всё же изначально дискриминация существовала в виде «Вася белый, Алехандро не очень, значит в школу пускать только Васю». От этого можно избавиться автоматизацией. А вот можно ли избавиться от того, что Алехандро теперь не дадут ипотеку и не возьмут на работу, потому что до этого их не брали в школу, и статистически менее образованы - вероятно, нет.
Когда кто-то хочет добиться непредвзятости в отношении социальных меньшинств, то это означает, что он хочет добиться предвзятости в отношении большинства. Возможно, это правильно, и меньшинствам нужно искусственно улучшать стартовые условия, пока они остаются меньшинствами. Но тогда не нужно врать.
Да, ИИ просто доказал и так очевидное для многих - гендерные, расовые и национальные различия существуют. И, кмк, если проверить через ИИ теорию Чезаре Ломброзо, то наверняка найдется значительная корреляция.
Более того, существуют и другие различия - возрастные, урбанистические, финансовые, и еще миллион. И если стоит вопрос о репрезентативности, то в выборке должны быть представлены в естественных пропорциях все миллион "меньшинств". А это декартово произведение. Причем самые мелкие из них должны быть представлены еще и в достаточном для статистики количестве. Поэтому репрезентативность здесь - это утопия. Она же не является целью, целью общества (но не бизнеса) является справедливость. И то, что справедливость достигается репрезентативностью, это смелая, но непроверенная гипотеза. Справедливость - это ликвидация положительных обратных связей, чтобы не было "the poor stay poor, the rich get rich". Вот в этом направлении и нужно двигаться, а не строить социальные рейтинги. Завели миллион метрик и смотрим, где возникают петли. И учимся оперативно устранять.
Справедливость - это ликвидация положительных обратных связей, чтобы не было "the poor stay poor, the rich get rich".
вот тут по-видимому есть еще над чем поработать :
1) я не думаю, что вы хотите ликвидировать обратные связи. Ничего хорошего с этого точно не получится
2) нужны взаимодействия по схеме игр с ненулевой суммой, чтобы и "the rich get rich" и "the poor get rich" тоже
Конечно, не хочу, я и не писал об этом. Я только против положительных обратных связей, и то не всегда. Мне нравится, что каждый следующий доллар зарабатывается немного проще предыдущего. Но мне не нравится, что попасть в начало этого ряда чертовски сложно. Это именно черта бедности, в математическом смысле, бифуркация. Те, кто за ней, не имеют шансов на выход, кроме чуда. Мир должен быть спроектирован так, чтобы выход из ямы был очень простым и доступным. Дальше те, кто "нЕ жили богато, не#ер начинать", могут оставаться на комфортном им, но не скотском уровне. Те, у кого есть креативность, должны попасть в легкую положительную петлю, что придаст им азарта и сил. Эта петля должна где-то закончиться, чтобы избежать такого дикого расслоения, какое сформировалось сейчас.
Скорей бы уже ИИ захватил мир, нет сил терпеть это дерьмо
Из-за таких ошибок (когда сначала ошибается ИИ, а потом ещё и попадается свидетель с плохой памятью на лица) в тюрьмах сидят сотни невинных людей.
А это написано автором для усиления хайпа или имеет какие-то документальные подтверждения?
Когда ИИ, основанный на статистике, запрещает выдачу кредита людям с определёнными фамилиями, проблема не в ИИ. Проблема в обществе, в котором есть такое расслоение, что целые семьи поколениями не могут выбраться из трущоб и неплатёжеспособны. Статистика это "замечает", а результаты ИИ лишь подсвечивают эту проблему. Правда, ИИ эту проблему не решает...
Хотя финансовое расслоение в США - не новость. Индекс Джини там в последние лет 30 довольно высокий.
По поводу плохого распознавания лиц некоторых рас - ну так обучающая выборка должна быть репрезентативной. Иначе статистика начинает "врать", и ИИ не работает.
По поводу плохого распознавания лиц некоторых рас — ну так обучающая выборка должна быть репрезентативной. Иначе статистика начинает «врать», и ИИ не работает.
С неграми даже реперзентативная выборка не очень спасает:
1) у них низкий динамический и цветовой диапазон. Т.е. с точки зрениа цвета — это белых должны называть цветными — перепадов цветов и яркостей сильно больше. А для сетки это важно.
2) у них очень сильное различие между собой. Очень больше разнообразие черт — биологическая эволюция в африке ушла вперёд относительно остального мира. Т.е. сетка, которая научилась хорошо распозновать нигерийцев может вообще не распознавать зимбабвийцев.
Т.е. желательно как-то специально доучивать именно на разных неграх. Или иметь именно нерепрезентативную выборку с сильным «негитянским» перекосом.
Мы не видим, что происходит внутри черного ящика, но, тем не менее, можем активно пытаться улучшить контент внутри. Сделать так, чтобы система научилась понимать наши ценности.Гы-гы… вперед к экспертным оценкам и системам) помнится занимался подобным статистическим обучением еще в 90-х годах прошлого века. Врачи, как эксперты должны были обучать систему распознавания параметров электрофизиологических сигналов с помощью выделения характерных точек на них. Результаты не впечатлили. Эта проблема в то время обсуждалась активно, кого можно считать экспертом, и что этот вообще такое — экспертное решение? См. обзор на эту тему, работы Дрейфуса имевшие широкий резонанс. Эти проблемы были одним из мотивов перехода от символического ИИ к коннективистским моделям, где такое влияние человека, при подготовке большой обучающей выборки, как казалось, представлялось меньшим злом.
Читайте классику - Станислав Лем эту проблему рассмотрел с точки зрения "философии" ещё до появления нормальных ЭВМ. И так рассмотрел, что до сих пор актуально. Кто не в курсе - «Сумма технологии», написано было в 1963 году. Про "ящики" там тоже было много написано.
Ученые все чаще не могут объяснить, как работает ИИ. Теория «черного» и «белого» ящика