Комментарии 83
Так, а государства-то тут причём и что они могут сделать? Принять закон о запрете разработки? Так это априори бесполезно, прогресс остановить невозможно. Вводить лицензии на использование? Ну такое.
Вообще, попытки затормозить прогресс, то есть разработку и изобретение чего-то, представляются абсолютно бесполезными. Предмет регулирования так или иначе появится, просто некоторые успеют несколько лет попить кровь окружающих своими загонами
Ридли Скотт и "Терминатор"? Параллельные миры существуют!
Принять закон о "толерантности".
ИИ беспристрастно на основании анализа статистики определил что негры из гетто плохо возвращают кредиты и им деньги давать не надо. Но в обществе это "неудобная" тема. Это не проблема ИИ а пролбема общества.
ИИ беспристрастно на основании анализа статистики определил что негры из гетто плохо возвращают кредиты и им деньги давать не надо.
Проблема как минимум с современными ИИ в том что грубо говоря часто на основании анализа статистики по неграм из гетто она начинает отказывать всем неграм без разбора. То есть это даже скорее не проблема самого ИИ как такового, а проблема данных на которых это самое ИИ обучают. Но от этого она не перестаёт быть проблемой.
Это одна сторона медали. Другая же в том, что тому же гуглу доступна действительно БОЛЬШИЕ данные, а так же максимально возможные на текущий момент вычислительные мощности. Они могут выявить (и скорее всего — выявили) такие корреляции, к которым люди не готовы. ;) Автоматические скоринговые системы могут начать дискриминировать там, где никто не ожидал!
Да вот интересно это изначально заложили в кретерии оценки рассовую пренадлежность и место жительчтва или ИИ сам "допер" что негры - не надежные заемщики. Если сам допер.тогды ОЙ :)
Они могут выявить (и скорее всего — выявили) такие корреляции, к которым люди не готовы.
Вот тут кстати я не совсем уверен что это проблема. То есть это однозначно будет проблемой в краткосрочной перспективе. Ну пока общество это переварит и к этому привыкнет. Но я бы сказал что в целом это сделает систему более рациональной.
А кто сказал, что эти кореляции объективны и рациональны. Они, что построены на полных данных? Или может нейроалгоритм способен к логическому анализу входных данных и откидывает ВСЕ которые могут првести к ложным корреляциям?
Тут все просто, если есть неполнота данных и есть ложно положительные данные - то нет гарантии, что корреляции которая построенна Нейросетью и не поддаётся логическому обьяснению - верна. Нет гарантий, вообще!
Этически это всё равно, что математически кости бросать и выстраивать свои криптопротоколы. Но однозначно, за конечное время найдётся хаккер, который по результатам выброса костей, просчитает микро геометрию стола/костей и будет предсказывать ваш криптопротокол с достаточной вероятностью. :)
Что конечно не отменяет проблемы «толерастии», когда нормальные исследования в этом направлении социально-неприемлемы…
У меня есть высокая степень уверенности, что если использование пола и расы в скоринговой модели эффективно, то никакие этические ограничения не смогут препятствовать её использованию. Это нам сказали, что разработка прекращена, а она, скорее всего, просто приостановлена до разъяснения юридических моментов. Когда безбоязненно можно будет заменить пол и расу юридически толерантными терминами(количество Y-хромосом или подверженность атаксии Фридрейха) то разработка пойдет с новой силой.
У меня есть высокая степень уверенности, что если использование пола и расы в скоринговой модели эффективно, то никакие этические ограничения не смогут препятствовать её использованию.
Оно эффективно "в среднем". То есть если вы разрешаете такой подход, то грубо говоря может такое произойти что ИИ начнёт отказывать всем кроме "белых мужчин в возрасте 30-35 лет". И для банков это не особо проблема пока этих самых "белых мужчин в возрасте 30-35" достаточно чтобы обеспечить им стабильную прибыль. И то, что при этом среди отказов может быть приличное число нормальных кандидатов, для банков в такой ситуации не особая проблема.
Но вот для этих самых "отвергнутых нормальных кандидатов" это проблема. И если их много, то это множет стать проблемой для общества в целом.
Ну да. Но вот это вот "с большими процентами по кредиту" это как бы тоже проблема. Потому что в результате кто-то не сможет себе позволить такой кредит. И это не сильно лучше прямого отказа.
П.С. Да и вообще по хорошему прямой отказ бывает не так уж и часто, часто вам просто выставляют такие условия что вы сами не хотите на них соглашаться.
Не взял человек кредит, и что? Не открыл какой-то бизнес? А может от не развалил какой-то бизнес, сделав себя банкротом и не выплатив кредит.
То, что у разных групп населения разные стартовые условия, это проблема? Давайте тогда отменим передачу активов по наследству.
Не вижу проблемы в том, что кто-то не может себе что-то позволить.
Ну тогда давайте вообще запретим кредитование как явление. По вашей логике это никаких проблем никому не создаст.
Не взял человек кредит, и что? Не открыл какой-то бизнес? А может от не развалил какой-то бизнес, сделав себя банкротом и не выплатив кредит.
Это зависит от того насколько велики шансы что бизнес будет успешным или наоборот провальным. Грубо говоря если 99,9999% бизнесов успешные, то отсутсвие кредитов это проблема. Если 99,9999% бизнесов провальные, то тогда уже наоборот возможность взять кредит это проблема.
То, что у разных групп населения разные стартовые условия, это проблема? Давайте тогда отменим передачу активов по наследству.
Проблема в том что в большинстве развитых стран(если не во всех) кредитование на данный момент это очень важный финансовый инструмент. И без него многое не будет работать.
Да, кредиты, это инструмент, как и суперкомпьютер. Кто-то может себе позволить, кто-то не может. Если было бы важно, чтобы у каждого был такой инструмент, государства само бы обеспечивало людей таким инструментом, давало бы какие-то гарантии, как на жильё, например.
Да, кредиты, это инструмент, как и суперкомпьютер. Кто-то может себе позволить, кто-то не может.
Проблемы начинаются тогда когда кому-то начинают отказывать в чём без каких-либо рациональных оснований.
Если было бы важно, чтобы у каждого был такой инструмент, государства само бы обеспечивало людей таким инструментом, давало бы какие-то гарантии, как на жильё, например.
Ну так законы о запрете дискриминации и являются своеобразной регуляцией этого дела. В том числе и в контексте кредитования.
Потому что если есть дефицит, например, 100 соискателей на 50 мест, как ни крутись, будет принята только половина. А значит, кто-то да будет за что-то дискриминирован (всегда можно найти черту, которая общая для всех отклонённых кандидатов).
Ну так дискриминировать то нельзя только по определённым факторам.
То есть грубо говоря в случае с кредитом по цвету кожи "дискриминировать" нельзя, а по наличию/отсутвию дохода можно. А скажем когда вы ищите актёра роль конкретной исторической личности, то там цвет кожи вполне себе фактор который легитимно учитывать.
Насчёт "жил в гетто" не уверен. А вот "живёт в гетто" на мой взгляд вполне себе легитимный фактор в контексте кредитования.
Легко построить модель, которая по косвенным признакам будет вычислять негров.
Вопрос в том зачем это делать? То есть мы как раз таки имеем обратную ситуацию: никто не ставит себе целью "вычислять негров", но при этом в результате несоврешенной системы принимаются дискриминирующие решения.
То есть допустим нам надо обучить ИИ(или даже просто сотрудника). И у нас есть выборка в которой большинство негров живёт в гетто и большинстви обитателей гетто тоже негры. Плюс большинство обитателей гетто не возвращают кредиты. Но при этом "живёт в гетто" это очень расплывчатое понятие. Плюс не по всем людям есть корректные данные о их точном месте жительства.
И в такой ситуации ИИ вполне может начать игнорировать место жительства и начать решать исключительно на основании цвета кожи. То есть не давать кредиты неграм живущим в нормальных районах и давать кредиты белым живущим в гетто. И вот это проблема.
1. Может быть, статистических данных достаточно и система правильно определяет, что чёрные не из гетто хорошо возвращают кредиты и им выдают так же часто, как белым. Но правозащитники и прочие активисты видят всю статистику, без учёта гетто-фактора и начинают нагнетать истерику, что чёрным много отказывают.
2. Если есть 50 мест и 100 кандидатов, алгоритм займёт первые 50 мест наилучшими вариантами. Не исключено, что чёрные не из гетто не проходят в наилучшие по каким-то другим признакам, исключая цвет кожи.
Ну да, оба этих момента есть.
Первое это тоже проблема само по себе. В ряде стран наверное даже большая проблема. Но это другая проблема.
А второе это не проблема. Как бы не обидно это было для "чёрных не из гетто".
Абсолютно верно. Вопрос только в том какой "уровень" доступных данных мы как общество готовы считать достаточным.
То есть устраивает или не устраивает нас ИИ, который из-за недостатка данных начинает дискриминировать людей по цевту кожи/полу/возрасту/хобби и так далее и тому подобное.
Внешние данные не скроешь — пол, раса, возраст.
А вот историю мест проживания, увлечения, все пытаются скрыть от ИТ-гигантов.
Может, негры-анимешники хорошо возвращают кредиты? Но для этого надо подключиться к трекерам гугла, чтобы выяснить, какие сайты посещал клиент. Вы бы хотели, чтобы на вас собиралось супер-подробное досье ради того, чтобы уменьшить риски ошибочных решений?
Внешние данные не скроешь — пол, раса, возраст.
Их легко можно скрыть от того кто принимает решения. Тем более от ИИ.
Вы бы хотели, чтобы на вас собиралось супер-подробное досье ради того, чтобы уменьшить риски ошибочных решений?
Нет. Но этого никто и не требует.
Их легко можно скрыть от того кто принимает решения. Тем более от ИИ.О чём я и писал выше — модель легко восстановит эти признаки, только вы никогда не узнаете, в каких внутренних переменных.
Нет. Но этого никто и не требует.Таким образом, «негры не из гетто» пролетают. Потому что хитрый признак «не из гетто» не лежит на поверхности, а зарыт в персональных данных.
Негритянка Белоснежка и Золушка? Негр фея? Бэтвумен лесбиянка, КА гей... Да нет, глупость какая-то.
И в чём у вас проблемы с тем что вы описали? В том что кто-то решил сделать свою версию сказки? Ну так я не хочу вас расстраивать но большинство сказок в том виде как вы их знаете это тоже совсем не оригиналы.
Или вот в каком то фильме про викингов — среди них чернокожие попадались.
Ничего против них не имею, но там где оно логично и к месту. А не пихать всюду ради повесточки.
Нет, это режиссёр решил не придерживаться исторической достоверности. Его право. Но точно так же его право её придерживаться и брать на роли только тех кто подходит.
Если же есть вменяемый саппорт, который честно рассказывает причины отказа (вместо стандартного «это коммерческая тайна») и реально работающий механизм апелляций, то доля процента ошибок нейронки перестаёт быть проблемой.
Потому что они классифицируют, но не объясняют, как.
Да там может и не быть понятного «как». На входе миллион параметров, и формальное объяснение «почему так получилось» может занять 50 мегабайт текста объяснений.
Пример — классификатор изображений с подсветкой участков, на основании которых нейронка сделала свои выводы. Это самый примитив, который собирается на коленке в пару десяток строчек Python-кода.
То есть, не надо в таких системах использовать нейронки?Оборудование по сортировке фисташек нередко совершает ошибки, пропуская фисташки в кожуре. Давайте всё сортировать вручную, как два века назад?
Или по-вашему живой человек всегда-всегда всё сделает правильно? Да точно так же при отсутствующем саппорте кто-то налажает, а исправить будет нельзя. Хороший сервис — это не отсутствие косяков, а реально работающий механизм их исправления.
Пример — классификатор изображений с подсветкой участков, на основании которых нейронка сделала свои выводы. Это самый примитив, который собирается на коленке в пару десяток строчек Python-кода.Если это всё автоматизировать, саппорт выдаст вам раскрашенную картинку, а дальше — гадайте по ней, как хотите. Например, в моей биографии система подсветит фразу «учился в средней школе №5 города Мухосранска». И что мне с этим делать? На обучающей выборке 3 человека из этой школы брали кредит и не вернули.
Ну и, самое главное, когда на руках есть хотя бы такой ответ, уже есть с чем идти в суд. Шансов выиграть будет больше, чем когда на руках ничего нет. И даже в случае проигрыша достаточно большое количество исков заставит банк почесаться и поправить веса нейронки.
Ну и, самое главное, когда на руках есть хотя бы такой ответ, уже есть с чем идти в суд.Ясно. А банкам это зачем тогда? Я думал, у вас решение win-win, а если не так, идите к депутатам, пусть они принимают закон про объяснения решения нейронок. По сути, это равносильно их запрету.
Я бы сказакл что не будет у нас никогда "нормального саппорта" в таких ситуациях. Потому что цель введения всего этого дело это экономия. И никто вам не будет оплачивать экспертов, которые там будут разбираться по какой причине ИИ там кому-то в чём-то отказало на самом деле. Или которые будут готовы брать на себя риски идя наперекор решению ИИ.
Тут проблема не в нейронках, а скорее в устройстве социальной системы, где элементарные средства общественной безопасности приносятся в жертву ради копеечной экономии. И вот хорошо бы гуманитариям заняться решением именно этой проблемы, а не устраивать второе пришествие луддизма, делая вид, что все проблемы от нейросетей.
Так эта проблема остаётся и при живых сотрудниках.
В целом конечно остаётся. Но живой сотрудник обычно уже сам знает на каких основаниях он принял то или иное решение. Поэтому при желании ему не нужно ни в чём разбираться и нужно его просто озвучить.
Тут проблема не в нейронках, а скорее в устройстве социальной системы, где элементарные средства общественной безопасности приносятся в жертву ради копеечной экономии. И вот хорошо бы гуманитариям заняться решением именно этой проблемы, а не устраивать второе пришествие луддизма, делая вид, что все проблемы от нейросетей.
На мой взгляд это дев разные проблемы. И да, решать нужно обе.
Поэтому при желании ему не нужно ни в чём разбираться и нужно его просто озвучить.
Представьте ситуацию, которая у меня была в реальной жизни. Кредитная компания, до того, как в ней внедрили автоматическое принятие решение на базе ИИ.
Операторы вручную отсматривают по 100-200 заявок в день и принимают решения, на базе 100-150 полей. При этом % невозврата при такой обработки всего на ~5% ниже, чем при обработке ИИ.
Сможет ли оператор после обработки сотой заявки, сказать почему он отказал в одной из первых?
Сможет ли оператор после обработки сотой заявки, сказать почему он отказал в одной из первых?
Да, если он при этом будет к каждой заявке писать короткую пометку с объяснениями. И я знаю что это вполне себе распространённая практика. И не только в контексте кредитования.
Думаю что нельзя. Или точнее генерировать какие-то заметки вы его научите. Но толку от них особо не будет если кто-то обратится с аппеляцией. Потому что тогда всё равно надо будет разбираться почему ИИ принял то или иное решение и не было ли ошибки в какой-то из частей этого процесса. В том числе и в той части где он генерирует заметки.
Речь то не о заметках. А о прозрачности процесса и о том какие расходы несёт за собой попытка восстановить/повторить процесс принятия решения вручную. Ну если мы не доверяем ИИ на 100%.
Если да, то вот и готовое уже сформулированное и записанное основание для повторного отказа — просто даём заметку и говорим, что тут и живой человек сделал бы то же самое, и далее клиент «бодается» уже не с ИИ, а с живыми людьми и процессами принятия решений в данном банке.
Если же нет, то где-то возникла ошибка (либо в ИИ, либо ошибся живой сотрудник) и надо её исправлять. В целом такой подход даёт довольно много обратной связи и уж всяко гораздо лучше и гуманнее, чем посылать нафиг без объяснения причин и возможности оспорить.
Обратить внимание на чуть менее «горячие» участки и подумать, какую дополнительную информацию можно предоставить банку, чтобы она перевесила ложную активациюНо вы не учитываете, что приняв одного кандидата, мы отказываем другому. Таким образом, делая прозрачными алгоритмы, делая многоуровневые апелляции, мы закрываем дорогу достойным кандидатам, которые не хотят тратить время на эту возьню и уйдут к конкурентам, в пользу тех, кто готов судиться, «взламывать собеседования», скандалить. А оно это надо компаниям, прибегающим к ИИ для автоматизации решений?
Но в большинстве ситуаций бизнес интересует, какой убыток (невозвраты в случае кредитов) принесут неправильные решения, и какие расходы потребуются для принятия решений (ИИ тут дает очень большую экономию на квалифицированных аналитиках, даже если качество решений будет ниже).
В моем опыте (работа в более 6 кредитных компаниях) было только несколько случаев, когда разработчики (я в том числе) на рабочей модели искали причины отказа в кредите. И это были случаи отказа непосредственно разработчикам скоринга.
Вы простите пожалуйста, но большинство Ваших комментариев сверху донизу - сплошная Тилимилитрямдия, оторванная от жизни. Всем пос.ать, получит конкретный человек кредит или нет, важно, что 100 предсказанных и получивших вернули его с вероятностью не ниже заданной. Какую короткую пометку? У живого человека будет нескончаемый поток заявок, а поскольку должность не подразумевает зарплаты в 300 к/сек, то и персонал будет соответствующий. И отношение к работе будет соответствующее. И все будет соответствовать оптимальному решению задачи со стороны бизнеса - делать побольше, платить поменьше. Хотите уникального подхода - обращайтесь в швейцарский банк. Не можете - потребляйте массмаркет.
У живого человека будет нескончаемый поток заявок, а поскольку должность не подразумевает зарплаты в 300 к/сек, то и персонал будет соответствующий.
Ну сейчас же они с этим как-то справляются. Причём с заметками. Видимо потому что нет у них никакого "нескончаемого потока". Как минимум не везде он есть.
Да, это далеко от совершенства, но оно работало и приносило прибыль.
Замена на полностью автоматический скоринг было сделано для того, чтобы зарплату этим аналитикам не платить. При том, что на первом этапе результаты обработки скорингом были хуже.
И да, скоринг уже точно показывает причину отказа (или их комбинацию). Но не клиенту — как раз чтобы избежать обвинений в нарушении законодательства и судебных исков.
Можно ввести гос. регулирование и когда интернет-компания набирает более 20 млн. пользователей, отжимать её в пользу государства и сажать чиновников, чтобы они отвечали вам на все жалобы в установленные сроки. Хотите?
Google' и этика. После сбора и использования на продажу всех возможных личных данных.
Сервис по подделке голосов в наше время это примерно как сервис по подделке подписей. Тут уже не этика а уголовщина. Кстати, подобный стартап он реально был и даже возможно был на Хабре как ста ья.
А ков деле распознавание кстати тоже. И это кажется российский стартап и даже запущен где то. Правда распознавание не по лицу а по поведению.
Этично ли помогать остановить пандемию?
Не верю (с) Станиславский.
Предположил бы, что крупные корпорации просто выводят эти проекты из публичного поля, возможно - в какие-то свои ассоциированные компании, формально с ними не связанные. И там продолжают работы над этими технологиями, но уже в тишине и под строгим NDA.
ИИ, биометрия, дипфейки и борьба с фейками - мощные инструменты, и никто по доброй воле наработки в этой области в мусор не выкинет...
Решение Google выглядит наиболее странным. Начнем с того что скоринг это уже практически норма для многих банков которые могут давать кредит онлайн.или регистрировать клиентов онлайн. С учётом того что goovle и так все знает о своих кл просп им даже от не нужен в смысле обучения по фото или видео.
Не даром в отчетах старховых компаний отдача средств клиента на уровне 10% и это не от суммы брутто а от той суммы которая остается после вычета затрат. Интересно кстати возник мало освещаемый вопрос. В дговорах на стразование здровья прописывается что на случай эпидемий возмещение затрат на лечение не произвоится. С точки зрения математики это вроде бы правильно. Ну а вот с точки зрения сохранения жизни? И как тут с короной? Судя по палаткам Нью-Йорке как раз основное тут что ни одна больница имея свободные площади не принимала клентов. Так как стразовка не действует. А денег у клиента на лечение нет.
ИИ - это просто зеркало работы мозга человека, ибо разработчики пытаются выстроить его по образу и подобию за неимение более совершенного. И в итоге отражение не устраивает, хотя так устроен мозг, тупо политика пытается влезть в работу мозга (хотя для многих политиков - это проста самая давняя, сладкая и розовая мечта из всех).
Слишком уж запросто очевидное замещается невероятным. Пошел поглядел кто писал - два молодых калифорнийских паренька журналиста которые с такого корма живут.
При чем этика, когда во всех случаях очевидно вылезает проблема легальности? И достаточно серьезных скандалов и судебных дел.
Как оно доплыло до людей посерьезней и сделали оценку, и клиент сообразил - так и закрыли. Прикинули риски, возможность защиты, возможность разбирательств и гос регуляции по итогам. Вот и все.
Вообще, забавно наблюдать, как у гуманитариев даже от таких вот «первых звоночков» в области ИИ случается натуральная истерика. На том же deviantart'е сколько бывает воплей, когда рисунок, за который художник просит денег, воспроизводят в каком-нибудь Artbreeder за 15 минут.
Да что artbreeder, тут даже upscale-нейронки ломают художникам рабочий процесс. Было обычной практикой, когда художники выкладывали в паблик картинку в низком разрешении с припиской «хотите в высоком — подписывайтесь на меня в Patreon». Теперь во все такие топики тролли кидают ссылку на апскейл-нейронку и ловят лулзы с реакции художника…
А развитие pose transfer и style transfer-нейронок (которые пока что довольно сырые и скорее глючат, чем работают) уже в ближайшие годы грозит изрядно подкосить любителей стряпать пачки коммишек по шаблону — всех этих YCH'еров и подобных.
И ведь ничего по-настоящему серьёзного пока что не появилось, те же GPT всё ещё не могут заменить даже литературных негров. Но гуманитарный луддизм (разумеется, исключительно из этических соображений! Ради блага всего человечества!) уже поднимает голову. Дальше будет больше и выше.
Не увидел в причинах "этику". Как обычно, анализ рисковиков, PR и юр.отдела с прогнозом "и на сколько нулей к единичке эти проблемы могут потянуть?" Но оф.причина как обычно "мы ради вас стараемся")))
Ну хоть кинематографу лицензируйте.
Уровень развития искусственного интеллекта сейчас достиг таких высот...
Я, наверное, не в струю, и это очевидно. Но не наблюдаю это самого интеллекта просто в упор. Где он и как его отличить от известных алгоритмов?
Тридцать лет назад это назвалось "математическое обеспечение". В ГОСТ 34.602-89 есть требование к разделу ТЗ "Математическое обеспечение":
2.6.3.1. Для математического обеспечения системы приводят требования к составу, области применения (ограничения) и способам использования в системе математических методов и моделей, типовых алгоритмов и алгоритмов, подлежащих разработке.
В техническом проекте по ГОСТ 34 РД 50 математические методы описываются в главе "Методика проектирования", а глава "Математическое обеспечение" состоит из девяти разделов.
Сейчас все упростилось, тем более, что и многие программисты не сильно заморачиваются над проектированием. А математика - даже в ВУЗах не всегда преподается не то, что на каких-нибудь курсах Питона или еще какой-то зверюги. А то, что сейчас не все программисты знают таблицу умножения, сам узнал при отборе их на работу в свою фирму. Впрочем, это относится и к бухгалтерам и экономистам, например.
Вот таким программистам и кажется, что банальные методы статистики или теории вероятности являются искусственным "интеллектом".
Печально это. Одно радует, что пока никаким искусственным интеллектом даже и не пахнет!
Можно спать спокойно.
Одно радует, что пока никаким искусственным интеллектом даже и не пахнет!В данном случае абсолютно всё равно, как это называть — искусственный интеллект, матстатистика или даже вообще «АИ-фактор». Это вопрос терминологии, не более того. Суть-то не в этом, а в том, что оказывается некоторые традиционно гуманитарные задачи (обработка текстов, создание рисунков и музыки) могут решаться полностью технарскими методами, пусть пока что и на весьма посредственном уровне.
Можно спать спокойно.
И вот тут гуманитарии сразу напряглись и засуетились, придумывая тысячи причин, по которым развивать эти технологии далее — абсолютно неэтично.
Крупные IT-корпорации замораживают некоторые ИИ-проекты по этическим соображениям