Comments 80
На самом деле, правда кроется в данных, которые ИИ использует для своего обучения.
Это очевидно, если немного подумать. Т.к. ИИ учится на базе текстов составленными реальными людьми, и алгоритмы ИИ пытаются повторить физическое строение нервной системы, по сути получается ИИ есть отражение реальных мыслей людей и вообще окружающего мира.
то в результате может получиться расистский классификатор, которого не должно существовать в природе.
Таким образом проблема в общем-то не в ИИ, а в людях. Тема рассизма и национализма досаточно хорошо сейчас культивируется.
Хорошая новость: этого можно избежать.
Вы просто искажаете реальный мир. Получается практически цензура :)
Ну или некая разновидность ограничений, когда люди говорят не то, что думают. Получается ИИ симулирующий лицемерие :)
Вы просто искажаете реальный мир. Получается практически цензура :)
Ну или некая разновидность ограничений, когда люди говорят не то, что думают.
Мир отдельного человека всегда искажен, частично потому что он не знает истины, частично потому что базовые инстинкты вступают в противоречие с моральными и социальными установками.
когда люди говорят не то, что думают
Люди почти всегда говорят не то, что думают и думают не то, что хотят на самом деле. Грубо говоря встретив друга с его красивой девушкой, вы не скажете, что хотели затащить ее в кровать. А инстинкты вообще могут подсказывать, что надо взять каменный топор, убить друга и утащить девушку в кусты.
Получается ИИ симулирующий лицемерие
Какому из реальных миров вы хотите учить компьютер — миру базовых инстинктов, морально-этикетных ограничений, социально-законодетельных ограничений или некоторому объективному миру (кто бы знал что это такое)?
На самом деле, это не лицемерие, просто даже у одного человека много взглядов разных точек зрения на мир.
Не верно.
Алгоритмы на бигдате говорят, что большинство тех кто генерит тексты подсознательно считает людей неравными.
Алгоритмы не анализируют объективную реальность, только тексты, написанные людьми. То есть максимум они могут говорить о наличие общественных предрассудков причем не у всех людей на Земле, а только тех кто пишет мало-мальски популярные тексты на английском языке (считай, журналистов, писателей и блогеров из англоязычных стран).
Отсюда странно строить философские выводы, кроме наличие собственно предрассудков (возможно, даже не сознательных). А это сильно капитанский вывод, так как подобные предрассудки у людей ни для кого не секрет.
Какими люди станут — действительно зависит от окружения очень сильно. Но что, если вам нужно оценить людей прямо сейчас? Например понять, кому давать кредит, а кому нет? Имя тут никак не влияет, конечно. А вот факт, что человек не местный и может уехать к родственникам — влияет. Если ИИ покажет некоторую связь между именем и местом рождения — вы будете это учитывать? Или лучше откажетесь от такого робота в пользу более толерантного?
Там все сложно на самом деле, скажем в английском языке времен холодной войны имя Иван негативное так как оно синоним советского коммуниста Ивана, естественно сейчас у людей в США отношение к Иваном не хуже чем к Петям, например. В русских текстах имя Билл скорее будет негативным из-за большого кол-ва новостей про Билла Клинтона, при этом это тоже не влияет на самом деле к отношению к людям с таким именем.
А вот факт, что человек не местный и может уехать к родственникам — влияет.
Так и надо оценивать не по имени, а по гражданству, месту рождения и т.п. Если родители совершенно русского человека дали ему имя Джон, почему к нему должно быть другое отношение при выдаче кредита?
Имя, это как пример, на основе статьи. А место рождения — не расизм? Имя я хотя бы сменить могу, а место рождения — нет.
И представьте, что вам надо решить, кому отдать свои деньги. Вы можете учитывать или не учитывать имя, как хотите. Но хотели бы вы закон, который запретит вам его учитывать? А так же место рождения или наличие генетических заболеваний (т.к. тоже притеснение). Ведь это ваши деньги, вы ими рискуете.
P.S. если у автора речь о том, как можно убрать влияние некоторых факторов — это круто, жду следующую статью. Если речь о том, что оценивающее ИИ "не должно существовать" и никто не вправе его делать — то это ужасное ограничение.
Но хотели бы вы закон, который запретит вам его учитывать? А так же место рождения или наличие генетических заболеваний (т.к. тоже притеснение). Ведь это ваши деньги, вы ими рискуете.
Для конкретного человека (банкира) — это хорошо, он может учесть риски. Для общества — не очень, т.к. будет усиливаться расслоение и через пару десятков лет это превратится в проблему для всех и для банкиров в том числе.
Т.е. выдавать или не выдавать кредит по месту рождения или тем более по заболеваниям — не должно учитываться. При этом никто не запрещает использовать эту информацию чтобы застраховать риски.
встаёт вопрос о возможности беспристрастного создания обучающих выборок…
но опять же… если ИИ немного расист — значит это кому-нибудь нужно… 0_о
А в целом мне как новичку статья была интересна… жду с нетерпением вторую часть… )))
Можно ли назвать выборку без расизма беспристрастной? Как видим, если никак на выборку не влиять (не это ли определение беспристрастности?) — тональная оценка имён появляется сама. Интересно, какое решение будет применяться в следующей статье
Вот только задача-то заключается не в получении беспристрастной выборки — а корректного ИИ. В данном случае, используемый алгоритм обучения оказался неспособен преобразовать первое во второе.
Тот факт, что алгоритм назначает разную тональность разным национальным кухням, нельзя оправдывать беспристрастностью выборки — это очевидный баг алгоритма.
(Если кто не знал — по современным американским реалиям фраза «Все жизни значат» является расисткой, а «Чёрные жизни значат» — нет.)
Как бы «в БИОС» это дело прописываете, в очевидные базовые несомненные, саомочевидные принципы/аксиомы.
Вспоминая, что в другом подразделении вы же обучаете «другой» ИИ в реальном времени распознавать человеческие эмоции —
Маск, с его опасениями по поводу возможной враждебности человекам будущих ИИ — очень, очень даже прав.
А может оценка ML алгоритма, как раз точна? В том смысле, что оценка близка к тому, как высказывание оценил бы человек. Такой вот неидеальные, политкорректный человек.
Нет ли в статье того, что мы пробуем внести в работу некое априорное знание, которое отлично от тех, которыми, как правило, пользуются люди?
Я не о рассизм-не расизм, а о том, что действия похожи на подгонку под ответ.
Негр — это оскорбительно. Но негр никак не позитивно или негативно.
(шучу?)
Негр — это нормальное нейтральное слово, означающее всего лишь цвет кожи (объективный признак). В отличии от nigger, которое в приличном обществе недопустимо.
Отзыв "там одни негры едят" больше напоминает некоторый факт чем мнение о качестве пищи. Такой отзыв не следует учитывать ни как положительный, ни как отрицательный пока не определены предпочтения целевой аудитории, в интересах которой дается оценка (в частности, как они относятся к неграм за соседним столиком).
Тем не менее, одинокая фраза "там одни негры едят" без контекста неотличима от описания факта.
Я говорил о целевой аудитории алгоритма, а не о целевой аудитории оставившего отзыв. Они совпадать не обязаны.
Негров можно заменить на название любой другой группы, к которой посетитель относится отрицательно.
А как вы априори узнаете, как он к ним относится? Возьмем эту же фразу, и заменим негров на итальянцев. Получим отзыв на итальянский ресторанчик "Да там одни итальянцы едят". Что надо понимать так: данное место для своих, не туристическое. И этот отзыв как правило будет положительным.
Рискну предположить, что частотная перекошенность учебной выборки повлияла на результат на много сильнее, чем предрассудки людей, писавших эти тексты.
Другой вопрос — нет ли возможности решить вторую задачу данными, не затрагивающими первую (тут с этим и проблема же).
Ну представьте вы приходите в магазин, а там электронный консультант встречает вас фразой "Ну нифига себе урод, да еще и вместе со страшной толстой коровой. Ну и что такому нижеброду как ты в нашем магазине может быть по карману?"
Понравится вам это?
И будете покупать товар как в ничем не бывало?
Ну хорошо, вы не обиделись, а ваша спутница (скажем, жена) начала ругаться, требовать менеджера, требовать от вас разобраться "ты мужик или не мужик, или ты тоже считаешь меня толстой страшной коровой?".
Вместо небольшого шоппинга и романтического вечера с продолжением в постели, вы ругались с менеджером, потом ваша жена сорвала на вас плохое настроение, ни ужина не продолжения не получилось и вообще весь выходной оказался полностью испорчен.
Вы все еще хотите, чтобы ИИ никогда не лгали и не лицемерили?
Кроме того, «не сообщать информацию» означает «лгать» только если «сообщать информацию» было обязанностью того, кто не сообщил. Иногда это моральная обязанность, например обязанность как друга в ситуациях типа «ты не сказала, что он мне изменил, да как ты могла». В обязанности консультанта не входит негативная оценка покупателей.
Не говоря уже о том, что технически название «корова» по отношению к человеку это ложь.
Это не ложь, это устойчивое фразелогическое выражение, ИИ должен уметь их понимать и ими пользоваться иначе его речь будет не естественной.
В вашем примере нет никаких причин, чтобы электронный консультант магазина сказал такую информацию покупателю
Пример утрированный, но предположим женщина примерила одежду и спросила ИИ "мне подходит", 100% честный ответ будет "конечно нет, у тебя же ноги кривые и толстые, да сама ты центнер весишь, это безвкусица носить лосины такой толстухе как ты", думаете он понравится? Или все-таки предпочтительнее ответ вида "знаете мне кажется эта модель вам не совсем подходит".
От компьютера я вообще не вижу причин принимать оскорбления.
Вопрос не принимать оскорбления или нет, вопрос в том что ИИ должен знать что и когда можно говорить. Человек изначально обладает эмпатией и он не будет вспоминать про недавно умерших родствеников другого человека (или про того с кем человек развелся недавно и сильно страдает), например, если понимает что это может быть неприятно. С ИИ который не умеет "лицемерить" (на самом деле, проявлять эмпатию) будет очень тяжело общаться.
Это не ложь, это устойчивое фразелогическое выражение, ИИ должен уметь их понимать и ими пользоваться иначе его речь будет не естественной.
Я ни разу не слышал, чтобы консультанты в магазинах говорили такие выражения покупателю, но тем не менее мне их речь кажется естественной.
честный ответ будет "конечно нет, у тебя же ноги кривые и толстые, да сама ты центнер весишь, это безвкусица носить лосины такой толстухе как ты"
Это не честный ответ, это грубый ответ. Честный ответ будет просто "Нет". На вопрос "Почему?" честный ответ будет "У вас полное телосложение. Среди людей есть общепринятое мнение, что лосины людям с полным телосложением не подходят. А я вообще робот и не разбираюсь."
С ИИ который не умеет "лицемерить" (на самом деле, проявлять эмпатию) будет очень тяжело общаться.
Не говорить неприятную информацию не является лицемерием. Нет никаких причин ее говорить, пока не задан прямой вопрос. Даже ИИ в статье умеет худо-бедно определять негативный смысл. А если он не знал, что человек развелся, и что-то сказал на эту тему — ну так и человек-консультант не знает и так же может сказать.
Не говорить неприятную информацию не является лицемерием. Нет никаких причин ее говорить, пока не задан прямой вопрос.
Ок, то есть
- не говорить женщинам и чернокожим, что они статистически уступают в умственной деятельности белым мужчинам, пока они явно не зададут вопрос — не является лицемерием, а только вежливостью,
- не употреблять в речи слова папа или мама, а использовать первый родитель и второй родитель, чтобы не обидеть собеседника, если он принадлежит меньшинствам — не лицемерие, а только вежливостью,
- не рассказывать детям, что для их рождения нужны мужчина и женщина и вообще о том что такое традиционная семья, чтобы не обидеть их, если они выросли в однополой семье — тоже вежливость,
- Кстати про атеизм лучше тоже не рассказывать если не спросят — ведь можно обидеть тех кто верит, правильно?
То есть даже самый ультратолерантный ИИ можно создать просто используя "вежливость" (мы же не хотим никого обидеть) и это не будет по вашему лицемерием, правильно?
P.S. На всякий случай, я ничего не имею против любых меньшинств, мне просто интересно почему задавание "вежливости" ИИ вам кажется нормальным, а установка ИИ нормы "толерантности", чем-то ли лицемерным. Тут уж или крестик снять или трусы надеть...
Или мы изначально указываем нормы разговора с собеседниками и что является вежливым и что грубым и тогда не жалуемся на прошитую толерантность, потому что она ничем от этого не отличается.
не говорить женщинам и чернокожим, что они статистически уступают в умственной деятельности белым мужчинам, пока они явно не зададут вопрос — не является лицемерием, а только вежливостью
А какая разница конкретной женщине и конкретному чернокожему, что большинство не склонно к научной деятельности? Может эта конкретная женщина или чернокожий в это большинство не входят? Зачем им эта информация.
не употреблять в речи слова папа или мама, а использовать первый родитель и второй родитель, чтобы не обидеть собеседника, если он принадлежит меньшинствам — не лицемерие, а только вежливостью,
Если конкретному человеку не нравятся слова папа и мама, нет никаких проблем использовать другие. Это просто договоренность по использованию терминов. Просто папа и мама это общеупотребительные термины.
И стремление не обидеть сложно назвать лицемерием. Это наоборот проявление заботы. Если оно не связано с обманом.
не рассказывать детям, что для их рождения нужны мужчина и женщина и вообще о том что такое традиционная семья, чтобы не обидеть их, если они выросли в однополой семье — тоже вежливость
Это не является вежливостью, это просто обман. Такому человеку будет сложно адаптироваться вне общества, которое поддерживает такой обман. И почему они должны обидеться на законы биологии? Вы же не обижаетесь, что ваши далекие предки были обезьянами.
Кстати про атеизм лучше тоже не рассказывать если не спросят
Вы как-то перешли от оскорбления взрослых людей к обучению детей. Никто не допустит ИИ к обучению, пока он не будет правильно воспринимать окружающий мир и правильно его описывать словами.
И да, если тема разговора не касается религии, то нет никаких причин кому-то рассказывать про атеизм.
И нет, наличие атеизма в мире и называние покупательницы "коровой" это не одно и то же. Первое факт, второе намеренное оскорбление. И ни то ни другое не является лицемерием.
Вы почему-то приравниваете грубость к честности и вежливость к обману, а это не так. Грубость это форма подачи информации, а не ее содержание. Можно сказать "толстая корова", а можно сказать "имеет лишний вес". Информация одна — у этого человека лишний вес.
Ну и да. Лицемерие — несоответствие слов, поступков человека истинным чувствам, убеждениям, намерениям; притворство. У компьютера нет истинных чувств или убеждений, значит и притворяться ему не надо.
мне просто интересно почему задавание "вежливости" ИИ вам кажется нормальным, а установка ИИ нормы "толерантности", чем-то ли лицемерным
Это вы начали про лицемерие. Я говорю, что ИИ должен сообщать факты в максимально нейтральном тоне, и желательно только если от него требуется ответ. Особенно консультант в магазине.
надо создавать вокруг себя максимально адекватную обстановку
Проблема в том, чтобы создавать "максимально адекватную обстановку" нужно тоже лгать и лицемерить (по крайне мере, в мелочах), это называется чувство вежливости.
Попробуйте ради интереса говорить всем и всегда первой что придет на ум "ты просто толстая корова в этих лосинах, я считаю что ты поступил как лузер и неудачник, как можно быть таким идиотом, в этой рубашке ты выглядишь маминким сынком, да ты же на лицо лошадь лошадью какой мужик на тебя позарится и т.д." и посмотрите как к вам будут относится.
Невозможно общаться в людьми без некоторого этикета и вежливости, которое включает в себя небольшую долю лжи и лицемерия. И ИИ тоже не сможет адекватно общаться людьми, если не будет знать что и когда (и кому) нельзя говорит.
но я с определенного момента разговариваю культурно даже с самыми гопистыми гопниками. И вот нахожу общий язык.
Потому что вас научили вежливости родители, поверьте вы не говорили бы культурно, если бы вас этому не учили. Если вы думаете, что гопник выглядит и ведет себя как тупая обезьяна, вы скажет ему это? Или все-таки предпочтете немного лицемерия? Вот он вам говорит "ты думаешь я дурак"? Что вы ему ответите правду "да я думаю ты дурак" или добавите немного лицемерия, чтобы не попасть в больницу с тяжелыми телесными?
у меня нет никаких причин, чтобы называть кого-то жирной.
Девушка задает вам вопрос "Я толстая и страшная?", что вы ответите, если она реально толстая и страшная и знаете, что она очень сильно расстроиться (вплоть до истерики), если вы скажете "да".
говорим о фанатичной политкорректности
Нет, мы говорим о вашей фразе "лгать и лицемерить — глупо". Фанатичная политкорректность, как любой перегиб, это, конечно, глупость, вопрос только можно должен ли ИИ всегда говорить правду и ничего кроме правды.
Позволю чуть-чуть расширить фразу одного из величайших биологов и генетиков современности, одного из открывателей структуры ДНК, главы проекта «Геном человека»:
Почему вы считаете, что люди 200 миллионов лет эволюционировавшие независимо и в разных условиях должны получится одинаковыми? Эволюционная теория говорит, что это не так, тесты говорят, что это не так, и те, кто имели опыт работы с ними могут подтвердить вам, что это не так.
Может всё же 200 тысяч? Да и то вроде придётся сократить на порядок.
з.ы. других претензий не имею.
Вы точно не описались? Может 200 тысяч, а не миллионов лет? Это примерное время появления видов более-менее схожих с человеком. Ну и десятки и даже сотни тыс.лет в переводе на поколения это несколько тысяч поколений. Для эволюции это относительно немного.
В целом с вами согласен, но почему вы этот комментарий написали именно сюда? Здесь-то речь идет о конкретном баге алгоритма оценивания, который делает ИИ расистом и нацистом.
Нет никакой объективной причины для "мексиканской кухни" звучать хуже по тональности чем "итальянская кухня".
Контингент кафешки: в итальянской собираются мафиози и чинно обедствуют до покушения, а в мексиканских забегаловках собираются жирные больные нелегалы, которые могут торговать веществами.
(на основании серии игр GTA)
Возможно — проблема в том, что на одной из стадий обучения алгоритма нам приходится юзать данные, включающие в себя оценку мексиканцев.
Примерно как обучить в итоге алгоритм, который должен оценить, в том числе, другой объект (связанный с судом заметно опосредованно) в этом районе — но он будет занижать этому объекту оценку из-за наличия в выборке этого нашего самого басманного суда.
Кстати, интересно — как корректно (в плане обоснованности и применимости результата, конечно) провести эксперимент? Навскидку могу предположить, что могла бы подойти замена упоминаний мексиканской кухни в связанной с ней подвыборке на другую и дальнейшая оценка объектов из тестовой выборки (к которой применена та же замена).
Здесь вопрос не в том, что вы имеете в виду, говоря «белые в среднем показывают лучшие результаты в науке», а в том, как это утверждение воспримут другие.
А другие с большой долей вероятности воспримут подобное утверждение как заявление о неопровержимом интеллектуальном превосходстве ВСЕХ белых над ВСЕМИ остальными.
«Ничего подобного я и близко не имел в виду» — скажите вы?
Вот только очень значительная часть аудитории подумает именно это, т.к. «среднестатистический налогоплательщик» с логикой, увы, не особо знаком.
Таким образом утверждая, что «белые в среднем показывают лучшие результаты в науке» вы, сами того не желая, проповедуете расизм.
Это сексизм и есть, потому что данное высказывание основано на вашем субъективном мнении, а не на объективных фактах. Объективные факты — это не «одна конкретная женщина стреляет хуже одного конкретного мужчины». Объективные факты — это «взяли тысячу необученных мужчин и женщин и начали их учить совершенно одинаковым образом одинаковое время, и сравнили результаты».
Чем обучишь, то и получишь.
Да, и что за гендерная вакханалия? То участвовала, то создал в статье?
Как создать расистский ИИ, даже не пытаясь. Часть 1