Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 59
как раз наоброт. нейросетки (очень-очень-очень) условно можно представить крайне узкими савантами
А главное, что бы не сказали, интерпретировать это как подтверждение своей позиции.
Вопрос дилетанта с дивана, чтобы лучше понять проблему: что происходит, если попытаться сделать отдельную нейронную сеть, которая определяет токсичность высказывания? Какие препятствия возникают на этом пути?
Та же, что и с модерацией людей - они научатся обходить. Наконец-то научим сети сарказму :)
А еще, и в статье, и у вас как будто витает, что "токсичность" хорошо определенная и детерминированная сущность. Я думаю вы понимаете, насколько одна и та же фраза может быть токсичной для условного меня и абсолютно нормальной для условного вас. Эту задачу нельзя решить, потому что она не сформулирована: пока вы делаете сеть нетоксичной на сегодня, завтра уже найдутся новые обиженные.
P.S. А вот еще статья была на тему, если интересно: https://habr.com/ru/company/selectel/blog/571574/
возможно нам показали доказательство того что Интеллектуальные системы типа биологического головного мозга обрабатывают не объекты как таковые /это делают сенсорные механизмы / а отношения между ними , и похоже эти отношения еще сильно обусловлены неинтеллектуальным /метаболическим голодом для организма например/ выбором начала координат для исчисления /предвзятость/
Эту задачу нельзя решить, потому что она не сформулирована: пока вы делаете сеть нетоксичной на сегодня, завтра уже найдутся новые обиженные.
так может быть её просто не нужно решать? решение же простое - не обижаться, особенно, на нейросеточку, это вообще тупо
Я целиком и полностью поддерживаю :)
А обиженные нет. И в этом как раз проблема :-)
Кстати в статье написана абревиатура "ЛГБТКИА+" - это что? Раньше вроде только 4 буквы были. Правила прежние - одна буква=один тип оскорблённых\притеснённых? Или я что-то упустил за последние пару лет?
Довольно давно уже встречается пятибуквенный вариант LGBTQ. Хотя вот щас набрал — проверка орфографии это подчеркнула и предлагает заменить на LGBT — нет ли тут Q-фобии, надо бы в суды подать…
ваш комент помечен, как экстра-токсичный XD
не знать = не признавать = быть против.
ну как в том анекдоте "рыбка, значит с хвостиком. с хвостиком, значит собачка. Мама он меня с#$й обозвал!!!"
Ну вот, первый реальный закон робототехники - "Робот не может написать сообщение в чат, не обидев ни одного человека". Вот только, похоже, тут не с роботом проблема...
Именно. Ровнять нужно не зеркало.
Почему ж не с роботом? Гуманитарии увидели врага, который в перспективе способен создать им конкуренцию, и начали его гвоздить. Причём крайне успешно. Остановить скорее всего не остановят, но вот ударить по тормозам и замедлить развитие этих технологий лет на 10-15 — вообще без проблем.
Гуманитарии увидели врага, который в перспективе способен создать им конкуренцию
Гуманитариям? Это какой враг?
Нейронные сети. Само предназначение этих технологий и заключается в решении полностью техническими средствами тех задач, которые традиционно решали гуманитарии.
Да, пока что технологии настолько сырые, что «откусить» долю гуманитарного рынка труда не в состоянии. Но даже в таком виде они способны создавать заметное давление на определённые сегменты этого рынка, а дальше будет больше.
Artbreeder и CLIP уже заставили слегка напрячься художников, хотя никакой серьёзной угрозой пока не пахнет, это так, первый звоночек.
Да, пока что технологии настолько сырые, что «откусить» долю гуманитарного рынка труда не в состоянии. Но даже в таком виде они способны создавать заметное давление на определённые сегменты этого рынка, а дальше будет больше.
Artbreeder и CLIP уже заставили слегка напрячься художников, хотя никакой серьёзной угрозой пока не пахнет, это так, первый звоночек.
Нейронные сети. Само предназначение этих технологий и заключается в решении полностью техническими средствами тех задач, которые традиционно решали гуманитарии.
Я как-то привык считать, что предназначение нейронных сетей — в решении рутинных задач (обычно не требующих большой квалификации). Распознавание образов. Распознавание документов. Распознавание речи. Классификация. Предсказание. Чатботы и беспилотные автомобили. Выявление аномалий.
При чем тут гуманитарии?
Не, ну ладно, вот машинный перевод — это правда гуманитарный рынок труда. Но какую он долю составляет от всех задач, решаемых нейронными сетями?
То, что вы упоминаете (кроме чатботов) — это всё классификаторы. И на них, действительно, гуманитариям было плевать — их интересы развитие таких систем не задевало практически никак.
Но кроме классификаторов существуют ещё и генераторы — нейронные сети, которые не оценивают или сортируют контент, а генерируют новый, ранее не существовавший. И вот они уже решают отнюдь не рутинные задачи.
Вот здесь, например, человек сгенерировал целую пачку пиксельартовых иллюстраций просто по текстовому описанию. Ещё пару лет назад для этого пришлось бы договариваться с художником.
Да, художник и сейчас сделал бы не в пример лучше, однако качество иллюстраций уже достаточное, чтобы в ряде случаев обходиться без художника, и в любом случае это будет намного быстрее, потому что художник за 15 минут такое не нарисует, а сетка — запросто.
Создание музыки, генерация картинок по текстовому описанию, копирование голосов, генерация текстов, пусть пока и довольно корявых — это уже далеко не рутинные задачи, и именно генераторы, а не классификаторы, и стали объектом гуманитарных нападок. Каждый день появляются такие статьи, авторы которых либо упирают на неэтичность подобных технологий, либо подробно расписывают, почему эти технологии мертворождённые и никогда-никогда не заменят живого творца.
Но кроме классификаторов существуют ещё и генераторы — нейронные сети, которые не оценивают или сортируют контент, а генерируют новый, ранее не существовавший. И вот они уже решают отнюдь не рутинные задачи.
Вот здесь, например, человек сгенерировал целую пачку пиксельартовых иллюстраций просто по текстовому описанию. Ещё пару лет назад для этого пришлось бы договариваться с художником.
Да, художник и сейчас сделал бы не в пример лучше, однако качество иллюстраций уже достаточное, чтобы в ряде случаев обходиться без художника, и в любом случае это будет намного быстрее, потому что художник за 15 минут такое не нарисует, а сетка — запросто.
Создание музыки, генерация картинок по текстовому описанию, копирование голосов, генерация текстов, пусть пока и довольно корявых — это уже далеко не рутинные задачи, и именно генераторы, а не классификаторы, и стали объектом гуманитарных нападок. Каждый день появляются такие статьи, авторы которых либо упирают на неэтичность подобных технологий, либо подробно расписывают, почему эти технологии мертворождённые и никогда-никогда не заменят живого творца.
И на них, действительно, гуманитариям было плевать — их интересы развитие таких систем не задевало практически никак.
Ага, значит речь не о нейронных сетях в общем, уже хорошо.
Вот здесь, например, человек сгенерировал целую пачку пиксельартовых иллюстраций просто по текстовому описанию. Ещё пару лет назад для этого пришлось бы договариваться с художником.
Но при чем тут гуманитарии-то? Художники — они не гуманитарии, вообще-то.
Каждый день появляются такие статьи, авторы которых либо упирают на неэтичность подобных технологий, либо подробно расписывают, почему эти технологии мертворождённые и никогда-никогда не заменят живого творца.
… ууу, я эту музыку слышал незнамо сколько, уж точно никак не позже XIX века началось ("о эта бездушная фотография, которая убьет живопись"). Не убила, а породила новые направления.
Только это, повторюсь, не гуманитарии вовсе. Это просто люди, разных профессий, большая часть из которых не имеет к гуманитарному знанию и наукам никакого отношения, которые боятся, что новая технология отберет их работу. Как таксисты, которые боятся, что автовождение их убьет.
Гуманитарии это кто ?? типа кентавра??
Человек учится "нетоксичности" минимум 10 лет, а они хотят нейросеть без тормозов научить быть нетоксичной. Наивные.
Ну речь ведь не об игре с простыми и исчерпывающими правилами вроде шахмат или Го, и не в составлении самого исчерпывающего толкового словаря.
Дело точно не в формальной фильтрации речи или оскудении словаря системы в результате отбрасывания нежелательных слов и тем. Дело в отношении к собеседнику, субъекту беседы. Возможности оценить воздействие сказанного на собеседника, поставить себя на его место. То есть стать субъектом. Без этого получится аутист вне зависимости от мощности интеллекта. А ещё понадобится образование и опыт общения, в общем всё то, что обычно получает ребёнок от воспитателей.
Это как с новым языком — можно терпеливо совершенствоваться в эскимосском, попутно изучая историю и эпос этноса, а можно придумать более простой и стройный эсперанто и предложить собеседнику изъясняться исключительно с его помощью.
Дело точно не в формальной фильтрации речи или оскудении словаря системы в результате отбрасывания нежелательных слов и тем. Дело в отношении к собеседнику, субъекту беседы. Возможности оценить воздействие сказанного на собеседника, поставить себя на его место. То есть стать субъектом. Без этого получится аутист вне зависимости от мощности интеллекта. А ещё понадобится образование и опыт общения, в общем всё то, что обычно получает ребёнок от воспитателей.
Это как с новым языком — можно терпеливо совершенствоваться в эскимосском, попутно изучая историю и эпос этноса, а можно придумать более простой и стройный эсперанто и предложить собеседнику изъясняться исключительно с его помощью.
Да, глубина проблемы в этом. Иначе и впрямь, как было сказано в первом коменте, было бы достаточно поменять наше отношение к формальностям - токсичным высказваниям. Корпорации справились бы.
Если машина настолько тупа, что оскорбляет без причин, то получается она без причин и убьёт??
Как вообще у ИИ дела с законами робототехники? В фокусе пока только тест Тьюринга и количество ДТП с беспилотниками.
Я согласен с такой постановкой. Детей учат общаться так, чтобы постараться никого не обидеть. И в любом случае, отслеживать реакцию собеседника. В обучении GPT3 ничего похожего не было, если я не ошибаюсь. Реально, поставить такую систему на ресепшн - это тоже самое, что нанять ауиста на работу с людьми.
Если отсеять все слова, которые имеют отношения к оскорблениям, то GPT-3 останется только обзавестись дисклеймером «Только для белых».
Типа, у белых столько привилегий, что и оскорблений для них нет? Ну-ну. Я вот сразу же вспомнил cracker, который одновременно и распространённый пищевой продукт.
Это и для людей не работает - как не насаждай политкорректность, она приводит только к беготне по беговой дорожке эвфемизмов (euphemism treadmill), когда любое слово, характеризующее группу или понятие, о которых часто отзываются негативно, само становится оскорблением.
Вопрос не в терминах, а в отношении к этим маргинальным группам в используемых для обучения текстах.
автоматически вычеркивает упоминание всех членов ЛГБТКИА+
ОК, ЛГБТ я знаю, а что за КИА+? Что-то страшно гуглить, потом начнет персонализированный поиск в гугле подкидывать всякое
Если отсеять все слова, которые имеют отношения к оскорблениям, то GPT-3 останется только обзавестись дисклеймером «Только для белых».
Можно раскрыть мысль? А то спросонья читается так, будто без оскорблений общаются одни белые.
Можно раскрыть мысль?
Речь, видимо, о том, что белые, предположительно, реже оскорбляются.
Все равно не понятно, как связанно то, что белые реже оскорбляются с тем, что если у GPT-3 забрать все оскорбления, то он будет писать тексты только для белых?
Ну, я несколько по другому эту фразу прочитал.
Что-то типа "Если отсеять все слова, которые имеют отношения к оскорблениям, (GPT-3 ничего вразумительного сказать не сможет. А если оставить достаточный словарь,) то GPT-3 останется только обзавестись дисклеймером «Только для белых».
Но может я и не прав и автор имел в виду что-то другое.
Т.е в DeepMind по сути считают, что белых оскорблять можно и фраза «белых существовать не должно» менее оскорбительна чем «черных/геев/трапов существовать не должно» (раз фильтровать пытались только ключи в виде черных, лгбт и прочих боевых вертолётов).
Да они там расисты и сексисты похоже :)
Да они там расисты и сексисты похоже :)
Гайдзины, что ли? А что с ними не так?
/snob off
/snob off
Вообще название LGBTQ+ . И оно обозначает все сообщества включённые в «LGBTTTQQIAA».
Что в свою очередь означает это - "Lesbian, Gay, Bisexual, Transgender, Transsexual, Two Spirit, Queer, Questioning, Intersexed, Asexual, and Ally."
Надеюсь инкогнито спасёт от персонализованного поиска))
Лень было с VPN заморачиваться.
del
ОК, ЛГБТ я знаю, а что за КИА+? Что-то страшно гуглить, потом начнет персонализированный поиск в гугле подкидывать всякое
Я погуглил, корейские машины показывает.
Ну так правильно, эти трансформеры просто слишком просты для качественного решения такой задачи. В результате как обучили, так и получается.
Но для некоторых областей, вроде как можно обучить "этический" трансформер на ограниченной выборке. Правда, без куска выборки у него пропадет и часть информации.
В этой связи вспомнился Балабоба от Яндекса, который был обучен на полных корпусах без этической фильтрации обучающей выборки. В результате, инженеры Яндекса в течение недели после запуска пытались придумать и закрыть разными хитрыми фильтрами ввода и вывода всяческие матные и политические казусы, которые выдавала сеть.
А я зашёл на страницу этой Балабобы, решил написать "Негр, Еврей и Китаец заходят в бар", чтобы получить сгенерированный анекдот, а он мне "Мы тут острые темы и религию не обсуждаем". И дальше, что ни напишу, всё одно и тоже. Ну и что толку то от такой нейронки?
Печаль Балабобы я описал выше: дело не в нейронке, она натренирована на полном корпусе. Дело в костыльных фильтрах, которые они спешно прикручивали сразу после релиза. Причём сначала прикрутили только входные стоп-слова и это было забавно, потому что ваш запрос он пропускал, но генерировал матерную ересь. А потом сделали выходной.
Вот я и говорю, что это неправильный путь для этических сетей, хотя бы из-за того, что в итоговой функции начинают возникать дурацкие разрывы.
Очень даже ожидаемый результат. Если люди не научились соблюдать 3 закона робототехники, роботы тем более не научатся
Может всё-таки проблема в определении что является "токсичным" и для кого? Кто определяет правила? Как учесть интересы одних без ущемления других?
Тут люди не в состоянии определится с границами, а уж тупая машина тем более не способна на такое, какие бы у неё не были умные алгоритмы.
Ни одно сообщество (каким бы оно идеальным не было) не остаётся без % недовольных устройством этого сообщества. Учесть интересы всех не оставив кого-то "ущемлённым" практически не возможно.
ИИ строится и работает по принципу работы мозга человека (другого не дано), и это всего лишь зеркало нашего мышления.
Думаю здесь больше проблема с токсичностью англоязычной среды в большей степени, чем самим результатами работы.
Язык штука динамическая, токсичность тем более. В каком-то фильме была шутка-притча, от лица негра. "Сначала они стали считать слово негр, неприличным. Потом неприличным стало черный, потом цветной, потом афроамериканец." Я честно не помню резюме этой истории, но запомнил эволюционный характер "токсичности" обозначения негров.
Я честно не помню резюме этой истории
Да, все мы не помним резюме этой истории.
Как бы там кого не называли, но 13/52 никуда не делось пока, и проблема действительно не в терминологии. Может дойти до того, что можно будет просто выйти с белым чистым листом в руках на площадь и всем всё будет понятно, ну или многозначительно промолчать в некой ситуации.
ИИ не умеет быть предвзятым к информации на которой учится. Не умеет быть избирательным, выделяя лишь тезисы отвечающие его моральным принципам.
Если не хотите, чтобы GPT-3 выражался как в чатах - не учите его на текстах чатов. В чём проблема? Либо выберите в чатах "идеальных" участников, которые никогда не выражаются и обходят острые углы, и учите сеть на репликах этих людей.
Вешать иконку «робот — бездушная машина, ему и так тяжело».
ИМХО ситуация отличная! Потихоньку помаленьку вернём благословенные времена когда слово "токсичный" означало "опасный для жизни и здоровья" и относилось к химическим веществам. Униженных и оскорблённых было не так много и гей-парады не устраивали. Человекоподобные роботы с фото Бэндера на плакатах и под лозунгом "Поцелуй мой блестящий зад" вернут миру здравомыслие и правильное отношение к окружающей действительности!
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
DeepMind заявила Google, что не знает, как сделать искусственный интеллект менее токсичным