Люди, которые застали динозавров и пейджеры, могут помнить, что когда-то давно, диктуя сообщение девушке-оператору пейджинговой компании, можно было услышать в ответ «Это сообщение оскорбительно для получателя, отправлять его я не буду». И попробуй докажи, что это у вас с получателем такая внутренняя шутка.
С тех пор способов доставить получателю оскорбительное сообщение стало намного больше, а способов превентивно это остановить не так уж и много. Предлагаем вспомнить наиболее любопытные технологические попытки сделать интернет чуть более добрым местом.
Сколтех против неуместности
Буквально в прошлом месяце Сколковский институт науки и технологий презентовал нейросеть, призванную находить «неуместные» текстовые сообщения. Потенциальные сферы применения — определение некорректного поведения чат-ботов в переписках с клиентами, а также модерация сообщений и комментариев в социальных сетях.
Разработчики особо подчеркивают, что система способна определять именно «неуместные» комментарии (не путать с «токсичными»). В качестве примера они приводят чат-бота, который вежливо рекомендует пользователю покончить с собой. Токсичности нет, но это явно неуместно.
Упрощенно нейросеть действует так: у системы есть список из 18 потенциально опасных тем. Она способна понять, если разговор начал относиться к одной из них, и в таком случае начинает внимательно анализировать сообщения. Среди зон потенциальной опасности — религия, политика, сексуальные меньшинства, самоубийство, порнография и преступления.
Авторы заявляют о точности системы в 89% случаев, хотя реальных кейсов ее использования пока нет. Но можно вспомнить один из предыдущих экспериментов Сколтеха. Тогда нейросеть написала около 14 тысяч сообщений в секциях комментариев под новостями в сфере IT. Главным результатом эксперимента тогда стало то, что многие пользователи посчитали комментарии уместными или даже смешными.
IT-университет Копенгагена против харрасмента
Исследователи университета в течение полугода оплачивали работу семерых максимально непохожих людей. Среди них были, например, дизайнер ПО, климатический активист, актриса и медицинский работник. Их задача была в следующем — они изучали тысячи сообщений в социальных сетях и выносили вердикт, являются ли они сексисткими или издевательскими.
Раз в неделю они собирались, чтобы обсудить сложные случаи. В общей сложности было проанализировано около 30 000 сообщений, 7 500 из которых были признаны оскорбительными. По словам исследователей, система на основе полученного и размеченного набора данных, может распознавать токсичное поведение в социальных сетях в 85% случаев. Реальными кейсами применения этой технологии исследователи пока не поделились.
Можно вспомнить инициативы многих социальных сетей по фильтрации потенциально оскорбительных комментариев и сообщений. Эти функции в том или ином виде запускали ВКонтакте, Twitter, Instagram, Tinder, TikTok и другие. Каких-то заметных успехов в борьбе с интернет-токсичностью каждая из этих инициатив не добилась, и все они были тихо свернуты, без каких-либо отчетов об успехах.
Facebook против издевательских мемов
В 2020 году Facebook выложил в открытый доступ набор данных, который должен был помочь исследователям ИИ в автоматическом режиме распознавать оскорбительные изображения и мемы. По задумке компании, датасет должен был облегчить решение сложной задачи — распознавания ненависти и зла в изображениях, которые несколько завуалированы.
Примеры таких мемов
В декабре 2020 года Facebook заявил, что считает результаты работы алгоритма достаточно хорошими, и обещал продолжить его развитие и использование в рам��ах социальной сети и дальше.
Jigsaw против всего мирового интернет-зла
Jigsaw — компания, принадлежащая Google, и в соответствии с информацией на сайте она «разрабатывает технологии, которые помогут человечеству справиться с глобальными проблемами, от цензуры и домогательств в интернете, до цифровых атак и вооруженного экстремизма».
Для уменьшения зла в мире Jigsaw предлагает решение Perspective. С помощью машинного обучения оно в реальном времени оценивает комментарии на степень их токсичности. Разработчики особо подчеркивают, что решение способно сделать это быстрее и точнее любого человека-модератора.
На сайте проекта в специальной форме можно проверить степень токсичности тех или иных слов, включая русские. Сразу отвечаем на два важных вопроса. Главное русское слово из трех букв состоит из зла ровно на 5.98 %, а популярное грубое приглашение отправиться в пешее путешествие — на 93.39 %.
Jigsaw не останавливает работу по улучшению своих алгоритмов и регулярно проводит конкурс среди разработчиков Jigsaw Multilingual Toxic Comment Classification. От его участников требуется улучшить алгоритм по поиску негативных и токсичных комментариев.
Perspective пользуются такие компании, как Reddit, The New York Times, Disqus и многие другие. Практически все они заявляют, что использование технологии помогло им значительно сократить ��оличество токсичных комментариев. Так, газета Southeast Missourian заявляет, что технология уменьшила количество негативных комментариев на сайте на 96 %.
А The New York Times смогла увеличить количество статей, открытых для комментирования, до 80 %. До использования этой технологии на сайте для комментариев было открыто 10 % материалов. А директор по технологиям в Reddit Крис Слоу заявляет, что Perspective — это ценный инструмент для повышения уровня безопасности на ресурсе.
Одна из главных проблем всех этих инициатив — отсутствие единого стандарта для определения нежелательных сообщений. Варьируется и количество категорий, оно может составлять как четыре категории, так и 23. Кроме того, большинство таких исследований проводится на английском языке.
По данным некоммерческой организации Plan от 2020 года, более половины опрошенных женщин в 22 странах заявили, что подвергались преследованиям или насилию в интернете. В результате каждая пятая из них сократила его использование или вовсе прекратила «серфить» в сети. Чаще всего нападения происходят на Facebook, за которым следуют Instagram, WhatsApp и Twitter. Таким образом, не сегодняшний день проблема «злого интернета» все еще актуальна и далека от решения.
