Pull to refresh
51.49
РосКомСвобода
Защита цифровых прав

Хакатон Demhack: успехи проектов и новый анонс

Reading time8 min
Views2.6K

НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН И (ИЛИ) РАСПРОСТРАНЕН ИНОСТРАННЫМ АГЕНТОМ «РОСКОМСВОБОДА» ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА «РОСКОМСВОБОДА». 18+

В сентябре 2023 года прошёл седьмой хакатон Demhack. Тогда особенно тревожной была ситуация с VPN, которые массово начали блокироваться в России через ТСПУ. И естественно эта тема стала центральной. Вторым значительным направлением разработки внезапно оказались инструменты для выявления пропаганды и манипуляций в СМИ и социальных сетях — и в результате хакатона мы смогли получить несколько отличных проектов.

Расскажем сегодня о том, как развиваются лучшие проекты Demhack 7 (и сделаем небольшой анонс нового хакатона!). Итак, чем же помогают эти инструменты, в чём их ценность именно сейчас и что они планируют развиваться дальше?

Видеть манипуляции насквозь

Одним из победителей прошлого хакатона стал проект Textgericht — решение для проверки текстов на признаки манипуляций, логических ошибок и хейт‑спич. После хакатона проект продолжил работу и взял себе название «Насквозь».

Система «Насквозь», используя искусственный интеллект, анализирует новости из Telegram‑каналов и выявляет манипуляции в них, а затем выдаёт итог в виде процентного соотношения. Получается своеобразный «термометр пропаганды» — инфографика, которая иллюстрирует ситуацию в режиме онлайн:

Сейчас в разработке у команды ещё и свой Telegram‑бот с персональным агрегированным дайджестом новостей, дополненных индикатором уровня манипуляций. Он анализирует новости с разных точек зрения, основываясь на методах автоматического определения главных тем и нарративов пропаганды.

В основе технологии проекта «Насквозь» — автоматическая обработка текстов или NLP. В первую очередь используется ChatGPT для продвинутой аналитики с подробным объяснением ответов. Но в распоряжении команды есть и более быстрые и недорогие в работе модели, которые были созданы за счёт самостоятельного обучения нейросети Transformer. Они могут с высокой точностью (~ 80%) определить, есть ли в тексте пропаганда или нет.

Скриншот с сайта проектанеформальныДля обучения моделей используется как открытые данные научных конференций (например, SemEval 2023), так и данные, которые команда собрала и разметила сама. В корпусе проекта 2800+ предложений, размеченных на 6 классов манипуляций (логические ошибки и передёргивание, демонизация врага, эмоционально заряженный язык, апелляция к традициям, обоснование войны, черно‑белоё мышление). Качество разметки сопоставимо с научными публикациями в этой области.

В первую очередь продукт рассчитан на профессионалов: его могут использовать для работы журналисты и исследователи, агрегаторы новостей для определения качества информации, преподаватели специальных курсов и образовательных инициатив. Среди партнёров «Насквозь» — «НеНорма», TrueStory, AskRobot и другие проекты.

Важным является и то, что ресурс помогает в частной жизни, например, при дискуссиях с людьми, чтобы аргументированно показывать масштаб манипуляций в различных медиа, а также для самоконтроля, проверки своих текстов.

Уже сейчас система может одновременно анализировать тысячи текстов с очень высокими показателями точности. Однако на данном этапе «Насквозь» не может проверять тексты на фактическую достоверность информации, делать фактчекинг. Система не может справиться со специфическим языком сообщений, жаргоном и сарказмом, с неформальным стилем текста. Это возможное направление развития.

Ещё одно существующее ограничение — работа с текстами только на русском языке. Тем не менее специалисты говорят, что, например, компоненты бинарной оценки (есть пропаганда/нет пропаганды) достаточно легко переносятся на другие языки, и это тоже задача на будущее. Команда будет рада сотрудничеству: попробовать модель на личной подборке текстов или напрямую поработать с корпусом можно здесь (пароль: tester).

Противостоять фейковой реальности

После хакатона продолжает свою работу ещё один победитель Demhack 7 — проект «vox‑harbor». Он изучает накрутки голосов и деятельность ботов в Telegram. Проект исследует феномен создания искусственного мнения.

В арсенале команды — современные инструменты такие, как Clickhouse, Grafana и др. Они нужны, чтобы обнаруживать манипуляции общественным мнением (астротурфинг) в социальных сетях и на платформах, в частности в Telegram, с использованием метода анализа большого объема открытых данных для выявления активности ботов.

Команда создала большой распределенный парсер, который проверяет каналы в Telegram на наличие накруток реакций под сообщениями, голосов в опросах и комменариев под постами. Собранная внутри мессенджера информация загружается в базу ClickHouse, где происходит её анализ. Изучение комментариев проводится с помощью fine‑tune rubert. Одинаковые комментарии группируются алгоритмическими методами, позволяя выявлять автоматических кремлеботов и кадыровботов.

У проекта «vox‑harbor» уже есть удобный интерфейс для просмотра результатов исследований каналов. Если канал достаточно большой (от 100 тыс подписчиков), то скорее всего он уже попал в выборку анализа проекта и результаты доступны на сайте.

Выявление ботов:

В дальнейших планах у команды: выявление ботов со сложным поведением (троллей, которые пишут нетиповые комментарии по методичкам), расширение на другие социальные сети (например, отслеживание накруток ВКонтакте), а также активная работа с медиа (предоставление им результатов анализа для публикаций).

Проект готов сотрудничать с телеграм‑каналами. Администраторы могут сделать заявку и получить графики опросов и реакций, отражающие процент ботов в канале.

Следить за работой проекта можно в их телеграм‑канале или в блоге на сайте.

Выводить троллей на чистую воду

В контексте решений для противодействия искусственному общественному мнению упомянем и проект «Ботнадзор» (ранее «Ловушка повара»).

Боты — важная составляющая пропаганды, которая позволяет исказить истинную картину общественной реакции на происходящие события, сместить фокус на второстепенные события, сделать менее видимыми активности и мнения людей с точкой зрения, альтернативной официальной. Вот почему так важно изучать это явление и раскрывать его механику людям.

Команда проекта «Ботнадзор» с 2019 года занимается разработкой инструмента, позволяющего бороться с ботами в социальных сетях. Его методология основана на анализе поведения пользователей, в том числе группового. Цель проекта — противодействие размыванию общественного мнения и введению в заблуждение аудитории.

В настоящий момент с инструментом можно работать только ВКонтакте, в крупнейшей российской социальной сети, где сосредоточены десятки тысяч активных ботов, которыми централизованно управляют для продвижения нужной повестки. За время работы в проект смог обнаружить десятки ботоферм, состоящих из сотен и тысяч фейковых профилей.

Команда мониторит активность в популярных пабликах ВКонтакте для пополнения базы известных ботов. Собранные доказательства по каждому конкретному кейсу публичны.

Пользователи соцсети могут проверить любой подозрительный профиль через сайт или телеграм‑ботов проекта. Можно установить специальный скрипт в браузер, и тогда в реальном времени в интерфейсе сайта vk.ru будут выделяться комментарии и лайки подтверждённых ботов. Проект видит свою миссию в том,ч тобы раскрыть каждую группу фейковых комментаторов и донести факт манипуляций до как можно большего числа пользователей.

Проект важен для исследователей и журналистов, так как может предоставить информацию о массовых накрутках, а также о повестке, которая сейчас «отрабатывается» Вконтакте — например, это может происходить с целью минимизации общественного резонанса или переключения внимания людей с неугодных власти новостей. Кроме того, удалось собрать уникальный набор данных, который полезен не только для наших современников, но и для будущих историков. Данными «Ботнадзора» пользуются ведущие медиа: Guardian, FT, CNN, Вёрстка и др.

Команда планирует масштабировать работу проекта и на другие платформы, а ещё создать более удобный интерфейс для пользователей, разработать функционал для аналитики, проводить и публиковать аналитические исследования.

Получать доступ к реальной информации

Проект easyXray сначала назывался лаконично — «418». Задачу, которой он занимался на хакатоне Demhack 7, предложили коллеги из ОВД‑Инфо.

Проблема состоит в том, что некоммерческие организации и гражданские инициативы испытывают сложности при внедрении и управлении собственными VPN‑серверами для своих команд. Доступные варианты, вроде Outline, не обладают устойчивостью к блокировкам. В то время как более сложные решения с маскировкой трафика представляют трудности в настройке. Нужно было проанализировать различные подходы к решению этой проблемы (например, серверную маршрутизацию, клиентские исключения, динамический выбор нужного сервера) и разработать удобный инструмент управления этими настройками.

На хакатоне у разработчиков получился VPN‑сервер с интегрированной системой управления и умной маршрутизацией. Проект вошёл в число победителей.

После хакатона команда продолжила работу над проектом. Сейчас это продуманное решение на базе Docker, которое использует защищенный протокол XTLS‑Reality и включает в себя контейнеры 3X‑UI и Telegram‑бота для добавления/удаления пользователей, выдачи ссылок‑конфигураций для подключения к VPN, а также для получения инструкций по подключению и настройке клиентов на основных платформах.

easyXray — устойчивое к блокировкам решение. Оно будет удобно пользователям, уже имеющим дело с системами, типа Linux — в целом подойдёт всем, кто знает, как копировать/вставить команду в консоль и некоторые дополнительные вещи, типа создания бота в Telegram, а также имеет VPS или ПК под VPN‑сервер.

Отличие от базовой версии 3X‑UI состоит в том, что пользователям и администраторам не обязательно взаимодействовать с интерфейсом 3X‑UI для подключения к VPN и управления аккаунтами. Решение создано для максимально простой установки на VPS или личный сервер на Linux (одной командой в консоли).

Создавать новое прямо сейчас!

Победители прошлогоднего осеннего хакатона продолжают успешно работать. А мы тем временем собираем команды на новый хакатон!

Demhack 8 пройдёт с 29 по 31 марта 2024 года в формате онлайн и объединит IT‑специалистов, активистов и исследователей Интернета. Регистрация участников открыта до 18 марта 2024 года (включительно). Призовой фонд хакатона — 1200 USDT, также заявлены отдельные денежные призы от партнёров. Избранные команды получат возможность пройти программу акселерации в Privacy Accelerator и получить грантовую поддержку.

Главная тема седьмого хакатона — изучение цензуры и новых способов доступа к информации.

Хакатон станет площадкой для объединения усилий специалистов, говорящих на русском языке. Он открывает возможности реализовать проекты в сфере свободного интернета. А также ставит перед собой задачу привлечения внимания людей к актуальным проблемам в области цифровых прав по всему миру.

DemHack 8 — это восьмой хакатон задач в области приватности и свободы интернета. Он проводится каждые шесть месяцев, начиная с 2020 года. Его цель — поддержать дух сообщества и дать специалистам возможность реализовать свои идеи для блага людей по всему миру, защитить права на приватность и доступ к информации.

Регистрируйтесь на сайте до 18 марта 2024 года включительно! И удачи! ;)

Tags:
Hubs:
Total votes 26: ↑21 and ↓5+23
Comments8

Articles

Information

Website
roskomsvoboda.org
Registered
Founded
Employees
11–30 employees
Location
Россия
Representative
Артем Козлюк