Рынок VPN — это рынок недоверия. Как я пытался починить его голосами пользователей
Выбор VPN-сервиса устроен хуже, чем выбор почти любого другого софта. Обзоры «Топ-10 VPN» — это партнёрские ссылки, отсортированные по размеру комиссии. Отзывы на агрегаторах пишут сами сервисы. Нейросети уверенно рекомендуют сервисы, закрывшиеся год назад. А проверить самому можно только одним способом — заплатить и попробовать. Классический рынок лимонов: у продавца информации больше, чем у покупателя, и добросовестным сервисам это вредит не меньше, чем пользователям.
В апреле этого года я сделал каталог, где вместо редакционных обзоров — голоса пользователей: «работает / не работает» в один клик, без регистрации. Сейчас в нём ~140 сервисов и десятки тысяч голосов. Расскажу, что из этого вышло с продуктовой и технической стороны — в первую очередь про то, как заставить краудсорсинговый рейтинг быть честным.
Почему «свежесть» важнее «качества»
Первое, что показали данные: у VPN-сервисов нет стабильного «качества», которое можно один раз измерить и записать в обзор. Сервис, который прекрасно работал три месяца, деградирует за неделю: сменился хостер, переполнились серверы, кончились деньги. Статичная оценка протухает быстрее, чем индексируется страница с ней. Поэтому рейтинг в каталоге скользящий: свежие голоса весят больше старых, и сервис не может вечно ехать на былых заслугах. Это же решает проблему «мёртвых душ» — заброшенные сервисы без свежих голосов сами уезжают вниз.
Накрутка приходит сразу, как только рейтинг начинает что-то значить
Самая интересная часть — антифрод. Как только каталог начал приводить сервисам пользователей, рейтинг попытались накрутить. Показательный эпизод: 173 голоса за 50 минут с пяти IP за один сервис, причём атакующий проходил SmartCaptcha — то есть капча как единственная линия обороны не работает.
Что сработало — скучная математика на уровне модели данных:
рейтинг считается по уникальным голосовавшим, а не по числу голосов — повторные голоса с того же пользователя схлопываются;
малые выборки сглаживаются байесовским средним: сервис с пятью восторженными голосами не обгонит сервис с тысячей смешанных;
аномальные всплески видны на мониторинге, и данные можно откатить точечно.
Вывод, который переносится на любой UGC-продукт: антифрод в модели данных надёжнее антифрода на входе. Капча отсеивает ленивых, а математика делает накрутку бессмысленной — двигать рейтинг с пяти IP просто некуда.
Доверие — двустороннее
Неожиданный поворот: сервисы сами стали приходить верифицироваться. Владельцу выгодно публично отвечать на отзывы и иметь подтверждённый профиль — это отличает живой сервис с поддержкой от однодневки. Так каталог из «книги жалоб» превратился в двусторонний рынок репутации: пользователи дают сигнал о качестве, сервисы — сигнал о том, что за продуктом кто-то стоит. Ни один из этих сигналов по отдельности подделать дёшево, а вместе — тем более.
Что в итоге
Проблема выбора VPN — на самом деле проблема доверия, и решается она не «более честным обзором», а механикой, в которой врать дорого: уникальные голосовавшие, скользящее окно, сглаживание, верификация владельцев. Посмотреть, как это выглядит вживую, можно тут: https://vpn-catalog.online. Про методику подсчёта и антифрод-механику с удовольствием отвечу в комментариях.