Привет! Я, Григорий Мельников, создатель сервиса защиты от ботов KillBot. Раньше я сам занимался разработкой ботов, а теперь создаю технологии для борьбы с ними.
Из-за последних событий мне пришлось перенести файлы в Беларусь, а базу данных с персональными данными пользователей - в дата-центр в Новосибирске, чтобы не нарушать закон о персональных данных. Хотя в нынешней ситуации уже хочется вообще всё за границу унести.
Но сегодня я хочу поговорить о другой атаке - о интернет ботах, которые в промышленном масштабе ходят по сайтам и кликают по рекламе.
Ранее я уже публиковал статью Боты в Яндекс Директ достигли промышленного масштаба. Кто не читал - рекомендую. В этой статье приводится доказательство того, что рекламу скликивают боты. Но есть существенная оговорка: в этой цепочке КАПЧУ решал человек, а всё остальное делал бот (прозрачную капчу бот просто не отправил на решение человеку). На момент публикации предыдущей статьи я не докопался до всей схемы. Теперь расскажу подробнее.
Для начала разберёмся, как вообще устроены современные бот-сети.
От http ботов до антидетект-браузеров
Чтобы понять, насколько далеко зашла индустрия ботов, нужно посмотреть, как развивались технологии браузерной автоматизации.
Поколение | Технология | Возможности |
1. HTTP-боты | Простые HTTP-запросы | Получают HTML, не исполняют JavaScript. Могут просто отправить POST-запрос в форму, не защищённую даже самой примитивной защитой. |
2. JS-боты | Headless-браузеры | Исполняют JavaScript, загружают страницы. |
3. Браузерная автоматизация | BAS, Selenium, Puppeteer и др. | Клики, скроллинг, заполнение форм, сценарии поведения, интеграция с сервисами антикапчи. Разные профили. |
4. Антидетект-браузеры | Изолированные профили Chromium, Firefox и других браузеров | Разные цифровые отпечатки для каждой браузерной сессии: cookies, прокси, разрешение экрана, Canvas и другие параметры. |
5. Антидетект-браузеры + мобильные фермы | Удалённое управление реальными Android-устройствами через API и инструменты автоматизации | Настоящая мобильная среда, приложения, сенсорный ввод. |
6. Гибридные системы | Антидетект-браузеры + мобильные фермы + оператор | Бот ходит по сайтам, а человек подключается, когда автоматизация сталкивается с чем-то сложным: капчей, авторизацией и т. д. |
Важный момент: антидетект-браузер - это не инструмент мошенников. Такие программы используются для легального тестирования, управления аккаунтами и изоляции рабочих профилей. Но в руках организаторов бот-сетей они превращаются в убойный инструмент.
Для справки. Что такое антидетект-браузер? На моём компьютере установлен обычный браузер, у которого есть множество технических характеристик: параметры графики, разрешение экрана, особенности JavaScript-движка, доступные API и многое другое. Антидетект-браузер позволяет создавать отдельные браузерные профили с разными параметрами окружения. То есть с одного компьютера можно выходить в интернет как пользователь Chrome с разрешением экрана 900×600 и видеокартой NVIDIA, а затем - как пользователь Firefox с разрешением 1920×1080 и видеокартой Radeon. Можно подменять абсолютно любе параметры (использовать разные профили).
На рынке существуют AdsPower, GoLogin, Multilogin, Dolphin Anty и другие решения. Они отличаются архитектурой, возможностями автоматизации, API управления, способами изоляции профилей и поддерживаемыми платформами.
Антидетект браузеры интегрируются с удалёнными смартфонами
В этом случае взаимодействие с сайтом происходит в настоящем мобильном окружении. Смартфон физически существует, на нём работает Android, установлен полноценный браузер и могут быть установлены другие приложения.
И самое главное - управление браузером осуществляется через операционную систему Android, а не путём простой имитации браузерных действий, как в примитивных сценариях BAS. То есть программный клик будет выполнен как настоящее событие касания-touch экрана смартфона. Для сайта такое взаимодействие выглядит как обычное действие пользователя мобильного устройства.
Архитектура удалённого управления реальными Android-устройствами давно существует и технически доступна. По сути, это ферма физических смартфонов, подключённых к единой системе управления через API. Специальное программное обеспечение позволяет удалённо запускать браузер, открывать сайты, выполнять касания экрана, скроллинг и другие действия непосредственно в операционной системе Android.
НА iPhone это НЕ работает!
В моей исходной статье (ссылка на которую в самом верху) все ботовские конверсии приходили ТОЛЬКО с Android. Ни одного iPhone! И это отлично бьётся с гипотезой о мобильной автоматизации. У iOS другая модель безопасности: подпись приложений, контроль окружения и системные ограничения существенно усложняют массовую автоматизацию.
Утверждать, что использовать iPhone в подобных схемах вообще невозможно, нельзя, НО массовое развёртывание и управление такими устройствами имеет технические и экономические ограничения. Поэтому полное отсутствие iPhone в моей выборке - это весомый аргумент в пользу гипотезы о бот-сети на базе Android-автоматизации.
ОПЕРАТОР решает КАПЧУ, совершает конверсии. Всё остальное выполняет БОТ, НЕ антикапча.
В промышленной бот-сети, в которой тысячи браузерных сессий выполняют заходы на сайты, большую часть времени участие человека вообще не требуется.
Но если внезапно появляется капча, то бот останавливается и передаёт управление оператору. Причём НЕ сервису антикапчи, а конкретному человеку, который непосредственно вот тут сидит за компом и управляет бот-программой.
Если бы использовался сервис антикапчи среднее время решения было бы от 10-20 секунд
Если бы использовался внешний сервис распознавания капчи, задача передавалась бы на сторонний сервер. Там её должна решать нейронка или другой человек. Для сложных капч (которых нет в перечне автоматизированных решений), капча передается человеку и решения можно ждать от 10-20 секунд и более. В моём эксперименте Капча решались практически мгновенно. Это мог делать только человек, который уже находится за компьютером и контролирует происходящее. Причём капча в моём тесте была НОВОЙ - только что написанной специально для кейса. Готового специализированного решателя для неё НЕ могло существовать. Именно это стало главным аргументом, что Капчу решал оператор бот-программы.
А дальше бот тупо скроллит поверх POPUP!
Или вступает в китайский телеграм-канал - как в кейсе моей предыдущей статьи.
После прохождения капчи посетитель попадал на страницу сайта, где появлялось всплывающее окно. Нормальный пользователь, сначала закроет окно, а потом продолжит лазить по сайту. А здесь бот начинал скроллить страницу, вообще не обращая внимания на popup!
Если бы один посетитель попытался скроллить страницу поверх popup - это ни о чём бы не говорило. Но когда так делают 100 посетителей из 100 - это точно боты.
Это как раз подтверждает, что капчу решал оператор, после чего управление тут же возвращалось боту. Оператор, даже не знал, на каком сайте всё происходило.
Если прошел капчу, то ПОЛЬЗОВАТЕЛЬ: НЕТ это фундаментальная ОШИБКА!
Если в истории посещения пользвоателя есть успешно решённая капча, то НЕЛЬЗЯ, категорически НЕЛЬЗЯ использовать этот факт как доказательство того, что ВЕСЬ визит совершен пользователем! ЗАПРЕЩЕНО только за факт решения капчи списывать рекламные средства.
Усложнение капчи - тупиковая стратегия
Меня откровенно бесят многошаговые капчи. Боту такую капчу решить проще, чем мне!
Боты научились решать простые капчи. Давайте усложним! Научились решать сложные. Сделаем ещё сложнее!
Факт реальной оплаты - вот что действительно отличает платящего клиента от бота, который просто имитирует полезную активность. Если нагнали тысячу рекламных кликов, а в их истории нет ни одной реальной оплаты, то для рекламодателя ценность такого трафика НОЛЬ - брать за это деньги должно быть стыдно. И здесь я говорю именно о настоящей оплате, что живые деньги списались с карты, а не о какой-нибудь псевдоконверсии вроде перехода по ссылке на страницу оплаты.
О том, как ловить ботов без использования КАПЧИ, я подробно рассказал в другой статье - почитайте.
НЕТ цели создать ЛУЧШУЮ в МИРЕ рекламную систему
Пока уровень отношения будет на уровне, что "клик бота приносит столько же сколько и клик живого человека" - качества НЕ видать.
