Билайн показывает рекламу боту Google. Бот недоволен

Расскажу свою маленькую историю в копилку бесчинств мобильных операторов:

Дано:

1. Самый обычный лендинг. Только странички с версткой и все.
2. Размещен на серверах крайне известного хостера. Последняя версия популярной(не wordpress) CMS.
3. Включены как http, так и https. Но редирект с 80 на 443 не настроен.
4. Сайт рекламируется в контекстной рекламе Google.

Казалось бы, все под контролем, что может пойти не так?

А прилетает откуда и не ждали: получаем блокировку в контекстной рекламе. Обращаемся в техподдержку:



Первая мысль: взломали!!! Однако, беглая проверка показывает, что никаких подозрительных скриптов на сайте нет. Проверка служебных endpointов CMS также ничего не дает — все закрыты хостингом. В исходниках сайта, ожидаемо, ничего подозрительного.

Ну что ж, посмотрим тогда внимательнее на виновницу торжества:

ssp1.rtb.beeline.ru/userbind?src=rpb&id=4bae2cff-817d-4fda-816e-10effdf6d956

Тот факт, что домен принадлежит Beeline, сомнений ни у кого, кажется, не вызывает. Разберем ссылку по частям:

Sell Side Platform (SSP) — это технологическая платформа, которая представляет интересы продавца и торгует рекламным инвентарем. Задачей SSP является продажа рекламного инвентаря по максимальной стоимости. SSP находится в постоянном взаимодействии с DSP, которая передает SSP ставки рекламодателей и требования к целевой аудитории, в результате чего определяется победитель RTB-аукциона с учетом интересов двух сторон.

RTB (Real Time Bidding) – это рекламная технология, которая позволяет организовать аукцион между продавцами и покупателями рекламы в реальном времени. Объектом торга на онлайн-аукционе является право показа объявления конкретному пользователю.

В конце ссылки рекламный идентификатор клиента. В нашем случае — гугл бота.

Быстрым поиском находим анонс: rb.ru/news/beeline_programmatic

Восстановим цепочку событий:

1. Google Bot пытается проверить мобильную версию сайта
2. В цепочке серверов до сайта попадается система билайна, или какая-то другая, вставляющая ссылку на свой рекламный блок. Правильно: гугл бот — идеальный кандидат для показа рекламы!
3. Google Bot обижается, и определяет ссылку как вредоносную

Как реклама фактически попала на сайт:

Есть 4 гипотезы:

1) Google сервера хостятся в сети Билайна. Вставка рекламы осуществлена непосредственно оператором (комментарий)
2) Google bot краулит через открытые прокси, которые вставляют рекламу(комментарий)
3) Трафик прошел через сторонний сервис рекламы, Билайн только выиграл конкурс на размещение
4) Рекламу подсунул хостер/сайт взломали(обсуждение)

Наиболее вероятны первые 3 варианта. Против четвертого говорят хорошая репутация хостинга, отсутствие модификации файлов CMS, старые даты изменения и т.д.

Выводы

Если Вы еще не перешли на https — самое время это сделать

P.S. В статье специально отсутствует ссылка на пострадавший сайт. Я готов поделиться ей с представителями Beeline, но публиковать в открытом доступе не вижу смысла.

P.P.S. Отключенная реклама — потенциально недополученная прибыль. Если клиенты, привлеченные с сайта — основной источник дохода — то это очень и очень плохо.