grigoriy-melnikov Oct 22 2024 at 06:29

ПО шагам: Защищаем сайт от парсеров и поведенческих ботов с помощью DNS-прокси

Medium

5 min

7.8K

Information Security*Algorithms*BrowsersWeb analytics*Spamming and anti-spamming

Tutorial

+11

Comments 11

Nunter Oct 22 2024 at 07:02

А смысл в этой защите? Мне надо бы отсекать ботов еще на этапе показа рекламы на ЯД, а когда он уже кликнул и денег списали то его заход на сайт мне не делает ни холодно ни горячо
а парсить с моего сайта нечего, а монстрам типа Озона и прочих маркетплейсов это уже их забота

grigoriy-melnikov Oct 22 2024 at 07:09

Для борьбы с ботами в Яндекс Директ, Яндекс предоставляет только один инструмент - это корректировка ставок на аудиторию. Т.е. визиты ботов нужно собрать в аудиторию, построить look-alike аудиторию и на неё сделать корректировку ставок "-100%" (минус 100 процентов). Можно это делать как с использованием сегментов метрики, так и в Яндекс Аудиториях.

running77 Mar 2 at 18:50

Это работает только для тех ботов, т.е. "пользователей", которые ранее уже заходили на сайт и оставили след в статистике. Если боты заходят каждый раз впервые, такая защита не работает.

grigoriy-melnikov Mar 3 at 15:16

Без look-alike аудитории - будет как вы написали. А если вычесть и похожую аудиторию ботов - то похожие будут вычтены. Яндекс Аудитории классные парни писали и ботов в отдельную аудиторию и выделять и вычитать они умеют. Кейсов реальных много в этом направлении.

PaulZi Oct 22 2024 at 08:01

Установка куки botcheck=1 - слишком банально. Обычно даже для обычного http-парсера все куки копируются из браузера ПОСЛЕ прохождения проверок, что уже обходит первый этап блокировки ботов. По хорошему нужно присылать на странице botcheck.html некий ключ и timestamp, который должен выполнить браузер в js и уже на основании вычисления устанавливать куку или ещё что.
А сервер должен соответственно отсекать то что неверно.

grigoriy-melnikov Oct 22 2024 at 08:07

Да, верно замечено, куку нужно генерировать динамически на стороне сервера и делать её зависимой от параметров времени, IP адреса и т.п. В противном случае куку можно украсть.