Comments 7
Около 9 месяцев наблюдаю у нас на сайте новые типы ботов. Прикидываются под пользовательские браузеры. Яндекс.метрика их считает обычными пользователями. Выдаёт их IP из одной подсети /24 или даже /16. Приходится банить так как они нехило грузят сервер и искажают статистику. А semrush и подобных (около 500 user agent) мы давно блокируем через серверную директиву, до robots.txt они даже не доходят.
А логи смотрели? Можно узнать конкретные ip, а далее определить конкретно кто парсил. Вообще, чтобы отсечь ботный трафик, надо следить по поведению пользователей, по количеству обращений к серверу. Поведение парсеров-ботов сложно перепутать с другими типами ботов. И также можно понять по времени всплеска трафика, региона и т.п. Правда с ограничем ip, надо быть аккуратным, под раздачу могут попасть обычные пользователи. Обычно делают ограничение по времени от нескольких минут до 1 часа, а если и после ограничений продолжает, то уже банить, заносить в черный список
Может ещё заявок нет потому что Яндекс в белых списках, а исследуемый сайт нет?
Заголовок статьи заведомо кликбейтный. Если трафик есть, а заявок нет , то в большинстве случаев понятно что это боты. И очень странно что не был настроен robots, помимо поисковых ботов, обходят боты-парсеры и от нейронок. Непонятно причем тут SEO в заголовке? И давно ботный трафик стал частью seo-трафика? И кроме того, сеошник при оценке трафика учитывает полезный трафик, то если интересует чисто коммерческий , то не учитывает информационный и брендовый, по крайней мере в отчёте указывает/разделяет. Я не говорю про другие типы трафика. Статья конечно детальная, с разбором, но манипулировать заголовком не очень хорошо.
На сервере сделайте #cat access_log | grep -F 'robots.txt' | egrep -o '"[^"]+"$' | sort -u и посмотрите кто читает ваш robots.txt. Остальных заносить в него смысла нет.
PS: Сейчас на 1 живого посетителя приходится 50-70 ботов (без учёта ботов поисковых систем). Я.Метрика их не ловит, по логам их не вычислить (там мало информации). Только WAF.
SEO трафик на сайте есть, а заявок нет. Я полез в серверные логи и посмотрел, кто на самом деле «ходит» на сайт