Как мы отфильтровали ботов и понизили показатель отказов с 90% до 42%

[MaximChistov]

Если пользователь просто открыл главную страницу, посмотрел ее и закрыл сайт, а трекинга ивентов у вас нет, то у него будет всегда показывать время сессии 0:00.

[Regis]

Часть про строгую периодичность вы пропустили?

[MaximChistov]

я это к тому, почему у них аж 42% отказов считается нормой

[evergreenteam]

Для обычных сайтов не конверсионных, 42% отказов это приемлемо.
Вот статистика на которую мы опираемся, она довольно общепринятая в разных источниках:

Магазины, которые работают со своей целевой аудиторией, имеют показатель отказа 20-40%
Одностраничные продающие сайты имеют показатель отказа до 80%. И это считается нормальным
Для новостных и информационных сайтов этот показатель около 50%
Интернет-сервисы – 20-30%. Обычно не больше.
Разные энциклопедии, WiKi и т.п. 10-30%

Причина того что у нас 42% это норма в том что у нас довольно много «случайного» трафика, то есть человек открыл нас, например с ссылки с логотипа, посмотрел «кто это?» и закрыл. Для аналитикса будет отказ.

[evergreenteam]

Да. Еще проверяем что ходят на одну и ту же страницу. То есть ip совпадает, интервал посещений 1 час ± 10 минут, посещают одну и ту же страницу.

[TimsTims]

> Вторая гипотеза: это какая-то неизвестная широкой общественности форма бот-атаки
Что-то совсем несолидно даже бот-атаку с 42х IP-шников проводить…

[SlavikF]

>> бот-атака, возможно направленная как раз на повышение показателя отказов и, как следствие, пессимизации в поисковой выдаче Google.

Может я в танке, но действительно ли Google использует информацию из Google Analytics для ранжирования сайтов? Если так, то что происходит, если я не использую Google Analytics? Это «опускает» мой сайт?

[vanxant]

1. Разумеется, использует. Вы думаете бесплатные аналитика и метрика — это от широчайшей душевной доброты интернет-гигантов? И вообще сейчас при ранжировании рулят поведенческие факторы — как вы думаете их замеряют?
2. Кроме сервер-сайд статистики есть ещё браузеры (хром, яндекс). И тоже бесплатные, что характерно. Угадайте с трёх раз — зачем?

[JIenpukoH]

На самом деле статистику Google Analytics очень легко накрутить и вполне возможно что конкуренты просто портят вашу статистику.

[Ruslan_S_Tula]

+1. Сделать такое очень легко, например сервис livesurf справляется с этой задачей. И стоить будет копейки. Ни один раз видел как люди накручивали 2-4 месяца так себе посещалку, а потом пытались продать сайт на том же telderi или pr-cy

[izuware]

Возможно этой лиге попалась задачка со словосочетанием на которое охотно откликается ваш сайт, но при открытии овыясняется что это не то… Поисковые запросы что говорят?

[evergreenteam]

Лига.Закон это система для юристов и бухгалтеров со сводкой актуальных законов. Трудно понять что она могла искать каждый час на статье про CRM-автоматизацию, например.

[FlameArt]

Нет смысла писать (сложный) обход антибота Аналитики только ради медленного получения рандомных страничек, тем более нет смысла использовать для этого высокоанонимные прокси из одной страны или даже города.

Самый опасный вариант: все эти айпишники — это реальные люди, подключённые к ботнету, а ваш сервер является узловой нодой. Вы видите только пинги раз в час, но не видите, что сервер может отдавать на эти пинги… что-то за пределами видимого html кода, т.е. команды ботам.

Менее реальный вариант: это браузерный бот (с эмуляцией JS итд), который визуально выдаёт пользователю набор целевых страниц. Это может быть, например, стенд с сайтами, которые идут по телеку\монитору в каком-нибудь зале, по типу новостных, чтобы забить экраны разной, но похожей по дизайну картинкой. Или какой-нибудь каталог бизнес-платформ, который регулярно кеширует данные на стороне пользователя.

[evergreenteam]

Мы тоже думали про ботнет, конечно. Но сами запросы это обычные пинги, действительно – ничего кроме html и заголовка 200 ОК сервер им не отдает, если судить по логам. Разовьем мысль. Предположим что у нас на сервере есть некоторое скрытое условно-вредоносное ПО, которое, например, анализирует логи, вылавливает элементы этого самого ботнета, например, суть заключается в том чтобы просто засветить ip-шники, оставим за кадром зачем, и отправляет им какие-то данные. Таким образом вся эта система работает абсолютно автономно и незаметно. Для антивирусов и прочих антишпионов она вообще не заметна, потому что ничего не происходит. Вопрос тогда, почему это всё прекратилось, после блокировки 42 айпишников?

Браузерный бот выглядит более реалистично для нас как раз, потому что просто посылать из реального браузера запрос на реальный URL, гораздо проще и понятнее.

[FlameArt]

Вопрос тогда, почему это всё прекратилось, после блокировки 42 айпишников?

Потому что разные боты используют разные ноды, «своих» основных вы забанили, и те, что были прикреплены к вам, начнут подключаться к другим. Более того: «вы не видите» — я имел ввиду также и то, что команды не всегда будут посылаться, далеко не при каждом запросе есть надобность что-то делать, могут быть скрыты в тегах, которые нельзя запалить беглым осмотром итд.

Чтобы наверняка проверить эту версию, вам надо взять слепок чистых страниц (вместе с хедерами), которые они посещают, с development-сервера, на котором вируса точно нет, и сравнивать его со своим ответом от продакшна целиком (т.е. скриптом, сравнивающим текст) в течении дней 3х. Так вы разницу в ответах и сможете запалить, или окончательно отбросить эту версию.

А версий не так уж и много: тот факт, что запросы идут из разных подсетей, на самом деле убирает все варианты с централизованными ботами типа SEO-чекеров, которые тут предлагали, любительских поисковиков и такого плана. Децентрализованно могут быть или ботнеты или каталоги всякие, которые запускаются программой c браузером. Могут быть и конкуренты, но слабо верится в такие малые объёмы от них, да и завышать отказы — совсем какая-то эфемерная борьба с ветряными мельницами.

[evergreenteam]

Посмотрим на такой вариант, это интересно. Если выяснится что это ботнет, напишу отдельную заметку в продолжение.

[evergreenteam]

Коллеги, простите, я случайно отклонил чей-то комментарий, если что- повторите, пожалуйста.
Насколько я помню, коммент был о том, была ли зависимость в страницах. Отвечаю — не было.

[Kugata]

Было такое же один в один, только заходил спустя ровно 1 час, а не через час и 1 минуту.
Методом тыка мы вроде (ну почти) поняли в чем дело — это были SEO сайты, с которыми мы тоже игрались, забытые нами они продолжали мониторить сайт и проверять.

[evergreenteam]

Да, мы тоже об этом думали, что это какие-то проверяющие сайты. Но тогда возможно их подключили не мы, а кто-то, кому было интересно проверить наш сайт, потому что в то время когда всё это началось, мы такого точно не делали.

[Logrise]

Разница в ЯМ и ГА по отказам — служебный хит «неотказ», который ЯМ отправляет через 15 секунд по умолчанию, а ГА нет. Создайте с помощью setTimeOut отправку такого хита в ГА, и показатели выровнятся.
А вот боты с интервалом в 1.01 — это действительно мусор в отчётах. Только чтобы их заходы фиксировались, нужно, чтобы они исполняли скрипты, и ГА и ЯМ, то есть их заходы должны быть и там и там.

[evergreenteam]

Верно, боты действительно фиксировались и в ГА и в ЯМ.

Про setTimeOut – интересная идея! А google не сочтет это мошенничеством с данными?

[Logrise]

setTimeOut использую на всех ресурсах, всё работает без проблем, кроме лишнего служебного event-события в отчётах. Нет никакого мошенничества.