В данном конкретном случае за сутки было около 23,5 тыс. запросов с 19,2 тыс. разных IP-адресов. IP-адреса и пулы динамически меняются, при этом они пересекаются с IP-пулами реальных живых пользователей. Поведенческие боты работают в том числе через широкие диапазоны мобильных операторов РФ, охватывая значительную долю живой аудитории. Парсеры и сканеры работают из множества глобальных IP-пулов и ASN, через которые одновременно работают полезные и нужные сайту сервисы.
Тотальная блокировка 403 по IP-пулам не останавливает распределённый динамический трафик и не решает проблему поведенческих ботов, которые работают из разных стран, постоянно меняя как IP-пулы, так и ASN. При этом такой подход неизбежно приведёт к блокировке большого количества реальных пользователей, поисковых краулеров и необходимых сайту сервисов.
Если бы нежелательный трафик шёл из небольшого количества стабильных и однозначно вредоносных подсетей, блокировка на уровне веб-сервера действительно была бы более простым. Но в данном случае задача состоит не в составлении огромного blacklist IP-подсетей, а в том, чтобы отличать нежелательную автоматизацию от легитимного трафика даже тогда, когда они приходят из одних и тех же сетей.
Статья делалась не ради статьи, а ради оценки рисков для определённых обстоятельств. Какая цель статьи была : понять насколько опасно использовать MAX мессенджер на рабочем ПК, который используется для работы различных маршрутизаций, которые могут подпадать под различный мониторинг. Есть ситуации когда приходиться использовать МАХ там, где не должно быть третьих глаз наблюдателя. Не от хорошей жизни, а от обстоятельств, которые от Вас не зависят.
Эксперимент показывает что использование программы МАХ на ПК ОС Windows с маршрутизацией Split Routing относительно гораздо более безопасно чем использование этого же МАХ на ПК где более примитивная и убогая схема сети.
Если это кроме меня никому не нужно для оценки рисков и понимания, пусть тогда я её написал для самого себя.
Если найдётся хотя бы один такой же человек с такой же схемой маршрутизации сети , которого принудили ставить там же МАХ, у него будет уже хоть какое-то представление о подводных камнях.
Если эксперимент никому ничего не дал, пусть так. Лично для меня он оказался полезным.
Никакой Split Routing-таблицы в Windows у меня не было: вся логика маршрутизации находилась на Keenetic. На ПК был обычный Ethernet и обычный шлюз, без VPN-адаптера и OpenConnect-маршрутов. Я проверял не чтение какой-то таблицы, а пытался понять, станет ли MAX косвенно определять альтернативный маршрут. Например, через внешний IP или специальные сетевые проверки. Сам Split Routing я отдельно подтвердил через tcpdump на VPS, а признаков таких проверок со стороны MAX в ходе эксперимента не обнаружил. Проще говоря, я хотел понять, пытается ли MAX отслеживать наличие VPN при сложной схеме маршрутизации, когда сам VPN находится за пределами Windows.
Нет смысла проверять что-то на основе некорректных исходных данных. Метрика не умеет и ,на мой взгляд, не должна уметь точно и корректно определять где живые люди, а где поведенческие боты. Это всё таки система аналитики, а не специализированный сервис анализа и фильтрации трафика. На протяжении всего периода существования Я. директ, сотрудники Яндекс прямо заявляют, что трафик Яндекс директ чист как кристалл и что их внутренняя antifrod система всё знает, всё учитывает и всё умеет. Однако, любой кто достаточно долго работает с Яндеск директ, знает что реальная картина совершенно иная. Был период, когда метрика вообще не видела роботности в трафике "пф ботов". Последние годы метрика частично определяет роботность, но часть живых людей ошибочно определяет как поведенческих ботов, а часть "пф ботов" определяет как живых людей. Уровень маскировки такого рода бото трафика на разных проектах сильно отличается. На практике встречается поведенческий бото трафик, который на 90-98 % метрика определяет как живых людей, что не соответствует действительности. Поэтому использовать показатель роботности Метрики как абсолютную истину и верить в мантру "Фильтры метрики всё знают и всё учитывают" абсолютно неэффективно. А вообще каждый сам делает свои выводы из своей практики.
Спасибо. Вот именно ради таких как Вы и решился на статью, что было непросто. Самое главное что подтвердилось то, что я не один в своих мыслях и чувствах.
В данном конкретном случае за сутки было около 23,5 тыс. запросов с 19,2 тыс. разных IP-адресов. IP-адреса и пулы динамически меняются, при этом они пересекаются с IP-пулами реальных живых пользователей. Поведенческие боты работают в том числе через широкие диапазоны мобильных операторов РФ, охватывая значительную долю живой аудитории. Парсеры и сканеры работают из множества глобальных IP-пулов и ASN, через которые одновременно работают полезные и нужные сайту сервисы.
Тотальная блокировка 403 по IP-пулам не останавливает распределённый динамический трафик и не решает проблему поведенческих ботов, которые работают из разных стран, постоянно меняя как IP-пулы, так и ASN. При этом такой подход неизбежно приведёт к блокировке большого количества реальных пользователей, поисковых краулеров и необходимых сайту сервисов.
Если бы нежелательный трафик шёл из небольшого количества стабильных и однозначно вредоносных подсетей, блокировка на уровне веб-сервера действительно была бы более простым. Но в данном случае задача состоит не в составлении огромного blacklist IP-подсетей, а в том, чтобы отличать нежелательную автоматизацию от легитимного трафика даже тогда, когда они приходят из одних и тех же сетей.
Статья делалась не ради статьи, а ради оценки рисков для определённых обстоятельств. Какая цель статьи была : понять насколько опасно использовать MAX мессенджер на рабочем ПК, который используется для работы различных маршрутизаций, которые могут подпадать под различный мониторинг. Есть ситуации когда приходиться использовать МАХ там, где не должно быть третьих глаз наблюдателя. Не от хорошей жизни, а от обстоятельств, которые от Вас не зависят.
Эксперимент показывает что использование программы МАХ на ПК ОС Windows с маршрутизацией Split Routing относительно гораздо более безопасно чем использование этого же МАХ на ПК где более примитивная и убогая схема сети.
Если это кроме меня никому не нужно для оценки рисков и понимания, пусть тогда я её написал для самого себя.
Если найдётся хотя бы один такой же человек с такой же схемой маршрутизации сети , которого принудили ставить там же МАХ, у него будет уже хоть какое-то представление о подводных камнях.
Если эксперимент никому ничего не дал, пусть так. Лично для меня он оказался полезным.
Никакой Split Routing-таблицы в Windows у меня не было: вся логика маршрутизации находилась на Keenetic. На ПК был обычный Ethernet и обычный шлюз, без VPN-адаптера и OpenConnect-маршрутов. Я проверял не чтение какой-то таблицы, а пытался понять, станет ли MAX косвенно определять альтернативный маршрут. Например, через внешний IP или специальные сетевые проверки. Сам Split Routing я отдельно подтвердил через tcpdump на VPS, а признаков таких проверок со стороны MAX в ходе эксперимента не обнаружил. Проще говоря, я хотел понять, пытается ли MAX отслеживать наличие VPN при сложной схеме маршрутизации, когда сам VPN находится за пределами Windows.
Нет смысла проверять что-то на основе некорректных исходных данных. Метрика не умеет и ,на мой взгляд, не должна уметь точно и корректно определять где живые люди, а где поведенческие боты. Это всё таки система аналитики, а не специализированный сервис анализа и фильтрации трафика. На протяжении всего периода существования Я. директ, сотрудники Яндекс прямо заявляют, что трафик Яндекс директ чист как кристалл и что их внутренняя antifrod система всё знает, всё учитывает и всё умеет. Однако, любой кто достаточно долго работает с Яндеск директ, знает что реальная картина совершенно иная. Был период, когда метрика вообще не видела роботности в трафике "пф ботов". Последние годы метрика частично определяет роботность, но часть живых людей ошибочно определяет как поведенческих ботов, а часть "пф ботов" определяет как живых людей. Уровень маскировки такого рода бото трафика на разных проектах сильно отличается. На практике встречается поведенческий бото трафик, который на 90-98 % метрика определяет как живых людей, что не соответствует действительности. Поэтому использовать показатель роботности Метрики как абсолютную истину и верить в мантру "Фильтры метрики всё знают и всё учитывают" абсолютно неэффективно. А вообще каждый сам делает свои выводы из своей практики.
А сейчас вы продолжаете работать в связи или ушли в другую область?
Политика и стратегия развития определялись далеко наверху. Если бы такие решения зависели от меня, то, вне всяких сомнений, я сразу строил бы ВОЛС.
Жму руку, обнимаю. Спасибо
Главное что теперь она точно написана не зря. Главной моей целью было найти поддержку и единомышленников. И это удалось неожиданно для меня. Спасибо.
Ваш комментарий согревает душу. Спасибо
Благодарю Вас
Спасибо. Вот именно ради таких как Вы и решился на статью, что было непросто. Самое главное что подтвердилось то, что я не один в своих мыслях и чувствах.
Благодарю Вас