Энциклопедия банов в Интернете

С каждым годом мы всё чаще и чаще сталкиваемся с различными банами в Интернете. С каждым годом, единая общемировая сеть распадается на отдельные части и всё труднее и труднее попасть из одной в другую. В этой ситуации будет полезно понимать то как работают пресловутые "баны по IP", зачем они вообще нужны и как с ними бороться.

Содержание

• Бан города

• Бан e-mail

• Бан страны

• Бан части света

• Бан всех кроме себя

• Бан хитрых

• Бан умелых

• Бан как сервис

• Бан как новая нормальность

Бан города

Время было не то что сейчас: люди были умнее, постинги содержательней, а часть движков допускала постинг без регистрации. Поэтому, банить приходилось по IP-адресу.

Это было достаточно просто, потому что мобильного интернета и всероссийских провайдеров не было, а были лишь локальные провайдеры по паре штук на город у которых все пользователи сидели за одним NAT'ом на всех. При этом, не все банящие понимали как всё это устроено и к чему приводит нажатие волшебной кнопки "забанить IP-адрес"

Поэтому, если банили Вас, то в месте с Вами банили всего провайдера, то есть - весь город.

Да, именно в этом и заключается суть значительной части банов в Интернете: банят не Вас и не за Ваши дела - банят Ваш IP-адрес из-за кого-то другого.

И, повторю, люди защищённые этим баном могут даже не догадываться о том, что именно ОНИ забанили именно ВАС.

Бан e-mail

Как это не странно, но Вас могли забанить в e-mail по IP, и снова не из-за вас.

В далёкие времена, e-mail-спам можно было рассылать прямо с домашнего компьютера. В какой-то момент возник механизм "чёрных списков IP-адресов", в которые заносились адреса с которых шёл спам.

И тут случалось то о чём сказано выше - банили всего провайдера. Да, если в вашей домовой/городской сетке сидел спамер, то все могли оказаться в ситуации, когда их почта не принималась на стороне получателя.

При этом, человек которому Вы отправляли письмо даже не знал о том, что он Вас забанил - за него это решали админы настраивающие почтовые сервера на которых у него была почта.

Вы конечно же скажите, что эти времена давно прошли, что интернет-провайдеры блокируют соответствующие порты, что сейчас почта идёт через интернет-хостинги и даже отдельные сервисы.

Да, но чёрные списки по прежнему существуют и в них может оказаться и хостинг на котором живёт Ваш сайт и даже крупный почтовый сервис (включая Google).

Вы будете отправлять письмо, а сервер адресата будет его отбивать, потому что IP-адрес почтовых серверов вашего хостинга находится в чёрном списке. И ни Вы, ни получатель Вашего письма можете ничего не узнать - письмо просто не дошло.

Кстати, был случай, когда мне пришлось съехать с достаточно неплохого хостинга из-за того, что мои письма не доходили до получателей именно из-за нахождения почтовых серверов хостинга в блэклистах.

Вы скажите, что в этом есть и часть вины тех кто попадает под такие баны, ведь они сами выбрали интернет-провайдера, хостинг или почтовый сервис, которые не следят за своей чистотой и не борются со спамерами на своих мощностях.

Да, но нет...

Бан страны

По мере развития рынка продвижения сайтов в поисковиках, возник рынок автоматизированного спама ссылками на чужих сайтах.

Это были разные методы, от сероподобного "ссылка в профиле на форуме" до банального спама в сообщениях и комментариях.

Для этого были специальные компьютерные программы (типа Xrumer и Allsubmitter), которые умел работать с популярными движками сайтов/блогов/форумов и обходить капчи.

Так сложилось, что в этот момент в России (и некоторых других бывших республиках СССР) был дешёвый интернет, повальный варез и желание заработать копеечку. Люди ставили это себе и работали прямо с домашних компьютеров или по списку российских прокси-серверов.

И вот, на ваш любимый сайтик приходили "русские закеры" проходили все ваши защиты как нож сквозь масло. В результате, ваш форум забивался русскоязычным спамом с российских IP-адресов и ничто не могло вас спасти.

Да, кроме того, чтобы попытаться забанить ВСЕ российские IP-адреса.

И тут уже нельзя сказать, что Вы выбрали не того провайдера, ведь банить могли ВСЮ страну целиком.

Более того, не факт что это были российские спамеры, ведь список прокси-серверов можно пользоваться и из других стран, но забанят всё равно Вас.

Тут Вы можете сказать, что такой фигнёй будут заниматься лишь мелкие сайтики на узкие темы и с неведомыми языками, а хоть сколь либо крупные ресурсы всё понимают, ценят каждого посетителя и умеют отличать программы для автоматического спама от живых людей.

Поверьте мне, не всё так однозначно.

Бан части света

В мае 2018 года начал действовать евросоюзный закон о персональных данных, известный как GDPR. При сильно невнятном описании того о чём идёт речь и что считать за нарушение, было объявлено о настолько больших штрафах, что некоторые сайты из США предпочли сказать "бай-бай" посетителям с евросоюзными IP-адресами.

Разные новостные сайты решили, что от евросоюзных пользователей "визгу много, а шерсти мало". В том смысле, что GDPR объявлен экстерриториальным и если вдруг ты какую-то куку не туда отправишь, то судья в какой-нибудь евросоюзной деревне может выписать вам щтраф в Евро и с 6 нулями. И я не преувеличиваю, ибо, повторю, закон настолько невнятный что в самом неудачном случае под него попадают просто ВСЕ в известной нам части вселенной.

Поэтому, разумные люди решили, что лучше спать спокойно без тех кого защищает GDPR чем пытаться заработать на них хоть что-то.

И если вы думаете, что это было давно и к осени 2021 года всё устаканилось, то это преувеличение.

Какие-то сайты действительно открылись для пользователей из ЕС, но есть и те кто верен убеждениям "да ну их нафиг".

И тут бы можно было сказать, что это хоть и масштабный, но очень чётко сфокусированный бан, и это будет правильным замечанием.

Но есть и другие, менее нацеленные баны.

Бан всех кроме себя

В США существуют крупные торговые сети, но вы можете не попасть на их сайты из-за пределов Северной Америки.

HomeDepot , Staples , Lowe's и другие - компании с миллиардными долларовыми годовыми обортами не пускают на свои интернет-магазины посетителей из неправильных стран.

В Интернете есть некоторое количество вопросов на тему "веб-сайт ... показывает мне сообщение ACCESS DENIED".

Можно было бы предположить, что это пример "Бана страны" - забанили Россию как место откуда нападают хакеры, но под баном находятся и страны входящие в НАТО.

Можно было бы предположить, что это "Бан части света" и банят страны Евросоюза из-за GDPR, но под баном находятся и Турция и Великобритания.

Кроме того, сообщения о банах появились задолго до появления GDPR, например обсуждение недоступности lowes.com датированы 2015 годом на apple.com и 2011 годом на mozilla.net . (Впрочем, дело и правда может быть не в IP-адресе, а в каких-то неправильных куках за которые был забанен пользователь.)

Можно перебирать разные VPN и наблюдать как какие-то крупные американские ретейлеры тебя банят, а какие-то - нет.

И если попытаться обобщить эту странную ситуацию, то остаётся единственный разумный вариант - банят тех кому не могут или не хотят ничего продать.

Просто чтобы не нагружать сервера и работников службы поддержки.

В пользу этой версии говорят редкие ответы представителей этих ретейлеров на прямые вопросы (в большинстве случаев, эти вопросы игнорируются)

Например, в 2013 году на прямой вопрос про недоступность staples.com был дан ответ:

Увы, Вы не можете использовать .com [речь о сайте staples.com] находясь в Великобритании и Вам следует использовать staples.co.uk, сожалеем об этом.

И это самый драматичный вариант бана из перечисленных в данной Энциклопедии банов Интернете.

Вас банят не за то что Ваш сосед по дому рассылает спам, не за то что ваших сограждан подозревают в повальном хакерстве и не за то что Ваше правительство приняло суровый закон создающий риски для владельцев сайта.

Нет, Вас банят не как угрозу, а как паразитный трафик которому ничего не получится продать.

Тем не менее, всегда остаётся указанный выше вариант - включить VPN, виртуально переместиться в нужную страну и перехитрить систему.

Тем более, что сервисов предоставляющих такие услуги сейчас достаточно много.

Бан хитрых

При использовании сервисов предоставляющих услуги VPN есть два минуса, ошибочно воспринимаемых как плюсы.

1. Можно затеряться среди остальных клиентов используемого Вами сервиса

2. VPN действует для всего устройства

Да, когда 1000 человек идут с одного IP-адреса, то владельцам веб-сайта будет сложно отличить их друг от друга, но на самом деле этого не надо - достаточно забанить тот IP-адрес с которого вы все пришли.

При должном желании и настойчивости, можно достаточно просто узнать IP-адреса популярных коммерческих VPN-сервисов и забанить их все, просто на всякий случай.

Да, зачастую популярные веб-сайты и сервисы банят пользователей пользующихся VPN или же ухудшают для них функционал.

Netflix - не показывает фильмы
Wikipedia - не разрешает анонимные правки
Reddit - ограничивает количество комментариев

И ситуация усугубляется именно тем свойством ради которого и была создана технология VPN - весь трафик с устройства идёт через один IP-адрес.

Благодаря этому, вы прячетесь целиком и никакая программа не выдаст случайно Вашего реального местоположения. Не случится так бывало с обычными Proxy-серверами, когда какой-нибудь Adobe Flash игнорировал настройки браузера и лез напрямую.

И именно это является проблемой:
- Вы включаете VPN для того чтобы посмотреть чем торгуют крупные магазины в США и Netflix перестаёт показывать Вам фильмы.
- Вы пытаетесь обойти ограничения Netflix и посмотреть фильм который не показывают в Вашей стране и Вас начинают третировать веб-сайты.

Например, я однажды очень долго разгадывал для Google капчу и тыкал в автобусы, горы, светофоры и пожарные гидранты, но пока не отключил VPN так и не смог увидеть поисковую выдачу. Причём, мне это было нужно даже не для Netflix или другого хитрения и я мучался совершенно бесплатно.

Это было неприятно, но немножко успокаивал тот факт, что это была не коллективная ответственность, а расплата за мои собственные действия - я сам включил VPN.

Вас же может успокоить то, что человеку с прямыми руками и минимальным уровнем знаний нет необходимости пользоваться одним общим VPN-сервисом на всех.

Ведь очевидно же, что грамотный человек сможет перехитрить систему настроенную на борьбу с теми кто пытается перехитрить систему.

Бан умелых

Может показаться, что решить проблему с баном популярных сервисов VPN достаточно просто. Для этого нужно взять услугу хостинга и использовать сервер хостинг-провайдера в качестве собственного VPN.

Можно подумать, что этот метод имеет все плюсы VPN, но не имеет минусов массовых VPN-сервисов, но это не так.

Самым главным последствием создания персонального VPN на котором нет никого кроме Вас является как раз то то, что это персональный VPN на котором нет никого кроме Вас. Вы демаскированы, Вы ходите на сайты с одного и того же IP-адреса и владелец веб-сайта может забанить персонально Вас.

Но предположим, что Вы хитры, умелы и мотивированы, и меняете IP-адреса своих персональных VPN быстрее чем их забанят.

Увы, Вы всё равно оказываете под угрозой бана, просто в силу технического устройства Интернета. Дело в том, что Интернет это структурированная среда и у пользователей возникают свойства неочевидные на первый взгляд.

Так, кроме собственно IP-адреса у пользователя есть соответствующее этому IP-адресу доменное имя. А эти имена присваиваются техническими специалистами, которые решают свои технические задачи. И они делают эти имена понятными и закономерными, добавляя в них ключевые слова позволяющие понять тип клиента.

Например, во времена широкого спектра разных способов доступа в интернет, в этом доменном имени могли быть соответствующие термины: "broadband, pptp, dynamic, pool, ppp, peer, dhcp, cable, node, client, dialup, static, wanadoo, dsl, public, user, vpn"

И то что является удобством для технических специалистов провайдера - является уязвимостью для тех кто решил обхитрить систему.

И указанные выше термины были признаком того, что отправитель e-mail является спамером.

Более того, не обязательно получать доменное имя для Вашего IP-адреса - достаточно просто знать, что этот адрес принадлежит к диапазону конечных клиентов интернет-провайдера, а значит оттуда не может идти не_спам.

И ровно та же самая ситуация и с личными VPN созданные с использованием сервисов хостинга - информация о том что это хостинг будет либо в имени соответствующем IP-адресу этого сервера, в данных whois для этого IP-адреса или просто в списке диапазонов IP-адресов популярных сервисов веб-хостинга.

Через что именно Вы делаете свой личным VPN - Hetzner, OVH, Amazon Wes Services ?

Ну тогда у меня для Вас сюрприз - Вы такой не один. На соседних с Вами IP-адресах находятся люди которые создали свои VPN для чтобы парсить, грабить, скрапить чужие вебсайты, а так же спамить на них и много чего ещё делать.

Вобщем, на соседних с Вами IP-адресе находятся люди которые нагружают чужие веб-сайты не принося их владельцам никакой пользы, и владельцам веб-сайтов это не нравится.

Это не нравится им настолько, что они готовы предпринимать действия для того, чтобы забанить всех пользователей идущих с IP-адресов имеющих отношение к дата-центрам Hetzner, OVH, Amazon Wes Services и прочих популярных хостингов.

Таким образом, создавая себе личный VPN Вы рискуете получить широкий спектр банов, начиная от бана на американских веб-сайтах (за GDPR, когда используете европейские хостинги) и кончая баном всех вариантов VPN от крупных сервисов типа Netflix или мелких интернет-магазинов защищающих свои цены от мониторинга.

Успокаивает лишь то, что владельцы мелких интернет-магазинов не смогут вычислить все диапазоны IP-адресов используемых для VPN.

Бан как сервис

Как видно из текста "Энциклопедия банов в Интернете", в разное время использовались разные методы определения границ диапазонов IP-адресов которые предполагалось забанить.

Всё начиналось с самостоятельного изучения посетителей веб-сайтов, обмена опытом и составления "чёрных списков", но ситуация изменялась по мере развития технической и, что более важно, организационной стороны Интернета.

В результате, вместо небольшого количества веб-мастеров и посетителей, мы имеем множество владельцев сайтов и огромное количество посетителей и ботов.

Нынешнее поколение владельцев веб-сайтов имеем худший технический уровень чем их предшественники 20 лет назад, но сталкивается с бОльшим количеством угроз.

Это порождает спрос на соответствующие услуги: определить диапазон IP-адресов и забанить.

И есть предложение готовое этот спрос удовлетворить - упоминаемые ранее HomeDepot , Lowe's и Staples - находятся под защитой сервиса от Akamai.

Многие сайты пользуются услугами сервиса Cloudfront и просто выбирают между разными степенями защиты.

Хостинги предлагают своим клиентам инструкции по настройке банов по IP-адресам.

И даже если человек настраивает что-то вручную, то списки забаниваемых IP-адресов он берёт из чьих-то рекомендаций.

Таким образом, при принятии решения о бане ненужно выяснять IP-адреса провайдеров, стран или хостингов на которых размещены точки выхода VPN - достаточно просто сказать "забанить все недружественные страны и все возможные VPN" и всё остальное сделают те кто предоставил сервис защиты.

При этом, владелец сайта не будет знать что он забанил именно Вас и почему он это сделал.

Это просто сервис и выбираемый уровень защиты.

Бан как новая нормальность

Как хорошо видно, единого свободного Интернета никогда не было - было отсутсвие возможности запретить смотреть на свой веб-сайт.

В интернете было мало пользователей, было мало веб-сайтов, был низкий уровень угроз и, как следствие, не было простых и доступных инструментов позволяющих для бана.

Сейчас же всего этого в достаточном количестве, поэтому баны по IP-адресам используются часто и всерьёз. Простота бана и то как именно выбирают тех кого банить, привело к тому, что у конечного пользователя может не быть шансов понять что именно он видит - ошибку на сайта, ошибку связи, ошибку браузера или бан.

Надо ли чистить куки? Надо ли переустанавливать софт?

Надо ли включить VPN или наоборот выключить его? Ведь при включённом VPN могут не пускать одни, а при выключенном - другие.

И как вообще бороться с наложенным баном, если до конца не уверен в том, что это действительно бан, а не техническая ошибка? Ведь никто не позвонил и не сказал You've Just Been Banned"

Такова новая реальность Интернета, где все банят всех, при этом, те кто банит могут не знать о том кого и почему забанили, а те кого банят могут не знать о самом факте бана.

Михаил Елисейкин / 2021-11-18