Роcкомнадзор: держим ухо востро. Как вовремя заметить внесение в список

    По многочисленным просьбам трудящихся, сервис мониторинга ХостТрекер реализовал функцию, позволяющую регулярно проверять списки сайтов на попадание в базу Роскомнадзора. О некоторых особенностях — ниже.



    Почему это актуально?


    Вкратце, механизм работы Роскомнадзора таков: сайт попадает в базу, базу каждый день должен вытягивать к себе провайдер интернет-соединения, далее он должен не допустить попадания своих абонентов на эти сайты.

    Главная проблема в том, что, попав в список, сайт может быть забанен на разных уровнях: по адресу конкретной страницы, по домену или по IP адресу. Провайдеру проще всего — забанить айпишник. Что, нередко, он и делает. Но на одном айпишнике может висеть много сайтов, и все они «попадают» из-за нерадивого соседа. Далее возможны разные пути: клиенты провайдера могут жаловаться на невозможность доступа к любимым сайтам, и он придумает другое решение (например, настроит нормально свое оборудование, или же купит новое); вы можете пожаловаться хостеру, и он перенесет ваш сайт на другой адрес, если это возможно. Но для этого нужно вовремя об этом узнать.

    Наконец, ходят слухи о блокировании сайтов за не вовремя убранные комментарии или другие мелочи — таким образом, сайт подвергается угрозе, если предусмотрен хоть какой-то интерактив для посетителей. Поэтому своевременная информированность в этих вопросах очень важна.

    Каково же решение?


    Раз в сутки все сайты, поставленные на проверку, сверяются со свежей версией базы. Если сайт туда попал — присылается оповещение. Почему раз в сутки? Это требование Роскомнадзора — обновлять локальные базы ежесуточно. Сутки — время, за которое провайдер должен обновить список и начать фильтровать «новоприбывших». Поэтому, с большой вероятностью, воспользовавшись услугой ХостТрекера, вы узнаете о попадании в базу даже ранее, чем сайт собственно начнут банить.

    Функция изначально появилась для мгновенных проверок, но буквально в течении недели нам написало несколько клиентов, что неплохо было бы и на постоянной основе иметь такую возможность. Что мы и сделали:



    Желаем вам избежать подобной участи, но кто предупрежден — тот вооружен. Будем благодарны за все комментарии и пожелания.
    ХостТрекер 72,98
    Сервис мониторинга доступности сайтов
    Поделиться публикацией
    Комментарии 23
    • +1
      Ждите блокировки от Роскомнадзора за эпический деанон ¯\_(ツ)_/¯
      • 0
        Почему же — базы открыты, мы просто предоставляем удобный инструмент для их чтения.
        • +1
          Открыты кем? Роскомнадзором? Это же не так — есть «пиратские» дампы, типа роскомсвободы и той выгрузки на гитхаб, но получать выгрузку именно от РКН напрямую можно только если у вас лицензия на телематику есть.
      • +5
        все они «попадают» из-за нерадивого соседа

        из-за нерадивого соседа страдаю я, когда захожу на редкий сайт живущий на российском хостинге и пострадавший от Роспозора. Роутинг к таким сайтам как правило идет через Ростелеком, а ему все равно что у соседей нет цензуры. А тут страдают не от соседа по хостингу, а от цензуры. Не пытайтесь обеим сторонам удружить)
        Ну и заголовок статьи исправьте (знаю что надо в личку, но раз уж пишу коммент).
        А так то что сказать? Молодцы. дело полезное.
        • +2
          UPD: опечатка не только в заголовке данной статьи, но и на сайте. При создании задания, в списке фич у тарифов и т.п.
          • 0
            Может так и задумано? А то ещё прилетит от роскомнадзора, а они им «А мы про розкомнадзор, идите мимо».
            • 0
              Спасибо, действительно опечатка.
            • 0
              По PHP ищу информацию. Часто натыкаюсь на заблокированные ресурсы, особенно в домене ua. Там точно не будут заниматься разблокировкой на территории РФ.
              • +1
                Чего не будут? Будут. Сейчас перепланирую себе хостинг. Цель — для своих сайтов и для сайтов клиентов.
                В идеале было бы сервер в Украине, потому что много клиентов в *.gov.ua. Но надежность у наших ДЦ несколько ниже даже чем у российских. Редкие хорошие ДЦ стоят сильно дороже западных. Так что вероятно возьму два сервера — в Украине и в Голландии. Но если решу таки брать один, то собираюсь брать два IP. Для всех, и для тех кто под Роспозор подпадет. Так то спама и всякой чернухи у меня не будет, это не публичный хостинг а «для своих», но в любом случае ни создавать проблем с трафиком у тех кто не нарывается, ни тем более устраивать цензуру — я не намерен. Когда будет мой блог со статейками по php, то будьте уверены — я таки буду следить чтобы он не попал в списки Роспозора. Если попадет, то пойду на переговоры с террористами и выйду из бана. А рядом может лежать и бложик с моей политической позицией — во всех красках :) Но на другом IP.
            • 0
              Как-как.
              Клонируем репу https://github.com/zapret-info/z-i, а дальше по крону обновляем и грепаем по своим IPшникам(сетям) и своим доменам.
              Дел на 10 минут, а потом все работает само.
              • +3
                Или воспользоваться API Роскомсвободы
                • 0
                  Дякую! ))
                  Я для своих пока жил по своему варианту, посмотрю на API
                • 0
                  Какими готовыми решениями можно воспользоваться для автоматической подстановки своего SOCKS прокси для всех ip адресов/доменов в публикуемых в этом гите списке?

                  адекватным ли будет решением поднятие на своем вебсервере скрипта автоконфигурирования прокси браузера? как часто браузеры перечитывают эту конфигурацию или только при запуске?
                • 0
                  Таким образом вы получаете список всех сайтов, которые потенциально боятся, что их может заблокировать РКН. Где гарантии, что вы потом эти данные не сольете самому РКНу?

                  Лучше просто парсить самому весь список с github, как описано выше в комменте. Так безопаснее.
                  • +1
                    Не совсем так. В большинстве своем это сайты, владельцы которых хотят избежать именно случайностей — блокировки IP адреса, что неоднократно случалось. Подробнее по гарантиям можем ответить, если напишете нам в поддержку. Если вкратце — мы не являемся резидентами РФ.
                  • 0
                    А я то думал и гадал почему пространства IPv4 становится мало?
                    Оказывается их можно еще и бездарно из использования исключать!
                    А что, идея отменная: надо заблокировать от 0.0.0.0 до 255.255.255.255. И проблемы закончатся.
                    • 0
                      Возможно, это вас удивит, но этим действительно много кто злоупотребляет. Мы сталкивались со случаями, когда провайдеры или хостеры таким образом банили целые города или даже страны! Это если даже не брать политическую составляющую, а исключительно борьбу со спамом/ддос/мошенничеством. Зачем разбираться, если можно забанить всех? — такая логика, к сожалению, не редкость.
                    • +1
                      Что же с нами стало то, а? Швабра в заднице теперь почти не чувствуется, выбираем позу поудобнее.
                      • 0
                        потому что лягушка варится медленно.

                        Поймите же наконец, революция в прямом ее виде уже невозможна, исключительно по тому что технологии анализа и контроля человеческого поведения уже очень хорошо развиты.

                        p.s. Глупо обвинять толпу в том что она побежала и затоптала кого то (например, убегая от человека с оружием)… у нее по сути нет выбора и ее поведение предрешено заранее, и человек с оружием это прекрасно понимает и действует соответственно.

                        придумайте что то такое же современное как и технологии, которыми нас всех контролируют.
                      • 0
                        На бесплатном тарифе «Мониторинг базы Розкомнадзора» недоступен.

                        Что содержат в себе отчётность (еженедельная, ежемесячная)?
                        • 0
                          Мы еще думаем, на каких условиях предоставлять эту услугу. Сейчас есть бесплатный Триал, далее — можно списываться с нами и обсуждать. Отчетность содержит информацию о состоянии проверяемого сайта в течении месяца. В первую очередь — аптайм.
                        • НЛО прилетело и опубликовало эту надпись здесь
                          • 0

                            Нужно не только это делать. Нужно брать IP, на который резолвится "хороший" сайт, проходиться по всему списку заблокированных доменов, резовить их и проверять, не переметнулся ли кто-то из них на этот IP. Причина в том, что Роскомнадзор явно не все заблокированные домены оперетивно перерезолвит для обновления списка, но при этом есть несколько ретивых магистралов (на вскидку — ТТК и RUNNet), которые считают себя круче Роскомнадзора и могут обернуть в свой proxy-сервер тот или иной IP, если туда перейдёт какой-нибудь заблокированный сайт, ещё до того, как об этом узнает Роскомнадзор и вышлет соответствующее уведомление.


                            Мы не замечали, чтобы при этом блокировался HTTPS, видимо при проактивных блокировках эти магистралы отправляют в squid только трафик 80-го порта, но с точки зрения сайта внезапно появляется много запросов с нескольких (у ТТК 3, у RUNNet не проверял) IP-адресов и их влёт могут заблокировать всякие самописные и платные системы защиты от DDoS.


                            Даже если сайт ничего такого не использут и не боится такого вмешательства в свой трафик, вы всё равно сможете просигнализировать о надвигающейся беде быстрее, чем когда об этом узнает Роскомнадзор, поменяет IP в своих выгрузках и переносить сайт клиенту нужно будет уже "вчера".

                            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                            Самое читаемое