Черные списки рунета в действии. Как снизить риск для своего сайта

    image Законопроект №89417-6, принятый 10 июля 2012 года Государственной Думой РФ, ознаменовал новую эпоху развития рунета. У властей наконец-то появился механизм, позволяющий блокировать неугодные сайты руками провайдеров доступа к интернету. К сожалению, как и у большинства законов принятых в последние 4 года, реализация исполнения была продумана чуть менее чем полностью, что привело к блокировке вполне невинных сайтов. Сегодня, по прошествии чуть более двух лет, по данным сайта rublacklist.net незаконно блокируется доступ к 58940 доменным именам, не содержащим никакого противоправного контента. Вопрос о том, почему это происходит, и о способах избежать такой ситуации мы и рассмотрим в данной статье.

    Ваш сайт попал под блокировку — кто виноват?


    Исходную информацию о том, какой сайт необходимо заблокировать, провайдеры получают сразу из нескольких источников:
    1. Единый реестр запрещенной информации eais.rkn.gov.ru
    2. Реестр нарушителей авторских прав nap.rkn.gov.ru
    3. Реестр информации, запрещенной законом 398-ФЗ 398-fz.rkn.gov.ru
    4. Федеральный список экстремистских материалов minjust.ru/ru/extremist-materials
    5. Решения судов в отношении отдельных провайдеров (раз rospravosudie.com/court-proletarskij-rajonnyj-sud-g-rostova-na-donu-rostovskaya-oblast-s/act-101271803 два rospravosudie.com/court-novgorodskij-rajonnyj-sud-novgorodskaya-oblast-s/act-107327437)
    6. Предписания прокуратуры в отношении отдельных провайдеров forum.nag.ru/forum/index.php?showtopic=95062


    Ваш сайт не содержит запрещенной информации и, тем не менее, оказался заблокированным? Добро пожаловать в компанию незаконно заблокированных сайтов. Скорее всего причиной тому является блокировка по IP-адресу. Дело в том, что это единственный способ для провайдера реализовать блокировку без больших затрат. Но теория хостинга предполагает размещение множества сайтов на одном IP-адресе. И не только хостинга — от подобных блокировок уже страдали известные «облачные» сервисы (выдают IP-адрес во временное пользование) и CDN-сети (используют гео-распределение по одному или нескольким IP-адресам).

    image

    IP-адрес вашего сайта отсутствует в реестре? Не беда — прокуратура вполне может найти запрещенный материал на одном из сайтов, находящихся с вами на общем IP, и выписать предписание отдельному транзитному провайдеру.

    image

    Более того, даже формальное отсутствие на хостинге сайтов, не содержащих запрещенного контента не гарантирует от попадания в блокировку. Дело в том, что в соответствии с рекомендациями РКН eais.rkn.gov.ru/docs/Recomendation.pdf в целях борьбы с частой сменой IP-адресов сайтов нарушителей провайдеры сами должны разрешать доменное имя из реестра в IP-адрес. И это дает возможность владельцу такого доменного имени заблокировать любой сервер. РКН на такую возможность смотрит сквозь пальцы ( www.dropbox.com/s/l4lk0uafordlvsi/%D0%98%D1%81%D1%85%D0%BE%D0%B4%D1%8F%D1%89%D0%B8%D0%B9%2030.08.2013.pdf ).

    Как видно, источников много. И если по трем реестрам и списку материалов минюста еще можно самостоятельно определить, попал ли ваш сайт в них, то решения судов и местячковые предписания прокуратуры отследить не представляется технически возможным.

    Как это происходит на уровне провайдера


    Для того чтобы понять, как эффективно лавировать в бурном потоке запретов, надо понимать, что и зачем делает и провайдер, и регулятор. Провайдеру всё равно. Провайдер всегда идёт по пути наименьшего сопротивления. Регулятор, напротив, хочет создать видимость бурной деятельности, и, возможно, не со зла раскладывает пасьянсы из нормативов. Зависимость от безответственных, никем не контролируемых, постоянно изменяющихся нормативов является основным риском в смысле доступности сайтов.

    В общем случае устоявшаяся методика блокировки на уровне провайдера такова:
    1. Провайдер формирует списки IP-адресов, доступ к которым должен быть ограничен.
    2. Если в реестрах не содержится IP-адрес сайта, то провайдер получает его, разрешая доменное имя. Отдельные провайдеры следуют рекомендациям РКН и всегда разрешают доменное имя в IP-адрес, даже если он явно указан в реестре.
    3. Трафик на данный IP направляется на отдельный сервер в сети провайдера.
    4. Если провайдер имеет в составе своей сети DPI, трафик анализируется, блокируются только запросы на запрещенные URL. Если же DPI нет, блокируется весь трафик.
    5. Для протокола HTTPS — если в реестре явно указан URL с HTTPS, стараются блокировать только трафик на данный IP на порт 443 (поскольку из шифрованного трафика невозможно выделить URL). Если в реестре фигурирует URL с HTTP — HTTPS трафик не блокируют.


    image

    Как от всего этого защититься?


    Модерируйте свои сайты и следите за ними

    Пока практика «подстав» не сильно распространена, однако вполне возможна блокировка вашего сайта за материал незаконного содержания, оставленный на форуме или же опубликованный с использованием уязвимости вашего сайта.
    В случае с материалом экстремистского содержания ваш хостинг-провайдер даже не получит предварительного уведомления — сайт будет внесен в реестр и уведомление вы получите уже постфактум.

    По возможности, размещайте сайты у российских хостинг-провайдеров.

    Это утверждение только выглядит «рекламным». Российские хостеры в курсе реалий законодательства и прикладывают определенные усилия для защиты своих клиентов — своевременно реагируют на запросы РКН, имеют доступ к реестрам и отслеживают их изменения. Мы после первых же блокировок разнесли пользовательские сайты по сотне различных IP-адресов, стремясь минимизировать количество клиентов, которые могут «влететь» под блокировку заодно с одним из незаконных сайтов. Скорее всего никто из зарубежных хостинг-провайдеров таких усилий прикладывать не станет.

    Выделенный IPv4 адрес.

    Постарайтесь вынести ваш сайт на отдельный IP-адрес. Это обезопасит вас от блокировки «за компанию». Многие хостинг-провайдеры предлагают услугу выделенного IP-адреса за отдельную плату. К сожалению, дефицит IPv4 адресов сказался на ее размере, но потери от блокировки могут быть намного больше.

    image

    Отдельный IPv6 адрес

    Хостинги, которые внедрили на своей сети стек IPv6 уже сегодня выдают выделенный IPv6 адрес для каждого сайта. К сожалению, число их пока невелико, но из-за дефицита IPv4 адресов количество таких провайдеров увеличивается. А это значит, что шанс попасть под блокировку невинному сайту уменьшается. Отдельно стоит упомянуть, что в большинстве своем проверяющие органы пока не освоили доступ к сайтам по IPv6 адресам.

    image

    Использование шифрования и SSL-сертификатов

    В отличие от обычного протокола HTTP, HTTPS осуществляется по защищённому каналу SSL и его невозможно просмотреть, а значит и выделить из шифрованного трафика конкретный URL. Из-за непонимания работы протоколов усложнённый вопрос защищённого канала пока стараются обходить. В большинстве случаев, если нет прямого указания, провайдеры стараются игнорировать блокировку протокола HTTPS. Это будет продолжаться, пока использование HTTPS не станет массовым.

    Кажется что-то пошло не так...


    Отдельного внимания заслуживает история о блокировке блога Алексея Навального.

    Наверняка многие из вас слышали о том, что блог Алексея Навального на платформе LiveJournal находится в реестре (несмотря на то, что до сих пор ведомство так и не определилось в причинах блокировки). Сторонники Алексея не стали мириться с блокировкой и создали целую систему динамических доменных имен и IP-адресов для организации свободного доступа к блогу. Неделями сотрудники РКН только и делали, что блокировали данные домены. И вот в один момент заблокированные домены стали указывать на IP-адреса самого реестра. Провайдеры, которые последовали рекомендациям РКН по самостоятельному разрешению доменных имен, в автоматическом режиме заблокировали доступ к реестру. И далее уже не могли к нему обращаться. После чего РКН рекомендовал все-таки не разрешать доменные имена самостоятельно, а блокировать именно IP-адреса, указанные в реестре.
    Как шла борьба сторонников Алексея с Роскомнадзором можно почитать в блоге Руслана Левиева: ruslanleviev.livejournal.com/34401.html
    Кстати, результатом этой же борьбы стало появление своего реестра — реестра подсетей государственных органов: github.com/AntiZapret/AntiZapret

    У нас был еще один подобный случай. Владелец некого доменного имени, находящегося в списке экстремистских материалов минюста решил перенести к нам свой сайт и изменил A-запись своего домена на IP-адрес нашего сервера. В результате доступ к данному серверу в течение суток был отрезан одним из транзитных операторов. Причем только одним, так что доступ к серверу пропал лишь у некоторого числа пользователей. Мы смогли определить проблему только эскалацией заявки через цепочку операторов.

    Какие будут перспективы?


    К сожалению, перспективы достаточно безрадостные. Заполучив в руки вожделенный механизм цензуры, деятели от законотворчества не хотят останавливаться и чуть ли не ежедневно выдвигают новые идеи запретов. В ближайшее время нас ждет запрет доступа к сайтам, хранящим персональные данные вне территории РФ, запрет доступа к крупным блогам (более 3000 посетителей), не зарегистрированным в МинКомСвязи, а также возможность блокировки не отдельных ip-адресов, а сразу подсетей ( habrahabr.ru/post/229431 ). Ситуация усугубляется тем, что у провайдеров доступа в интернет своих проблем хватает, и бороться с цензурой они не будут — пойдут по самому легкому пути — пути непротивления «инновациям». О том, как будут с этой напастью бороться хостинг-провайдеры, мы напишем в следующей статье.
    Поделиться публикацией
    Комментарии 62
      +15
      Наиболее эффективный метод:

      — Как избежать угона машины?
      — Не покупайте машину.
        0
        Непонятно как быть тем, кто уже купил машину :)
          +7
          Очевидно же — продать!
            +17
            Никто не покупает по боязни угона!
              0
              — Купи слона.
              — Зачем мне слон?
              — Ну, все так говорят, а ты купи слона.
              — Да на кой он мне сдался?..

              Вы прослушали фрагмент переговоров между президентом РФ и президентом Индии (с) народное
          +1
          На этого ли от нас добиваются?
          +6
          По возможности, размещайте сайты у российских хостинг-провайдеров
          И все бы хорошо, но, как показывает опыт, под такую лавочку очень хорошо растут цены на хостинг. И не только от безвыходности и сговора — увеличивать толщину каналов и мощности стоит дополнительных денег, при этом очень хочется, чтобы они побыстрее окупились.
            +1
            Да. Скорее всего будет именно так. К сожалению, если Ваши посетители из России — это неизбежность.
              0
              Скорее на размещение серверов цены вырастут. На хостинг — навряд ли по причинам, описанным в статье. Конкуренция слишком жесткая.
                0
                Жесткая конкуренция играет роль, когда предложение превышает спрос. Если же наоборот — тут возможны варианты. В случае повышения цен до какого-то приемлемого уровня — сильно вырастут прибыли. Или может быть так, как произошло с украинским отельным бизнесом на Евро2012 — подняли цены до такого уровня, что не заполнили даже половины свободных мест, когда спохватились — поезд уже ушел.
                  0
                  Возможно, но пока в обозримом будущем подъем цен на хостинг будет только по причине инфляции и общей индексации цен.
              +1
              Никогда не понимал людей, пользующихся хостингами, а не VPS. В чем профит? Выделенный сервер о четырех гб памяти можно взять за 15 евро в месяц. Остается вопрос администрирования — стоит ли оно того, чтобы зависеть от хостера?

              P.S. Это не критика, а простое непонимание. Если кто сможет развернуто объяснить, что побуждает людей выбирать хостинг за 1000 рублей, а не vps/vds за те же деньги и с бОльшей мощностью — будет интересно выслушать.
                +3
                Да.
                1. VPS всегда менее мощный. Чтобы получить такую же мощность как на Shared, 15$ не обойдётся. Все почему-то забывают про iops диска и инфраструктуру для хотя бы простейшего бэкапа.
                2. Администрированием возможно пренебречь для архива фотографий с котятами или там redmine имени «дела по дому». Во всех остальных случаях это не бесплатно. И опять же все забывают про инфраструктуру — DNS, почта. Действительно, есть DNS-сервера регистратора, почту можно взять хоть на gmail, хоть на Яндекс, хоть на mail.ru. И много задач вписывается в это. Но далеко не все и даже не большинство.
                0
                Для провайдеров первые три источника это на самом деле один и тот же источник — vigruzki.rkn.gov.ru. Список экстремистских материалов никто на самом деле особо не анализирует, обычно реагируют на явные предписания выпилить тот или иной ресурс, вроде кавказцентра.
                  0
                  На самом деле список минюста анализируют. Потому что приходит к абоненту прокуратура и тыркает по списку. Если доступен сайт — втык провайдеру.
                    +1
                    Список экстремистских материалов анализируют. Там выше приведён ответ РКН собственно на жалобу в сторону Вымпелкома и Раннета (если память не изменяет) именно за автоматический разбор именно списка экстремистских материалов.
                    +9
                    А где вариант «забить на существование роскомнадзора и наслаждаться личной свободой»?
                      +2
                      Об этом, в следующей жизни статье :)
                        0
                        Это не спортивно. Хотя конечно и курортно :)
                          +5
                          В федеральном списке экстремистских материалов :-(
                            0
                            качайте браузер TOR ( www.torproject.org/index.html ) и будет Вам личная свобода, конечно это не решает проблем доступа к сайту с обычных браузеров…
                            для поиска пользуйтесь Гуглом, большинство заблокированных сайтов нормально обходятся поисковыми роботами и присутствуют в выдаче, у Яндекса в новостях тоже частенько их вижу.
                            +1
                            Да подстава с изменением IP заблокированного домена на сервер жертвы пугает. Об этом сложно узнать, а как минимум часть траффика будет потеряна.
                              0
                              Фигня это все, никто уже не резолвит IP, все пользуются тем, что реестр дает. Хабрахабр же не был заблокирован, а кое-кто редактировал A-записи на домене, внесенном в реестр, на хабрахабровские.
                                +3
                                Есть официальная рекомендация РКН. Кроме того резолвят домены по списку минюста. Владелец домена kavkazweb.net гарантированно может положить любой сайт на сети оператора RUNNET.
                                  +1
                                  На самом деле все поступают как зачешется левая пятка. Делают стоп-лист из популярных ресурсов. Я пробовал «танчики» положить. Ан нет — видимо был не первым.
                                    0
                                    А как вы заметили факт нацеливания заблокированного домена на ваш сервер и как узнали о том, что только один провайдер заблокировал?
                                      +1
                                      Когда в службу поддержки пришла 30-ая жалоба «наши посетители не видят сайт», мы начали подозревать, что что-то пошло не так. Сколько провайдеров заблокировало мы не знаем. Вычисляли просьбами к клиентам делать трассировки и собирали статистику. Самая большая проблема была узнать за что именно заблокировали.
                                        +1
                                        Думаю, многим будет так же интересно как в итоге снимали блокировку. Просили изменить A-запись или же обращались в соответствующие органы?
                                          +1
                                          Ответ органов без затираний приведён в статье. Просили сменить A-запись.
                                      0
                                      Интересно, корневые и прочие DNS входят в список «популярных ресурсов»?

                                      habrahabr.ru/post/216153/
                                        0
                                        Я думаю у каждого провайдера он свой, этот списк
                                  +3
                                  Это нормально, Интернету давно нужен был пинок для дальнейшего развития. Может они искренне верят, что своими запретительными мерами могут чего-то добиться, я же вижу в этом стимул к изучении людьми новых технологий, развитию децентрализованных решений и росту компьютерной грамотности у тех, кто хочет иметь доступ к информации отличной от той, что содержится в «белых списках», к ним все и идет.
                                    0
                                    Да, уже даже результаты видны.
                                      +1
                                      Ну на самом деле же процент подготовленных и грамотных людей в этой сфере минимален. Научить тех, кому это в принципе не нужно и не является их профессиональной деятельностью будет крайне сложно и не эффективно. Разве, что кто-то из грамотных зайдет и сделает все как нужно, но опять-таки на это надеяться не приходится. В итоге добросовестные компании потеряют много денег и сил на борьбу с различными подставами.
                                      Да и за развитием технологий будет следовать развитие методов блокировок.
                                      Вы можете сами проверить теорию профессиональных интересов. Посмотрите какие замки (на входных дверях) стоят у вас, ваших родных и знакомых. Почитайте какие из них легко вскрываются. А ведь для любого человека чья деятельность связана с замками будет очевидно какие замки нужно ставить и почему.
                                      Я, например, этими замками даже не интересовался до тех пор, пока не обнесли квартиру которую я снимал. Теперь при выборе квартиры обращаю внимание и на это.
                                        +3
                                        Вывод за рамки правового поля с развитием технологий имеет довольно мало общего. Развитие прежде всего должно ориентироваться на повышение удобства, надежности и развитие функционала, а не от усовершенствования способов скрыться от закона.
                                        Всякое действие имеет две стороны. Вместо того, чтобы направлять усилия на то, чтобы снять социальную напряженность, принимаются меры запретительного характера (хотя, возможно и работают во многих направлениях, но тем не менее), что дает определенный обратный эффект.
                                        К тому же множество ресурсов тратится на обеспечение таких запретительных мер (и вычислительные мощности — привет, киловатт-часы, и время, и человеко-часы).
                                          +3
                                          Это все интересно, до того момента как сам факт обхода блокировок не сделают уголовно наказуемым преступлением.
                                            +1
                                            Это или очень сложно юридически, или практически запрет интернета. Чему я собственно не удивлюсь.
                                            0
                                            Боюсь, что 99% людей (да что там, 99% даже гиков) не полезут глубоко, а просто поставят себе готовую «сборку» в виде браузер+tor+i2p (сами придумайте, что еще туда добавить), и будут юзать. А что это даст, и трудно ли «кому надо» будет собрать свои сборки, отфильтровать точки выхода tor или еще что-то придумать, что не даст юзеру получить то, что он ожидает от сборки — это уже вопрос «на подумать». Ответ, похоже, очевиден.

                                            Вопрос просто, что, как и в случае с магазином («против плохого магазина человек голосует рублем», но многие продолжают заходить по пути с работы в дрянные магазинчики, где и качество не очень, и общение — но они по пути с работы, и это решает), так и с интернетом: реально воздействовать на законников нечем, т.к. им, чтобы изменить правила игры, хватает сказать «ату его, неужели нам детей/собак/мира не жалко!», а чтобы «хорошим людям» игру изменить в сторону большей свободы, нужно доказывать, что они ни сами не верблюды, ни их предложение не верблюдное — а разбиваются эти доводы просто «а и так отлично работает, чего тут улучшать!»

                                            Получается, что мы все можем только бежать от закона. Это неверно, мы-то — «хорошие», мы не прячем ЧП или еще что гадкое, нам просто отвратительна мысль о фильтрах. Другое дело, как повлиять на законы (и на их принимающих, этаких «толстоморд») в сторону большей избирательности? Если только поросенок уедет в страны, где этого нет? Так ведь появится же, не сегодня, так завтра, не случайно же оно по всему миру вводится…

                                            Глупо, на пороге нехватки ipv4, еще и блочить сетями куски владений провайдеров.
                                              0
                                              Глупо, на пороге нехватки ipv4, еще и блочить сетями куски владений провайдеров.
                                              Милонова такая проблема не волнует.
                                              Если только поросенок уедет в страны, где этого нет? Так ведь появится же, не сегодня, так завтра, не случайно же оно по всему миру вводится…
                                              Маразм и жадность границ и национальностей не признают.
                                            +1
                                            >По возможности, размещайте сайты у российских хостинг-провайдеров.
                                            А российские провайдеры разве не удаляют сам сайт|аккаунт по требованию надзорных органов?
                                              0
                                              Ленящиеся делать бекап зачастую страдают без участия Роскомнадзора.
                                                +2
                                                Имхо это не о том, когда вас «взяли за жопу», а о том, когда вы оказались «на траектории чужого удара».
                                                  0
                                                  Зарубежные это делают иногда даже без требования, по анонимной жалобе. Конкретно эта статья о сайтах, которые не собирались ничего нарушать и лояльны к любым требованиям нормативов.
                                                    0
                                                    Так и я о том же. Если сайт лоялен к требованиям, но попадает под удар от конкурентов «по анонимной жалобе».
                                                    Хостинг же может просто удалить/заблокировать аккаунт, из списка, а потом уже начать разбираться.
                                                      –2
                                                      Российский хостинг в любом случае не будет удалять/блокировать если нет мотивированного решения органа, осуществляющего оперативно-розыскную деятельность.
                                                        +2
                                                        Хотелось бы в это верить. Владельцы — они разные бывают. В некоторых случаях может быть достаточно одного звонка.
                                                          +2
                                                          Это что сейчас было?
                                                            0
                                                            Это к вопросу «попадает под удар от конкурентов «по анонимной жалобе»». Если там нет явной порнографии — жалобщики идут лесом.
                                                              0
                                                              И Русский Хостинг (tm) тут такие Д'Артаньяны все что ли по сравнению с Зарубежный Хостинг (tm)?
                                                                +1
                                                                Ну мне, по крайней мере не известны примеры блокировки по анонимной жалобе вменяемыми хостерами. Зато известны примеры когда хетцнер без вопросов блокировал сервера по первой жалобе.
                                                                  +1
                                                                  Зарубежный Хостинг (tm) — это бездуховность и жажда денег :)
                                                                    +1
                                                                    А у нас тут сервера со скрепами!
                                                                      0
                                                                      Ну как скрепами… так, скрепками :)
                                                                        +1
                                                                        А еще эти подлые иноземцы бездуховно продают неправославные серверы по искусительным ценам, например:
                                                                        Intel Core i7 920 24 GB 2 x 1.5 TB 38.00 €
                                                                        или
                                                                        Intel Core i7-3770 32 GB 2 x 3 TB 45.00 €
                                                                          0
                                                                          Ах негодяи! Надо обязательно заграничные серверы запретить! И вообще Intel запретить! Пусть у нас будут свои серверы, по 1024нм технологии!
                                                              +2
                                                              (… я аж поперхнулся и пароль от Хабра восстановил ;)
                                                          0
                                                          Думаю, что владельцы легитимных сайтов легко согласятся с тем, чтобы вместо блокировки целого сервера удалить экстремистский сайт.
                                                            +1
                                                            Смотря что считать экстремистским сайтом.
                                                            image Вот к сторублевкам претензии появились.
                                                            Милонов по музеям ходит. Блокировка без решения суда (который тоже то еще учреждение) называется: «Докажи, что не верблюд».
                                                              0
                                                              Перед угрозой блокировки почти любой нормальный бизнесмен согласится с утверждением об экстремизме в адрес любого сайта, если это не его сайт.
                                                          +2
                                                          А расскажите, как собираются измерять посещаемость в 3000 человек чтобы принимать решение о блокировании.
                                                            0
                                                            Отичный вопрос. 1-ое августа уже завтра, но никаких нормативов на эту тему нет. Мыслей нет. Предположений нет. Скорее всего будут только избранных просить прислать подтверждение, что больше 3000. Убедительно простить. Отказаться будет нельзя.
                                                              0
                                                              Как можно попросить человека прислать статистику, что «отказаться будет нельзя»? Мне даже интересно стало.
                                                                0
                                                                Жаров дал интервью Ведомостям. Там говорилось и по поводу счетчиков. Есть пост на Хабре.

                                                            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                            Самое читаемое