Настройка BGP для обхода блокировок, или «Как я перестал бояться и полюбил РКН»

Ну ладно, про «полюбил» — это преувеличение. Скорее «смог сосуществовать с».


Как вы все знаете, с 16 апреля 2018 года Роскомнадзор крайне широкими мазками блокирует доступ к ресурсам в сети, добавляя в "Единый реестр доменных имен, указателей страниц сайтов в сети «Интернет» и сетевых адресов, позволяющих идентифицировать сайты в сети «Интернет», содержащие информацию, распространение которой в Российской Федерации запрещено" (по тексту — просто реестр) по /10 иногда. В результате граждане Российской Федерации и бизнес страдают, потеряв доступ к необходимым им совершенно легальным ресурсам.


После того, как в комментариях к одной из статей на Хабре я сказал, что готов помочь пострадавшим с настройкой схемы обхода, ко мне обратились несколько человек с просьбой о такой помощи. Когда у них всё заработало, один из них порекомендовал описать методику в статье. Поразмыслив, решил нарушить свое молчание на сайте и попробовать в кои-то веки написать что-то промежуточное между проектом и постом в Facebook, т.е. хабрапост. Результат — перед вами.


Disclaimer


Поскольку публиковать способы обхода блокировок доступа к информации, запрещенной на территории Российской Федерации, не очень законно, целью этой статьи будет рассказать о методе, позволяющем автоматизировать получение доступа к ресурсам, разрешенным на территории Российской Федерации, но из-за чьих-то действий недоступным напрямую через вашего провайдера. А доступ к другим ресурсам, получаемый в результате действий из статьи, является досадным побочным эффектом и целью статьи ни в коем случае не является.


Также, поскольку я по профессии, призванию и жизненному пути прежде всего сетевой архитектор, программирование и линуксы не являются моими сильными сторонами. Поэтому, безусловно, скрипты можно написать лучше, вопросы безопасности в VPS можно проработать глубже и т.д. Ваши предложения будут приняты с благодарностью, если они будут достаточно детальны — с удовольствием добавлю их в текст статьи.


TL;DR


Автоматизируем доступ к ресурсам через существующий у вас туннель, используя копию реестра и протокол BGP. Цель — убрать весь трафик, адресованный заблокированным ресурсам, в туннель. Минимум объяснений, в основном пошаговая инструкция.


Что вам для этого потребуется


К сожалению, этот пост не для каждого. Для того, чтобы воспользоваться этой методикой, вам нужно будет собрать вместе несколько элементов:


  1. У вас должен быть linux-сервер где-то за пределами поля блокировок. Или хотя бы желание такой сервер завести — благо это сейчас стоит от $9/год, а возможно и меньше. Метод также подходит, если у вас есть отдельный VPN-туннель, тогда сервер может располагаться и внутри поля блокировок.
  2. Ваш роутер должен быть достаточно умным, чтобы уметь
    • любой нравящийся вам VPN-клиент (я предпочитаю OpenVPN, но это может быть PPTP, L2TP, GRE+IPSec и любой другой вариант, создающий туннельный интерфейс);
    • протокол BGPv4. Что означает, что для SOHO это может быть Mikrotik или любой роутер с OpenWRT/LEDE/аналогичными кастомными прошивками, позволяющими установить Quagga или Bird. Использование PC-роутера также не возбраняется. В случае энтерпрайза смотрите поддержку BGP в документации к вашему бордер-роутеру.
  3. Вы должны иметь представление о использовании Linux и сетевых технологиях, в том числе о протоколе BGP. Или хотя бы хотеть получить такое представление. Поскольку объять необъятное в этот раз я не готов, некоторые непонятные для вас моменты вам придется изучить самостоятельно. Впрочем, на конкретные вопросы, конечно же, отвечу в комментариях и вряд ли окажусь единственным отвечающим, так что не стесняйтесь спрашивать.

Что используется в примере


  • Копия реестра — из https://github.com/zapret-info/z-i 
  • VPS — Ubuntu 16.04
  • Сервис маршрутизации — bird 1.6.3   
  • Маршрутизатор — Mikrotik hAP ac
  • Рабочие папки — поскольку работаем от рута, бОльшая часть всего будет размещаться в домашней папке рута. Соответственно:
    • /root/blacklist — рабочая папка со скриптом компиляции
    • /root/z-i — копия реестра с github
    • /etc/bird — стандартная папка настроек сервиса bird
  • Внешним IP-адресом VPS с сервером маршрутизации и точкой терминации туннеля принимаем 194.165.22.146, ASN 64998; внешним IP-адресом роутера — 81.177.103.94, ASN 64999
  • IP адреса внутри туннеля — 172.30.1.1 и 172.30.1.2 соответственно.

image


Безусловно, вы можете использовать любые другие роутеры, операционные системы и программные продукты, корректируя решение под их логику.


Кратко — логика решения


  1. Подготовительные действия
    1. Получаем VPS
    2. Поднимаем туннель от маршрутизатора к VPS
  2. Получаем и регулярно обновляем копию реестра
  3. Устанавливаем и настраиваем сервис маршрутизации
  4. Создаем на основании реестра список статических маршрутов для сервиса маршрутизации
  5. Подключаем роутер к сервису и настраиваем отправку всего трафика через туннель.

Собственно решение


Подготовительные действия


На просторах сети есть множество сервисов, предоставляющих VPS за крайне умеренные деньги. Пока я нашел и пользуюсь вариантом за $9/год, но даже если не особо заморачиваться — вариантов за 1E/месяц много на каждом углу. Вопрос выбора VPS лежит далеко за пределами этой статьи, поэтому если кому-то что-то непонятно в этом — спросите в комментариях.


Если вы будете использовать VPS не только для сервиса маршрутизации, но и для терминации на нем туннеля — вам нужно поднять этот туннель и, практически однозначно, настроить NAT для него. В сети большое количество инструкций по этим действиям, здесь я их повторять не буду. Основное требование к такому туннелю — он должен создавать на вашем роутере, поддерживающем туннель в сторону VPS, отдельный интерфейс. Этому требованию соответствует большинство используемых технологий VPN — например, OpenVPN в tun режиме прекрасно подходит.


Получение копии реестра


Как говорил Джабраил, "Тот, кто нам мешает, тот нам поможет". Раз уж РКН создает реестр запрещенных ресурсов, грешно было бы не воспользоваться этим реестром для решения нашей задачи. Копию реестра мы будем получать с github.


Заходим на ваш линукс-сервер, проваливаемся в контекст root'а (sudo su -) и устанавливаем git, если он еще не установлен.


apt install git

Переходим в домашнюю директорию и вытягиваем копию реестра.


cd ~ && git clone --depth=1 https://github.com/zapret-info/z-i 

Настраиваем обновление по крону (у меня раз в 20 минут, но вы можете выбрать любой интересный вам интервал). Для этого запускаем crontab -e и добавляем в него следующую строку:


*/20 * * * * cd ~/z-i && git pull && git gc

Подключаем хук, который будет создавать файлы для сервиса маршрутизации после обновления реестра. Для этого создаем файл /root/z-i/.git/hooks/post-merge со следующим содержимым:


#!/usr/bin/env bash
changed_files="$(git diff-tree -r --name-only --no-commit-id ORIG_HEAD HEAD)"
check_run() {
    echo "$changed_files" | grep --quiet "$1" && eval "$2"
}
check_run dump.csv "/root/blacklist/makebgp"

и не забываем сделать его исполняемым


chmod +x /root/z-i/.git/hooks/post-merge

Скрипт makebgp, на который ссылается хук, мы создадим чуть позже.


Установка и настройка сервиса маршрутизации


Устанавливаем bird. К сожалению, выложенная в репозиториях Ubuntu на данный момент версия bird по свежести сопоставима с фекалиями археоптерикса, поэтому нам необходимо предварительно добавить в систему официальный PPA разработчиков ПО.


add-apt-repository ppa:cz.nic-labs/bird
apt update
apt install bird

После этого сразу отключаем bird для IPv6 — в этой инсталляции он для нас не потребуется.


systemctl stop bird6
systemctl disable bird6

Ниже приведен минималистичный файл конфигурации сервиса bird (/etc/bird/bird.conf), которого нам вполне хватит (и еще раз напоминаю, что никто не запрещает развивать и дотюнивать идею под ваши собственные потребности)


log syslog all;
router id 172.30.1.1;

protocol kernel {
        scan time 60;
        import none;
#       export all;   # Actually insert routes into the kernel routing table
}

protocol device {
        scan time 60;
}

protocol direct {
        interface "venet*", "tun*"; # Restrict network interfaces it works with
}

protocol static static_bgp {
        import all;
        include "pfxlist.txt";
        #include "iplist.txt";
}

protocol bgp OurRouter {
        description "Our Router";
        neighbor 81.177.103.94 as 64999;
        import none;
        export where proto = "static_bgp";
        local as 64998;
        passive off;
        multihop;
}

router id — идентификатор роутера, визуально выглядящий как IPv4-адрес, но им не являющийся. В нашем случае может быть вообще любым 32-битным числом в формате IPv4-адреса, но хорошим тоном является указывать там именно IPv4-адрес вашего устройства (в данном случае VPS).


protocol direct определяет, какие интерфейсы будут работать с процессом маршрутизации. В примере дана пара примеров имен, можно добавлять и другие. Можно и просто удалить строку, в этом случае сервер будет слушать все доступные интерфейсы с IPv4-адресом.


protocol static — наше волшебство, которое подгружает из файлов списки префиксов и ip-адресов (которые на самом деле, конечно, префиксы по /32) для последующего анонса. Откуда появляются эти списки — будет рассмотрено ниже. Обратите внимание, что загрузка ip-адресов по умолчанию закомментирована, причина этого — большой объем выгрузки. Для сравнения, в списке префиксов на момент написания статьи 78 строк, а в списке ip-адресов — 85898. Настоятельно рекомендую запускаться и отлаживаться только на списке префиксов, а включать или не включать в дальнейшем подгрузку ip — решать после экспериментов со своим роутером. Далеко не каждый из них легко переварит 85 тысяч записей в таблице маршрутизации.


protocol bgp, собственно, настраивает bgp-пиринг с вашим роутером. ip-адрес — это адрес внешнего интерфейса роутера (либо адрес интерфейса туннеля со стороны роутера), 64998 и 64999 — номера автономных систем. Их в данном случае можно назначить в виде любых 16-битных чисел, но хорошим тоном является использование номеров AS из приватного диапазона, определенного RFC6996 — 64512-65534 включительно (существует формат 32-битных ASN, но в нашем случае это точно излишество). Описанная конфигурация использует eBGP пиринг, при котором номера автономных систем сервиса маршрутизации и роутера должны различаться.


Как вы можете заметить, сервису нужно знать IP-адрес роутера, поэтому если у вас динамический или немаршрутизируемый private (RFC1918) или shared (RFC6598) адрес, варианта поднимать пиринг на внешнем интерфейсе у вас нет, но внутри туннеля сервис все равно будет работать.


Достаточно прозрачно также, что с одного сервиса вы можете обеспечивать маршрутами несколько разных роутеров — достаточно продублировать настройки для них копированием секции protocol bgp со сменой IP-адреса соседа. Именно поэтому в примере показаны настройки для пиринга вне туннеля, как наиболее универсальные. Убрать их в туннель несложно, поменяв соответственно IP-адреса в настройках.


Обработка реестра для сервиса маршрутизации


Сейчас нам надо, собственно, создать списки префиксов и ip-адресов, которые на предыдущем этапе упомянуты в protocol static. Для этого мы берем файл реестра и делаем из него нужные нам файлы следующим скриптом, размещаемым в /root/blacklist/makebgp


#!/bin/bash
cut -d";" -f1 /root/z-i/dump.csv| tr '|' '\n' |  tr -d ' ' > /root/blacklist/tmpaddr.txt
cat /root/blacklist/tmpaddr.txt | grep / | sed 's_.*_route & reject;_' > /etc/bird/pfxlist.txt
cat /root/blacklist/tmpaddr.txt | sort | uniq | grep -Eo "([0-9]{1,3}[\.]){3}[0-9]{1,3}" | sed 's_.*_route &/32 reject;_' > /etc/bird/iplist.txt
/etc/init.d/bird reload
logger 'bgp list compiled'

Не забываем сделать его исполняемым


chmod +x /root/blacklist/makebgp

Теперь можно запустить его вручную и пронаблюдать появление файлов в /etc/bird.


Вероятнее всего, в этот момент bird у вас не работает, поскольку на предыдущем этапе вы ему предложили поискать файлы, которых еще не было. Поэтому запускаем его и контролируем, что он запустился:


systemctl start bird
birdc show route

Вывод второй команды должен показать около 80 записей (это на данный момент, а когда будете настраивать, всё будет зависеть от рьяности РКН в блокировках сетями) вида приблизительно такого:


54.160.0.0/12      unreachable [static_bgp 2018-04-19] * (200)

Команда


birdc show protocol

покажет состояние протоколов внутри сервиса. Пока вы не настроили роутер (см. следующий пункт), протокол OurRouter будет в состоянии start (фазы Connect или Active), а после успешного подключения перейдет в состояние up (фаза Established). Например, в моей системе вывод этой команды выглядит следующим образом:


BIRD 1.6.3 ready.
name     proto    table    state  since       info
kernel1  Kernel   master   up     2018-04-19
device1  Device   master   up     2018-04-19
static_bgp Static   master   up     2018-04-19
direct1  Direct   master   up     2018-04-19
RXXXXXx1 BGP      master   up     13:10:22    Established
RXXXXXx2 BGP      master   up     2018-04-24  Established
RXXXXXx3 BGP      master   start  2018-04-22  Connect       Socket: Connection timed out
RXXXXXx4 BGP      master   up     2018-04-24  Established
RXXXXXx5 BGP      master   start  2018-04-24  Passive

Подключение роутера


Все уже, наверное, устали читать эту портянку, но мужайтесь — конец близок. Тем более, что в этом разделе я не смогу дать пошаговую инструкцию — для каждого производителя она будет своя.


Однако могу показать пару примеров. Основная логика — поднять BGP-пиринг и на все получаемые префиксы навесить nexthop, указывающий на наш туннель (если нужно выводить трафик через p2p интерфейс) или ip-адрес некстхопа, если трафик будет уходить в ethernet).


Например, на Mikrotik в RouterOS это решается следующим образом


/routing bgp instance set default as=64999 ignore-as-path-len=yes router-id=172.30.1.2
/routing bgp peer add in-filter=dynamic-in multihop=yes name=VPS remote-address=194.165.22.146 remote-as=64998 ttl=default
/routing filter add action=accept chain=dynamic-in protocol=bgp comment="Set nexthop" set-in-nexthop=172.30.1.1

а в Cisco IOS — вот так


router bgp 64999
  neighbor 194.165.22.146 remote-as 64998
  neighbor 194.165.22.146 route-map BGP_NEXT_HOP in
  neighbor 194.165.22.146 ebgp-multihop 250
!
route-map BGP_NEXT_HOP permit 10
  set ip next-hop 172.30.1.1

В том случае, если один и тот же туннель используется и для BGP-пиринга, и для передачи полезного трафика, выставлять nexthop не обязательно, он выставится правильно средствами протокола. Но если выставите вручную — хуже от этого тоже не будет.


На других платформах вам придется разбираться в конфигурировании самостоятельно, но если возникнут затруднения — пишите в комментариях, попробую помочь.


После того, как у вас поднялась BGP-сессия, прилетели и установились в таблицу маршруты на крупные сети, трафик на адреса из них пошел и счастье близко, вы можете вернуться к сервису bird и попробовать раскомментировать там запись, подключающую список ip-адресов, выполнить после этого


systemctl reload bird

и посмотреть, как ваш роутер перенес эти 85 тысяч маршрутов. Будьте готовы отключать и думать, что с этим делать :)


Итого


Чисто теоретически после выполнения вышеописанных действий у вас появился сервис, который автоматически перенаправляет трафик к забаненным в РФ IP-адресам мимо системы фильтрации.


Его, конечно, можно дорабатывать. Например, достаточно легко сделать суммаризацию списка ip-адресов через решения на perl или python. Простой скрипт на perl, делающий это с помощью Net::CIDR::Lite, превращает 85 тысяч префиксов в 60 (не тысяч), но, естественно, перекрывает гораздо бОльший диапазон адресов, чем заблокировано.


Поскольку сервис работает на третьем уровне модели ISO/OSI, он не спасет от блокировок по сайту/странице, если оно резолвится не в тот адрес, который записан в реестре. Но вместе с реестром из github прилетает файл nxdomain.txt, который несколькими штрихами скрипта легко превращается в источник адресов для, например, плагина SwitchyOmega в Chrome.


Необходимо также упомянуть, что решение требует дополнительной заточки, если вы не просто пользователь интернета, но и публикуете какие-то ресурсы от себя (например, на этом подключении работает веб-сайт или почтовый сервер). Средствами роутера необходимо жестко привязать исходящий трафик от этого сервиса в ваш публичный адрес, иначе вы потеряете связность с теми ресурсами, которые покрываются получаемым роутером списком префиксов.


При возникновении вопросов — задавайте, готов отвечать.


UPD. Спасибо navion и TerAnYu за параметры для git, позволяющие уменьшить объемы скачиваемого.


UPD2. Коллеги, похоже, я совершил ошибку, не добавив в статью инструкцию по настройке туннеля между VPS и роутером. Очень много вопросов вызваны этим.
На всякий случай еще раз отмечу — подразумевается, что перед началом действий по этому руководству вы уже настроили VPN-туннель в нужном вам направлении и проверили его работоспособность (например, завернув туда трафик по дефолту или статикой). Если эта фаза у вас еще не выполнена, выполнять действия из статьи не очень имеет смысл. Пока у меня своего текста на этот счет нет, но если погуглить "настройка сервера OpenVPN" вместе с именем операционной системы, установленной на VPS, и "настройка клиента OpenVPN" с именем вашего маршрутизатора — вероятнее всего, вы найдете некоторое количество статей на этот счет, в том числе и на хабре.


UPD3. Unsacrificed написал код, который делает из dump.csv результирующий файл для bird с опциональной суммаризацией ip-адресов. Поэтому раздел "Обработка реестра для сервиса маршрутизации" можно заменить на вызов его программы. https://habr.com/post/354282/#comment_10782712


UPD4. Небольшая работа над ошибками (не вносил по тексту):
1) вместо systemctl reload bird имеет смысл использовать команду birdc configure.
2) в маршрутизаторе Mikrotik вместо смены некстхопа на IP второй стороны туннеля /routing filter add action=accept chain=dynamic-in protocol=bgp comment="Set nexthop" set-in-nexthop=172.30.1.1 имеет смысл указывать маршрут прямо в интерфейс туннеля, без адреса /routing filter add action=accept chain=dynamic-in protocol=bgp comment="Set nexthop" set-in-nexthop-direct=<имя интерфейса>


UPD5. Появился новый сервис https://antifilter.download, откуда можно забирать уже готовые списки ip-адресов. Обновляются раз в полчаса. На клиентской стороне при этом остается только обрамить записи соответствующими "route… reject".
И на этом, наверное, уже хватит лохматить бабушку и обновлять статью.

Поделиться публикацией
Ой, у вас баннер убежал!

Ну. И что?
Реклама
Комментарии 277
  • +3
    Все руки не доходили сделать, спасибо!
    • –8
      Обычный туннель до какой-нить точки выхода проще и ничем не хуже. Непонятно зачем тут BGP прикрутили.
      • +21
        Смысл в том, чтобы отправлять в туннель не весь трафик, а только трафик к заблокированным ресурсам. И не тратить время на постоянное отслеживание «что же еще заблокировал РКН». По BGP и передается информация, что именно заблокировано.
        • –13
          Это жесть.
          • –7
            а смысл? на микротике создаем список адресов, маркируем трафик что туда идти должен и для этого отмаркированного трафика пакеты кидаем в туннель, а не напрямую… проще же…
            • +3
              Вы точно прочитали пост? А на основании чего маркировать? По API грузить address lists в микротик? BGP здесь выступает как механизм подачи (передачи) списка адресов.
              • –8
                mikbill.blogspot.ru/2016/05/rkn-mikrotik.html
                долго гуглить лень, а самому мне хватает и статического списка адресов…
                • +2
                  А ссылку не лень проверить перед «выкладыванием»? Страничка то открывается, а вот файл с нее левый качается.
                  • –7
                    лень :-)
                    но можете и сами погуглить… было что-то еще…
                    но опять же не уверен, что то, откуда качался список, еще живо…
                    • 0
                      как автору сайта и статьи mikbill.blogspot.ru интересно, что там не то качается? А насчет реализации это не совсем то, так как там список нужно получать законным способом, выгрузкой с ркн. Немного не сходится с тем, чтобы получать список платно для того чтобы обходить. Но если уже получать выгрузку, то скрипт решит проблему нагрузки в момент заливки, так как просто удаление/перезаливка на микротик ставит оборудование в ступор на несколько минут
                • +2
                  Для микротика я так и делал, но здесь представлен способ, который не относится к конкретному вендору. BGP можно поднять и с Cisco, и с linux, и не городить отдельные скрипты с списком статических маршрутов для каждого решения.
                  • –2
                    да. но обратите внимание тогда, что это решение таки относится к конкретному «вендору», раз на впс у человека убунта видимо, хотя может и дебиан…
                    а у меня например за пределами стоит облачная роутерос…
                    • 0
                      Крутить роут-демон можно в любом месте шарика, в том числе и не за пределами. Но да, если в принципе ни одного linux/unix в досягаемости нет — то моё решение не подойдет.
                  • 0

                    Ну с префиксами то ладно, все автоматизируется и работает. Но как быть с обычными IP адресами? После оптимизации списка всех IP адресов у меня получилось порядка 62 тысяч префиксов размером /24../32. Только вот при попытке залить их в обычный домашний микротик (951й) он просто встал колом.
                    Тут я думаю только какой-нибудь CCR осилит это...

                    • 0
                      962 съедает 80к и работает потом, но таких мало, конечно.
                      Посмотрите вариант в конце комментариев, он дает 13к префиксов и это уже вполне себе перевариваемо.
                      • 0
                        hAp ac² спокойно 84543 съел. Правда во время загрузки маршрутов несколько секунд одно ядро на 100% загружено. Но потом летает.
                    • +1
                      Вы статью читали? А скриптик в ней читали? Информация о том что заблокировано передается через файлик dump.xml. Который надо регулярно скачивать, парсить и закидывать в bird. Спрашивается — а зачем тогда этот bird вообще нужен?
                      • 0
                        ви таки хотите сказать, что тот гитхаб — это гитхаб ркн? нет… а значит может случиться так, что список тот всеравно будет не актуальным…
                      • +1
                        Как-то этот и последующие Ваши комменты очень сильно расходятся с disclaimer'ом. Не подтянут? :)
                        • 0
                          Навряд ли, это же коммент, всё-таки, а не статья :) За статью хабра могли подтянуть, а за комменты пока что нет, вроде. Но это впереди :)
                          • 0
                            Ну если за репосты сажают…
                      • 0
                        Для одного клиента наверное смысла нет, а если запускать десяток, решение тиражируется автоматически
                        • 0
                          И для одного клиента тоже удобно — не нужно следить, кого ещё РКН заблокировал за последний час. Но каждому своя степень удобства нужна, безусловно.
                      • 0
                        Статью прочел, но так и не нашел ответа на вопрос — зачем bgp? Какая такая радость от динамической маршрутизации через один единственный канал?
                        • +7

                          Канала два — обычный инет и впн, вот bgp у нас и определяет что в впн пускать.
                          Аналогично кстати антизапрет поступает — у них приходят пачки маршрутов.

                          • +2
                            Чтобы не рисовать страшные роут-мапы на роутере и не пускать весь трафик через VPN.
                            • 0
                              Так страшные роут-мапы остаются. В скрипте же все написано.
                              • 0
                                В скрипте остается один роут-мап, по идее. Смысл — настроить один раз и не следить, что изменилось у РКН.
                                • +1
                                  Каким образом, по вашему мнению, это достигается? Один раз стянули dump.xml, распарсили, выгрузили и больше не трогаем? Так что ли?
                                  • +5
                                    Нет. Для того у нас и BGP. На сервер вытягиваем новые (и только новые) версии дампа, они автоматически парсятся — и на роутер прилетает актуальный список. На роутере никаких страшных роутмапов, просто «всё, что изучено по bgp, заворачивать в туннель». В этом, собственно, идея и есть — роутер с его не очень-то обычно производительным процессором не надо насиловать постоянными обновлениями настроек, он всегда в одной конфигурации.
                                    • 0
                                      Теперь понятна идея. Держать эти страшные завалы маршрутов не на флешке роутера, а только в оперативке. Спасибо за разъяснение. Так и правда будет оптимальнее.
                                      Но маршруты же все равно прилетают на роутер, если я правильно понимаю конфиг в статье =).
                                      • 0
                                        а что мешает без bgp пушить средствами опенвпн динамический список машрутов?
                                        • 0
                                          А он пушится не только при подключении? Или при каждом изменении листа разваливать туннель придется?
                                          Если можно пушить на уже подключенный — то да, вполне себе решение. Я всё равно предпочту bgp, потому что там можно играть с принимаемыми префиксами, фильтровать их и посылать в разные некстхопы, но для большинства такой метод с openvpn, конечно, подойдет.
                                  • 0
                                    На ASA не остаются и даже можно включить суммаризацию маршрутов:
                                    router bgp 64999
                                     bgp log-neighbor-changes
                                     address-family ipv4 unicast
                                      neighbor 192.168.10.100 remote-as 64998
                                      neighbor 192.168.10.100 activate
                                      auto-summary
                                      no synchronization
                                     exit-address-family
                              • +1

                                Как Вы думаете, имеет ли смысл реализовать другой подход для домашнего компьютера:


                                • получать список адресов
                                • просматривать логи соединений с внешними ресурсами
                                • если было соединение к блокированному адресу, вносить его в iptables и перенаправлять на внешний VPN или Tor
                                  ?

                                Причина делать именно так — нет достаточно мощного роутера или даже нет внешнего VPN (вот у меня они есть/были, но попали под блокировку, и бегать искать новые не хочется).

                                • –1
                                  я на своем zyxel keenetic start подключил впн с приоритетом выше, чем то что дает провайдер.
                                  завернул весь трафик в впн кроме определенных адресов (в онлайн играх увеличивается пинг через впн). Решение простое и не требует спец. навыков. трафик разделил маршрутами, их всего 5.
                                  Однако, если у вас выделенный внешний адрес, то с маршрутами придется попотеть.
                                  • +2
                                    Если у вас есть (свой) внешний VPS с OpenVPN сервером на нем, то никто не мешает получать там, на нем, список адресов, и вписывать в файл конфигурации openvpn сервера строчки маршрутизации, которые push-атся на клиентов, и перезагружать конфигу сервера. Таким образом, на локальном компе маршрутизация обновится «сама собой», и маршруты на проблемные показавшиеся подозрительными судам сети и адреса будут вести в туннель.

                                    Это, конечно, если не хочется завернуть в туннель всё, от греха.
                                    • +1

                                      Блокировок 60.000 строк — ни VPS, ни мой сервер, ни скорее всего OpenVPN просто так не понтянут такие объёмы.

                                      • 0
                                        Ниже приведенный скрипт по загрузке acl в микротик
                                        Заголовок спойлера
                                        curl -s https://raw.githubusercontent.com/zapret-info/z-i/master/dump.csv | cut -d";" -f1 | tr '|' '\n' | grep '/' | tr -d ' ' | sort -k1 -n | sed 's/\(^\)/\/ip firewall address-list add list=rkn address=/g' | ssh admin@MIKROTIK_IP


                                        выбирает только крупные сети, так вот их вполне себе немного, у меня 78 набегает:
                                        Заголовок спойлера
                                        /ip firewall address-list add list=rkn address=13.125.0.0/16
                                        /ip firewall address-list add list=rkn address=13.230.0.0/15
                                        /ip firewall address-list add list=rkn address=13.56.0.0/14
                                        /ip firewall address-list add list=rkn address=18.130.0.0/16
                                        /ip firewall address-list add list=rkn address=18.144.0.0/16
                                        /ip firewall address-list add list=rkn address=18.184.0.0/15
                                        /ip firewall address-list add list=rkn address=18.194.0.0/15
                                        /ip firewall address-list add list=rkn address=18.196.0.0/15
                                        /ip firewall address-list add list=rkn address=18.204.0.0/14
                                        /ip firewall address-list add list=rkn address=18.218.0.0/16
                                        /ip firewall address-list add list=rkn address=18.236.0.0/15
                                        /ip firewall address-list add list=rkn address=23.251.128.0/19
                                        /ip firewall address-list add list=rkn address=34.192.0.0/10
                                        /ip firewall address-list add list=rkn address=34.240.0.0/13
                                        /ip firewall address-list add list=rkn address=34.248.0.0/13
                                        /ip firewall address-list add list=rkn address=35.156.0.0/14
                                        /ip firewall address-list add list=rkn address=35.160.0.0/13
                                        /ip firewall address-list add list=rkn address=35.176.0.0/15
                                        /ip firewall address-list add list=rkn address=35.178.0.0/15
                                        /ip firewall address-list add list=rkn address=35.180.0.0/16
                                        /ip firewall address-list add list=rkn address=35.184.0.0/13
                                        /ip firewall address-list add list=rkn address=35.192.0.0/12
                                        /ip firewall address-list add list=rkn address=35.208.0.0/12
                                        /ip firewall address-list add list=rkn address=35.224.0.0/12
                                        /ip firewall address-list add list=rkn address=45.76.82.0/23
                                        /ip firewall address-list add list=rkn address=46.101.128.0/17
                                        /ip firewall address-list add list=rkn address=47.91.64.0/19
                                        /ip firewall address-list add list=rkn address=51.136.0.0/15
                                        /ip firewall address-list add list=rkn address=51.15.0.0/16
                                        /ip firewall address-list add list=rkn address=52.192.0.0/11
                                        /ip firewall address-list add list=rkn address=52.32.0.0/16
                                        /ip firewall address-list add list=rkn address=52.56.0.0/16
                                        /ip firewall address-list add list=rkn address=52.57.0.0/16
                                        /ip firewall address-list add list=rkn address=52.58.0.0/15
                                        /ip firewall address-list add list=rkn address=52.64.0.0/12
                                        /ip firewall address-list add list=rkn address=54.144.0.0/12
                                        /ip firewall address-list add list=rkn address=54.160.0.0/12
                                        /ip firewall address-list add list=rkn address=54.212.0.0/15
                                        /ip firewall address-list add list=rkn address=54.228.0.0/15
                                        /ip firewall address-list add list=rkn address=54.64.0.0/13
                                        /ip firewall address-list add list=rkn address=64.137.0.0/17
                                        /ip firewall address-list add list=rkn address=68.171.224.0/19
                                        /ip firewall address-list add list=rkn address=74.82.64.0/19
                                        /ip firewall address-list add list=rkn address=91.108.12.0/22
                                        /ip firewall address-list add list=rkn address=91.108.16.0/22
                                        /ip firewall address-list add list=rkn address=91.108.4.0/22
                                        /ip firewall address-list add list=rkn address=91.108.56.0/22
                                        /ip firewall address-list add list=rkn address=91.108.8.0/22
                                        /ip firewall address-list add list=rkn address=91.121.0.0/16
                                        /ip firewall address-list add list=rkn address=94.177.224.0/21
                                        /ip firewall address-list add list=rkn address=98.158.176.0/20
                                        /ip firewall address-list add list=rkn address=103.246.200.0/22
                                        /ip firewall address-list add list=rkn address=109.239.140.0/24
                                        /ip firewall address-list add list=rkn address=128.199.0.0/16
                                        /ip firewall address-list add list=rkn address=139.59.0.0/16
                                        /ip firewall address-list add list=rkn address=149.154.160.0/22
                                        /ip firewall address-list add list=rkn address=149.154.164.0/22
                                        /ip firewall address-list add list=rkn address=149.154.168.0/22
                                        /ip firewall address-list add list=rkn address=149.154.172.0/22
                                        /ip firewall address-list add list=rkn address=159.122.128.0/18
                                        /ip firewall address-list add list=rkn address=159.203.0.0/16
                                        /ip firewall address-list add list=rkn address=159.65.0.0/16
                                        /ip firewall address-list add list=rkn address=159.89.0.0/16
                                        /ip firewall address-list add list=rkn address=165.227.0.0/16
                                        /ip firewall address-list add list=rkn address=167.99.0.0/16
                                        /ip firewall address-list add list=rkn address=174.104.0.0/15
                                        /ip firewall address-list add list=rkn address=174.138.0.0/17
                                        /ip firewall address-list add list=rkn address=176.67.169.0/24
                                        /ip firewall address-list add list=rkn address=178.239.88.0/21
                                        /ip firewall address-list add list=rkn address=178.63.0.0/16
                                        /ip firewall address-list add list=rkn address=185.166.212.0/23
                                        /ip firewall address-list add list=rkn address=185.229.227.0/24
                                        /ip firewall address-list add list=rkn address=188.166.0.0/17
                                        /ip firewall address-list add list=rkn address=195.154.0.0/17
                                        /ip firewall address-list add list=rkn address=203.104.128.0/20
                                        /ip firewall address-list add list=rkn address=203.104.144.0/21
                                        /ip firewall address-list add list=rkn address=203.104.152.0/22
                                        /ip firewall address-list add list=rkn address=206.189.0.0/16


                                        Довести до формата, подходящего OpenVPN, совсем не сложно будет.
                                        • +1

                                          Как в микротике можно заворачивать в другой туннель все из address list-a?

                                          • 0
                                            IP -> Firewall -> Mangle как средство развешивания меток (если соединение идет на адрес из этого адрес-листа, повесить route mark такой-то), а затем в IP -> Routes создать маршрут с нужной меткой роутинга.

                                            Примеров в интере много, на вскидку нашел vasilevkirill.com/MikroTik/1 какой-то такой.
                                      • 0

                                        Для передачи маршрутов в конфиге OpenVPN используется опция route, которая требует "широкий" формат маски в виде 255.255.x.x. Как его получить из "короткого" стандартными утилитами — я не изучал, но в силу специфики томского интернета у меня завалялся готовый скрипт, который когда-то использовался для обратной цели — передать список маршрутов, которые в туннель заворачивать не надо.


                                        Скрипте выложен на Github (https://github.com/rpv-tomsk/iplist). Умеет аггрегировать подсетки, формировать конфиг OpenVPN. Написан на Perl, использует Net::CIDR::Lite.


                                        Судя по дате изменения файла, последний раз он был изменен 7 лет назад, поэтому сильно не пинайте, если будет работать не так, как ожидается. Перед публикацией я его слегка причесал и протестировал.


                                        Итак, как выгрузить список префиксов в OpenVPN:


                                        1) В конфигурации OpenVPN-сервера указываем путь к скрипту, который сформирует файл динамической конфигурации:


                                        client-connect ./client-connect

                                        2) Содержимое скрипта размещаем в файле /etc/openvpn/client-connect :


                                        #!/bin/bash
                                        
                                        TYPE="$script_type"
                                        CCD="$1"
                                        
                                        if [ "$TYPE" = "client-connect" ]; then
                                            cp /etc/openvpn/blacklist $CCD
                                            exit 0
                                        fi
                                        
                                        exit 0

                                        3) В конфигурации OpenVPN-клиента необходимо прописать опцию max-routes:


                                        max-routes 150

                                        Надеюсь, что такого значения будет достаточно.


                                        4) Скачиваем утилиту и формируем файл /etc/openvpn/blacklist с директивами выставления маршрутов на клиенте:


                                        #Взято из статьи
                                        cut -d";" -f1 /root/z-i/dump.csv| tr '|' '\n' |  tr -d ' ' > /root/blacklist/tmpaddr.txt
                                        
                                        #Путь к скачанной утилите iplist_ovpn необходимо скорректировать
                                        cat /root/blacklist/tmpaddr.txt | grep / | ./iplist_ovpn -vg > /etc/openvpn/blacklist

                                        Перезапускать OpenVPN-сервер после изменения /etc/openvpn/blacklist не требуется.
                                        Маршруты прилетают на клиент только при подключении, поэтому для обновления необходимо переподключение клиента — в этом минус решения, по сравнению с получением маршрутов средствами BGP или другой динамической маршрутизации.
                                        Если что-то не заработает — смотрим в логи, они бывают полезны.

                                        • 0
                                          Как его получить из "короткого" стандартными утилитами

                                          cdr2mask ()
                                          {
                                             # Number of args to shift, 255..255, first non-255 byte, zeroes
                                             set -- $(( 5 - ($1 / 8) )) 255 255 255 255 $(( (255 << (8 - ($1 % 8))) & 255 )) 0 0 0
                                             [ $1 -gt 1 ] && shift $1 || shift
                                             echo ${1-0}.${2-0}.${3-0}.${4-0}
                                          }

                                          (SO)

                                    • +2
                                      Если интересует только браузер, то того же эффекта можно добиться гораздо проще через механизм proxy autoconfig. Забираем список блокированных адресов по крону, генерируем скрипт proxy.pac и отдаём любым HTTP-сервером внутрь нашего VPN. В браузере прописываем URL этого файла в соотвествующую настройку.

                                      Однако с учетом того, что Роскомпозор начал ломать вещи типа Google Playmarket, этого может оказаться недостаточно, и потребуются меры посерьёзнее.

                                      Я только не очень понимаю один момент. Необходимость в BGP, как я понял, объясняется тем, что список подсетей формируется на удалённом сервере, а потом пересылается роутеру через этот протокол.
                                      Но раз уж мы говорим про роутеры на OpenWRT, то не проще ли роутеру брать список самостоятельно и загонять его в тот же iptables? На худой конец, поднимите зеркало списка, отдаваемое внутрь VPN, чтобы роутер гарантированно мог его получить при наличии доступа к серверу.
                                      • –1
                                        в статье было про микротиковский хап ац :)
                                        скрипты то и т.д. на нем есть, но не так много…
                                        • 0
                                          proxy.pac можно положить на локальную машину, а URL задать в виде «file://...»
                                          • 0
                                            Это верно, если локальная машина одна, или если VPN не под полным контролем (например от VPN провайдера).
                                            В противном случае проще озадачить созданием proxy.pac именно сервер.
                                            1. все клиенты смогут этот файл забрать, нет нужды на каждом из них настраивать генерацию.
                                            2. если дамп реестра сам будет заблокирован, VPN сервер сможет его достать (он же вне зоны блокировок).
                                            3. если VPN не поднят, то proxy.pac ничем не поможет. Нужно тестировать, но я подозреваю что если браузер не сможет открыть proxy.pac, он просто переключится на режим без прокси. А вот если файл будет доступен, а прокси — нет, поведение может отличаться.
                                        • 0
                                          Интересно. Check list:
                                          Mikrotik — есть
                                          VPS Ubuntu Server 16.04 — есть
                                          Заблокированные безобидные ресурсы типа реп Mono — есть

                                          Вечером попробую реализовать. И вообще — такого рода материалы пора уже сохранять в офлайне и беречь.
                                          • 0
                                            Я просто накидал в микротике статических маршрутов через VPN к тем адресам, которые мне нужны и все. Действительно непонятно зачем BGP, если таким же скриптом можно насоздавать статических маршрутов и не парится с лишними сущностями.
                                            • 0
                                              upd: Попробовал — не взлетело, не работает обход, что-то я упускаю, проверял на репо download.mono-project.com/repo/ubuntu/dists/stable-xenial/InRelease, который (позор ркн) теперь доступен только через vpn. Повторил всё один-в-один как в статье (IP, естественно, только свои подставил, но даже ID не менял) — не работает. Сообразил (надеюсь, правильно) открыть tcp 179 порт на микротике. Не помогло. Несколько раз проверил все конфиги — соединение со стороны микротика в статусе active, со стороны VPS — connection refused или что-то в этом роде. Соединение стало estabilished только после того как в микротике поставил галочку Multihop в настройке Peer. Процессор микротика на какое-то время загрузился на 100%, половина оперативной памяти заполнилась, потом CPU пришёл в себя, RAM там и осталась заполненной наполовину. Бинго, подумал я. Но не тут-то было — репо Mono как не открывался так и не открывается. Подключаемся через vpn — открывается со свистом. Epic fail.
                                              • 0
                                                Покажите:
                                                1) куда у вас резолвится download.mono-project.com с компьютера (nslookup download.mono-project.com).
                                                2) результат команды /ip route check <и здесь ip, в который резолвится указанный сайт> в терминале Mikrotik.

                                                У меня он резолвится в 152.199.20.1 и этот адрес находится в iplist.txt, поэтому если вы его подключили, убрав описанную в тексте # в include iplist.txt, роутер должен отправлять трафик на него через туннель.
                                                Сам туннель работоспособен, если в него дефолт направить, например?
                                                • 0
                                                  1)C:\Users\fdroid>nslookup download.mono-project.com
                                                  ╤хЁтхЁ: UnKnown #what?!
                                                  Address: 192.168.0.1

                                                  Не заслуживающий доверия ответ:
                                                  ╚ь : cs9.wpc.v0cdn.net
                                                  Addresses: 2606:2800:133:206e:1315:22a5:2006:24fd
                                                  152.199.20.1
                                                  Aliases: download.mono-project.com
                                                  mono-project.azureedge.net
                                                  mono-project.ec.azureedge.net

                                                  2)
                                                  [fdroid@RB951Ui-2HnD] > /ip route check 152.199.20.1
                                                  status: ok
                                                  interface: wan
                                                  nexthop: #тут IP из моей домашней провайдерской подсети, но не мой, указан в Route List -> Nexthops.


                                                  В iplist.txt IP присутствует:
                                                  route 152.199.20.1/32 reject;

                                                  В конфиге лист подключен:
                                                  protocol static static_bgp {
                                                  import all;
                                                  include "pfxlist.txt";
                                                  include "iplist.txt";
                                                  }


                                                  Сам туннель работоспособен, если в него дефолт направить, например?

                                                  Как это проверить? Я сварщик ненастоящий, много не понимаю(
                                                  • 0
                                                    upd: nexthop IP — это шлюз моего провайдера, он же на скринах везде закрашен. У меня белая статика из того же диапазона.



                                                    • 0
                                                      п.2 означает, что роутер имеет маршрут на этот адрес через wan, а не через туннель.
                                                      Есть ли в таблице маршрутизации маршруты, полученные по BGP? (путь в винбоксе — ip — routes и смотреть в левом столбце маленькую букву b, что-то типа DAb).

                                                      Если маршрутов нет — возможно, bgp не поднялся. Можно посмотреть на сервере результаты команды birdc sh proto — какое состояние у него. Если он Established — возможно, не установился или неправильно установился фильтр: Routing — Filters, проверить что Action — Accept и Set in nexthop указывает на интерфейс туннеля (можно и на адрес с другой стороны, но в случае туннеля лучше указывать интерфейс).
                                                      • 0
                                                        Надо просто переписать фильтр в интерфейс вместо адреса и всё заработает.
                                                        • 0
                                                          Есть ли в таблице маршрутизации маршруты, полученные по BGP? (путь в винбоксе — ip — routes и смотреть в левом столбце маленькую букву b, что-то типа DAb).

                                                          да, они все DAb (это же нужно смотреть тот раздел, скрин которого я выше приложил, я правильно понимаю?)
                                                          Можно посмотреть на сервере результаты команды birdc sh proto — какое состояние у него.

                                                          root@vps:~# birdc show protocol
                                                          BIRD 1.6.3 ready.
                                                          name proto table state since info
                                                          kernel1 Kernel master up 2018-04-26
                                                          device1 Device master up 2018-04-26
                                                          direct1 Direct master up 2018-04-26
                                                          static_bgp Static master up 2018-04-26
                                                          OurRouter BGP master up 13:52:59 Established

                                                          роверить что Action — Accept и Set in nexthop указывает на интерфейс туннеля

                                                          вот так у меня сейчас настроено:
                                                          • 0
                                                            В последнем убрать Set In Nexthop и выставить Set in Nexthop Direct с указанием интерфейса vpn.
                                                            • 0
                                                              с указанием интерфейса vpn.

                                                              UPD2. Коллеги, похоже, я совершил ошибку, не добавив в статью инструкцию по настройке туннеля между VPS и роутером. Очень много вопросов вызваны этим.
                                                              На всякий случай еще раз отмечу — подразумевается, что перед началом действий по этому руководству вы уже настроили VPN-туннель в нужном вам направлении и проверили его работоспособность (например, завернув туда трафик по дефолту или статикой). Если эта фаза у вас еще не выполнена, выполнять действия из статьи не очень имеет смысл.

                                                              VPN-сервер у меня на VPS настроен, но! — я подключаюсь к нему не с роутера, а виндовым клиентом в случае необходимости. Если у меня в голове правильно теперь дважды два четыре складываются, то мне нужно создать на роутере интерфейс с подключением к серверу и уже этот интерфейс явно указывать в Nexthop Direct? Т.е. задумка с BGP не в том, что этот туннель сам по себе является средством обхода, а смысл в том, чтобы через него коннектом к VPN-серверу открывались только те IP, которые роутер получает от bird — я правильно понял этот нюанс?
                                                              • 0
                                                                Да, именно так.
                                                                • 0
                                                                  Донастроил, всё работает. Огромное вам спасибо за труды!
                                                                  • 0
                                                                    Добрый день!
                                                                    Аналогичная проблема, что и у Вас — подскажите, как решили?

                                                                    У меня возникла та же ситуация, что и у Вас на скриншотах (в разделе nexthop мой адрес туннеля в состоянии recursive на внешний интерфейс). В /routing filters выставил в параметре «Set in Nexthop Direct» свой интерфейс туннеля — лучше не стало, та же ситуация с recursive
                                                                    • 0
                                                                      Вероятнее всего, вы не привязали фильтр к пиру. Проверьте, что в настройках пира имя In Filter совпадает с Chain в самом фильтре.
                                                                      • 0
                                                                        Выяснил в чем проблема, возможно кому-то поможет:
                                                                        В случае, если после выполнения всех команд на Микротик из раздела «Подключение роутера», вы видите картину, аналогичную Комраду fdroid (в nexthop, recursive на ваш внешний адрес), то необходимо вместо параметра set-in-nexthop=172.30.1.1 использовать параметр set-in-nexthop-direct=`интерфейс_туннеля`.

                                                                        И тут была моя ошибка — данный параметр следует вводить в консоли, а не через Web-интерфейс, поскольку через Web не применяются изменения (по крайней мере на прошивке 6.42.1)
                                                • 0
                                                  Как я понимаю, с помощью ipset, ip route, ip rule можно сделать тоже самое, без BGP.
                                                  Типа этого github.com/jamesmacwhite/ipset-netgear-r7000-dd-wrt/wiki/Using-ipset-with-dnsmasq-and-iptables
                                                  • 0
                                                    Но это не так интересно!
                                                    • 0
                                                      Точнее, это интересно по-другому
                                                    • 0
                                                      в ipset вся таблица не влазит в один сэт, к сожалению. Нужно плодить несколько…
                                                      А вот с ip route + ip rule можно поиграться.
                                                      вся таблица на рабочке в простой route add занимает около 600М оперативы. (считал на mint 64 на коленке — free, route add, free)
                                                      • 0
                                                        В ipset есть тип hash:net для таких случаев, который позволяет вставлять подсети, если я не путаю.
                                                        • 0
                                                          вся таблица не влазит в один сэт

                                                          Type: hash:net
                                                          Header: family inet hashsize 32768 maxelem 262144
                                                          Size in memory: 1888152
                                                          References: 1
                                                          Number of entries: 62836
                                                          • 0
                                                            пруф
                                                            Практически для всех типов списков, реализованных в ipset, существует общее ограничение на максимальный размер: 65536 записей.


                                                            У вас ~63к записей. Я пытался залить неотимизированный список в 80к.

                                                            Или я где-то не прав?
                                                            И еще, а дальше что с этим сэтом делать? нужно же его заворачивать в маршрут, а это не для iptables, а для подсистемы маршрутизации…
                                                            • 0
                                                              Name: zapret
                                                              Type: hash:net
                                                              Revision: 6
                                                              Header: family inet hashsize 32768 maxelem 262144
                                                              Size in memory: 2192536
                                                              References: 2
                                                              Number of entries: 84672


                                                              -N MARK_ZAPRET
                                                              -A PREROUTING -m set --match-set zapret dst -m conntrack --ctstate RELATED,ESTABLISHED -j CONNMARK --restore-mark --nfmask 0xffffffff --ctmask 0xffffffff
                                                              -A PREROUTING -m set --match-set zapret dst -m conntrack --ctstate NEW -j MARK_ZAPRET
                                                              -A MARK_ZAPRET -j MARK --set-xmark 0x2/0xffffffff
                                                              -A MARK_ZAPRET -j CONNMARK --save-mark --nfmask 0xffffffff --ctmask 0xffffffff


                                                              ip ru
                                                              0: from all lookup local
                                                              32763: from all fwmark 0x2 lookup 200


                                                              ip ro show ta 200
                                                              default via 10.0.0.1 dev vps_tun

                                                              Секрет успеха в ipset create zapret hash:net maxelem 262144.
                                                              maxelem
                                                              This parameter is valid for the create command of all hash type sets. It does define the maximal number of elements which can be stored in the set, default 65536.
                                                      • +6
                                                        В git clone лучше добавить --depth=1, чтобы не выкачивать все версии репозитория на сотни мегабайт:
                                                        root@proxy:/mnt# git clone https://github.com/zapret-info/z-i.git
                                                        Cloning into 'z-i'...
                                                        remote: Counting objects: 31342, done.
                                                        remote: Compressing objects: 100% (4/4), done.
                                                        remote: Total 31342 (delta 0), reused 1 (delta 0), pack-reused 31338
                                                        Receiving objects: 100% (31342/31342), 746.06 MiB | 5.02 MiB/s, done.
                                                        
                                                        • 0
                                                          Спасибо, поправлю.
                                                          • 0
                                                            Вам спасибо за отличное решение!
                                                          • 0

                                                            Furriest
                                                            В git pull тоже добавить, но уже


                                                            git pull && git gc
                                                        • 0
                                                          Коротко из последних новостей РКН vs Telegram:
                                                          1) «Роскомнадзор отказался от попыток веерно заблокировать Telegram» т.е. как я понял, блочить подсетями уже не будут.
                                                          2) «Предсказана сумма ущерба от войны России с Telegram» -1 млрд $ для компаний в России, -1 млрд $ для компаний вне России. РКН получило 46 тыс жалоб на блокировки и теперь разгребает все то, что наворотила.
                                                          источник: лента ру
                                                          з.ы. судя по всему, Telegram эту войну уже выиграл, ибо DPI для РКН перекроет все разумные суммы, а других вариантов тут по всей видимости нет. С учетом того, что в России трафик постоянно растет, DPI предется еще и постоянно расширять по мощностям, что выльется в постоянно возрастающие расходы.

                                                          Happy END
                                                          Добро, все же, иногда, побеждает.
                                                          • +2
                                                            А зла и нет. Есть очень конкретные товарищи, которые, чтобы не выглядеть дураками перед теми, кому обещали «сделать», и есть впечатление, что оно не прокатит. Кто-то по шапке получит, наверное.

                                                            Но кто сказал, что этот заход — последний? Или что не зарубят весь https вообще, а то и вообще инет, и не введут госпрокси (который будет обслуживать оператор с огромным опытом обеспечения населения новостями и другими объектами — Почта России)?
                                                            • 0
                                                              Или не начнут цензурировать все SMS прилетающие из за бугра(Авторизация телеги вроде как раз по SMS).
                                                              • 0
                                                                сложно цензурить SMS если там вместо «Код авторизации для телеграмма: 1234» написано просто «1234», а SMS рассылаются через зарубежный агрегатор.
                                                                • +1
                                                                  а SMS рассылаются через зарубежный агрегатор

                                                                  Ну вот вам и первый признак, а дальше веерные блокировки SMS…
                                                            • +4
                                                              Это будет новость покруче

                                                              Аналитик Mobile Research group Эльдар Муртазин в эфире НСН заявил, что перебои в работе крупных сервисов не были связаны с блокировкой Telegram.

                                                              «Никакого запрета на Telegram нет, заблокировать его можно достаточно легко. Просто под этой дымовой завесой в виде борьбы с мессенджером выключают крупные компании — Google, Microsoft, проверяют скорость реакции и прочие вещи. То есть смотрят, насколько быстро эти компании реагируют на блокировки ключевых элементов своей инфраструктуры. Это является как средством нападения, так и средством защиты. Если на нас нападут, мы будем знать, что делать, если мы нападем, мы будем знать, как быстро они смогут починить свои сервисы. Такие знания нужны на случай возможной войны или предвоенной ситуации, особенно когда есть возможность нанесения ущерба с территории третьей страны, например. Известные «русские хакеры» могут поломать все что угодно, как вы понимаете», — добавил он.
                                                              • +9

                                                                Муртазин вроде относительно неплохо обозревал мобильные телефоны… вот их и обозревал бы дальше. :/ Кто у него на кого напал-то, кроме нападения РКН на собственную страну?

                                                                • 0
                                                                  Фишка была совсем не в этом, а в том что он знает известных»русских хакеров»
                                                                  Которые могут поломать все что угодно. Интересно, откуда?
                                                                • +7

                                                                  Прошу заметить, не просто аналитик, а ведущий мобильный аналитик!

                                                                  • 0

                                                                    Ну, нельзя же официально признаться, что заблокировать не получилось. Поэтому внезапно выясняется, что тревога была учебная, граната не дефектная а тоже учебная, и в процессе обучения были достигнуты выдающиеся успехи. Осталось только оплатить убытки пострадавшим в процессе, но кто будет этими мелочами заниматься, в то время когда надо праздновать успешное завершение учёбы.

                                                                    • 0
                                                                      Он бы хоть фамилию сменил… А то иной раз так ляпнет, хоть стой, хоть падай.
                                                                      Может быть бабушки на лавочке и разнесли бы эту новость, но они просто не в курсе кто такой Муртазин.
                                                                      А те, кто знают что такое телега — они, чаще всего, знают кто такой Муртазин и насколько продажны его аналитические заключения. Даже в сфере мобильных телефонов. Но фотки в обзораз были хорошие )
                                                                    • +2

                                                                      ну телеграм может и выиграл, а мы, юзеры?

                                                                      • +1
                                                                        Считаю, что в долгосрочной перспективе любая победа над ограничениями распространения информации — добро для нас, юзеров. Но не навязываю мнения.
                                                                        • +4

                                                                          В долгосрочной перспективе это один эпизод в череде событий.
                                                                          В краткосрочной мы остались с забаненным инетом.

                                                                          • +1
                                                                            В долгосрочной все достижения или потери состоят из таких вот эпизодов. Так что и один эпизод важен.
                                                                            В краткосрочной — в ковровых блокировках виноват не Телеграм.
                                                                            • +3
                                                                              в ковровых блокировках виноват не Телеграм.

                                                                              я не ищу виноватых. Лишь указал, что пока среди проигравших и мы.

                                                                            • +2

                                                                              В краткосрочной мы перестали отключать VPN :-)

                                                                        • 0
                                                                          1) «Роскомнадзор отказался от попыток веерно заблокировать Telegram» т.е. как я понял, блочить подсетями уже не будут.


                                                                          А можно подробнее.
                                                                          То, что они уже сломали и залочили будут откатывать назад?
                                                                          или все останется и IP будут раз блокироваться только по жалобе владельца.
                                                                          у меня один сервер на scaleway попал под такую проблему. :-(
                                                                        • +2
                                                                          Дичь какая-то, зачем bgp? На своем роутере прописать маршруты вида ip r a <заблоченная сеть> via 172.30.1.1. Не забыть занатить форвардинг и нат и готово.
                                                                          Если хотите изящнее — ipset.
                                                                          • 0
                                                                            Абсолютно согласен. у себя написал скрипт, который получает адреса, загоняет в ipset. Далее в iptables это маркируется по match-set dst, а в конце ip rule add fwmark table xxx. Естественно для table xxx машрутом по умолчанию является впска. Правде загонять 8000 адресов в ipset дело не быстрое, но ничего интересней не нашел. Глупо загонять такое количество адресов в таблицу машрутизации. Даже тот же ipset с параметрами по умолчанию не хотел принимать столько адресов. Скрипт запускается кроном раз в сутки.
                                                                            • 0
                                                                              Глупо загонять такое количество адресов в таблицу машрутизации.
                                                                              Наоборот непонятно, зачем городить дополнительные сущности в виде iptables, ipset и ip_rules, если у нас уже есть dst, которые достаточно добавить в дефолтную таблицу маршрутизации.

                                                                              Откдуда взято предположение, что jenkins hash ipset'а будет производительние и экономичнее чем модифицированный LPC-trie для обработки одинакового количества ipv4 адресов/подсетей (неплохое описание и тесты, да и на хабре писали)? Т.е. если ядерная маршрутизация не справится, то с iptables+ipset+ip_rules лучше не будет. Другое дело, что надо смотреть версию ядра, раньше hash использовался для таблицы маршрутизации и некоторые оптимизации позже появились.
                                                                              • 0

                                                                                Можно пойти ещё на шаг дальше.
                                                                                При изменениях не перегеренить всю таблицу, а воспользоваться возможностями самого гита и вытащить только изменения относительно HEAD. Удалить старые, добавить новые.
                                                                                Если хотя бы раз в день делать, каждый набор изменений — скрипт размером в килобайт-полтора.

                                                                              • +2
                                                                                bgp тут как универсальное и специально для этих дел оптимизированное средство доставки маршртов на целевую систему. Т.е. если из статьи убрать bgp, то нужны будут другие способы доставки маршрутов. Например кастомный скрипт, который считает diff новых/страрых маршрутов и заливает на роутер через expect по ssh разницу (не перезаливать же каждый раз 60k маршрутов). Разные роутеры — разные expect скрипты.
                                                                                Способов много можно придумать, у каждого будут свои плюсы и минусы в конкретной ситуации.
                                                                              • +4
                                                                                Спасибо за идею, где брать списки!
                                                                                Но вот BGP тут, мне кажется, это из пушки по воробьям. Проще взять для шлюза бесплатную маршрутизирующую ОС (мне нравиться VyOS — это форк от популярной когда-то Vyatta), и динамически управлять маршрутизацией через скрипт. Кстати, там сразу снят вопрос, где правильно резолвить «неугодные» имена ресурсов, направляя DNS запросы к гугловским Public DNS строго в туннель.
                                                                                • 0
                                                                                  Зачем мне дома миллионы адресов заблокированных РКН. У меня в туннель переадресуется полторы сотни адресов, трафик DNS и одно устройство полностью работает через туннель. Этого вполне хватает на все случаи.
                                                                                  Хотя предложенная схема имеет место для жизни в крупных офисах, где сотни пользователей и бегать за каждым и настраивать блокировки не хочется.
                                                                                  • 0
                                                                                    Извините, что на ваш частный сайт кто-то написал статью.
                                                                                  • +2
                                                                                    Буквально вчера проделал тоже самое через wireguard и ip ro add table, заодно прокинув домой ipv6, правда скрипт заполняет таблицу ~8 минут.
                                                                                  • 0
                                                                                    antizapret уважаю. никаких знаний и умений не нужно чтобы его использовать. а это… diy в кубе. надо ведь заботиться о том, чтобы массы обычных людей имели доступ к альтернативной информации, а не сотня-другая гиков. потому что живем-то мы среди массы, они отупеют совсем в закрытом обществе и поубивают тут и нас, и себя.
                                                                                    нужны решения из коробки и с одной кнопкой.
                                                                                    Как говорил Джабраил, «Тот, кто нам мешает, тот нам поможет». Раз уж РКН создает реестр запрещенных ресурсов, грешно было бы не воспользоваться этим реестром для решения нашей задачи. Копию реестра мы будем получать с github.

                                                                                    теперь засекретят по высшему уровню…
                                                                                    • 0

                                                                                      Насколько я понимаю, он и сейчас является закрытым. Откуда его берут активисты — интересный вопрос…
                                                                                      Но в целом да, могут и сильнее гайки закрутить. Например, присвоить ему гриф секретности, тогда за несанкционированное распространение вообще уголовка будет. Удобно.

                                                                                      • +1
                                                                                        Теоретически могут, конечно. Но вероятность не очень высока. Для загрифованной информации сильно растут требования к защищенности ИС. Им и механизм распределения реестра среди провайдеров придется перепиливать, и голову АС «Ревизор». На всё это нужны деньги, а у РЧЦ их нет.
                                                                                        • +1
                                                                                          Если ты являешься провайдером или оказываешь услуги провайдера тебе дают ЭЦП, с которой ты должен каждый божий день заходить на сайт и скачивать этот реестр. У нас была ООО, которая раньше оказывала услуги связи в отдаленные деревни, так у неё ни серверов ничего не осталось, а по закону обязаны были каждый день обновлять этот список…
                                                                                          Достать этот список вообще не проблема…

                                                                                          UPD. вот то самое место где можно дергать список при наличии эцп (сертификат в формате PKCS#7)

                                                                                          p.s. ООО являлась оператором связи.
                                                                                          • 0
                                                                                            послушайте, я свой коммент написал только по одной причине. я вот читаю хабр и кмк тут многие просто не врубаются, что речь не идёт вовсе о каком-то захватывающем интеллектуальном соревновании с ркн, а (скажем пусть и пафосно, но верно) о выживании. кто кого, и ставки не виртуальные.
                                                                                            поэтому может быть не стоит в эти времена обсуждать какие-то вопросы столь открыто?
                                                                                            заем вооружать дополнительными знанием и информацией силы, которые мешают вам жить, для которых мы враги, которые стремятся или подчинить нас или уничтожить?
                                                                                            ведь с их стороны вопрос стоит только так.
                                                                                            подумайте об этом.
                                                                                            • +1
                                                                                              Вы излишне драматизируете. В текущей ситуации распространение информации гораздо важнее, чем ее сокрытие. Плюс к тому, сотрудники соответствующих органов всё это (где что можно взять) сами давно знают. Просто абсолютное большинство из них делает конкретно то, что требует от них руководство, а закрытия возможности пользоваться обходом блокировок руководство не требует.
                                                                                              • 0
                                                                                                я понимаю вашу точку зрения, но всякий раз я вижу перед собой эти картинки со списком пунктов и там один выделен и возле него написано «сейчас вы находитесь здесь».
                                                                                                многое из того, что есть сейчас, еще совсем недавно казалось невозможным. и к вопросу
                                                                                                закрытия возможности пользоваться обходом блокировок руководство не требует.
                                                                                                применимы лишь слова «пока не требуют».
                                                                                                они же варят лягушку, мы же понимаем. а это размеренный, неторопливый и в то же время неостанавимый процесс.
                                                                                        • 0
                                                                                          теперь засекретят по высшему уровню

                                                                                          Пока коллаборационисты не монополизировали доступ в интернет — это вряд ли возможно и глупо развивать «самостоп» раньше времени.
                                                                                        • +1
                                                                                          Спасибо бро! Только начал искать инструмент для реализации динамической маршрутизации и сразу на полезную статью!
                                                                                          • 0

                                                                                            Чего уж мелочится одним BGP — прикрутите сверху ещё и MPLS — трахаться так в гамаке и стоя!

                                                                                            • 0
                                                                                              Оно серьезно похоже на «трахаться»? Вот эти вот десяток-два команд один раз в жизни?
                                                                                              • 0
                                                                                                Если хотите трахать, то попробуйте на сервере развернуть систему управления и через RSHH или API изменять статические маршруты на роутере.
                                                                                              • +2
                                                                                                На просторах сети есть множество сервисов, предоставляющих VPS за крайне умеренные деньги. Пока я нашел и пользуюсь вариантом за $9/год

                                                                                                А можете поделиться адресом? Самое дешёвое, что я видел, было за евро в месяц.

                                                                                                • 0
                                                                                                  Написал в личку, чтобы не заниматься рекламой :)
                                                                                                  • 0
                                                                                                    Тоже попрошу поделится в личку.
                                                                                                    • +1
                                                                                                      Думаю, интересно будет не ему одному… Может, открытым текстом?
                                                                                                      • +1
                                                                                                        Ну давайте открытым. Не побьют, надеюсь.

                                                                                                        Буду признателен, если сначала зайдете на партнерскую ссылку сервиса http://portal.nfphosting.com/aff.php?aff=405 — вам всё равно, а мне приятно :)

                                                                                                        Но так вы там этот VPS не найдете, поскольку он промо, поэтому вот прямая ссылка на его покупку — http://portal.nfphosting.com/cart.php?a=add&pid=53.

                                                                                                        Сервис в США, поэтому нужно иметь в виду латентность. Я его до начала прошлой недели использовал в основном для покупки авиабилетов и заказа машин в прокате — иногда очень выгодно приходить с американского IP. Но сейчас резво тянет и OpenVPN, и socks5.
                                                                                                        • 0
                                                                                                          Спасибо!
                                                                                                          • 0
                                                                                                            Раз уж разговор зашел = ) На какие направления выгодно покупать под американским IP авиабилеты?
                                                                                                            • 0
                                                                                                              У некоторых агрегаторов доходило до абсурда, что внутрироссийские рейсы были дешевле. Но это давно было. Сейчас какие-то изменения замечал в основном в рейсах в Европу.
                                                                                                            • 0
                                                                                                              латентность

                                                                                                              она во всем? :) Заказал 6часов назад, и тишина )
                                                                                                              • 0
                                                                                                                Ну так Омерика же, у них ночь :) Проснутся — сделают.
                                                                                                                • 0
                                                                                                                  Заметил) Наверное меня всякие линоды и хетснеры автоматизмом(в стандартной конфигурации) избаловали…
                                                                                                                  • 0
                                                                                                                    А теперь у них выходной наступил, а не рабочая суббота, как у нас? (Заказал сутки назад — видимо, теперь ждать до понедельника.)
                                                                                                                    • 0
                                                                                                                      Выходные у них в голове по ходу )
                                                                                                                      Вчера так уж и быть статус поставили на заказе — «выполняется»…
                                                                                                                      У меня за «периметром» десяток серверов, я просто хотел протестить, тест удался )
                                                                                                                      • 0
                                                                                                                        ЗЫ. Я выбрал NY
                                                                                                                      • 0
                                                                                                                        Вот честно скажу, хбз. Когда я заказывал себе — заказ разместил их ночью, их утром уже заработало.
                                                                                                                        Сейчас смотрю (вижу общее количество заказов из перешедших по партнерке и сколько из них инсталлировано) — 8 запустившихся из 30. Что и почему они делают с остальными — не понимаю. Возможно, это связано с выбором ЦОДа — там же при заказе можно выбрать NY или LA. Мой сервер — в NY.
                                                                                                                        • 0
                                                                                                                          Я тоже выбрал NY, до сих пор pending
                                                                                                                          • 0
                                                                                                                            Это какая-то жесть… До сих пор «Pending» и стандартная отписка из серии «проверяем» на тикет!
                                                                                                                            • 0
                                                                                                                              Я им писал в поддержку на этот счет — мне тоже ответили что-то типа «всё обязательно будет хорошо». Но вчера внезапно исправились — из 42 всего 3 остались в статусе Pending, остальные работают.
                                                                                                                              • 0
                                                                                                                                После недели ожидания написал им, что они неправы и я хочу мои деньги обратно. И тут они внезапно проснулись! Сказали что в NY нет свободных серверов, но можно создать в LA… Так что я переехал в LA
                                                                                                                              • 0
                                                                                                                                О, сегодня вроде запустилось, но по ssh не пускает: «Connection refused».
                                                                                                                • 0
                                                                                                                  Можно и мне?
                                                                                                                  UPD: нашёл за 9$
                                                                                                                  www.123systems.net/ovz.html
                                                                                                                  • 0
                                                                                                                    Вот только эту цену не могу найти уже при переходе по ссылке заказа
                                                                                                                • 0
                                                                                                                  На правах не-рекламы: hostodo.com даёт за $10/год, но промо-код на 20% скидку гуглится. Итого $8.
                                                                                                                  • 0
                                                                                                                    lowendstock.com — аггрегатор предложений по VPS. Сейчас там с прямыми IP от $7 в год.
                                                                                                                    • 0
                                                                                                                      Пользовался когда-то. Надо быть осторожным — некоторые хостинги работают так же, как и стоят…
                                                                                                                      • 0
                                                                                                                        Брал там уже несколько десятков, действительно встречается откровенно кривой сервис, но в большинстве своём вполне нормальные. Надо просто смотреть отзывы в других местах — lowendtalk.com итд