Пряморукий DNS: делаем правильно

    Представляем вашему вниманию очень эмоциональный рассказ Льва Николаева (@maniaque) о том, как надо настраивать DNS и особенно, как делать не надо. Вот прямо после каждого пункта можете мысленно добавлять: «Пожалуйста, не делайте этого!» В своем докладе Лев так и говорит.

    Статья будет состоять из трех частей:

    1. Как сделать резольвер (unbound, bind)

    Резольвер — это та штука, которую вы прописываете в настройках своей операционной системы, чтобы можно было превращать понятные человеку адреса типа ya.ru в непонятное 87.250.250.242.

    2. Как держать зоны (PowerDNS)

    Если вы уже доросли до этого, расскажем, как держать зону самостоятельно, как это делать хорошо и отказоустойчиво, и как это делать, если у вас несколько сотен доменов.

    3. Как взболтать, но не смешивать (PowerDNS + unbound)



    О спикере: Три года назад Лев Николаев пришел в компанию Макснет, в которой DNS развивался как раз не совсем правильно. Был bind и текстовые файлы с зонами; руки чесались навести порядок. В основе статьи доклад на Root Conf 2017, в ходе которого Лев делится с сообществом своим ассортиментом граблей.

    Делаем резольвер


    Резольвер нужен тем организациям, у которых либо нет провайдерского резольвера, либо которым он уже начинает мешать (от вас льется столько запросов, что резольвер не успевает отвечать или же лимитирует вас). От ЦОД или провайдера в принципе ждут наличия своего производительного резольвера.

    Интересный вопрос к размышлению состоит в том, почему в стандартной поставке почти любой операционной системы нет резольвера, который умеет самостоятельно выполнять DNS запросы от корневых серверов. Совершенно непонятно, почему всегда моя машина должна идти к кому-то и просить его выполнить DNS запрос. Как ни странно, коллеги по цеху из FreeBSD ответили, что там есть, что у них из коробки ставится unbound, но в остальных ОС этого нет.

    Выбор софта для резольвера


    По большому счету, здесь всего 2 варианта:

    1. Вы можете использовать bind;
    2. Вы можете использовать unbound.

    На самом деле, это почти все, что можно использовать реально для серьезного прода и больших нагрузок. Другие варианты я намеренно не называю, потому что далеко не все сервера отвечают требованиям. Если вы делаете резольвер, то автоматически считайте, что нагрузка у вас будет большая, иначе вы бы его не делали.


    В отношении резольвера я не пытаюсь вас склонить к выбору какого-то конкретного софта, потому что на сегодня резольвер — это в первую очередь некие реализуемые фичи, а не конкретный софт. Вы можете использовать bind или unbound, или что угодно еще, если оно будет отвечать тем вещам, про которые я сейчас расскажу.

    Привет убунтоводам!


    Если вы любите Ubuntu, как мы, и используете ее в продакшне, вам придется немножко повелосипедить. Как известно, unbound должен стартовать вместе с системой. В 16.04 перешли на systemd, но, естественно, юнит написать забыли. И когда генератор пытается его сгенерировать автоматически из SysV-скрипта, получается полное безобразие. Не вздумайте это выкатывать в продакшн — я это сделал и оставил 30 000 абонентов без DNS на полчаса. Благо, это было ночью.

    Пишите юнит! Или возьмите у меня, в конце будет адрес репозитория. Это касается только тех, кто с Ubuntu, но, например, в Debian что-то близкое должно быть.

    Что должно быть в резольвере?


    5 вещей, которые нужно сделать в своем резольвере.

    1. Никаких форвардов к Яндексу или Google

    Это довольно очевидно, поэтому, пожалуйста, перестаньте так делать. Перенаправлять запросы к Google плохо по двум причинам. Во-первых, вас рано или поздно ограничат по количеству запросов, о чем они заранее предупреждают. Но самое неприятное в том, что связность неидеальная.

    Иногда бывает, что даже заветные 4 восьмерки недоступны, соответственно, у вас тоже будут проблемы. Абсолютно то же самое касается и Яндекса.

    Нет, это не проблема Google или Яндекс, их недоступность обычно связана с тем, что у Вас (или Вашего аплинка) упал до них канал.

    2. SO_REUSEPORT

    Эта опция реально ускоряет жизнь, но требует, чтобы у вас было ядро, как минимум, версии 3.9. Если среди вас есть любители ядер 2.6. (моябабушкаизRedHat), закопайте его, пожалуйста. Опция SO_REUSEPORT позволяет нескольким процессам одновременно биндить один порт (у них должен быть одинаковый UID, чтобы порт не «угнать»), но ее приятственность в другом — нагрузка распределяется на эти потоки равномерно. Для DNS это подходит идеально, и вы на самом деле увидите прирост производительности, просто перейдя на современное ядро.

    SO_REUSEPORT есть и в bind, и в unbound. В bind он включен из коробки, в unbound его надо отдельно включать, потому что unbound пытается быть максимально совместимым, иногда в ущерб производительности.

    3. Prefetch

    Это странная опция. Она действительно помогает в том смысле, что она немножко не уважает TTL. Когда мы идем к авторитетному серверу и спрашиваем у него какую-то запись, у нее есть TTL — это то время, в течение которого к нему можно за обновлением не ходить. Unbound и bind идут за обновленным содержимым этой записи раньше, чем TTL реально истек.

    Но есть две особенности. Вы получите прирост в исходящем трафике процентов на 10. Хотя на самом деле в целом резольверы с трудом могут генерировать вообще много трафика, поэтому вряд ли это вас будет волновать. Второй момент — с короткими TTL (например, в минуту) с Prefetch никакой особой пользы не получится, но так как для ru-сегмента короткий TTL пока еще фантастика, в принципе может отлично сработать.

    4. Expired

    Этой опции в bind я не нашел, но в unbound она есть и позволяет возвращать просроченную запись с нулевым TTL, а в фоне пытается получить свежую у авторитетных серверов. Это хорошо помогает от крупных падений, например, пользователи могли бы даже и не заметить недавнего падения Dyn, если эта опция была бы массово включена. Но ее не все знают, не все любят и не все включают.

    5. DNSSEC

    DNSSEC есть в 2 разных ипостасях — в простой и в сложной:

    • Простой, когда вы просто валидируете запись, если DNSSEC у домена включен.
    • Сложной, когда вы сами для своего домена делаете подпись DNSSEC и пр.

    В простом варианте оно работает автоматически. Просто, если есть DNSSEC, надо его проверять, и при нарушениях не отдавать результат запроса. На сегодня это важно, потому что TTL записей стремятся к 0, т. е. существует определенная вероятность попытки отравления кэша DNS.

    Как вы понимаете, если мы отравим кэш резольвера, все его клиенты получат отравленную запись, и можно будет сделать много интересных вещей. Поэтому, пожалуйста, всегда проверяйте DNSSEC, если он есть у домена, в этом нет ничего сложного и это делается автоматически и хорошо.

    Зарубежные домены обзавелись DNSSEC уже неплохо, хотя процент там тоже небольшой. При этом многие провайдеры принципиально DNSSEC не проверяют, например, Ростелеком.

    За полтора года этой валидации я все ожидал, что кто-нибудь из наших крупных компаний накосячит с DNSSEС, тем самым порвав на британский флаг нашу техподержку, но пока все единичные срабатывания были на зарубежные сайты с небольшим трафиком — все нормально.

    Мелочи жизни


    1. Перестаньте отвечать на ANY

    Если вы делаете резольвер, перестаньте отвечать на запросы ANY потому, что это вид запроса, который на самом деле толком не стандартизован и используется на 99% всякими замечательными вирусами.

    Чтобы не опускаться до программного уровня, можно использовать iptables, который работает достаточно быстро: если он видит, что запрос ANY, он его просто дропает.

    iptables -A INPUT -p udp --dport 53 -m string --hex-string "|0000ff0001|" --algo bm -j DROP

    2. Rate-limit

    Используйте ограничение на количество запросов в секунду, если Вы не закрыты извне. Мой резольвер по целому ряду причин пришлось открыть всему миру, поэтому практически первое, что я сделал — это ограничил количество запросов в секунду извне. Если вы не можете закрыть ваш резольвер для клиентов снаружи, то хотя бы лимитируйте их. Лимит поставьте по вкусу, например, у меня 70 запросов в секунду.

    [здесь -j ACCEPT для всех тех, от кого закрываться не надо]
    iptables -A INPUT -p udp --dport 53 -m state --state NEW -m recent …
    --set --name DNSQF --rsource
    --update --seconds 1 --hitcount 70 --name DNSQF --rsource -j DROP

    3. Для unbound хорошо interface-automatic: yes

    Третья приятная мелочь. Обычно, в сети делается не один резольвер, и иногда хочется делать между ними failover, но, естественно, не при помощи самого резольвера. Надо failover делать методами маршрутизации и у unbound есть отличная опция interface-automatic: yes. Она говорит: «Если запрос ко мне попал в принципе, мне плевать, кому он был предназначен, я отвечу на него». С этой опцией очень удобно, если нужно, на unbound заворачивать трафик соседнего резольвера.

    Что мониторить?


    Это типичная картинка с прода. Мы здесь видим, что количество запросов достигло 300 000 запросов, и это не в минуту и не в секунду, у меня статистика снимается каждые 5 минут, т. е. на самом деле мелочь.



    Таким образом, мониторить количество запросов обязательно нужно, т. к. если вы не можете их измерять, вы не можете их контролировать. Еще нужно мониторить виды запросов. В примере ниже хорошо видно: бирюзовая полоска — это PTR-запросы, и надо разбираться, почему их так много и откуда они берутся.

    Чаще всего их причиной является криво сконфигурированный софт, либо какой-то роутер считает, что ему нужно срочно сделать PTR-запросик пару тысяч раз.



    Это делается достаточно просто — вы по cron дергаете статистику unbound, а потом оттуда (мы в Zabbix юзер-параметром) забираете то, что нужно.



    Виды ответов тоже обязательно надо мониторить. На картинке выше типичный пример DNS Water Torture, т. е. ботнет внутри вашей сети запрашивает несуществующие адреса поддомены атакуемого домена. В результате он получает ответ Nodata (красный цвет), в примере доходило до 25 000 таких запросов в пике.

    Цель при этом: заколебать до смерти Name-сервер атакуемого домена, чтобы он устал отвечать и на легитимные запросы. А как только вы начинаете мониторить виды ответов, то начинаете видеть, насколько внутри вашей сети активны ботнеты.

    Обратите внимание, и количество легитимных запросов подпрыгивает точно также, когда появляется красненькая полоска, т. е. здесь ботнеты увеличивают количество запросов 2 раза.

    Другая проблема — что с этим делать потом, но это не сегодняшняя тематика.

    Ваш лучший друг — dnstop


    Это очень удобная команда, чтобы понять, кто и что запрашивает, если случилась атака и что-то пошло не так. Обычно, её запускают без параметров, но это неправильно.

    dnstop <интерфейс> -i <наш ip>
    Нажимаем на клавиатуре с, а потом цифру 2

    Я специально пишу, что нужно указывать наш IP адрес, чтобы не учитывать в статистике запросы самого резольвера, которых будет много. Далее в сочетании это магических кнопок с значит выдать детализацию по IP адресам, 2 — детализация до 2-го уровня доменов.

    Так можно легко смотреть, кто и куда ходит, и какая атака идет сейчас.



    Грабли (делюсь своими)


    Их много. Как только вы поднимете резольвер, вы столкнетесь с криво настроенными роутерами или софтом. Можете получить тонны PTR запросов. Такое бывает достаточно часто, и вы это будете видеть, сможете исправлять, разбираться и делать вашу сеть лучше. Отдельный момент — это прекрасные китайские видеорегистраторы. К ним у меня особая любовь, как и у многих, наверное.

    В вашей сети главная проблема в том, что вашим пользователям на ваши проблемы глубоко наплевать чаще всего. То есть то, что от пользователя идет паразитный трафик с DNS Water Torture его волнует мало, пока World of Tanks работают.

    Сейчас говорили про простейшую вещь — про резольвер, теперь давайте усложним задачку.

    Держим зоны


    Итак, мы доросли до того, что у нас есть домены, мы хотим их у себя держать, быть авторитетным за них сервером, отдавать ответы.

    Как правило у себя держат зоны либо организации с особыми амбициями: «Мы крутые! Мы зоны лучше держим, чем какой-нибудь Dyn!», либо ЦОДы или провайдеры, от которых этого опять же этого ждут по умолчанию.

    Не надо совмещать


    Первая задача — не надо совмещать. Пожалуйста, не делайте этого никогда! Хотя мы найдем исключение из этого правила. Совмещать на одной машине резольвер и авторитетный сервер — это плохо . В чем проблема, я думаю, вы понимаете. Если клиент «увел» домен от вас (т. е. сменил ns-сервера у регистратора) или домен протух (т. е. истек его оплаченный период), Вы об этом вообще не узнаете никак. Потому, что вы можете не внести изменения локально.

    У нас были клиенты, которые настолько верили в то, что если сайт открывается изнутри нашей сети, то им и домен продлевать не надо. У них дома наш интернет и на работе наш интернет — везде же открывается, все нормально.

    Выбор софта


    Главный момент: не надо думать, что вы здесь выбираете софт. Это ключевая ошибка в головах многих. DNS — это база данных, не пихайте ее в текстовый файл. Очень и очень плохо, если вы при помощи Ansible или chef генерируете текстовый файл, который потом засовываете в bind. Но я знаю — вы это делаете, а потом рассказываете о том, что оно плохо работает.

    Поэтому ответ: PowerDNS

    Вы знаете, что к bind есть патч, чтобы работать с MySQL, да? А вы его пробовали? Многие еще не знают про PowerDNS. Большая часть свято считает, что этот патч можно как-то использовать на старых версиях, но оно будет работать ужасно в плане производительности, потому что это просто набор костылей.

    Опять привет убунтуводам


    Если вы используете Ubuntu, то в стандартных репозиториях 16.04 лежит alpha-версия PowerDNS 4.х. Я не знаю, кому сказать спасибо за это. Она действительно работает, но с проблемками. Уже год, как я открыл к версии 4.х issue #3824. Я спрашиваю у разработчиков PowerDNS:

    – Ребят, а ничего, что я MySQL перезапускаю, а у вас PowerDNS не подхватывает его обратно?
    – Ух ты, прикольно!

    Запомните этот баг, они уже 3 раза закрывали и 3 раза открывали в 4-й ветке. Поэтому — есть 3-я стабильная, у нее этих проблем нет, но на Debian / Ubuntu вам понадобится ее ставить из deb-файла. И на сегодня, на март 2018 года она уже небезопасна. Поэтому выход один — переходить на ppa от разработчиков для Вашей версии Ubuntu.

    Вдумчивая архитектура


    Здесь начинается сложная часть статьи — давайте подумаем про архитектуру. Как только мы пришли к PowerDNS, раз это база данных, мы хотим удобный редактор в вебе. А редакторов нет, кроме PowerAdmin. Это веб-приложение на PHP, и сразу понятно, что тому, кто его развернет вместе с DNS-сервером, надо руку отрубить — нельзя его на ту же машину ставить. В итоге возникает задача:

    • Есть база данных.
    • Есть сервер, который ходит в эту базу данных, чтобы получить ответы.
    • Этих серверов несколько.
    • Надо все синхронизировать.

    Естественно, в первую очередь в голову приходит механизм трансфера зон *XFR, т. е. не важно IXFR или AXFR. Но если вы оставите этот механизм для передачи зон, вы себя запрете. Вы будете продолжать делать master/slave — и так и не уйдете от этих понятий.

    Далее, у нас несколько DNS-серверов и необходимо доставлять на них базу данных. Получается, что есть машина с PowerAdmin, с актуальной базой данных, и нужно эту базу данных как-то раскатывать еще на кучу машин.

    – Давайте возьмем, например, репликацию MySQL. Говорят, она прикольно работает!
    – Она вам тоже не поможет. Репликация тут не лучший друг.

    Поэтому схема выглядит так.



    У вас есть сервер с PowerAdmin и MySQL. С DNS-сервера вы идете туда и делаете mysqldump с опцией skip-extended-insert (мы о ней скоро поговорим) и получаете SQL-файл.

    Вы скажете: «Эка невидаль! Что мы, дампов никогда не делали?»

    А дальше начинается интересное. Естественно, вы не можете, взяв dump в базе на допустим 700 доменов, загружать его в ту же базу. Поэтому его надо загрузить в соседнюю, а потом сделать RENAME TABLE. Вы спросите — зачем? Это 100% атомарно. RENAME TABLE — это офигительная штука, которая, как и переименование файла в Linux, либо отрабатывает, либо нет, у неё нет промежуточного состояния. Это очень удобно и удобнее, чем транзакция, потому что в разы быстрее. После того, как вы успешно этот dump загрузили, вы этот же файл кладете в git. Поскольку есть опция skip-extended-insert, то файлик получается git-friendly, т. е. у него на каждый insert одна строчка, и вы получаете вменяемый diff.

    Главное здесь вот что: я хочу иметь возможность видеть diff от результатов «накатывания» базы.

    Что получим


    • Это очень простые операции: 225 строк на PHP во имя добра.
    • Каждый DNS-сервер это делает каждые 2 минуты. Часы у них синхронизированы, поэтому у вас может быть любое количество серверов — они получат одинаковую базу данных.
    • Опция skip-extended-insert позволяет делать не один большой монструозный INSERT, а много маленьких.

    Несмотря на это, оно работает очень быстро и весь процесс засасывания нового дампа на 700 доменах занимает еле-еле 15 секунд. Да, время не растет пропорционально. То есть, если завтра у вас будет 1400 доменов, то это будет занимать 18 секунд, окей.

    А про понятие master/slave забудьте, в данном контексте оно маловажно.

    Хьюстон, у нас проблема


    Все бы здорово и замечательно, но у нас есть одна проблема. Этот классный подход работает, только если мы для домена, в котором мы это делаем, и master, и slave. Если же это не так, начинаются сложности, которые мы сейчас будем побеждать.

    Давайте переосознаем роль master/slave еще раз. Master шлет уведомления, как только у него изменилась зона, slave эти уведомления получает и что-то делает, при этом оба они отвечают на запросы.

    Есть 2 стула варианта:


    1. Клиент хочет, чтобы мы держали у себя slave. То есть у клиента где-то будет держать master, а мы должны забирать у него данные. Это как раз сложный вариант, который потребует телодвижений.
    2. Клиент хочет, чтобы мы держали у себя master, а он будет slave, т. е. будет забирать у нас копию. Это простой вариант, мы просто разрешаем трансфер зоны клиенту.

    Выход — назначить один из серверов (можно 2 — отдельный разговор) ответственным за прием *XFR. Это не может делать сервер с PowerAdmin, т. к. там нет DNS-сервера и некому принимать.

    Схема выглядит так:

    • Один из наших серверов получает *XFR.
    • Вносит изменения в свою базу.
    • Вкатывает эти изменения серверу, где стоит PowerAdmin.



    У нас может быть 2 роли: просто DNS-сервер, который синхронизируется, а может быть DNS-сервер с ролью slave, который принимает *XFR, записывает себе в базу данных, и отдает изменения PowerAdmin, выполняя еще один скрипт.

    Повторю, что эта схема достаточно простая, работает очень хорошо уже достаточно долго и позволяет полностью отказаться от понятий master и slave вообще в принципе. Мы slave в тех случаях, когда нам нужно им быть, и не более того.

    Что мониторить?


    Power DNS — это все-таки отдельный механизм, который надо мониторить. Ниже картинки из Zabbix. Мы снимаем Latency, т. е. сколько времени занял ответ в микросекундах, и хорошо видны всплески, если машина была занята или база данных тормозила.



    Протокол, по которому пришел запрос тоже нужно мониторить. Там не всегда легитимен TCP, за ним тоже надо аккуратно наблюдать. Заодно можно понять, насколько популярен IPv6, здесь это 10% запросов.



    Виды запросов тоже нужно снимать, тогда вы будете понимать, что происходит, и видеть, например, что запросы вида АААА, то есть адреса в IPv6 в нашей ситуации уже практически равны запросам IPv4.



    Обязательно нужно мониторить отправку SERVFAIL и поломанные пакеты, причем это удобно делать на одном графике. Если эти два числа совпадают — спите спокойно. Не совпадают — вы увидите.



    Взболтать, но не смешивать


    Увы иногда приходится использовать связку PowerDNS + unbound. К примеру, у вас есть локальный домен с хитрой структурой, которую неудобно настраивать в unbound. Кстати, так работает один из механизмов блокировки сайтов в России. Резольвер вашего провайдера может возвращать для «плохого» домена заглушку, для хорошего — нормальную запись. В корпоративной среде такое применяется, например, для блокировки социальных сетей или защиты от вирусов.

    Архитектура


    Архитектура здесь до боли проста — это просто смесь 2 компонентов, о которых мы только что говорили. То есть в свет смотрит PowerDNS, принимает запрос, смотрит в базу, к config-файле которой есть опция отправить запрос дальше вот этому серверу (стоящему на той же машине unbound), если чего-то нет в самой базе. Единственная особенность, что в рамках мониторинга мы на эту машину настраиваем template Zabbix 2 раза и картинок становится в 2 раза больше.

    Контакты


    » Код репозитория — https://github.com/maniaque/rootconf2017
    » Почта — nikolaev@kasatkina.org
    » Telegram — @maniaque_ru

    Ответы и вопросы
    — Хотелось бы услышать Ваш совет, каким образом можно фильтровать до сервера запросы определенных типов. Например, я хочу полностью отрезать IPv4 все запросы, чтобы они не доходили до сервера вообще.

    — Эти опции есть и в PowerDNS, и в unbound. Еще есть вариант, используя IPtables, вы можете с помощью hex match выдергивать кусочек, смотреть, что там за запросы и просто их дропать полностью. Еще один вариант. Существуют различные DNS-прокси, причем даже авторы PowerDNS тоже выпускают свой резольвер, который поддерживает скрипты на Lua. Вы можете туда подсунуть свой скрипт, который будет делать любую кастомную магию. Есть для этого разные средства. Все зависит от того, что у вас за задача.

    — Скажите, Вы у себя на сети внедрили блокировку запрещенных сайтов с помощью DNS? Статистика примерная есть?

    Скажу так, и ее тоже. Много ли блокируется? Понятно, что блокировка через DNS — это от домохозяек. Понятно, что никто не мешает абоненту взять и вбить DNS Google. Честно скажу, мы не смотрим на нее, но в принципе, что-то туда падает.

    — А по отчетам ревизоров заметны изменения после внедрения блокировки DNS?

    Да. Для ревизора это отличный способ. Имейте это в виду.

    — Вы своим клиентам, которые пользуются вашим DNS, даете IP адреса? Вы обеспечиваете доступность этих адресов, и каким образом?

    Давайте коротенечко расскажу, как это работает. Вы же помните, что мы там вводим 2 адреса. Знаете, как смешно там работает failover. Смотрите, Windows и Linux ведут себя по-разному. Windows при недоступности первого переключается на второй и раз в 15 минут пытается по-прежнему тыркать первый и по возможности переключается на него. Linux этого не делает.

    Во-первых, что надо понимать? Что failover средствами операционной системы не униформен и плох. Соответственно, ваша задача, чтобы оба IP, которые вы отдаете, как резольверы, светились всегда и работали. Поскольку мы это делаем с помощью маршрутизации, у каждого из наших серверов дополнительными IP к интерфейсу прописаны адреса его друганов. У нас их используется 3 и пока хватает.

    При помощи маршрутизации мы туда направляем трафик. Поскольку в unbound мы используем опцию «отвечать на всех интерфейсах», он отлично отвечает, и ему никаких дополнительных манипуляций не надо.

    — У Вас была табличка по передаче MySQL dump от серверов друг к другу. Вы говорили, что у вас получился не master/slave и master/master. То есть, грубо говоря, вы меняете всегда зону на одном из серверов и перекидываете на другой и split-brain не может получиться в этом случае?

    Нет, split-brain возможен. Вообще каждый сервер раз в 2 минуты бежит делает dump и закидывает его к себе. Но если у него это не получилось, то мы наблюдаем а-ля split-brain, у него старая версия базы.

    Но здесь нам помогает следующее. Если он не смог этого сделать, скорее всего, у него нет связанности. Если нет связанности, то значит, клиенты до него тоже не доберутся, и проблема не возникнет. Как только у него появится связанность он очень быстро получит новую копию.

    — Нет, split-brain в том смысле, что вы на одном из серверов изменили запись, а на другом нет.

    Смотрите, на самих DNS-серверах ничего не изменяется. Изменяется в одном месте, где PowerAdmin, а оттуда раскатывается на все остальные. Соответственно, такого не может быть, что мы забыли базу поменять где-то в другом месте. Мы как раз это и делали, чтобы так не было никогда.

    Это была одна из наших проблем, когда был bind с текстовыми файлами. Было клево поменять зону в одном месте, потом забыть изменить серийник, а она XFR’ом на второй не перетекала. Это была наша боль, которую мы этим тоже устраняли.

    — А еще есть какая-нибудь статистика по тому, когда перестать пользоваться XFR…

    XFR — это механизм, который был придуман в условиях плохой связанности. Условно говоря, XFR, особенно инкрементальный XFR, придуман, чтобы полосу экономить. Но в современных реалиях полоса DNS сервера 5 Мб/с, больше он не ест. Поэтому, на мой взгляд, сейчас XFR — это механизм так себе. Поэтому я бы, в принципе, не рекомендовал смотреть в его сторону. Ребята из Power DNS в документации так и пишут, что если вы можете бэкенд как-то реплицировать без XFR и прочего, сделайте это. В нашем случае получилось здорово.

    — Когда Вы рассказывали про ситуацию настройки авторитетного сервера, сказали, что якобы про репликацию Master/slave надо забыть, и мы отдаем на один сервер одинаковую конфигурацию со всего. В такой ситуации в SOA записи у нас есть какой-то ns сервер. А ns записей сколько получается? То есть, не будет ли такого, поскольку существуют разные чекеры DNS сервисов, правильно он настроен или нет, он будет ругаться типа: «У тебя 1 ns сервер, это очень плохо!» и т.д. Или мы сделаем одну ns запись несколькими IP’шниками?

    Несколько записей, если быть правильным. В нашей ситуации, если клиент приходит к нам с доменом, то мы в качестве ns прописываем один, два — хотите, третий дорисую, четвертый, пятый. Ns может быть огромное количество — любое. У вас на все из них будут литься запросы равномерно.

    — У меня легкие уточнения по поводу PowerDNS и изменения зоны. В 4-й версии есть PDNSutil edit. Он берет из базы зону, представляет ее в текстовом классическом виде. Говоришь save — он ее загружает обратно.

    По поводу исправления issue — я месяц назад разговаривал с разработчиками PowerDNS — они очень мало притрагиваются сейчас к авторитетному серверу. У них все усилия брошены на DNS dist и recursor. Поэтому если хочется запатчить, лучше самому. В ближайший год они, похоже, ничего там делать не будут.

    Меня 3-я версия устраивает. 4-ю я видел только потому, что она в 16.4 по дефолту приезжает. Это было из разряда «О, что есть!»

    — Последнее. Как раз в сентябре будет меняться DNSSEC ключ на корнях, не забудьте обновить!

    Спасибо.

    — Вы говорили, что нельзя использовать форвардинг, нужно использовать рекурсивный резолвинг. У меня возник такой вопрос, а если все начнут использовать рекурсивные DNS — корневых серверов как бы мало?

    Протокол DNS придуман так, что вы к корневым серверам будете ходить очень редко. Корневые сервера условно держат сейчас уже много Top Level Domain, но посмотрите TTL — там он огромный. Вы туда будете ходить очень редко — раз в месяц сходите, и после этого не будете.

    — Вы имеете в виду, что наш резольвер отрезольвит ns из зоны.ru и будет уже ходить только к ним?

    Конечно. Пока TTL не истечет, он туда ходить не будет. Я же еще раз говорю — вопрос к размышлению. Это же точка отказа. Есть у меня клиент, и у него в настройках сетевого адаптера какие-то DNS сервера. Но они не обязаны никому работать. Можно было софтово включить поддержку этого дела в ОС. Представляете, какой бы пласт проблем это сняло: отравление кэшей, например. Многие вещи просто перестали бы иметь смысл.

    То есть злоумышленнику сейчас резольвер — лакомый кусок для атаки потому, что «отравлю ему кэш — отравлю кэш толпе!» Это плохо, неправильно и так не должно быть. Чтобы это решить, надо просто всунуть резольвер в коробку в ОС. Я не понимаю, почему до сих пор никто этого не делает. Это не настолько сложно.

    — У Ubuntu, кажется, dnsmasq в коробке есть.

    Нет, там плохо все, поверьте. dnsmasq вообще плохо. Но дело даже не в этом. Он есть только в FreeBSD, там есть unbound, он на local-хвосте висит и работает. Но процент пользователей FreeBSD — это отдельный разговор.

    Умеете больше, выше, сильнее — программный комитет RootConf в составе РИТ++ ждет ваших заявок до 9 апреля. Также, как и рассказов о собственных граблях и шишках во всем спектре тем, касающихся поддержки и эксплуатации ИТ-проектов.
    Конференции Олега Бунина (Онтико) 657,63
    Конференции Олега Бунина
    Поделиться публикацией
    Похожие публикации
    Комментарии 36
    • 0
      По поводу отваливающегося MySQL бэкэнда при перезапуске, попробуй здесь для 16.04 — downloads.powerdns.com/autobuilt_browser/#/auth/4.1.1-3-gd221319
      • 0
        Я правильно понимаю, что у вас на каждом ДНС сервере с PowerDNS еще и база крутится? Они разве не умеют ходить за данными все в одну базу?
        • +1
          Я так понял, что они могут быть удалены географически. Поэтому каждый раз туда делать запросы будет долго. Из-за этого локальная база у каждого это просто что-то вроде кэша. Каждый ходит регулярно на главный сервер с базой и копирует её к себе. Никаких мастер-слейв, сплит брейн и тому подобного.
          • 0
            Умеют, однако задача была уйти от единой точки отказа.

            Каждый ns в итоге совершенно самостоятелен и не зависит от какой-то центральной базы.

            В распределенных географически инсталляциях (даже на малых расстояниях), может быть так, что связность ns до базы лежит (упал канал), а связь клиентов до ns не лежит (т.е. они хотят ответов).

            Поэтому еще раз, каждый ns обладает всем необходимым, чтобы ответить на запрос.
          • 0
            Отличный доклад, спасибо! Уже отошел немного от этой темы, но понял что в некоторых случаях стоило сделать по-другому.
            Мониторинг типа запросов и dnstop — вещь, особенно для провайдеров, рассадники вирусов таким образом вычисляли и прибивали.
            • 0
              Пару слов о DB бэкэнд для PowerDNS — как показывает практика, лучшая схема для MySQL backend это MySQL active/passive, в случае с active/active всплывает куча проблем с целостностью баз. В случае MySQL active/passive — одна нода PowerDNS с active MySQL и доступом по API, и хоть куча PowerDNS с passive MySQL.
              В случае падения master MySQL, все PowerDNS c slave MySQL продолжают обслуживать запросы. Если падает MySQL slave, PowerDNS отсылает SERVFAIL на запросы рекурсоров, чтобы они перенаправили запрос согласно записям NSSet.

              Были случаи использования MySQL Galera, для кластеризации, но это добавляет много лишних сложностей в настройке и деплое, кстати в случае с active-active MySQL можно попробовать binlog репликацию с GTID при этом должно быть «авто-выравнивание» между active и active нодами, но я пока это не пробовал.
              • 0
                Из-за того, что я делал RENAME TABLE, у меня репликация ломалась просто через раз.

                Первый же день эксплуатации показал, что с репликацией не по пути :(
                • 0
                  С какой ошибкой ломалась?

                  PS. у нас row-based replication лет 7 работает, десятки RENAME TABLE каждый день, проблемы только если в RENAME указана нереплицируемая таблица (явный запрет в replicate_*) — но это человеческий фактор
                  • 0
                    Увы, за давностью эксперимента сейчас уже не вспомню :( Но то, что она была среди реплицируемых, совершенно точно.
              • 0
                Мы после миграции с feebsd/bind на linux/unbound настолько впечатлились результатами (справедливости ради стоит сказать, что feebsd/bind были виноваты не сами по себе, а способ, которым все это было собрано и запущено), что зоны (больше 100 прямых и раз в десять больше обратных) мигрировали на ПО от того же производителя (nsd) — и результатами остались ничуть не менее довольны.

                Да, была мысль использовать БД и забыть о master/slave и *XFR — но решили пойти более простым классическим путем. Файлы зон лежат в git, не забыть после редактирования исправить сериал и сказать nsd-control reload — не такая уж сверхъестественная задача. Не забыть о git commit можно уже и крону поручить, если самому лень.

                Уже некоторое время спустя пришла мысль, что можно было бы использовать powerdns c БД в качестве мастера (а по сути в качестве веб-редактора зон), а несколько экземпляров nsd — в качестве слейвов (и их уже выставили бы наружу). Но не сложилось, а когда еще сложится — может и никогда…

                О выборе дистрибутива linux могу сказать одно — удобно, когда майнтейнер nsd ты сам, а с майнтейнером unbound нет никаких разногласий по поводу упаковки :)
                • 0

                  Видимо, либо это было давно, либо система у вас был старая, поскольку во FreeBSD Unbound является штатной частью системы вместо выпиленного Bind с 10-RELEASE т.е. с 2014 года.
                  Связка NSD + Unbound, действительно, хороша и шустра. Но проблема хранения и редактирования зон через доступный пользователю интерфейс есть.
                  Остаётся свой вариант с хранением данных в SQL + веб-интерфейс и выпихивание результатов в файл. Не слишком удобно, но работает.

                  • 0
                    Резолвер переезжал в 2014-2015, а на какой FreeBSD он был раньше — никто уж и не помнит. Зоны переезжали в 2015-2016, а для варианта с хранением данных в SQL (+ веб-интерфейс) как раз задним умом и подумали о PowerDNS, но даже если б вовремя придумали такой вариант — не факт, что заморочились бы. Текстовые файлы — не такой уж плохой вариант, особенно когда что-нибудь сломается или пойдет не так…
                    • 0

                      Но, вообще PowerDNS в качестве hidden primary и NSD в качестве visible хороший вариант.

                • 0
                  Совершенно непонятно, зачем при каждом изменении зоны на мастере делать mysqldump? Ведь PowerDNS автоматом рассылает notify по всем прописанным ns-серверам и обновляет их.

                  А еще ни слова не сказано про механизм supermaster (у меня отлично работает на 2х pdns серверах + poweradmin).
                  • 0
                    Почитайте внимательно, я говорю об отказе от master/slave вообще. Зоны всегда одинаковые везде, поскольку синхронизируется бэкенд.

                    Ну и простая цитата из документации про supermaster (которая хорошо поясняет, почему это костылик для малого количества постоянных доменов):

                    Note: Removal of zones provisioned using the supermaster must be done on the slaves themselves. As there is no way to signal this removal from the master to the slave.


                    То есть, если я убрал зону на мастере, то надо сходить и как-то руками ее убрать на слейве. Минуточку, это же… OH SHI~
                    • 0
                      Про отказ от master/slave — упустил.
                      В данном случае не понятно, чем плоха репликация БД? Неужели делать полный дамп базы раз в 2 минуты независимо от того, есть в ней изменения или нет, правильнее чем настроить репликацию?
                      • 0
                        Я об этом тоже говорил, но повторю. Поскольку я использую RENAME TABLE, то это часто ломает репликацию в клочья.

                        Если пробовать делать это на транзакциях, то есть, делать кучу операций в транзакции, то это атомарно, как и RENAME TABLE, но гораздо более медленно.
                        • 0
                          Репликация плоха хотя бы тем, что её надо поднимать заново при разрыве соединения. А если ns разнесены географически, то вероятность накрытия медным тазом увеличивается настолько, что это будет происходить ежедневно, если не ежечасно.

                          Вот то, что надо ли делать это каждые две минуты, а не по наличию изменений — не уверен.
                          • 0
                            Странная у Вас репликация. У меня годами работает, включая плановые перезагрузки и замены оборудования, и ничего не отваливается и ничего поднимать заново не надо.

                            P.S. Правда речь идет о PostgreSQL, с MySQL я давно не работал…
                            • 0
                              В статье — mysql, с которым и работает powerdns. И об её же репликации речь.
                              • 0
                                Специально сейчас сделал на 2х pdns репликацию на mysql master-slave и перезагрузил master (целиком весь сервер). Произошел разрыв соединения, после перезагрузки и выхода в онлайн — все встало на свои места и работает в штатном режиме.
                                • 0
                                  Это не разрыв, это штатное закрытие соединения. Для тестирования стоит устроить пропадание пакетов между репликами, что на длинных линках вполне себе штатное явление. Мне подобное когда-то устроил ростелеком, отчего сбор данных из филиалов был организован при помощи mysql-proxy и логирования им инсертов…
                      • 0
                        NOTIFY в pdns только AXFR, IXFR пока есть только на слейвах
                      • 0
                        Кстати, я не совсем согласен с блокировкой ANY, хотя тема более-менее философская и это лучше чем ничего :) ANY для спуфинга это самый популярный запрос, конечно, но вместо него злые люди могут послать большой TXT с прекрасным DNSSEC и будет тоже самое. И, кстати, rate-limiting в dnsdist лучше по перформансу, но dnsdist это на любителя.
                        • 0
                          На нашем проде было видно, что ANY на резольверах используется только ботнетами.

                          Однако, про ANY на авторитетных серверах вышла смешная история. Одному из наших клиентов перестали доходить письма из Бюро Кредитных Историй. После краткого расследования стало понятно, что там на той стороне qmail как раз какой-то адовой версии, которая шлет нашим авторитетным серверам ANY (авторы qmail где-то в списке рассылки говорили, что это круто и быстро).

                          В итоге, на авторитетных у нас ANY можно, а на резольверах низя.
                        • 0
                          А вроде powerdns-ы писали, что его можно как ресолвер собрать. Не пробовали?
                          • 0
                            Увы или к счастью, нет.

                            Я думаю, Вы говорите про другое, у PowerDNS есть Recursor. Но я, к сожалению, не помню, почему им не пользовался. Наверное, просто больше нравился unbound.

                            Но, думаю, что я несправедливо упустил его в разделе резольверов.
                          • 0
                            Статья больше похоже на brain dump — отрывочные сведения по настройке DNS серверов.
                            — иметь свой собственный DNS можно даже дома. Если нет сервера или подходящего маршрутизатора, то его можно поднять на raspberry Pi. Одно из применений дома — резать рекламу и well know bad domains, например с использованием RPZ;
                            — держать открытый рекурсивный DNS сервис в интернет — плохо и для большинства случаев это не нужно;
                            — не упомянуты ACL на уровне DNS. В особенности для bind это важно, когда один сервер является авторитативным и рекурсивным;
                            — запросы ANY бывают полезны для админов и лучше делать rate limit на них, чем совсем резать;
                            — rate limit можно настраивать на уровне DNS (в частности в bind).

                            PS «резольвер» — ужастный термин, хоть и короткий.
                            • 0
                              + забыл добавить по этому поводу
                              Если вы делаете резольвер, перестаньте отвечать на запросы ANY потому, что это вид запроса, который на самом деле толком не стандартизован и используется на 99% всякими замечательными вирусами.

                              Запрос ANY прекрасно описан в rfc1035:
                              * 255 A request for all records
                              • 0
                                Давайте сначала коротко про ANY. Я придерживаюсь того, что описывает CloudFlare в своем блоге. Там отличная история, как они планомерно отказывались от ANY.

                                Когда мы вырубали его, то руководствовались двумя вещами:

                                1. Анализ того, что мы видим в запросах (99,9% были нелегитимные запросы)

                                2. Насколько пострадают от наших действий пользователи (т.е. с повышенным внимание отрабатывали запросы «не работает» от наших абонентов).

                                Результат оказался вполне нормальным: никто не пострадал, мир стал чище.
                                • 0
                                  Чтобы мир стал чище, нужно повсеместно применять bcp38 и очень желательно закрывать открытые рекурсивные DNS у обычных пользователей.
                                  Запросы ANY на авторитативных серверах, если они не возвращают больших ответов (нет DNSSEC) в основном безвредны (ибо используют их для Amplification/Reflection).
                                  Запросы ANY для своих клиентов — rate limit. Более одного запроса в секунду обычно не требуется, хотя можно и увеличить интервал.
                                  Для внешних клиентов кэш вообще не должен отвечать (криворукие ISP — можно отнести к разряду клиентов)
                              • 0
                                Про ACL и rate-limit на уровне bind:

                                1. Я глубоко уверен, что авторитетный и рекурсор на одной машине — это плохо. Я в докладе объясняю, почему.

                                2. Я не особый сторонник bind, поскольку он по сути больше авторитетный сервер, нежели рекурсор, который предлагает мне хранить БД в текстовом виде. От чего я тоже хочу уйти подальше.

                                3. Держать открытый рекурсивный DNS в Интернет порой надо, увы. В моем случае, как только мы закрылись от таких запросов снаружи, вылезли две вещи:

                                — один крупный оператор связи косанул с настройкой абонентских роутеров и ходит резольвить к нам (и его абоненты, разумеется, пострадали в первую очередь)

                                — один из наших коллег ставил наши резольверы в сетевых настройках некоторых систем, которые он уже давно не администрирует, то есть пострадали бы достаточно крупные, хоть и не очень важные для нас люди.

                                Поэтому в итоге у нас резольвер смотрит в интернер, увы.
                                • 0
                                  1. Это естественно плохо. Но ставить открытый для всех рекурсивный DNS намного хуже.
                                  2. Это generic DNS сервер, который может делать и авторитативку и кэш. При этом на кэше есть хорошие фитчи типа RPZ.
                                  3. В таком случае нужно прикрываться ACL и постепенно переводить данных клиентов на правильные настройки. Как найти клиентов — query.log в помощь.
                              • 0

                                У нас похожая схема авторитарных серверов, только у нас нормальная репликация Master/Slave. Ипользовали PowerAdmin, но он в край надоел и при очередной переделке наших NS заменили его на оперовский DNS-ui, который оказался очень даже огонь, хотя немного бажный (пришлось даже несколько issues по пути в их гитхабе открыть). В отличии от PowerAdmin, он не работает с БД pdns напрямую, а имеет отдельную базу и общается с pdns по API. Да и вообще, админка оказалась куда более годная и удобная в использовании.

                                • 0

                                  Посмотрел. Приятный интерфейс. Спасибо.

                                • 0
                                  Как только мы пришли к PowerDNS, раз это база данных, мы хотим удобный редактор в вебе. А редакторов нет, кроме PowerAdmin. Это веб-приложение на PHP

                                  Есть прекрасный инструмент PowerDNS-Admin написанный на Flask-е и работает через API PowerDNS

                                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                  Самое читаемое