Как стать автором
Обновить

Компания Qrator Labs временно не ведёт блог на Хабре

Сначала показывать

Эволюция распределённых атак в интернете: 1994 — настоящее время

Время на прочтение 19 мин
Количество просмотров 6.3K

В каких юнитах можно померить DDOS атаку? Биты в секунду, запросы, пакеты, время даунтайма, количество машинок в ботнете — все эти ответы верные. Потому что DDoS-атаки бывают разных категорий и для каждой есть свои ключевые метрики. Их рост и является движущей силой для эволюции DDoS атак. Посмотрим, как это происходит.

Поможет нам в этом Георгий Тарасов, владелец продукта Bot Protection в Qrator Labs. Ранее он занимался разработкой, проектным менеджментом и pre-sales. Вместе с ним мы полетим в 1994 год и обратно, в настоящее время. Посмотрим, как развивались распределённые атаки на отказ в обслуживании за эти годы, к чему они пришли сейчас, и на что есть смысл обратить внимание.

Читать далее
Всего голосов 17: ↑17 и ↓0 +17
Комментарии 1

Опыт эксплуатации Mellanox под управлением Switchdev

Время на прочтение 13 мин
Количество просмотров 6.8K

Мы уже писали про Linux Switchdev в Mellanox — что это такое и как мы с ним живем в Qrator Labs. Сегодня я хочу рассмотреть этот вопрос с другой стороны. Меня зовут Дмитрий Шемонаев, я руковожу центром сетевых операций.

Кроме того, что этот коммутатор можно использовать как Whitebox, он поддерживает и perl-скрипты, с помощью которых мы автоматизировали управление сетевой конфигурацией.  Потому что Switchdev и это позволяет делать. Об этом я сегодня и расскажу.

Читать далее
Всего голосов 23: ↑23 и ↓0 +23
Комментарии 23

Новый ботнет с большим количеством камер и даже некоторыми роутерами

Время на прочтение 3 мин
Количество просмотров 7.9K

DDoS-атаки посылают волны в океане Интернета, создаваемые творениями разных размеров - ботнетами. Некоторые из них питаются ближе к поверхности, но существует категория огромных глубоководных чудовищ, которые достаточно редки и одновременно настолько опасны, что их можно увидеть только один раз за долгое время.

В ноябре 2021 мы встретили и успешно нейтрализовали несколько атак исходящих от ботнета, который, похоже, не связан с хорошо известными или детально описанными, как варианты Mirai, Bashlite, Hajime или Brickerbot.

Хотя наши находки и напоминают издалека Mirai, мы полагаем, что данный (описываемый ниже) ботнет основан не только на распространении вредоносного кода под Linux, а на сочетании брутфорса паролей и эксплуатации уже исправленных CVE на непатченных устройствах для увеличения его размера. В любом случае, чтобы подтвердить, как именно устроен этот ботнет, нам был бы необходим образец устройства для анализа кода, что далеко за пределами нашей области знаний и умений.

В этот раз мы не будем давать никакого имени этому ботнету. Признаемся, мы не на 100% уверены, на что именно мы смотрим, каковы точные характеристики и насколько на самом деле велика эта вещь. Но есть некоторые цифры и, где это возможно, мы провели дополнительную разведку чтобы лучше понимать, с чем же мы имеем дело.

Давайте для начала взглянем на собранные нами данные, а выводы сделаем ближе к концу этого поста.

Читать далее
Всего голосов 23: ↑23 и ↓0 +23
Комментарии 17

Циклы маршрутизации

Время на прочтение 11 мин
Количество просмотров 11K

Добрый день! Меня зовут Александр Зубков, я работаю в Qrator Labs и сегодня я хочу поговорить о циклах маршрутизации.

Читать далее
Всего голосов 28: ↑28 и ↓0 +28
Комментарии 12

DDoS-атаки и BGP-инциденты третьего квартала 2021 года

Время на прочтение 6 мин
Количество просмотров 5.4K

Третий квартал 2021 года во-многом стал рекордным по масштабам и интенсивности DDoS-атак.

Апогей событий произошел в сентябре, когда мы вместе с Яндексом обнаружили и сообщили публике об одном из самых разрушительных ботнетов со времен Mirai, назвав его Meris, так как он был ответственен за серию атак с высоким значением запросов в секунду. И пока злоумышленники целились в разные цели по всему миру, наша квартальная статистика тоже несколько изменилась.

Помимо этого, в этот раз мы подготовили для вашего внимания фрагмент статистики по атакам на уровне приложения (L7).

Без лишних прелюдий, давайте подробнее остановимся на статистике по DDoS-атакам и BGP-инцидентам за третий квартал 2021 года.

Читать далее
Всего голосов 22: ↑22 и ↓0 +22
Комментарии 6

Ботнет Mēris: расследуем крупнейшую DDoS-атаку в истории интернета

Время на прочтение 7 мин
Количество просмотров 93K
image

На днях в СМИ появилась информация о DDoS-атаке на Яндекс. Это правда, но не вся. Нашим специалистам действительно удалось отразить рекордную атаку более чем в 20 млн RPS — это самая крупная атака из известных за всю историю интернета. Но это лишь одна из множества атак, направленных не только на Яндекс, но и на многие другие компании в мире. Атаки продолжаются уже несколько недель, их масштабы беспрецедентны, а их источник – новый ботнет, о котором пока мало что известно.

Сегодня вместе с коллегами из Qrator Labs мы хотим поделиться текущими результатами совместного расследования деятельности нового ботнета Mēris. Расследование еще продолжается, но мы считаем важным поделиться уже собранной информацией со всей индустрией.

Читать дальше →
Всего голосов 181: ↑178 и ↓3 +175
Комментарии 148

Измерение интенсивности трафика при помощи u-моделей

Время на прочтение 22 мин
Количество просмотров 2.5K
stream rate art
Измерение интенсивности потоков в представлении художника.

В одной из наших предыдущих публикаций мы рассказывали о способе измерения интенсивности потока событий при помощи счетчика на основе экспоненциального распада. Оказывается, идея такого счетчика имеет интересное обобщение, о котором в этой публикации расскажут сотрудники компании Qrator Labs Артем Шворин и Дмитрий Камальдинов.
Читать дальше →
Всего голосов 16: ↑16 и ↓0 +16
Комментарии 0

Обзор счётчиков Морриса

Время на прочтение 7 мин
Количество просмотров 5K

При реализации потоковых алгоритмов часто возникает задача подсчёта каких-то событий: приход пакета, установка соединения; при этом доступная память может стать узким местом: обычный n-битный счётчик позволяет учесть не более 2^n - 1событий.
Одним из способов обработки большего диапазона значений, используя то же количество памяти, является вероятностный подсчёт. В этой статье будет предложен обзор известного алгоритма Морриса, а также некоторых его обобщений.

Другой способ уменьшить количество бит, необходимое для хранения значения счётчика, — использование распада. Об этом подходе мы рассказываем здесь, а также собираемся в ближайшее время опубликовать ещё одну заметку по теме.

Мы начнём с разбора простейшего алгоритма вероятностного подсчёта, выделим его недостатки (раздел 2). Затем (раздел 3) опишем алгоритм, впервые преложенный Робертом Моррисом в 1978 году, укажем его важнейшие свойства и приемущества. Для большинства нетривиальных формул и утверждений в тексте присутствуют наши доказательства — интересующийся читатель сможет найти их во вкладышах. В трёх последующих разделах мы изложим полезные расширения классического алгоритма: вы узнаете, что общего у счётчиков Морриса и экспоненциального распада, как можно уменьшить ошибку, пожертвовав максимальным значением, и как эффективно обрабатывать взвешенные события.

Читать далее
Всего голосов 39: ↑39 и ↓0 +39
Комментарии 12

Ценность партнерских программ Qrator Labs

Время на прочтение 3 мин
Количество просмотров 1.4K

В чем заключается ценность участия в одной из партнерских программ Qrator Labs?

Мы твердо верим — работая вместе, можно добиться лучшего результата, нежели по отдельности. Это основная причина, по которой мы годами прикладывали усилия к построению осмысленных партнерских отношений с самыми разнообразными компаниями. Но на верхнем уровне все наши партнеры делятся на два типа. Первые хотят предоставить собственному потребителю первоклассную технологию защиты от DDoS-атак, разрабатываемую в Qrator Labs, вместе со всеми экосистемными продуктами и услугами. Вторые заинтересованы в том, чтобы предоставить продукт собственной разработки клиентам Qrator Labs, интегрировавшись в нашу сеть фильтрации.

Read more
Всего голосов 22: ↑20 и ↓2 +18
Комментарии 0

Отчет о сетевой безопасности и доступности в 2020 году

Время на прочтение 10 мин
Количество просмотров 3.3K

К 2021 году сеть фильтрации Qrator Labs расширилась до 14 центров очистки трафика общей пропускной способностью в 3 Тбит/с с точкой присутствия в Сан-Паулу, Бразилия, вводящейся в эксплуатацию в начале 2021 г.

Новые сервисы, предоставляемые партнерами компании (SolidWall WAF и RuGeeks CDN) за 2020 год были полностью интегрированы в инфраструктуру Qrator Labs и личный кабинет.

Улучшенная логика фильтрации позволяет Qrator Labs удовлетворить потребности даже самых крупных заказчиков с глобально распределенной инфраструктурой, обеспечивая полное покрытие услуг кибербезопасности и нейтрализации DDoS-атак.

Qrator Labs активно использует новейшие процессоры AMD для задач, связанных с обработкой трафика.

За 2020 год количество DDoS-атак лишь увеличилось, самые опасные можно описать просто: короткие и обескураживающе интенсивные.

Тем не менее, инциденты BGP оставались той областью, в которой очевидна необходимость изменений, так как количество серьёзных инцидентов, таких как перехваты трафика и утечки маршрутов, оставалось высоким в течение всех последних лет — и 2020 не был исключением.

В 2020 году компания Qrator Labs начала предоставлять услуги в Сингапуре в рамках нового партнерства, а также запустила центр очистки трафика в Дубае, где находится укомплектованный профессионалами офис, готовый отвечать на любые запросы потребителей в регионе.

Читать далее
Всего голосов 25: ↑24 и ↓1 +23
Комментарии 0

Десять (с плюсом) лет в лабе

Время на прочтение 5 мин
Количество просмотров 3.4K

В начале 2021 года Qrator Labs отмечает собственный десятилетний юбилей. 19 января наша компания пройдет через формальную отметку 10 лет деятельности, войдя во вторую декаду существования.

Хотя, на самом деле, все началось несколько ранее - когда в возрасте десяти лет Александр первый раз увидел Robotron K 1820 - в 2008 году, когда Александр Лямин - основатель и директор Qrator Labs, пришел с идеей к начальникам в МГУ, где на тот момент времени он работал сетевым инженером, о создании исследовательского проекта по нейтрализации DDoS-атак. Сеть МГУ тогда была одной из крупнейших в стране и, как мы знаем сейчас, это было лучшее место для того, чтобы посеять зерно будущей технологии.

Тогда администрация МГУ согласилась, и Александр перенёс собственное оборудование в университет, одновременно с этим собирая команду. Через два года, летом 2010, стало ясно, что проект успешен. Он принял на себя DDoS-атаку, превышающую емкость вышестоящего поставщика МГУ. И 22 июня боссы выдвинули ультиматум г-ну Лямину - закрываться или уходить.

Александр Лямин решил инкорпорироваться на свои собственные средства, что буквально значило за свои строить инфраструктуру с нуля. При этом изначальная архитектура сети должна быть распределенной вместо концентрированной, так как ресурсы последней бы точно не справились со столь специфической задачей.

В сентябре 2010 года первая площадка была введена в эксплуатацию.

Окунитесь в прошлое вместе с нами
Всего голосов 46: ↑43 и ↓3 +40
Комментарии 1

Linux Switchdev по-мелланоксовски

Время на прочтение 6 мин
Количество просмотров 7.8K
Это транскрипция выступления прозвучавшего на Yandex NextHop 2020 — видео в конце страницы



Приветствую. Меня зовут Александр Зубков, я хочу рассказать про Linux Switchdev — что это такое и как мы с ним живем в Qrator Labs.
Всего голосов 28: ↑28 и ↓0 +28
Комментарии 2

Web scraping вашего сайта: непрошеные гости и как их встречают

Время на прочтение 20 мин
Количество просмотров 26K
На первом в истории полностью виртуальном мероприятии РИТ++, прошедшем в конце мая, инженер Qrator Labs — Георгий Тарасов, рассказал публике про веб-скрейпинг, он же парсинг, популярным языком. Мы решили предоставить вашему вниманию транскрипцию выступления. Видео в конце публикации.


Всего голосов 70: ↑69 и ↓1 +68
Комментарии 59

Как надо исправлять утечки маршрутов

Время на прочтение 2 мин
Количество просмотров 14K
Стоит оговориться, что нижеследующая история во многом уникальна.

И вот как она начиналась. В течение примерно одного часа, начиная с 19.28 UTC вчера, 1 апреля 2020 года, крупнейший российский интернет-провайдер — Ростелеком (AS12389) — начал анонсировать сетевые префиксы крупнейших игроков интернета: Akamai, Cloudflare, Hetzner, Digital Ocean, Amazon AWS и других известных имен. До того момента как проблема была решена, пути между крупнейшими облачными провайдерами планеты были нарушены — Интернет «моргнул».

Данная утечка маршрута вполне успешно распространялась через провайдера Rascom (AS20764), откуда через Cogent (AS174) и, спустя еще несколько минут, через Level3 (AS3356) распространилась по всему миру. Утечка была настолько серьезной, что почти все Tier-1 операторы были задеты аномалией.

Выглядело это так:

image

Поверх такого:

image
Читать дальше →
Всего голосов 31: ↑30 и ↓1 +29
Комментарии 10

Оказывается, интернет-бизнес выживает в текущих условиях. Почему? Удаленка в ДНК

Время на прочтение 5 мин
Количество просмотров 8K
«В 1665 году Кембриджский университет закрылся из-за эпидемии чумы. Исааку Ньютону пришлось работать из дома. Он открыл дифференциальное и интегральное исчисление, а также закон всемирного тяготения».
К сожалению, мы живем в выдающееся время. С наступлением 2020 года и эпидемией COVID-19 сотрудники по всему миру закрываются дома на карантин, стараясь изо всех сил поддерживать нормальное течение жизни, а значит, и продолжать работать. Но есть одно отличие от всех предыдущих инфекционных пандемий, которые пережило человечество — в этот раз у нас есть Интернет.

Читать дальше →
Всего голосов 37: ↑36 и ↓1 +35
Комментарии 38

Ежегодный отчет Qrator Labs о сетевой безопасности и доступности

Время на прочтение 22 мин
Количество просмотров 6.7K


Есть у нас в Qrator Labs такая традиция — в начале, а февраль это точно не конец, каждого года публиковать отчет о годе предыдущем.

Как и любая многолетняя сущность, она обрастает множеством сопутствующих историй. К примеру, уже стало «доброй» приметой, когда в начале января на наши корпоративные страницы заходит очередная DDoS-атака, которую мы не успеваем разобрать в отчете. 2020 год стал наполовину исключением — вектор атаки мы успели описать (TCP SYN-ACK-амплификация), но именно к нам, на qrator.net, гость пожаловал (и не один) только 18 января, зато сразу с гостинцами: 116 Gbps при 26 Mpps.

Стоит признаться, что пересказывать события ушедшего года — жанр специфический. Поэтому мы решили в процессе рефлексии сосредоточиться и на том, что будет происходить — в первую очередь с нашей командой и продуктом — в текущем году, так что не удивляйтесь читая о наших планах по разработке.

Начнём мы с двух самых интересных нам тем прошлого года: SYN-ACK-амплификации и BGP-«оптимизации».
Читать дальше →
Всего голосов 33: ↑33 и ↓0 +33
Комментарии 25

Быстрый ENUM

Время на прочтение 11 мин
Количество просмотров 13K

tl;dr


github.com/QratorLabs/fastenum
pip install fast-enum

Зачем нужно перечисление (enum)


(если вы все знаете — опуститесь до секции «Перечисления в стандартной библиотеке»)

Представьте, что вам нужно описать набор всех возможных состояний сущностей в собственной модели базы данных. Скорее всего, вы возьмёте пачку констант, определенных прямо в пространстве имен модуля:
# /path/to/package/static.py:
INITIAL = 0
PROCESSING = 1
PROCESSED = 2
DECLINED = 3
RETURNED = 4
...

… или как статические атрибуты класса:
class MyModelStates:
  INITIAL = 0
  PROCESSING = 1
  PROCESSED = 2
  DECLINED = 3
  RETURNED = 4

Такой подход поможет сослаться на эти состояния по мнемоническим именам, в то время как в вашем хранилище они будут представлять собой обычные целые числа. Таким образом вы одновременно избавляетесь от магических чисел, разбросанных по разным участкам кода, заодно делая его более читабельным и информативным.

Однако, и константа модуля, и класс со статическими атрибутами страдают от внутренней природы объектов Python: все они изменяемы (мутабельны). Можно случайно присвоить значение своей константе во время выполнения, а отладка и откат сломанных объектов — отдельное приключение. Так что вы можете захотеть сделать пачку констант неизменяемыми в том смысле, что количество объявленных констант и их значения, на которые они отображаются, не будут изменяться во время выполнения программы.
Читать дальше →
Всего голосов 41: ↑40 и ↓1 +39
Комментарии 23

Как работает криптография на основе эллиптических кривых в TLS 1.3

Время на прочтение 23 мин
Количество просмотров 30K
image

Пара предупреждений читателю:

Для того, чтобы (насколько это возможно) упростить процесс объяснения и сжать объем публикации, стоит сразу же сделать ключевую оговорку — все, что мы пишем, касаемо практической стороны рассматриваемой проблематики, корректно для протокола TLS версии 1.3. Это значит, что хотя ваш ECDSA сертификат и будет, при желании, работать с TLS 1.2, описание процесса хендшейка, наборов шифров и бенчмарков сделано на основании последней версии протокола TLS — 1.3. Как вы понимаете, это не относится к математическому описанию алгоритмов, лежащих в фундаменте современных криптографических систем.

Данный материал был написан не математиком и даже не инженером — хотя они и помогали проложить дорожку сквозь математические дебри. Огромная благодарность сотрудникам Qrator Labs.

(Elliptic Curve) Diffie-Hellman (Ephemeral)


Наследие Диффи — Хеллмана в XXI веке

Естественным образом, данная тема начинается не с Уитфилда Диффи и не с Мартина Хеллмана. Алан Тьюринг и Клод Шеннон сделали огромный вклад в теорию алгоритмов и теорию информации, равно как и в область криптоанализа. Диффи и Хеллман, в свою очередь, официально признаются авторами идеи криптографии с публичным ключом (также называемой асимметричной) — хотя теперь известно, что в Великобритании были также достигнуты серьезные результаты в этой области. Однако они оставались засекреченными длительное время — что делает двух джентльменов, упомянутых в подзаголовке, первопроходцами.

В чем именно?
Читать дальше →
Всего голосов 54: ↑53 и ↓1 +52
Комментарии 7

Исследование Устойчивости Национальных Сегментов Интернета за 2019

Время на прочтение 10 мин
Количество просмотров 14K


Данное исследование объясняет, каким образом отказ одной автономной системы (AS) влияет на глобальную связность отдельного региона, особенно в том случае, когда речь идет о крупнейшем провайдере интернета (ISP) данной страны. Связность интернета на сетевом уровне обусловлена взаимодействием между автономными системами. По мере увеличения количества альтернативных маршрутов между AS возникает устойчивость к отказам и повышается стабильность интернета в данной стране. Однако некоторые пути становятся более важными, по сравнению с остальными, и наличие как можно большего числа альтернативных маршрутов в итоге является единственным способом обеспечить надежность системы (в смысле AS).

Глобальная связность любой AS, независимо от того, представляет ли она второстепенного поставщика интернета или международного гиганта с миллионами потребителей услуг, зависит от количества и качества его путей к Tier-1 провайдерам. Как правило, Tier-1 подразумевает международную компанию, предлагающую глобальную услугу IP-транзита и подключение к другим Tier-1 операторам. Тем не менее, внутри данного элитного клуба нет обязательства поддерживать такую связь. Только рынок может придать мотивацию таким компаниям безоговорочно соединяться друг с другом, обеспечивая высокое качество обслуживания. Достаточный ли это стимул? Мы ответим на этот вопрос ниже — в секции, посвященной связности IPv6.

Если провайдер интернета теряет связь хотя бы с одним из собственных Tier-1 соединений, он, вероятнее всего, окажется недоступен в некоторых частях Земли.

Измерение надежности интернета


Представьте, что AS испытывает значительную сетевую деградацию. Мы ищем ответ на следующий вопрос: «Какой процент AS в этом регионе может потерять связь с Tier-1 операторами, тем самым утратив глобальную доступность»?
Читать дальше →
Всего голосов 60: ↑60 и ↓0 +60
Комментарии 20

Система управления конфигурацией сети фильтрации Qrator

Время на прочтение 6 мин
Количество просмотров 2.8K


TL;DR: Описание клиент-серверной архитектуры нашей внутренней системы управления конфигурацией сети, QControl. В основе лежит двухуровневый транспортный протокол, работающий с упакованными в gzip сообщениями без декомпрессии между эндпойнтами. Распределенные роутеры и эндпойнты получают конфигурационные апдейты, а сам протокол позволяет установку локализованных промежуточных релеев. Система построена по принципу дифференциального бэкапа (“recent-stable”, объясняется ниже) и задействует язык запросов JMESpath вместе с шаблонизатором Jinja для рендера конфигурационных файлов.

Qrator Labs управляет глобально распределенной сетью нейтрализации атак. Наша сеть работает по принципу anycast, а подсети анонсируются посредством BGP. Будучи BGP anycast-сетью, физически расположенной в нескольких регионах Земли мы можем обработать и отфильтровать нелегитимный трафик ближе к ядру интернета — Tier-1 операторам.

С другой стороны, быть географически распределенной сетью непросто. Коммуникация между сетевыми точками присутствия критически важна для провайдера услуг безопасности, для того чтобы иметь согласованную конфигурацию всех узлов сети, обновляя их своевременным образом. Поэтому с целью предоставить максимальный возможный уровень основной услуги для потребителя нам необходимо было найти способ надежно синхронизировать конфигурационные данные между континентами.
В начале было Слово. Оно быстро стало коммуникационным протоколом, нуждающимся в апдейте.
Читать дальше →
Всего голосов 25: ↑25 и ↓0 +25
Комментарии 0