Мы в VAS Experts проектируем и внедряем сервисов в области контроля и анализа интернет трафика. В нашем блоге мы решили начать рассказывать об устройстве технологий, связанных с нашей сферой деятельности.
В первых двух материалах мы поговорили о составе системы и схеме подключения, а во втором — о сценариях использования. Сегодня мы посмотрим, какие требования предъявляются к «железу» для полноценной работы систем глубокого анализа трафика, и где такие системы применяются.
/ Flickr / Sean MacEntee / CC
Системы Deep packet inspection (DPI) чаще всего используются для контроля и фильтрации трафика, иногда для блокировки протоколов. С помощью DPI можно отслеживать генерируемые приложениями данные и выбирать соответствующую стратегию действий.
Для работы DPI нужна программная система, установленная на подходящую аппаратную платформу. Только правильно подобранное оборудование и оптимизированное программное обеспечение в связке дадут высокий уровень производительности.
Серверы для DPI обычно похожи на серверы 1U, но в них акцент сделан на сетевые компоненты, а не на оперативную память и жёсткие диски. В DPI-серверах могут быть установлены от 4 до 8 портов 1 GbE RJ45, 4 порта 10 GbE SFP+ или 2 порта 40 GE QSFP+.
Сетевые карты в DPI-системе должны поддерживать режим Bypass — если сервер отключится, то соединение между портами продолжит работать с помощью питания от встроенной батарейки и будет пропускать трафик без фильтрации. Также на DPI-сервере обычно установлена система мониторинга состояния работы (Advanced Lights Out Management), с помощью которой можно управлять всеми параметрами удалённо или через графический интерфейс на дисплее. BIOS материнской платы сервера должен быть защищён аппаратно от повреждений и поддерживать удалённое обновление.
Для функционирования сервера достаточно одного или двух процессоров Intel Xeon E5-2600 V4 (Broadwell-EP) и двух жёстких дисков, объединенных в RAID 1. Обычно в основном устройстве есть два SSD-диска для установки операционной системы, например SmartOS, к ним добавляют до 24 HDD- или SSD-накопителей, а также сетевые порты и порты для полок расширения. Для увеличения хранилища данных дополнительно к устройству подключают дисковые массивы JBOD, каждый из которых поддерживает до 70 дисков HDD или SSD.
Такая модель позволяет быстро и без больших затрат расширять объёмы для хранения данных, что особенно важно при обработке статистики трафика и кэширования содержимого — изображений, видео и прочих подобных файлов.
Для контроля дисков, поддержания их целостности и высокой скорости работы лучше всего использовать файловую систему ZFS и технологию RAID-Z. Для обеспечения отказоустойчивости желательно устанавливать минимум два взаимозаменяемых блока питания.
Часто производители систем глубокого анализа трафика предлагают готовые комплекты из оборудования и ПО — такие серверы отличаются от стандартных систем и могут дополнительно оснащаться системами хранения данных или сбора статистики в соответствии с требованиями законодательства.
С другой стороны, может быть значительно удобнее, если предлагаемый сервер будет устройством на стандартной платформе, которое можно легко модернизировать. Такие системы чаще встречаются у российских компаний — «Протей», Vas Experts, Peter-Service, Napa Labs.
Компания Heavy Reading провела опрос среди телеком-компаний и собрала данные об основных областях применения DPI. Самым популярным направлением стало качество обслуживания (QoS) — сюда относится мониторинг состояния сети и решение проблем с оборудованием.
Раньше трафик домашних абонентов (HSI — High Speed Internet) почти не контролировался – BitTorrent мог забрать всю свободную полосу подключения, теперь же DPI позволяет операторам распределять канал между различными приложениями.
Второй по важности категорией для операторов стало управление политикой абонентов сети (PCEF). По данным исследований аналитиков, это самая крупная категория применения DPI по объёму и ценности, и она только продолжит расти. Третьей по значимости категорией провайдеры назвали сетевые шлюзы – сегодня DPI часто применяют на маршрутизаторах в сетях 4G (P-GW) и 3G (GGSN).
Четвёртая категория в опросе — использование DPI для анализа информации о пользователях. Изначально DPI применяли для анализа сетевого трафика и трендов, но всё чаще компании подключают эту технологию для анализа поведения подписчиков в реальном времени, чтобы разрабатывать более подходящие наборы услуг и при этом подбирать правильную нагрузку на сеть.
По мнению специалистов из Калифорнийского университета в Беркли, для быстрой и надёжной работы DPI оборудование должно обладать определенными свойствами. DPI используется для проверки сетевых пакетов по тысячам идентификаторов, поэтому для высокой скорости работы необходимо разделить этот процесс на параллельные потоки, то есть оборудование должно поддерживать параллелизм в обработке данных.
«Железо» должно обрабатывать сетевые пакеты с высокой скоростью, чтобы соответствовать пропускной способности гигабитного канала сети. Кроме того, оборудование не должно потреблять много энергии — перегрев означает замедление работы, поломку или большую нагрузку на систему охлаждения.
Также аппаратное обеспечение должно быть гибко настраиваемым и предоставлять возможность будущего расширения функций и быстрого обновления, например, для защиты от новых вирусов.
Мы в Vas Experts провели сравнение устройств начального и среднего класса как отечественных, так и зарубежных производителей, которые могут себе позволить почти все операторы. На основании собранных нами данных можно сделать вывод, что самыми дорогими системами младшего класса оказались Cisco SCE1000 и Huawei SIG9800-X3, причем последняя обладает самой высокой производительностью.
Что касается среднего сегмента, то здесь мы пронаблюдали почти полное равенство по производительности и оснащению устройств. Отличие состоит только в том, что российские системы основаны на стандартных компонентах, а это позволяет повышать производительность с гораздо меньшими затратами, ведь дополнительные расширения для устройств зарубежных компаний Sandvine, Allot или Procera стоят гораздо дороже и требуют расширения лицензий (полный анализ вы можете найти в нашем блоге).
На основании этого можно сделать вывод, что российские производители могут составить конкуренцию международным компаниям, но использовать их решения следует в сетях с невысоким объёмом трафика и небольшим числом абонентов. В ином случае следует обратить внимание на закрытые платформы иностранных разработчиков, которые обладают несколько большей надёжностью, стабильностью и оптимизацией.
К сожалению, сравнение по указанным в спецификации характеристикам не даст полного понимания практической выгоды, поэтому важно проверять оборудование на тестовых экземплярах от производителей. Однако не всегда удаётся получить аппараты для тестирования, в этом случае нужно ориентироваться на опыт людей, которые уже работают с конкретными системами и технологиями, искать информацию на форумах и у специалистов технической поддержки.
Также при выборе системы большое значение (помимо производительности и функционала) играют расходы на интеграцию — для многих это становится решающим фактором для установки системы DPI. Приведем пример расчёта эффективности внедрения подобной системы (ROI).
Допустим, что суммарный объём потребляемого абонентами трафика составляет 20 Гбит в месяц, стоимость 1 Гбит составляет 3 000 долларов, а стоимость DPI-системы — 75 000 долларов. Тогда использование системы DPI при заявленной эффективности по уменьшению аплинка в 35% даст 7 Гбит/с экономии полосы пропускания в месяц – это 21 000 долларов ежемесячно. В этом случае DPI-система окупится через 3,6 месяца (75000/21000 = около 3,6).
Если учитывать, что за добавление дополнительных функций (блокировка запрещённых сайтов, защита от вирусов и атак, CGNAT) не придётся платить, то внедрение DPI окупится ещё быстрее, а клиенты получат более высокое качество услуг за ту же цену. Стоит заметить, что российские компании продают оборудование по ценам в рублях — это серьёзное преимущество для операторов, которые получают свои доходы в этой же валюте. Покупать и поддерживать систему в таком случае будет еще выгоднее.
В первых двух материалах мы поговорили о составе системы и схеме подключения, а во втором — о сценариях использования. Сегодня мы посмотрим, какие требования предъявляются к «железу» для полноценной работы систем глубокого анализа трафика, и где такие системы применяются.
/ Flickr / Sean MacEntee / CC
Системы Deep packet inspection (DPI) чаще всего используются для контроля и фильтрации трафика, иногда для блокировки протоколов. С помощью DPI можно отслеживать генерируемые приложениями данные и выбирать соответствующую стратегию действий.
Для работы DPI нужна программная система, установленная на подходящую аппаратную платформу. Только правильно подобранное оборудование и оптимизированное программное обеспечение в связке дадут высокий уровень производительности.
Серверы для DPI
Серверы для DPI обычно похожи на серверы 1U, но в них акцент сделан на сетевые компоненты, а не на оперативную память и жёсткие диски. В DPI-серверах могут быть установлены от 4 до 8 портов 1 GbE RJ45, 4 порта 10 GbE SFP+ или 2 порта 40 GE QSFP+.
Сетевые карты в DPI-системе должны поддерживать режим Bypass — если сервер отключится, то соединение между портами продолжит работать с помощью питания от встроенной батарейки и будет пропускать трафик без фильтрации. Также на DPI-сервере обычно установлена система мониторинга состояния работы (Advanced Lights Out Management), с помощью которой можно управлять всеми параметрами удалённо или через графический интерфейс на дисплее. BIOS материнской платы сервера должен быть защищён аппаратно от повреждений и поддерживать удалённое обновление.
Для функционирования сервера достаточно одного или двух процессоров Intel Xeon E5-2600 V4 (Broadwell-EP) и двух жёстких дисков, объединенных в RAID 1. Обычно в основном устройстве есть два SSD-диска для установки операционной системы, например SmartOS, к ним добавляют до 24 HDD- или SSD-накопителей, а также сетевые порты и порты для полок расширения. Для увеличения хранилища данных дополнительно к устройству подключают дисковые массивы JBOD, каждый из которых поддерживает до 70 дисков HDD или SSD.
Такая модель позволяет быстро и без больших затрат расширять объёмы для хранения данных, что особенно важно при обработке статистики трафика и кэширования содержимого — изображений, видео и прочих подобных файлов.
Для контроля дисков, поддержания их целостности и высокой скорости работы лучше всего использовать файловую систему ZFS и технологию RAID-Z. Для обеспечения отказоустойчивости желательно устанавливать минимум два взаимозаменяемых блока питания.
Часто производители систем глубокого анализа трафика предлагают готовые комплекты из оборудования и ПО — такие серверы отличаются от стандартных систем и могут дополнительно оснащаться системами хранения данных или сбора статистики в соответствии с требованиями законодательства.
С другой стороны, может быть значительно удобнее, если предлагаемый сервер будет устройством на стандартной платформе, которое можно легко модернизировать. Такие системы чаще встречаются у российских компаний — «Протей», Vas Experts, Peter-Service, Napa Labs.
Категории применения
Компания Heavy Reading провела опрос среди телеком-компаний и собрала данные об основных областях применения DPI. Самым популярным направлением стало качество обслуживания (QoS) — сюда относится мониторинг состояния сети и решение проблем с оборудованием.
Раньше трафик домашних абонентов (HSI — High Speed Internet) почти не контролировался – BitTorrent мог забрать всю свободную полосу подключения, теперь же DPI позволяет операторам распределять канал между различными приложениями.
Второй по важности категорией для операторов стало управление политикой абонентов сети (PCEF). По данным исследований аналитиков, это самая крупная категория применения DPI по объёму и ценности, и она только продолжит расти. Третьей по значимости категорией провайдеры назвали сетевые шлюзы – сегодня DPI часто применяют на маршрутизаторах в сетях 4G (P-GW) и 3G (GGSN).
Четвёртая категория в опросе — использование DPI для анализа информации о пользователях. Изначально DPI применяли для анализа сетевого трафика и трендов, но всё чаще компании подключают эту технологию для анализа поведения подписчиков в реальном времени, чтобы разрабатывать более подходящие наборы услуг и при этом подбирать правильную нагрузку на сеть.
Свойства и сравнение «железа»
По мнению специалистов из Калифорнийского университета в Беркли, для быстрой и надёжной работы DPI оборудование должно обладать определенными свойствами. DPI используется для проверки сетевых пакетов по тысячам идентификаторов, поэтому для высокой скорости работы необходимо разделить этот процесс на параллельные потоки, то есть оборудование должно поддерживать параллелизм в обработке данных.
«Железо» должно обрабатывать сетевые пакеты с высокой скоростью, чтобы соответствовать пропускной способности гигабитного канала сети. Кроме того, оборудование не должно потреблять много энергии — перегрев означает замедление работы, поломку или большую нагрузку на систему охлаждения.
Также аппаратное обеспечение должно быть гибко настраиваемым и предоставлять возможность будущего расширения функций и быстрого обновления, например, для защиты от новых вирусов.
Мы в Vas Experts провели сравнение устройств начального и среднего класса как отечественных, так и зарубежных производителей, которые могут себе позволить почти все операторы. На основании собранных нами данных можно сделать вывод, что самыми дорогими системами младшего класса оказались Cisco SCE1000 и Huawei SIG9800-X3, причем последняя обладает самой высокой производительностью.
Что касается среднего сегмента, то здесь мы пронаблюдали почти полное равенство по производительности и оснащению устройств. Отличие состоит только в том, что российские системы основаны на стандартных компонентах, а это позволяет повышать производительность с гораздо меньшими затратами, ведь дополнительные расширения для устройств зарубежных компаний Sandvine, Allot или Procera стоят гораздо дороже и требуют расширения лицензий (полный анализ вы можете найти в нашем блоге).
На основании этого можно сделать вывод, что российские производители могут составить конкуренцию международным компаниям, но использовать их решения следует в сетях с невысоким объёмом трафика и небольшим числом абонентов. В ином случае следует обратить внимание на закрытые платформы иностранных разработчиков, которые обладают несколько большей надёжностью, стабильностью и оптимизацией.
Практическая выгода
К сожалению, сравнение по указанным в спецификации характеристикам не даст полного понимания практической выгоды, поэтому важно проверять оборудование на тестовых экземплярах от производителей. Однако не всегда удаётся получить аппараты для тестирования, в этом случае нужно ориентироваться на опыт людей, которые уже работают с конкретными системами и технологиями, искать информацию на форумах и у специалистов технической поддержки.
Также при выборе системы большое значение (помимо производительности и функционала) играют расходы на интеграцию — для многих это становится решающим фактором для установки системы DPI. Приведем пример расчёта эффективности внедрения подобной системы (ROI).
Допустим, что суммарный объём потребляемого абонентами трафика составляет 20 Гбит в месяц, стоимость 1 Гбит составляет 3 000 долларов, а стоимость DPI-системы — 75 000 долларов. Тогда использование системы DPI при заявленной эффективности по уменьшению аплинка в 35% даст 7 Гбит/с экономии полосы пропускания в месяц – это 21 000 долларов ежемесячно. В этом случае DPI-система окупится через 3,6 месяца (75000/21000 = около 3,6).
Если учитывать, что за добавление дополнительных функций (блокировка запрещённых сайтов, защита от вирусов и атак, CGNAT) не придётся платить, то внедрение DPI окупится ещё быстрее, а клиенты получат более высокое качество услуг за ту же цену. Стоит заметить, что российские компании продают оборудование по ценам в рублях — это серьёзное преимущество для операторов, которые получают свои доходы в этой же валюте. Покупать и поддерживать систему в таком случае будет еще выгоднее.
