Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 99
А если я попробую открыть миллион соединений, DPI система провайдера упадет?
Есть масса промежуточных устройств, которые от такого количества соединений упадут куда раньше, чем DPI, не стоит об этом забывать.
Если опустить предыдущее предложение, то DPI, конечно же, не упадёт. Просто при достижении определённого значения активных соединений коробка перестанет обрабатывать новые. Т.е., к примеру, есть коробка, рассчитанная на 60M соединений. Активно в какую-то единицу времени 59.5M соединений. Натравливаем вышеупомянутый скрипт, генерируем новые сесии, наблюдаем. Видим, что после достижения 60M соединений коробка перестаёт создавать новые сессии. А вот что произойдёт дальше, зависит от реализации того или иного вендора. Может быть следующее поведение:
— Новые сессии просто дропаются и не пропускаются через DPI.
— Новые сессии шунтируются и пропускаются через DPI без анализа.
Вообще, всегда есть крутилка, позволяющая ограничить количество соединений, которые могут быть активны на одном сетевом хосте. Также есть крутилка, регулирующая рейт новых CPS (connections per second) — всё, что будет выше этого рейта, будет дропаться.
Так что DPI довольно элегантно можно использоваться для защиты от простейших DDoS атак.
Если опустить предыдущее предложение, то DPI, конечно же, не упадёт. Просто при достижении определённого значения активных соединений коробка перестанет обрабатывать новые. Т.е., к примеру, есть коробка, рассчитанная на 60M соединений. Активно в какую-то единицу времени 59.5M соединений. Натравливаем вышеупомянутый скрипт, генерируем новые сесии, наблюдаем. Видим, что после достижения 60M соединений коробка перестаёт создавать новые сессии. А вот что произойдёт дальше, зависит от реализации того или иного вендора. Может быть следующее поведение:
— Новые сессии просто дропаются и не пропускаются через DPI.
— Новые сессии шунтируются и пропускаются через DPI без анализа.
Вообще, всегда есть крутилка, позволяющая ограничить количество соединений, которые могут быть активны на одном сетевом хосте. Также есть крутилка, регулирующая рейт новых CPS (connections per second) — всё, что будет выше этого рейта, будет дропаться.
Так что DPI довольно элегантно можно использоваться для защиты от простейших DDoS атак.
Зависит от системы.
Технически устроить асимметрию возможно, после чего у DPI поедет голова, всё верно. У циски не совсем поедет, т.к. она умеет работать с половинчатыми частями соединений.
Поэтому кэрееры так и не делают!
Правильно ли я понимаю, что даже самое навороченное оборудование можно одурачить, если входящий и исходящий трафик абонент пустит по разным каналам?
Да можно, но есть проблема. Как правило если есть DPI и QoS трафик который не удалось определить относится к категории «мусор» и обрабатывается в последнюю очередь. Так что к примеру такие фишки как «я умный щас заверну torrent в шифрованный канал и буду качать на полную» не прокатят.
А каков вообще порядок цен на DPI для допустим 50к абонентов и 20 гигабит внешки?
Для end-user будет что-то уровня $70-130k в зависимости от вендора.
Для такого количества трафика в случае Cisco вам потребуется или штук 15 SCE 2020 и много головной боли по разруливанию по ним трафика или пара SCE 8080. Ценники на бу у того же нага
SCE 2020 — shop.nag.ru/catalog/02092.Cisco/07123.ASR-ESR-SCE/10203.SCE2020-4XGBE-1xAC
SCE 8080 — shop.nag.ru/catalog/02092.Cisco/07123.ASR-ESR-SCE/08911.SCE8000-2X10G-E
Ну и как минимум одно устройство желательно купить в RTL чтобы иметь доступ к обновлениям сигнатур и прошивок.
SCE 2020 — shop.nag.ru/catalog/02092.Cisco/07123.ASR-ESR-SCE/10203.SCE2020-4XGBE-1xAC
SCE 8080 — shop.nag.ru/catalog/02092.Cisco/07123.ASR-ESR-SCE/08911.SCE8000-2X10G-E
Ну и как минимум одно устройство желательно купить в RTL чтобы иметь доступ к обновлениям сигнатур и прошивок.
Голубая мечта любого провайдера — чтобы пользоаватель платил за скайпы сипы и фильмы. Конечно, кому интересно продавать канал, лучше брать за всё просмотренное, прослушанное, позвоненное денежку. А потом прилетает волшебная фея и отрубает торренты! {конец сна, пробуждение}
Всё так, таковы требования рынка и тенденции его развития, DPI же воплощает эти идеи в жизнь. Есть довольно много аналитики на эту тему, многие склоняются к тому, что продажа трубы — это тупиковая ветвь развития.
Такаяже тупиковая как и бесплатный воздух.(
На первый взгляд — да. На второй — не будем забывать, что любой оператор связи не является благотворительной организацией, и в конечном счёте создан для зарабатывания денег. В данный момент рынок таков, что на трубе зарабатывать всё сложнее и сложнее.
Электросети например тоже не благотворительная организация, однако почемуто подключение к ним пылесоса обходится не дороже подключения холодильника, и мне кажется что это нормально.
Для начала обращение к минусующим. В своих комментариях я не защищаю позицию операторов, я тоже считаю их зажравшимися сволочами, я лишь объясняю что происходит и что будет происходить в ближайшем будущем, и инструмент для этих действий — DPI. Врага, как известно, надо знать в лицо, именно поэтому я и делюсь этим знанием.
Что касается энергетики. Да, мне тоже кажется нормальным, что в случае с электричеством мы платим за трубу. Однако, думаю, если бы у энергетических компаний была возможность отличить пылесос от холодильника, они бы обязательно воспользовались этим знанием, вам так не кажется?
Ещё раз хочу повторить. Я уже высказывал в статье своё личное отношение к каким-либо блокировкам со стороны оператора — мне это категорически не нравятся. Но факт остаётся фактом — оператор хочет зарабатывать денег, пусть и за счёт создания искусственных условий для этого.
Что касается энергетики. Да, мне тоже кажется нормальным, что в случае с электричеством мы платим за трубу. Однако, думаю, если бы у энергетических компаний была возможность отличить пылесос от холодильника, они бы обязательно воспользовались этим знанием, вам так не кажется?
Ещё раз хочу повторить. Я уже высказывал в статье своё личное отношение к каким-либо блокировкам со стороны оператора — мне это категорически не нравятся. Но факт остаётся фактом — оператор хочет зарабатывать денег, пусть и за счёт создания искусственных условий для этого.
Если бы интернет-бизнес не являлся фактическим региональным монополистом (я говорю не про провайдеров последней мили, а в статье так же вроде не про них)… то такие выкрутасы вида, а заплатите ка за этот тип трафика в 10 раз больше, а не ухудшить ли мне качество картинок, а не ограничить ли вас статическим контентом вместо html5 динамики… должны ограничиваться на тех же условиях что обычные монополии.
С электричеством тоже есть некоторая дифференциация: промышленные потребители и физ. лица.
Цена для физ. лица варьируется в зависимости от наличия газа в квартире, от типа счетчика.
Для промышленных потребителей есть куча норм (по сути лимитов) при выходе за которые штрафуют: перекос фаз, низкий cos \phi.
Цена для физ. лица варьируется в зависимости от наличия газа в квартире, от типа счетчика.
Для промышленных потребителей есть куча норм (по сути лимитов) при выходе за которые штрафуют: перекос фаз, низкий cos \phi.
Однако, если бы при этом были бы нормальные законодательные требования по качеству поставляемого электричества, то нередко оно было бы вообще бесплатным :)
А аналогий с перекосом фаз и cos(f) для телекомов похоже нет, так как телекомам не нравится сам факт прокачки трафика, а что трафик торрентов, что трафик ютуба, что трафик еще какой-нибудь при одинаковых объемах воздействует на сеть практически одинаково (про pps я в курсе, но этим часто можно пренебречь).
А аналогий с перекосом фаз и cos(f) для телекомов похоже нет, так как телекомам не нравится сам факт прокачки трафика, а что трафик торрентов, что трафик ютуба, что трафик еще какой-нибудь при одинаковых объемах воздействует на сеть практически одинаково (про pps я в курсе, но этим часто можно пренебречь).
Насчёт PPS спорное утверждение. Достаточно вспомнить активацию uTP в режиме по-умолчанию несколько лет назад для uTorrent, и как от этого взвыли многие операторы, после чего побежали настраивать всякие rate-limiters и покупать новые маршрутизаторы.
Операторам не нравится другое — что их начинают использовать тупо как транспорт для различных OTT-сервисов. Разумеется, они хотят на этом заработать. Достаточно вспомнить недавний скандал во Франции когда выяснилось, что Orange берёт деньги с гугла за передачу трафика.
Операторам не нравится другое — что их начинают использовать тупо как транспорт для различных OTT-сервисов. Разумеется, они хотят на этом заработать. Достаточно вспомнить недавний скандал во Франции когда выяснилось, что Orange берёт деньги с гугла за передачу трафика.
Да, скачек PPS из-за uTP пожалуй действительно был хороший, но история показывает, что такие по сути баги в пользовательском софте не часты.
Ошибаетесь. Операторам не нравится, что их используют для передачи трафика. А все остальное лишь прикрытие диких наценок на остальные виды услуг, которые естественно не нравятся клиентам и в результате чего клиенты отказываются от услуг с завышенными ценами.
Скандал то был, но не о том. Когда ложечки нашлись, то оказалась, что у Orange и Google есть прямой пиринг, за который все-же принято платить, если нет иных договоренностей.
Операторам не нравится другое — что их начинают использовать тупо как транспорт для различных OTT-сервисов.
Ошибаетесь. Операторам не нравится, что их используют для передачи трафика. А все остальное лишь прикрытие диких наценок на остальные виды услуг, которые естественно не нравятся клиентам и в результате чего клиенты отказываются от услуг с завышенными ценами.
Достаточно вспомнить недавний скандал во Франции когда выяснилось, что Orange берёт деньги с гугла за передачу трафика.
Скандал то был, но не о том. Когда ложечки нашлись, то оказалась, что у Orange и Google есть прямой пиринг, за который все-же принято платить, если нет иных договоренностей.
Тут сравнение не корректно. Более правильное сравнение это когда у всех нет счетчиков и один из ваших соседей подключил цех металлообработки как физическое лицо. В результате он начинает выжирать электричества как сто обычных людей с пылесосами, а платит он столько же сколько вы. Чтобы такой ситуации не происходило, энергетики во первых ограничивают входную мощность которую можно забрать как физическое лицо, во вторых ставят счетчики.
Позвольте с Вами не согласиться!
Именно провайдер в своем тарифе написал, что дает мне полосу в 100500 *бит/с, а не клиент.
В прямой аналогии, это значит, что оба соседа купили полосу в 100500А, 220В, а уж сколько из нее тянуть решают сами. Если в случае, когда кто-то начал тянуть всю описанную в договоре мощность, а если электросеть от этого навернулась, то единственный, кто тут виноват — это поставщик, который не смог обеспечить доставку до потребителя всех услуг, прописанных мало того, что в договоре, так еще и в договоре, который был составлен полностью поставщиком по своему желанию.
Несколько лет назад у нас на даче на линии поставщика электричества произошел большой бабах из-за каких-то проблем в месте стыка линии и подстанции, суть которого, что этот стык не смог передать ту мощность, которая была продана потребителям. Так вот, поставщик электричества ремонтировался за свой счет, а не стал бегать за клиентами и говорить, какие они плохие, что потребляют столько, за сколько заплатили по договору.
Именно провайдер в своем тарифе написал, что дает мне полосу в 100500 *бит/с, а не клиент.
В прямой аналогии, это значит, что оба соседа купили полосу в 100500А, 220В, а уж сколько из нее тянуть решают сами. Если в случае, когда кто-то начал тянуть всю описанную в договоре мощность, а если электросеть от этого навернулась, то единственный, кто тут виноват — это поставщик, который не смог обеспечить доставку до потребителя всех услуг, прописанных мало того, что в договоре, так еще и в договоре, который был составлен полностью поставщиком по своему желанию.
Несколько лет назад у нас на даче на линии поставщика электричества произошел большой бабах из-за каких-то проблем в месте стыка линии и подстанции, суть которого, что этот стык не смог передать ту мощность, которая была продана потребителям. Так вот, поставщик электричества ремонтировался за свой счет, а не стал бегать за клиентами и говорить, какие они плохие, что потребляют столько, за сколько заплатили по договору.
Именно провайдер в своем тарифе написал, что дает мне полосу в 100500 *бит/с, а не клиент.
Сходите внимательно почитайте договор. Там четко написано что скорость ДО 100500 *бит/с.
А еще у многих буржуйских и наших провайдеров указан объем в месяц после которой провайдер ужимает вашу полосу до меньших значений к примеру с 10 мбит до 512кбит.
В прямой аналогии, это значит, что оба соседа купили полосу в 100500А, 220В, а уж сколько из нее тянуть решают сами.
Неа. В прямой аналогии там будет указано с возможными пиковыми нагрузками до 100500А. А не постоянная величина.
единственный, кто тут виноват — это поставщик, который не смог обеспечить доставку до потребителя всех услуг, прописанных мало того, что в договоре,
Единственный кто виноват это вы так-как не внимательно прочитали договор. В котором четко указано что скорость стоит ДО.
Несколько лет назад у нас на даче на линии поставщика электричества произошел большой бабах из-за каких-то проблем в месте стыка линии и подстанции, суть которого, что этот стык не смог передать ту мощность, которая была продана потребителям.
Это совсем другая история. А вот если бы кто-то не взирая на предписания перегрузил подстанцию, то платил бы он. В случае клиента утилизирующего 100% полосы это как раз про это. Но так-как так сложился рынок да и в целом количество таких людей невелико, провайдеры для улучшения жизни остальных вводит DPI и немного ухудшает жизнь тем кто утилизирует 100% полосы.
Единственный кто виноват это вы так-как не внимательно прочитали договор. В котором четко указано что скорость стоит ДО.
Да? Тогда все еще хуже для поставщика. Так как я то хочу получить цифру, которая укладывается в лимит, а поставщик не может ее отдать.
На счет лимита, то да у меня в договоре он тоже есть, но я просто плачу 60р сверху за снятие этого лимита, так как иногда мне приходится перекачивать большие объемы данных дома и я не хочу получить после этого снижения скорости. Вот по статистике за прошлый год это было целых 2 раза, а все остальное время я и половины лимита не выбирал.
Это совсем другая история. А вот если бы кто-то не взирая на предписания перегрузил подстанцию, то платил бы он. В случае клиента утилизирующего 100% полосы это как раз про это.
С учетом того, что была поздняя осень и очень многие топили электричеством, потребление было сильно ближе к зимнему максимуму. Так что клиенты то утилизировали, за что платили, поставщик локально не справился, но за перегруз подстанции это засчитано не было, ибо в договоре написано что могут потреблять столько, а поставщик не смог столько обеспечить.
Так что если в договоре написано до 32Мбит/с, то любая моя попытка прокачивать трафик на скоростях до 32Мбит/с не будет нарушением договора. Даже если я буду пытаться передать 31,999Мбит/с. И невозможность это обеспечить в своих сетях это проблема провайдера (да, конечные источники трафика конечно же могут и не осиливать такой поток данных).
Так как я то хочу получить цифру, которая укладывается в лимит, а поставщик не может ее отдать.
Интересно каким образом поставщик может дать вам 10 мбит из мазамбика где максимальная скорость линии 512кбит? Он волшебник?
Вот по статистике за прошлый год это было целых 2 раза, а все остальное время я и половины лимита не выбирал.
На этом и базируется продажа вам интернета по указанной вам в договоре скорости. И причем для тех кто не утилизирует 100% полосы DPI дает только плюсы.
Так что если в договоре написано до 32Мбит/с, то любая моя попытка прокачивать трафик на скоростях до 32Мбит/с не будет нарушением договора.
Фишка именно в условиях до. К примеру провайдер может в часы ЧНН зарезать торренты в результате у вас будет отлично показывать видео быстро открываться страницы, но несколько хуже качаться торренты. А так-как торренты это довольно большой объем трафика в сети провайдера то это позволяет улучшить качество сервиса и контролировать его.
На самом деле, сейчас есть тенденция по удалению ДО из договора. Сейчас просто под многочисленными звездочками и сносочками указывают, что скорость эта до шлюза оператора.
Интересно каким образом поставщик может дать вам 10 мбит из мазамбика где максимальная скорость линии 512кбит? Он волшебник?
Пожалуйста, читайте мои сообщения полностью. Чуть ниже же написано, что должен делать провайдер в этом случае.
И причем для тех кто не утилизирует 100% полосы DPI дает только плюсы.
А я вижу только минусы. Нельзя давать автомат «обезьянам».
А так-как торренты это довольно большой объем трафика в сети провайдера
И что? А если я свои 32Мбита котиками с ютуба буду забивать, то это значит что уже и http резать будет нормально?
К примеру провайдер может в часы ЧНН зарезать торренты в результате у вас будет отлично показывать видео быстро открываться страницы, но несколько хуже качаться торренты.
Вы же понимаете, что провайдер будет делать не это, а выдавливать те сервисы, которые конкурируют с его услугами. Вот ниже приводили пример, где главная задача — резать скайп, чтобы клиенты покупали голосовые услуги по многократно завышенным ценам.
А я вижу только минусы. Нельзя давать автомат «обезьянам».
Фишка в том что сетевой нейтралитет при этом не является панацеей. «провайдеры должны делать толще uplink» вы в курсе что цена оборудования для обеспечения все больших и больших скоростей начинает расти в геометрической прогрессии?
И что? А если я свои 32Мбита котиками с ютуба буду забивать, то это значит что уже и http резать будет нормально?
Интересно как вы это сделаете? :) Будете смотреть котиков в 4k разрешении? :)
Вы же понимаете, что провайдер будет делать не это, а выдавливать те сервисы, которые конкурируют с его услугами.
Далеко не у всех провайдеров есть «свои» услуги. К тому же ничто не мешает провайдеру продавать улучшенное качество доступа к тем или иным сервисам. В загнивающей америке такое уже есть.
вы в курсе что цена оборудования для обеспечения все больших и больших скоростей начинает расти в геометрической прогрессии?
У меня несколько другие сведения. Все подешевле будет, чем в геометрических прогрессиях и не всегда расширение потребует нового оборудования.
Интересно как вы это сделаете? :) Будете смотреть котиков в 4k разрешении? :)
На всех имеющихся устройствах :)
Все подешевле будет, чем в геометрических прогрессиях и не всегда расширение потребует нового оборудования.
Да ладно? Вот есть 1Гбит, 10Гбит, 40Гбит, 100Гбит. Там вполне наличествует геометрическая прогрессия. Причем количество трафика все растет и растет. Так что вот с моей точки зрения те же торренты стоит обрабатывать только по остаточному принципу.
Каким образом различные вендоры предлагают встраивать DPI? Я имею ввиду, где логически и физически расположен комплекс?
Как правило, физически DPI размещается либо на границе сети оператора (перед или после ASBR), либо сразу после коробки, выполняющей роль BRAS.
Вопрос про логику немного не понял, что имелось в виду?
Вопрос про логику немного не понял, что имелось в виду?
логически — с какими подсистемами ему нужно взаимодействовать?
Всё зависит от характера задачи.
1. Как правило, все делают взаимодействие с NTP-сервером, а также сборником SNMP-пробов и Syslog-сообщений. Иногда — с почтовым сервером для рассылки информационных писем о состоянии комплекса.
2. Если требуется интеграция с биллингом, то, очевидно, необходимо осуществлять взаимодействие с существующей OSS/BSS системой оператора. Интерфейсы могут быть самые разные — RADIUS, DHCP, SOAP, JSON, Gx, Gy и другие.
3. Если необходимо обеспечить видимость BGP AS Path, то нужно делать BGP-стык с операторским ASBR.
4. Если необходимо сливать статистику во внешнее хранилище, то требуется связка с внешним хранилищем.
1. Как правило, все делают взаимодействие с NTP-сервером, а также сборником SNMP-пробов и Syslog-сообщений. Иногда — с почтовым сервером для рассылки информационных писем о состоянии комплекса.
2. Если требуется интеграция с биллингом, то, очевидно, необходимо осуществлять взаимодействие с существующей OSS/BSS системой оператора. Интерфейсы могут быть самые разные — RADIUS, DHCP, SOAP, JSON, Gx, Gy и другие.
3. Если необходимо обеспечить видимость BGP AS Path, то нужно делать BGP-стык с операторским ASBR.
4. Если необходимо сливать статистику во внешнее хранилище, то требуется связка с внешним хранилищем.
Как правило как минимум взаимодействует с биллингом чтобы определять что это за пользователь. DPI кроме аа мы им все порежем еще мощный инструмент изучения какой трафик используется в сети и кем. За счет этого можно правильно крутить приоритеты и ограничения у различных видов трафика улучшая сервис. Я думаю что к примеру если у вас торрент вместо 10 минут будет качаться 20 минут, то трагедии большой не будет. А вот если skype будет заикаться и видео будет сыпаться, то трагедия будет.
Подскажите, а если реализуют к примеру какой-то протокол HTTP 1/2 в котором будет что-то вроде рукопожатие при котором сервер и клиент договариваются о том в каких заголовках будет передаваться например Host или в каком формате и заголовке будет передан REQUEST_URI, насколько это усложнит работу DPI оборудования?
Хороший вопрос. DPI — функционал полностью софтовый, никаких ASIC, работающих с тем или иным приложением, разумеется, нет. Так что в описанной задаче не вижу ничего экстраординарного. Очевидно, немного вырастет нагрузка на процессоры, т.к. код сигнатуры будет более хитрым, но не более того.
Софтовый DPI как выглядит у разных вендоров? Блейды или стоечные серверы? Какое железо, какая ОСь? Сколько абонентов\сессий\трафика может держать один сервер\блейд?
It depends. Для решений попроще используют сервера, произведённые на заказ, а не просто банальный OEM. Железо — ничего экстраординарного, 1-2 Intel Xeon или что-то типа того, вагон оперативной памяти (до 48 гиг), жёсткий диск для системы/статистики, да сетевые адаптеры. Ось везде проприетарная, но всё linux-based.
Для крупных решений, как правило, используют промышленное ATCA-шасси в 12-14 RU. Там уже интересней — XLR, либо топовые Xeon и 48 гиг оперативной памяти. Вот пример одного из модулей, который, не напрягаясь, обрабатывает 10Gbit/s FDX трафика и держит порядка 12М соединений www.advantech.com/products/MIC-5322/mod_153217A2-B675-495A-B607-06CB2C59857A.aspx
Для крупных решений, как правило, используют промышленное ATCA-шасси в 12-14 RU. Там уже интересней — XLR, либо топовые Xeon и 48 гиг оперативной памяти. Вот пример одного из модулей, который, не напрягаясь, обрабатывает 10Gbit/s FDX трафика и держит порядка 12М соединений www.advantech.com/products/MIC-5322/mod_153217A2-B675-495A-B607-06CB2C59857A.aspx
Много статей про DPI, в разных говорят, что он может с L2, в других с L3 колбасить траффик. Как правильно?
С точки зрения окружающих DPI устройств, он работает в прозрачном режиме, с точки зрения L2 DPI невидим. Есть несколько кейсов, когда коробка начинает интерактивно общаться с пользователем, но это частные случаи.
Если вопрос был про инкапсуляцию, с которой умеет работать DPI, то, как правило, это могут быть как голый Ethernet, так и dot1q, Q-in-Q, MPLS, GRE, PPPoE, 6in4, причём с разными уровнями вложенности.
Что понимается под «колбасить трафик»? Если вы корректно зададите вопрос, я смогу на него ответить:)
Если вопрос был про инкапсуляцию, с которой умеет работать DPI, то, как правило, это могут быть как голый Ethernet, так и dot1q, Q-in-Q, MPLS, GRE, PPPoE, 6in4, причём с разными уровнями вложенности.
Что понимается под «колбасить трафик»? Если вы корректно зададите вопрос, я смогу на него ответить:)
---С точки зрения окружающих DPI устройств, он работает в прозрачном режиме, с точки зрения L2 DPI невидим. Есть несколько кейсов, когда коробка начинает интерактивно общаться с пользователем, но это частные случаи.
а можно примеры из жизни, или пару кейсов?
ЗЫ: окружающие устройства — это кто?
а можно примеры из жизни, или пару кейсов?
ЗЫ: окружающие устройства — это кто?
Тоже занимаюсь решениями DPI, правда больше специализируюсь на оборудовании одного из вендоров.
Отличная статья! Все по делу и доступно.
Отличная статья! Все по делу и доступно.
Расскажите про самую «большую» инсталяцию, на каком вендоре сделана, что умеет?
Самая большая инсталляция на данный момент насчитывает порядка 10 шасси, работающих с трафиком суммарной ёмкостью порядка 350Gbps и разнесённых по разным точкам и работающих под единым управлением. Шейпит торренты, ухудшает Skype Out и SIP, радует маркетинг заказчика красивыми отчётами и даёт им громадное поле для формирования корректной тарифной политики. Блокирует нехорошие ресурсы, отводит часть трафика в сторону VAS-коробок, ничего невероятного оборудование не делает. Произведена интеграция с OSS/BSS системой, что позволяет предоставлять персонализированные сервисы и рисовать интересные статистические отчёты. Из интересного на данный момент могу отметить разве что турбокнопку, но потенциал заложен очень приличный.
Как выглядит для конечного пользователя 'ухудшение Skype Out'? Лаг в беседе? понижение ширины канала и как следствие понижение битрейта?
Именно так. Битрейт снижается до некомфортного уровня, после чего грустный пользователь идёт пользоваться слугами традиционной телефонии, либо SIP-шлюзом хитрого провайдера.
или услугами другого провайдера.
Да, например так. Но в какой-то момент случится так, что все провайдеры примут общие правила игры и будут действовать одинаково. Пользователи будут загнаны в тупик.
{% block irony %}
А вообще да это действительно трагедия, пользователи утилизирующие большую часть замечу «оплаченного»(это важно) канала становятся для оператора экономически нецелесообразными,
{% endblock %}
>>т.к. уйдут самые активные качальщики, из-за которых оператор вынужден каждый месяц платить немаленькую сумму за аплинки.
Т.е уйдут люди утилизирующие свой канал. А вот останутся ли те кто платит за интернет для «Скайпа родственникам дешевле звонить», «Вконтакте для школьников с видео и музыкой», «Ютуб для разбора полётов авторегистраторов и владельцев оных на просторах необъятной с обязательными комментариями» большой вопрос.
Средний пользователь не только серфит страницы как было скажем лет 7 назад, он начал смотреть видео, общаться в видеочатах, пользоваться Skypeом качает фильмы наверное, В общем улучшает свой досуг. В какой то мере вопрос досуга решает IPTV но увы, не получением контента единым.
Если интернет не работает, не выполняет возложенные на него функции, пользователю не важно кто там и что шейпит, он не понимает почему раньше все работало и он платил меньше, а теперь все не работает и он должен платить больше при том за то что раньше было доступно и так.
Я надеюсь антимонопольные комитеты развитых стран увидят в этом наконец сговор с целью получения сверхприбылей и монополизацию интернет пространств, а не банальное нам каналов не хватает потому что мы разрешили качать пользователям много надеясь на то что они будут качать мало.
Спасибо автору, статья получилась весьма неплохая и намечает довольно четко, вектор движения наших дорогих ISP.
P.s То что товарищи из ISP в погоне за сверхприбылями не закладывали в тарифы абсолютные цифры объёмов, закладывая текущие показатели ± сезонные перепады, и экстраполируя не учитывая изменения масштабов нагрузки и развития интернета, пример лишь скудоумия, и почему в конце концов из-за жадности ISP, пользователи должны оплачивать их хотелки из своего кармана мне увы не ясно.
P.p.s «На воре и шапка горит» но это не так, я не такой яростный нагружатель каналов как может показаться, пользуюсь torrentом для закачки Linux дистрибутивов, за прошлый год всего около 200 гигабайт вышло по трафику это YouTube, Steam, Pandora, Skype, Gmail Talk, Dropbox, пакеты дистры и обновления к ним, но то к чему мы друзья движемся меня искренне пугает.
А вообще да это действительно трагедия, пользователи утилизирующие большую часть замечу «оплаченного»(это важно) канала становятся для оператора экономически нецелесообразными,
{% endblock %}
>>т.к. уйдут самые активные качальщики, из-за которых оператор вынужден каждый месяц платить немаленькую сумму за аплинки.
Т.е уйдут люди утилизирующие свой канал. А вот останутся ли те кто платит за интернет для «Скайпа родственникам дешевле звонить», «Вконтакте для школьников с видео и музыкой», «Ютуб для разбора полётов авторегистраторов и владельцев оных на просторах необъятной с обязательными комментариями» большой вопрос.
Средний пользователь не только серфит страницы как было скажем лет 7 назад, он начал смотреть видео, общаться в видеочатах, пользоваться Skypeом качает фильмы наверное, В общем улучшает свой досуг. В какой то мере вопрос досуга решает IPTV но увы, не получением контента единым.
Если интернет не работает, не выполняет возложенные на него функции, пользователю не важно кто там и что шейпит, он не понимает почему раньше все работало и он платил меньше, а теперь все не работает и он должен платить больше при том за то что раньше было доступно и так.
Я надеюсь антимонопольные комитеты развитых стран увидят в этом наконец сговор с целью получения сверхприбылей и монополизацию интернет пространств, а не банальное нам каналов не хватает потому что мы разрешили качать пользователям много надеясь на то что они будут качать мало.
Спасибо автору, статья получилась весьма неплохая и намечает довольно четко, вектор движения наших дорогих ISP.
P.s То что товарищи из ISP в погоне за сверхприбылями не закладывали в тарифы абсолютные цифры объёмов, закладывая текущие показатели ± сезонные перепады, и экстраполируя не учитывая изменения масштабов нагрузки и развития интернета, пример лишь скудоумия, и почему в конце концов из-за жадности ISP, пользователи должны оплачивать их хотелки из своего кармана мне увы не ясно.
P.p.s «На воре и шапка горит» но это не так, я не такой яростный нагружатель каналов как может показаться, пользуюсь torrentом для закачки Linux дистрибутивов, за прошлый год всего около 200 гигабайт вышло по трафику это YouTube, Steam, Pandora, Skype, Gmail Talk, Dropbox, пакеты дистры и обновления к ним, но то к чему мы друзья движемся меня искренне пугает.
Спасибо за суммаризацию и за то, что увидели истинный подтекст в статье.
Я вас расстрою. nag.ru/articles/article/22741/itu-standartizirovalo-konets-interneta-ili-skaz-pro-dpi.html
ITU рассматривает решение о включении DPI в стандарты сетей.
Опять же 5% пользователей от общей абонентской базы генерируют до 90% трафика в сети провайдера. Тупо за счет 100% утилизации своего линка все время. И ни о каких сверхприбылях речь не идет. Просто если провайдер будет резервировать свой линк с расчетом что каждый его пользователь может утилизировать его постоянно на 100%, то стоимость связи вырастет до астрономических цифр.
Вы для интереса узнайте сколько стоит хотя бы в пределах города купить канал связи в 2 мегабита из точки а в точку б. Вы будете неприятно удивлены. Хотя если вы купите банальное подключение и будете гонять трафик через сеть провайдера при помощи VPN то все будет как-то существенно дешевле.
А людей утилизирующих на 100% свой канал будут активно зажимать, они будут платить все больше и больше. Для тяжелого же контента типа видео, все активнее используют локальные проксирующие сервисы. Чтобы тот же youtube не жрал полосу которую можно утилизировать чем-то более полезным.
ITU рассматривает решение о включении DPI в стандарты сетей.
Опять же 5% пользователей от общей абонентской базы генерируют до 90% трафика в сети провайдера. Тупо за счет 100% утилизации своего линка все время. И ни о каких сверхприбылях речь не идет. Просто если провайдер будет резервировать свой линк с расчетом что каждый его пользователь может утилизировать его постоянно на 100%, то стоимость связи вырастет до астрономических цифр.
Вы для интереса узнайте сколько стоит хотя бы в пределах города купить канал связи в 2 мегабита из точки а в точку б. Вы будете неприятно удивлены. Хотя если вы купите банальное подключение и будете гонять трафик через сеть провайдера при помощи VPN то все будет как-то существенно дешевле.
А людей утилизирующих на 100% свой канал будут активно зажимать, они будут платить все больше и больше. Для тяжелого же контента типа видео, все активнее используют локальные проксирующие сервисы. Чтобы тот же youtube не жрал полосу которую можно утилизировать чем-то более полезным.
что за провайдер? ;)
А внутри VPN DPI не работает, верно? Соответственно, завернув пакеты в VPN, можно избавиться от DPI?
В простейшем случае — да, всё верно, это самый надёжный способ уйти из-под контроля DPI. Однако есть два соображения:
1. Есть методики, позволяющие использовать поведенческие модели анализа трафика применительно к данным, живущим в туннеле. Точность, конечно, хромает, но методики существуют.
2. Провайдер может банально зарубить возможность использования VPN, либо сильно ограничить действия пользователя в плане скорости. Это, конечно, крайняя мера, но держать в голове это надо.
1. Есть методики, позволяющие использовать поведенческие модели анализа трафика применительно к данным, живущим в туннеле. Точность, конечно, хромает, но методики существуют.
2. Провайдер может банально зарубить возможность использования VPN, либо сильно ограничить действия пользователя в плане скорости. Это, конечно, крайняя мера, но держать в голове это надо.
В последнем случае провайдер точно будет идти лесом…
Если я увижу что мои окружающие провайдеры начнут ограничивать и 'сыпать какашки' в такие популярные вещи как скайп, то я приму все возможные усилия чтобы насолить им… понятно что я один могу не много, но я и мое окружение, а так же те кто просит у меня совета (таких не то чтобы много, но не пара человек), точно будет голосовать рублем.
Если я увижу что мои окружающие провайдеры начнут ограничивать и 'сыпать какашки' в такие популярные вещи как скайп, то я приму все возможные усилия чтобы насолить им… понятно что я один могу не много, но я и мое окружение, а так же те кто просит у меня совета (таких не то чтобы много, но не пара человек), точно будет голосовать рублем.
А что мешает провайдеру ваш VPN относить к типу трафика «мусор» и обрабатывать его в последнюю очередь? :]
Как построить тоталитаризм с выгодой?
1) Создать компанию занимающуюся внедрением DPI
2) Предложить чиновникам опционы за лоббирование закона об обязательном внедрении DPI на уровне провайдеров
3) PROFIT!
Просто потрясает какие деньги можно заработать при такой стоимости технологии. Самое обидное, что эти затраты лягут на плечи обычных граждан, которые о детской порнографии и наркотиках узнают в основном благодаря эффекту Барбары Стрейзанд.
1) Создать компанию занимающуюся внедрением DPI
2) Предложить чиновникам опционы за лоббирование закона об обязательном внедрении DPI на уровне провайдеров
3) PROFIT!
Просто потрясает какие деньги можно заработать при такой стоимости технологии. Самое обидное, что эти затраты лягут на плечи обычных граждан, которые о детской порнографии и наркотиках узнают в основном благодаря эффекту Барбары Стрейзанд.
Интересно. А теоретически можно использовать DPI в качестве несигнатурного анализатора? Некая смесь эвристики и доп. контролируемых характеристик потока трафика. Насколько масштабируема система с точки зрения навешивания доп функционала? И я так понял использовать внутри LAN не получится, только как шлюз?
Теоретически — разумеется, ведь DPI, по сути, это всего лишь мощный сервер. Железо весьма производительное, мне не удавалось добиться загрузки процессоров, занятых обработкой трафика, более чем на 40%, запас прочности ещё есть.\
Что касается LAN, то да, вы правы. DPI ставится в режиме inline относительно того трафика, который ему подлежит проанализировать и обработать.
Что касается LAN, то да, вы правы. DPI ставится в режиме inline относительно того трафика, который ему подлежит проанализировать и обработать.
Вопрос не совсем к автору, но всё же интересно его мнение, как причастного, по поводу «зарубания» HTTPS, VPN и прочего подобного.
Как известно, интернет-торговля развивается (на Западе и в Китае, как минимум). Развивается и удалённая работа (на Западе точно). И то, и другое требует шифрованных каналов, во всяком случае, я не встречал контору, которая позволит удалённо работать через telnet, как и человека, который номер кредитки пошлёт по HTTP. Как это может повлиять на желание операторов давить шифрованный трафик? Если задавят — это резко затормозит интернет-торговлю и работу (в тех же операторах зачастую). Если не задавят — мешает DPI.
Выходит, не так уж и полезно шейпить всё подряд, экономя канал?
Как известно, интернет-торговля развивается (на Западе и в Китае, как минимум). Развивается и удалённая работа (на Западе точно). И то, и другое требует шифрованных каналов, во всяком случае, я не встречал контору, которая позволит удалённо работать через telnet, как и человека, который номер кредитки пошлёт по HTTP. Как это может повлиять на желание операторов давить шифрованный трафик? Если задавят — это резко затормозит интернет-торговлю и работу (в тех же операторах зачастую). Если не задавят — мешает DPI.
Выходит, не так уж и полезно шейпить всё подряд, экономя канал?
Собственно, великий китайский фаервол именно это и делает для международного трафика. В этом случае выход будет только один — делать официальный запрос к регулятору/оператору на открытие возможности использования шифрованных каналов связи с объяснением причин. Не думаю, что до такой меры в принципе может дойти, но чёрт его знает.
А вот объясните мне пожалуйста, в чем смысл применения DPI для оптимизации загрузки аплинков? Не дешевле просто аплинки расширять?
В России пока дешевле, поэтому и не торопятся покупать DPI
Если смотреть на задачу в лоб, то на сегодняшний день в России, как правило, апгрейд аплинков обходится дешевле установки DPI.
Однако. DPI может очень здорово помочь с управлением трафиком во время возникновения нештатной ситуации на сети, к примеру, во время отвала одного или нескольких аплинков когда на оставшихся аплинках начинаются перегрузки. DPI позволит выстроить приоритеты таким образом, чтобы подавляющая часть пользователей не заметила факта аварии в принципе. Заметят её только качальщики, т.к. их трафик будет подавляться как низкоприоритетный, но таких клиентов, как мы знаем, порядка 5%.
Также DPI позволяет наблюдать за тенденциями изменения структуры трафика на границе сети и делать её апгрейд более правильным, корректно расставляя акценты.
Если посмотреть на сети мобильных операторов, то для них контроль полосы по приложениям является способом выживания. Не секрет, что каждая БС имеет свой лимит по производительности, и всегда существует вероятность съедания всей полосы одним особо активным абонентом, что, в конечном счёте, ведёт к деградации сервиса у остальных клиентов. При помощи зарезания трафика тех же P2P сетей на границе сети мобильщик серьёзным образом может снизить загрузку своих драгоценных БС.
Однако. DPI может очень здорово помочь с управлением трафиком во время возникновения нештатной ситуации на сети, к примеру, во время отвала одного или нескольких аплинков когда на оставшихся аплинках начинаются перегрузки. DPI позволит выстроить приоритеты таким образом, чтобы подавляющая часть пользователей не заметила факта аварии в принципе. Заметят её только качальщики, т.к. их трафик будет подавляться как низкоприоритетный, но таких клиентов, как мы знаем, порядка 5%.
Также DPI позволяет наблюдать за тенденциями изменения структуры трафика на границе сети и делать её апгрейд более правильным, корректно расставляя акценты.
Если посмотреть на сети мобильных операторов, то для них контроль полосы по приложениям является способом выживания. Не секрет, что каждая БС имеет свой лимит по производительности, и всегда существует вероятность съедания всей полосы одним особо активным абонентом, что, в конечном счёте, ведёт к деградации сервиса у остальных клиентов. При помощи зарезания трафика тех же P2P сетей на границе сети мобильщик серьёзным образом может снизить загрузку своих драгоценных БС.
Нет не дешевле. Смотрите вот у вас есть 5% пользователей которые генерируют 80-90% трафика. И этот трафик торренты. Остальные генерируют меньше. В случае приближения утилизации канала к 100% я к примеру могу до расширения аплинка предварительно задавить торренты. В результате пострадают 5% пользователей, да и то незначительно. Зато остальным можно будет предоставить качественный сервис, так-как трафик торрентов не будет им мешать.
Я так скажу — мне не приходилось сталкиваться с такими пользователями, хотя число абонентов уже относительно солидное. Ну смотрите, средний канал у пользователя примерно 20 мегабит и это в моем Замкадье. Что должен делать пользователь, чтобы его круглосуточно и 100% утилизировать? Смотрит хд на ютьюбе? Решается установкой гугловой кешировалки. Активно использует контактик? Решается пирингом с ними. Качает торренты? Большая часть проблемы решается ретрекером, при тысячах 30+ абонентов в локалке есть практически все популярные релизы. Окей, допустим он качает что-то уникальное и тяжелое, но он все равно не может делать это постоянно =)
Если утилизация аплинков приближается к 100%, то это факап и решать его нужно не ухудшением жизни для некоторых, а улучшением для всех.
Если утилизация аплинков приближается к 100%, то это факап и решать его нужно не ухудшением жизни для некоторых, а улучшением для всех.
Качает торренты причем BDRemux, причем постоянно и из буржуйских интернетов ;) Ну есть такие. Их мало но тем неменее.
Ну вообще когда утилизация приближается к 80% уже надо бегать. Но вы же отлично знаете раз и вот вам толстый линк не сразу может получиться. А DPI даст дополнительное пространство для маневра. Если аккуратно прижать торренты, то клиенты этого могут вообще не заметить. А в случае если это давится DPI то обнаружить это очень сложно.
Если утилизация аплинков приближается к 100%, то это факап и решать его нужно не ухудшением жизни для некоторых, а улучшением для всех.
Ну вообще когда утилизация приближается к 80% уже надо бегать. Но вы же отлично знаете раз и вот вам толстый линк не сразу может получиться. А DPI даст дополнительное пространство для маневра. Если аккуратно прижать торренты, то клиенты этого могут вообще не заметить. А в случае если это давится DPI то обнаружить это очень сложно.
А куда он их качает? У него там что, многотерабайтный рейд? Или он просто ради процесса?
Что дает дополнительное пространство для маневра, так это 2 лямчика, которые стоит DPI. =) Да, бывает ситуация, когда нельзя расшириться «вот прям щас» и даже в течение месяца, но именно это и есть ошибка проектирования/факап, которую способны оперативно решить сэкономленные два ляма.
Ну вообще когда утилизация приближается к 80% уже надо бегать. Но вы же отлично знаете раз и вот вам толстый линк не сразу может получиться. А DPI даст дополнительное пространство для маневра.
Что дает дополнительное пространство для маневра, так это 2 лямчика, которые стоит DPI. =) Да, бывает ситуация, когда нельзя расшириться «вот прям щас» и даже в течение месяца, но именно это и есть ошибка проектирования/факап, которую способны оперативно решить сэкономленные два ляма.
На диски пишет он их пишет ;)
SCE 2020 стоит вполне умеренных денег.
Что дает дополнительное пространство для маневра, так это 2 лямчика, которые стоит DPI.
SCE 2020 стоит вполне умеренных денег.
Ну давайте вопрос поставим по-глупому: купив SCE 2020 и зафильтровав торренты на 4 гигабитах аплинка ( что по нынешним временам очень мало ), сколько полосы я освобожу для других целей?
Зависит от того насколько сурово будете шейпить. По статистике 60-80% трафика это торренты. Безболезненно зажать вы можете на 20-40%.
Если речь о входящем трафике, то картина иная. Если есть большая внутренняя сеть с ретрекером, и нет пиринга с тем же кэшем от youtube или контактом, то 40-50% от входящего трафика честно отжирает потоковое видео. На выход да, процентов 60-80 это P2P сети. Разумеется, надо держать в голове, что у среднестатистического оператора, входящий трафик по объёмам достаточно сильно превышает исходящий.
Покажите мне хоть одного ШПД оператора, где DPI принес денег.
Вопрос не автору а скорее комменаторам: насколько законно то что провайдет портит пользователю использование каких-то определенных программ или протоколов, таких как skype, torrent VPN и прочие? Как это соотносится с тем что оператор связи не может вмешиватся в поток данных от пользователя?
Пока не принят сетевой нейтралитет, оператор может делать всё (в пределах существующего законодательства), что захочет, если иное не описано в договоре, который абонент заключает с оператором. Иначе говоря, на сегодняшний день нигде не описано, что оператор не имеет право блокировать скайп. Это скотство, но это так.
Сразу возникает встречный вопрос — а как доказать, что провайдер действительно что-то портит? =)
Профессиональный взгляд. Но DPI это не только шейпинг.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Краткий обзор технологии DPI — Deep Packet Inspection