Туннелирование в открытый протокол с изменением типа контента для преодоления фильтра DPI
Invite pending
Уже некоторое время наблюдаю активность на хабре по поводу тотального введения DPI (Deep Packet Inspection) одни восторгаются, habrahabr.ru/post/111054 какая это замечательная система и что у них наконец появился рычажок за который можно подергать.
В общем то не понимая, что этим они разрушают систему передачи информации.
Другие активно ищут пути обхода, от перехода в скрытносети, до построения альтернативного Internet 2.0. А спрашивается, что делать с оставшимся обрубком от ранее существовавшей глобальной сети, можно ли будет продолжать передавать файлы в условиях когда всё находится под колпаком.
Предположим что DPI настолько суров что блокирует любую передачу кроме стандартных протоколов, чего в реальности конечно не будет. Технически заблокировать можно все что угодно, вплоть до принципа, что не понял блокирую, и первым взвоет весь геймдев от мала до велика, которому серпом по … ну вы поняли.
Идея собственно не нова, она еще со старых времен, когда компьютеры были большими.
DPI это Packet Inspection те если я порублю видеофайл на куски по 2-30Мбайт и буду передавать их по стандартному протоколу http обозвав imgN.jpg, могу даже jpg заголовки имитировать, инспекция пакетов становится бесполезной надстройкой, карета превращается в тыкву.
Можно сделать аддон к торрент клиенту BitTorrent in http with incapsulation, что бы использовал 80 порт, имитировал http протокол и автоматом вставлял в передаваемые блоки заголовки картинки JPEG, а в EXIF еще что-нибудь прятал, допустим в геокоординаты, вроде ключей для легкого шифрования, что бы даже внутри передаваемых блоков нельзя было просто так увидеть что идет видео.
Желающие реализовать разработчики Welcome!
Сразу скажу что в принципе такой трафик естественно отслеживается на уровне уже Content Inspection, но это потребует уже совсем других средств, в статистическом плане тоже видно будет что трафик стал другим но даже не уменьшился, а возрос на 1-2% но так как выбран самый распространенный протокол и самый распространенный контент, то придется анализировать очень много трафика, надеюсь законотворцы не обяжут операторов связи приобретать квантовые компьютеры в ближайшее время.
Туннелирование в открытый протокол с изменением типа контента для преодоления фильтра DPI.
В общем, если коротко, DPI это очередной «развод на бабки» уже операторов связи, как антивирус для пользователей, вместо расширения сети, улучшения качества и пропускных способностей предлагается что-то там порезать, причем стоить это будет довольно не дешево.
А результат спорен, ибо сеть развивается настолько стремительно, что это будет только костылём.
Например, никто не говорит о задержках на обработки пакетов, если при передаче онлайн видео это не столь критично благодаря буферизации, то для игр это сущий кошмар, когда из- за таких «обработок» скорость доставки пакетов снизится до секунд, игры превратятся в покадровые шутеры.
Цитата:
80% процентов трафика в сети генерируют 5% клиентов — любителеи p2p.
бред от рекламирующего свои услуги по внедрению этих решений.
Пятиминутное «падение» Google снизило мировой трафик Сети почти вдвое
Не забываем что Google теперь это и легальный YouTube а остальные 40% это Valve Blizzard EA Microsoft и куча всякой мелочи вроде Apple и только жалкие остатки это p2p
Подтверждение: http://torrentfreak.com
Я прочел об общем увеличении шифрованного трафика SSL VPN (естественно месяц назад даже vk.com на https перешел) надо учитывать канаки раздают на всю америку, от того up 34.81% что еще раз показывает что основные пираты сидят в США, down всего 5.57% а основной прожиратель каналов местный онлайнер Netflix (которого у нас нет, но который с успехом заменяет вконтакт, из последнего в паблике у меня выпал Вор и Каникулы строгого режима, это так к слову) и YouTube, все строго соответствует тому что я писал, и я вообще не увидел данных по трафику игрового сообщества, видно миллионы пользователей steam PS XBOX выпали в те 20-30% что не показаны. из текста:
BitTorrent usage remains high in other regions as well, and highest of all in Asia-Pacific where it’s credited for 21.6% of total Internet traffic during peak hours. In Europe and Latin America this percentage is 17.4% and 10.2% respectively.
В мире 10-20% остальные 40% сервисы гугля и 40% сервисы остальных. Так что ни о какой «перегрузке» торрент трафиком речи быть не может, а вот нарождающиеся онланеры все больше и больше заставляют провайдеров беспокоиться, почему читайте:
Мосфильм выложил на своем сайте (на самом деле на YouTube) коллекцию фильмов советских времен, возьмем например «Иван Васильевич меняет профессию» в высоком разрешении 1080р у них 2.8ГБайт (квадраты на все лицо и слайдшоу), тогда как оригинал:
Видео: MPEG-4 AVC, 26.0 Мбит/с, 1920x1080, 23.976 кадр/с
Аудио: Русский (DTS-HD MA, 6 ch, 4067 Кбит/с), (AC3, 6 ch, 448 Кбит/с), (AC3, 1 ch, 224 Кбит/с) Размер: 21.13 ГБ
Если выкинуть звук, который здесь HD чисто теоретически, то получим в районе 17Гбайт не меньше и это уже сжатый видеопоток, а дальше включаем чудеса кодека по выкидыванию деталей из изображения для сжатия в шесть раз.
Далее, что бы смотреть это онлайн, надо обеспечить 2.8ГБайт за 90мин, что получается примерно 5Мбит/с поток, который должен обеспечиваться конкретно для вас на всех узлах сети, когда таких любителей набежит человек 200 они утилизируют уже гигабит магистрали, в одном направлении, без распределения и балансировки загрузки провайдеру плохеет. На торрентах трафик идет с разных мест, что автоматически распределяет загрузку каналов, раньше некоторые даже ставили ретрекер для использования локальных пиров.
Повторюсь, телега впереди лошади, знаете чем это закончится, провайдеры выступят с инициативой что сайты с онлайн видео должны будут оплачивать им исходящий трафик.
В общем то не понимая, что этим они разрушают систему передачи информации.
Другие активно ищут пути обхода, от перехода в скрытносети, до построения альтернативного Internet 2.0. А спрашивается, что делать с оставшимся обрубком от ранее существовавшей глобальной сети, можно ли будет продолжать передавать файлы в условиях когда всё находится под колпаком.
Предположим что DPI настолько суров что блокирует любую передачу кроме стандартных протоколов, чего в реальности конечно не будет. Технически заблокировать можно все что угодно, вплоть до принципа, что не понял блокирую, и первым взвоет весь геймдев от мала до велика, которому серпом по … ну вы поняли.
Идея собственно не нова, она еще со старых времен, когда компьютеры были большими.
Итак, идея
DPI это Packet Inspection те если я порублю видеофайл на куски по 2-30Мбайт и буду передавать их по стандартному протоколу http обозвав imgN.jpg, могу даже jpg заголовки имитировать, инспекция пакетов становится бесполезной надстройкой, карета превращается в тыкву.
Развитие идеи
Можно сделать аддон к торрент клиенту BitTorrent in http with incapsulation, что бы использовал 80 порт, имитировал http протокол и автоматом вставлял в передаваемые блоки заголовки картинки JPEG, а в EXIF еще что-нибудь прятал, допустим в геокоординаты, вроде ключей для легкого шифрования, что бы даже внутри передаваемых блоков нельзя было просто так увидеть что идет видео.
Желающие реализовать разработчики Welcome!
Сразу скажу что в принципе такой трафик естественно отслеживается на уровне уже Content Inspection, но это потребует уже совсем других средств, в статистическом плане тоже видно будет что трафик стал другим но даже не уменьшился, а возрос на 1-2% но так как выбран самый распространенный протокол и самый распространенный контент, то придется анализировать очень много трафика, надеюсь законотворцы не обяжут операторов связи приобретать квантовые компьютеры в ближайшее время.
Название метода
Туннелирование в открытый протокол с изменением типа контента для преодоления фильтра DPI.
PS:
В общем, если коротко, DPI это очередной «развод на бабки» уже операторов связи, как антивирус для пользователей, вместо расширения сети, улучшения качества и пропускных способностей предлагается что-то там порезать, причем стоить это будет довольно не дешево.
А результат спорен, ибо сеть развивается настолько стремительно, что это будет только костылём.
Например, никто не говорит о задержках на обработки пакетов, если при передаче онлайн видео это не столь критично благодаря буферизации, то для игр это сущий кошмар, когда из- за таких «обработок» скорость доставки пакетов снизится до секунд, игры превратятся в покадровые шутеры.
PS2: по указанной выше статье
Цитата:
80% процентов трафика в сети генерируют 5% клиентов — любителеи p2p.
бред от рекламирующего свои услуги по внедрению этих решений.
Пятиминутное «падение» Google снизило мировой трафик Сети почти вдвое
Не забываем что Google теперь это и легальный YouTube а остальные 40% это Valve Blizzard EA Microsoft и куча всякой мелочи вроде Apple и только жалкие остатки это p2p
Подтверждение: http://torrentfreak.com
Я прочел об общем увеличении шифрованного трафика SSL VPN (естественно месяц назад даже vk.com на https перешел) надо учитывать канаки раздают на всю америку, от того up 34.81% что еще раз показывает что основные пираты сидят в США, down всего 5.57% а основной прожиратель каналов местный онлайнер Netflix (которого у нас нет, но который с успехом заменяет вконтакт, из последнего в паблике у меня выпал Вор и Каникулы строгого режима, это так к слову) и YouTube, все строго соответствует тому что я писал, и я вообще не увидел данных по трафику игрового сообщества, видно миллионы пользователей steam PS XBOX выпали в те 20-30% что не показаны. из текста:
BitTorrent usage remains high in other regions as well, and highest of all in Asia-Pacific where it’s credited for 21.6% of total Internet traffic during peak hours. In Europe and Latin America this percentage is 17.4% and 10.2% respectively.
В мире 10-20% остальные 40% сервисы гугля и 40% сервисы остальных. Так что ни о какой «перегрузке» торрент трафиком речи быть не может, а вот нарождающиеся онланеры все больше и больше заставляют провайдеров беспокоиться, почему читайте:
PS3:
Мосфильм выложил на своем сайте (на самом деле на YouTube) коллекцию фильмов советских времен, возьмем например «Иван Васильевич меняет профессию» в высоком разрешении 1080р у них 2.8ГБайт (квадраты на все лицо и слайдшоу), тогда как оригинал:
Видео: MPEG-4 AVC, 26.0 Мбит/с, 1920x1080, 23.976 кадр/с
Аудио: Русский (DTS-HD MA, 6 ch, 4067 Кбит/с), (AC3, 6 ch, 448 Кбит/с), (AC3, 1 ch, 224 Кбит/с) Размер: 21.13 ГБ
Если выкинуть звук, который здесь HD чисто теоретически, то получим в районе 17Гбайт не меньше и это уже сжатый видеопоток, а дальше включаем чудеса кодека по выкидыванию деталей из изображения для сжатия в шесть раз.
Далее, что бы смотреть это онлайн, надо обеспечить 2.8ГБайт за 90мин, что получается примерно 5Мбит/с поток, который должен обеспечиваться конкретно для вас на всех узлах сети, когда таких любителей набежит человек 200 они утилизируют уже гигабит магистрали, в одном направлении, без распределения и балансировки загрузки провайдеру плохеет. На торрентах трафик идет с разных мест, что автоматически распределяет загрузку каналов, раньше некоторые даже ставили ретрекер для использования локальных пиров.
Повторюсь, телега впереди лошади, знаете чем это закончится, провайдеры выступят с инициативой что сайты с онлайн видео должны будут оплачивать им исходящий трафик.