Pull to refresh
  • by relevance
  • by date
  • by rating

DPI & P2P

Lumber room
Все мы знаем, что DPI-решения операторы чаще всего покупают для урезания, а то и полной блокировки P2P-трафика (также, в Китае масштабно используется для «порчи» VoIP-трафика). Сюда же наши нелюбимые производители DPI-коробок привносят наличие кучи всяких «полезных» функций: вставка контекстной рекламы, приоритезация «нужного» и много чего ещё. Вообщем-то, придумать можно всё, что душе угодно, т.к. пакет можно анализировать полностью. Правда, с производительностью дела обстоят не так хорошо, как хотелось бы (сейчас существуют коробки с 2-мя 10G интерфейсами); здесь же можно ещё упомянуть качество определения тех же P2P-протоколов. В начале прошлого года EANTC пыталась провести тестирование DPI-систем. Причём, тестирование проводилось бесплатно для производителей оборудования — всё оплачивалось из кармана французской ассоциации звукозаписывающей/звукоохраняющей мафии. Результаты, мягко скажем, плохие :) 
    Ситуация получилась аналогична той, что есть на рынке антивирусов — протоколы P2P меняются/появляются новые, а производители DPI-систем выпускают сигнатуры для их определения. Например, взять всем известный протокол BitTorrent: если для передачи информации всегда использовался TCP, то теперь поддерживается и UDP, чем существенно усложнит жизнь dpi-коробкам + поддержка шифрования.
   Но рассказать я вам хотел не про это, а про систему кеширования P2P-контента, с которой мне уже удалось познакомиться: Oversi OverCache. Идея относительно проста: оператор устанавливает у себя кеширующие сервера и систему управления для них. 
  Система управления отвечает за:
  • собирание статистики;
  • управление контентом (выявление популярных ресурсов, удаленее старых непопулярных ресурсов);
  • анонсирование доступности контента своим пирам (клиентам со всего адресного пространства оператора);
  • управление кеш-серверами.
    Кеш-сервера раздают контент своим пирам. Причём, размещать сервера можно где угодно (по городам, по узлам и т.д.). 

    Как определяется популярный контент? Просто — для этого на систему управления надо зеркалировать (SPAN,TAP) исходящий к апстримам трафик (достаточно 30%), этот трафик анализируется (eDonkey2k-контент, обращения к torrent-трекерам, хеши файлов и т.д.). Плюс к этому можно добавить «локальный» поиск контента через DHT. Из этой информации уже можно выявить популярный контент, популярные трекеры и сделать какой-то threshold на кеширование/время жизни файлов. Дабы не нарваться на защитников копирайта — система не кеширует файлы полностью: для BitTorrent, к примеру, она не скачивает первый и последний блоки файла, что не позволяет стать системе seed'ом.
   Для flash-видео всё немного сложнее, помимо того, что мы должны перехватывать обращения к видео-сайтам (youtube тот же), мы ещё должны редиректить клиента на локальный кеш-сервер. Не знаю как у вас, а у меня жена и некоторые друзья регулярно смотрят фильмы, используя для этого ВКонтакте.Ру.
   По статистике эффективность решения до 80% процентов попадания в кеш. Бенефиты налицо: провайдер получает свободный аплинк-канал (а при наличии развитой системы кеширования и межрегиональные линки), клиенты получают ускоренную загрузку контента. Весь мир счастлив :)
Total votes 6: ↑6 and ↓0 +6
Views 903
Comments 4

Почему Интернету нужен IPFS, пока ещё не поздно

Decentralized networks Data storage *IPFS *
Translation
[узлы к узлам]

IPFS не совсем ещё сделалась хорошо известной технологией, даже в Кремниевой долине многим она ещё не известна, однако вести о ней быстро расходятся из уст в уста в сообществе открытого исходного кода. И многие рады потенциальным возможностям IPFS в области улучшения передачи файлов и ускорения потокового вещания их по Интернету.

С моей личной точки зрения, однако же, IPFS в действительности гораздо важнее этих возможностей. IPFS избавляет сайты от необходимости использовать центральный сервер-первоисточник и поэтому, вероятно, это наш лучший шанс полностью переменить архитектуру Интернета прежде, чем она развалится от внутренних противоречий.

Как и почему это? Для ответа на этот вопрос придётся вдаваться в подробности.
Читать дальше →
Total votes 54: ↑46 and ↓8 +38
Views 63K
Comments 103