Противники принципа сетевого нейтралитета продолжают приводить аргументы в свою пользу. Очередным из них стало опубликованное недавно исследование, проплаченное компанией AT&T, под названием Value of Supporting Class-of-Service in IP Backbones (PDF). Исследователи выяснили, насколько больше ресурсов требуется для нейтральной передачи любого трафика, если провайдерам категорически запретят применять так любимый ими шейпинг (ведь они для «обрезания» часто выбирают трафик конкурентов). Оказалось, что в сильно загруженной сети «нейтральный канал» должен быть толще в два раза, чтобы сохранить такую же скорость и качество передачи приоритетного трафика. В среднезагруженных сетях толщина каналов должна быть увеличена примерно на 60%.

Специалисты отмечают резкий рост доли зашифрованного трафика в торрентах. По статистике одного из британских ISP, доля зашифрованного трафика выросла за год в десять раз и уже составляет 40%. Провайдер сообщает, что год назад в его сетях трафик открытых и зашифрованных торрентов составлял 500 Мбит/с и 20 Мбит/с, а сейчас — 350 Мбит/с и 200 Мбит/с, соответственно.

Не очень грамотные комментаторы связывают рост зашифрованного трафика с попытками пиратов спрятать контрафакт. Мол, вот вам очередное свидетельство распространения пиратства. Это совершенно глупое предположение даже распространилось в СМИ, что говорит либо о слабой грамотности журналистов, либо о чьей-то заинтересованности в том, чтобы информация подавалась именно под таким соусом.

Если ваш интернет-провайдер начинает наглеть и вы видите явное снижение скорости загрузки торрентов, то пришла пора проверить его на вшивость! С таким призывом обращаются к пользователям активисты организации за свободу в интернете Electronic Frontier Foundation (EFF). Они рекомендуют использовать специальный сниффер Wireshark, который анализирует пакеты на наличие фильтрации, шейпинга, спуфинга и перестановки пакетов при передаче.

Проблема стала особенно актуальной в последнее время, после скандального случая с провайдером Comcast, который втихую «подрезал» торренты своих клиентов. Как известно, на наших просторах провайдеры ведут себя ещё наглее, чем их американские коллеги.

Организация EFF опубликовала также подробное руководство по установке и использованию Wireshark.

via EFF

Главный аргумент телекомов, которые хотят отменить принцип сетевой нейтральности, распределять трафик с разных сайтов по приоритету, а также ввести специальные виды тарификации и т.д. — неравномерное потребление трафика разными пользователями. Телекомы считают несправедливым, что пользователи платят одинаковую цену за неограниченный доступ к Сети, тогда как их фактическое потребление отличается в сотни и тысячи раз.

Пожалуй, это единственнный разумный аргумент телекомов. который действительно подтверждается реальными данными.

Технический директор американской компании Arbor Networks, разрабатывающей ПО для управления трафиком в сетях интернет-провайдеров, раскрыл секретную статистику. Оказывается, всего 10% пользователей потребляют 80% всего трафика в сетях интернет провайдеров, а самая активная часть 0,5% пользователей потребляет 40% всего трафика! При этом огромная часть пассивных потребителей потребляют в сумме менее 10% всего трафика.

Каждый оператор ШПД думает о том, как выпускать пользователей в сеть интернет и грамотно ограничивать скорость работы в сети по имеющимся тарифным планам и иметь резерв на случай отказа оборудования или работ связанных с отключением оборудования. Попытаюсь рассказать и показать на примере то, как это реализовано у нас (к нам подключены более 3х тысяч пользователей и описанный мною вариант работает очень даже неплохо)

Под катом описано как шейпировать трафик в Linux и что для этого нужно знать.

Вторая часть статьи об управлении трафиком в Linux. В статье приведены примеры приоретизации трафика (QoS) и рассказано об использовании hash таблиц при фильтрации трафика (fast hash tables), использование которых позволяет существенно увеличить производительность.

Просмотрев большинство тематических постов на хабре был безмерно удивлён тому факту, что крайне скудно освещена тема использования ОС Unix/Linux на службе интернет провайдеров (Internet service provider). Данной статьёй я частично попытаюсь восполнить данный пробел.

Представьте мир, где у каждой программы будет свой тарифный план. Хотите Facebook? Пожалуйста, по два цента за мегабайт. Skype — анлим на месяц за три евро. Ещё несколько лет назад это воспринималось в качестве прикола…



… а теперь операторы сотовой связи реально изучают технические возможности для нового способа монетизации трафика.

Как и во время президентских выборов 2001 и 2006 годов, сегодня 19 декабря 2010 года в день голосования на президентских выборах в Беларуси снова перестали работать оппозиционные сайты. По доброй традиции, фильтрация осуществляется ресурсами государственного провайдера-монополиста «Белетелеком», которому принадлежат все внешние интернет-каналы.

Шейпинг трафика осуществляется «китайским методом», и обойти такую защиту можно через анонимный прокси.

Кроме оппозиционных сайтов (charter97.org, electroname.com, ucpb.org и др.) заблокированы также все крупные почтовые провайдеры, включая Gmail (чтобы та же «Хартия» не рассылала новости подписчикам), сервис ICQ, сервис Google Docs и некоторые другие сайты. У некоторых правозащитников и активистов заблокированы телефоны. В то же время Google Reader, Facebook и Skype работают совершенно свободно. Поэтому сайт «Хартии'97» совершенно логично переехал на Facebook и там транслирует новости. Эти же новости можно читать через Google Reader.

Как и предполагалось, комиссия FCC вчера на историческом голосовании приняла (количеством голосов 3 против 2) базовые правила сетевой нейтральности, которые очень похожи на предложение Google и Verizon, случайно утёкшее в Сеть летом нынешнего года и вызвавшее бурю критики со стороны интернет-сообщества.

Принятые после семи лет обсуждения правила сетевой нейтральности для ISP являются неким компромиссом между «анархичной свободой интернета» и правом телекомов управлять трафиком в своих сетях.

Согласно пояснению председателя FCC Джулиуса Геначовски, по новым правилам сотовым операторам запрещено осуществлять «платную приоритизацию» трафика, но в то же время они имеют право на “reasonable network management” (то есть шейпинг трафика в недискриминационных целях) и “tiered pricing”, то есть могут устанавливать разные тарифы за трафик разного типа: Youtube, Skype или Facebook.

Однажды возникла задача настроить раздачу интернета на пару десятков компьютеров (офисные и домашние). Коробочные решения оказались либо платными, либо достаточно сложно настраиваемыми, поэтому было принято решение использовать собственное на базе Debian Linux. Опытом его поднятия я хочу поделиться с вами в этом посте, но приведенные здесь версии могли немного устареть с момента написания мануала «для себя», так что нужно проявить некоторую внимательность. Также, нужно учитывать, что приведенное решение далеко от идеального и профессионального. Оно поможет скорее тем, кому нужно быстро поднять у себя сервер, раздающий интернет. В конце у нас будет раздача интернета через PPPoE с назначением внутренних IP клиентам, шейпинг трафика, DNS сервер и простой мониторинг текущих сессий из консоли.

Принципы сетевого нейтралитета, сформулированные не так давно, выглядят довольно привлекательно для пользователей. Что касается интернет-провайдеров, то мало кто из них придерживается этих принципов, большинство все же урезают трафик определенного типа, искусственно «заужая» канал. Особенно этим грешат операторы мобильной связи (в США так даже несколько разбирательств было в отношении Verizon и AT&T). Пока что все остается без изменений, но уже появился способ обхода искусственных ограничений по трафику, оставляемых провайдерами. Ден Камински, известный эксперт по сетевой безопасности, создал программный пакет, позволяющий не только узнать, какие типы трафика шейпятся провайдером, но и избежать «узких мест».

Mikrotik-Qos Приоритезация по типу трафика и деление скорости

Доброго времени суток, сегодня речь пойдет о наболевшем, а именно о том, как грамотно разделить интернет канал, чтобы все ваши пользователи были максимально довольны.

Введение

При отладке правил шейпинга столкнулся с необычным поведением самого скрипта htb.init. Часть правил с параметрами TIME, где время переходит через полночь, не отрабатывались при наступлении указанного времени.

Оператор сотовой связи МТС объявил об изменении условий предоставления услуг связи с 30 июня 2012 года на тарифных опциях «БИТ», «СуперБИТ», «Всё, что нужно» и их модификациях. Как сказано в официальном заявлении, «предоставление некоторых активно используемых протоколов связи будет ограничено для предотвращения перегрузки общей сетевой инфраструктуры и обеспечения качественной работы сети».

Блог-секретарь компании МТС Марина Акулич пояснила, что речь идёт об ограничении торрентов, а Skype и другие VoIP-сервисы не пострадают.

Вот уже много лет пользователей Nginx мучает один и тот же вопрос: «Как можно ограничить скорость в целом для IP адреса независимо от числа сессий (соединений)? Почему Nginx этого не умеет? Почему разработчики Nginx так упорно не хотят реализовать этот простой функционал?» И ответить мне им нечего, о чём думают разработчики Nginx — не понятно и известно, наверное, только господу богу.

Бороться с этим можно по разному, кто-то использует скрипты на подобие htb.init, кто-то пишет скрипты шейпинга самостоятельно и делится удачным опытом на Хабре, а некоторые и вовсе используют PHP для ограничения скорости отдачи файлов. Только представьте себе, каким будет оверхед и расход памяти, при использовании PHP в подобных целях.

Тайминг-атаки являются известным слабым местом сети Tor и неоднократно обсуждались, в том числе на Хабре, где можно найти порядка 10 статей, так или иначе затрагивающих эту тему. Зачем нужна еще одна? Существует достаточно распространенное заблуждение, что подобные атаки всегда требуют статистического анализа и достаточно сложны в реализации. Ранее опубликованные статьи относятся именно к такому классу атак. Мы рассмотрим вполне реалистичный сценарий, в котором достаточно единственного запроса для деанонимизации пользователя сети.

Поскольку вопрос возможности деанонимизации пользователей Tor в очередной раз активно обсуждается в рунете, я публикую «печатную» версию фрагмента своей презентации с PHDays 2014. Приведенная ниже атака не специфична для Tor и может быть использована против любых low latency средств сокрытия источника трафика – VPN, цепочки прокси и даже их комбинации.

А что бы вы со своей стороны могли предложить?
— Да что тут предлагать… А то пишут, пишут… конгресс, немцы какие-то… Голова пухнет. Взять все, да и поделить.
— Так я и думал, — воскликнул Филипп Филиппович, шлепнув ладонью по скатерти, — именно так и полагал.
М. Булгаков, «Собачье сердце»

Про разделение скорости, приоритезацию, работу шейпера и всего остального уже много всего написано и нарисовано. Есть множество статей, мануалов, схем и прочего, в том числе и написанных мной материалов. Но судя по возрастающим потокам писем и сообщений, пересматривая предыдущие материалы, я понял — что часть информации изложена не так подробно как это необходимо, другая часть просто морально устарела и просто путает новичков. На самом деле QOS на микротике не так сложен, как кажется, а кажется он сложным из-за большого количества взаимосвязанных нюансов. Кроме этого можно подчеркнуть, что крайне тяжело освоить данную тему руководствуясь только теорией, только практикой и только прочтением теории и примеров. Основным костылем в этом деле является отсутствие в Mikrotik визуального представления того, что происходит внутри очереди PCQ, а то, что нельзя увидеть и пощупать приходится вообразить. Но воображение у всех развито индивидуально в той или иной степени.