Search
Write a publication
Pull to refresh
20
0.1
Dmitry Potapiev @roverseti

инженер

Send message

DPI & P2P

Reading time2 min
Views2K
Все мы знаем, что DPI-решения операторы чаще всего покупают для урезания, а то и полной блокировки P2P-трафика (также, в Китае масштабно используется для «порчи» VoIP-трафика). Сюда же наши нелюбимые производители DPI-коробок привносят наличие кучи всяких «полезных» функций: вставка контекстной рекламы, приоритезация «нужного» и много чего ещё. Вообщем-то, придумать можно всё, что душе угодно, т.к. пакет можно анализировать полностью. Правда, с производительностью дела обстоят не так хорошо, как хотелось бы (сейчас существуют коробки с 2-мя 10G интерфейсами); здесь же можно ещё упомянуть качество определения тех же P2P-протоколов. В начале прошлого года EANTC пыталась провести тестирование DPI-систем. Причём, тестирование проводилось бесплатно для производителей оборудования — всё оплачивалось из кармана французской ассоциации звукозаписывающей/звукоохраняющей мафии. Результаты, мягко скажем, плохие :) 
    Ситуация получилась аналогична той, что есть на рынке антивирусов — протоколы P2P меняются/появляются новые, а производители DPI-систем выпускают сигнатуры для их определения. Например, взять всем известный протокол BitTorrent: если для передачи информации всегда использовался TCP, то теперь поддерживается и UDP, чем существенно усложнит жизнь dpi-коробкам + поддержка шифрования.
   Но рассказать я вам хотел не про это, а про систему кеширования P2P-контента, с которой мне уже удалось познакомиться: Oversi OverCache. Идея относительно проста: оператор устанавливает у себя кеширующие сервера и систему управления для них. 
  Система управления отвечает за:
  • собирание статистики;
  • управление контентом (выявление популярных ресурсов, удаленее старых непопулярных ресурсов);
  • анонсирование доступности контента своим пирам (клиентам со всего адресного пространства оператора);
  • управление кеш-серверами.
    Кеш-сервера раздают контент своим пирам. Причём, размещать сервера можно где угодно (по городам, по узлам и т.д.). 

    Как определяется популярный контент? Просто — для этого на систему управления надо зеркалировать (SPAN,TAP) исходящий к апстримам трафик (достаточно 30%), этот трафик анализируется (eDonkey2k-контент, обращения к torrent-трекерам, хеши файлов и т.д.). Плюс к этому можно добавить «локальный» поиск контента через DHT. Из этой информации уже можно выявить популярный контент, популярные трекеры и сделать какой-то threshold на кеширование/время жизни файлов. Дабы не нарваться на защитников копирайта — система не кеширует файлы полностью: для BitTorrent, к примеру, она не скачивает первый и последний блоки файла, что не позволяет стать системе seed'ом.
   Для flash-видео всё немного сложнее, помимо того, что мы должны перехватывать обращения к видео-сайтам (youtube тот же), мы ещё должны редиректить клиента на локальный кеш-сервер. Не знаю как у вас, а у меня жена и некоторые друзья регулярно смотрят фильмы, используя для этого ВКонтакте.Ру.
   По статистике эффективность решения до 80% процентов попадания в кеш. Бенефиты налицо: провайдер получает свободный аплинк-канал (а при наличии развитой системы кеширования и межрегиональные линки), клиенты получают ускоренную загрузку контента. Весь мир счастлив :)

DPI: Deep Packet INJECTION, или конспирологическая теория о заговоре между RTK и MRG

Reading time6 min
Views27K

Привет, Хабр!


Это снова я, тот, кто отвечает за IT-составляющую РосКомСвободы! Ты, наверное, меня помнишь по посту о самопроизвольной активации камеры при открытии страницы с embedded-youtube-видео.


На этот раз у меня история из личной жизни и, на мой взгляд, расследование немного поинтереснее.


Возможно, оно даже имеет запах теории заговора (между Ростелеком'ом (CC: Rostelecom ROSTELECOM-CENTER) и Mail.Ru Group).


КДПВ

Читать дальше →

Введение в DPI: Сценарии использования системы

Reading time4 min
Views9.9K
Вчера мы начали рассматривать базовые элементы DPI и поговорили о составе системы и схемах подключения. Сегодня мы решили взглянуть на реальные варианты использования DPI и поговорить о технических сценариях, которые позволяют операторам обеспечивать высокое качество услуг.


/ Flickr / Yuri Samoilov / CC
Читать дальше →

Особенности настройки DPI

Reading time5 min
Views20K
В данной статье не рассматривается полная настройка DPI и все вместе связанное, а научная ценность текста минимальна. Но в ней описывается простейший способ обхода DPI, который не учли многие компании.

image
Читать дальше →

Краткий обзор технологии DPI — Deep Packet Inspection

Reading time11 min
Views225K
Я уже несколько лет активно занимаюсь темой DPI, осуществляя пресейл и непосредственно внедрение этих решений. Побудило меня на написание этого топика то, что тема DPI на хабре раскрыта достаточно слабо, поэтому хотелось бы немного рассказать об устройствах, которые применяют ведущие сервис-провайдеры и крупные корпоративные пользователи для интеллектуального управления трафиком в своих сетях, а также пояснить зачем им это всё надо.
Читать дальше →

Как я разработал систему датчиков сгибания

Level of difficultyMedium
Reading time7 min
Views9K

В этой статье рассказывается о процессе исследований и разработки моей новой системы датчика OptiGap — основной части моей работы для получения степени PhD. Я пишу статью в формате рассказа, чтобы поделиться своими рассуждениями в процессе принятия решений, которые привели к готовой реализации. Надеюсь, она даст какое-то представление о незнакомом многим мире исследований для PhD, а также может заинтересовать тех, кому любопытен этот процесс. Технические подробности, симуляции и предыдущие исследования по теме можно прочитать в моей диссертации.
Читать дальше →

Программируем полётный контроллер на основе DIY проекта Flix

Level of difficultyMedium
Reading time19 min
Views29K

У нас в МАИ, в 8-м институте, учатся будущие разработчики IT‑продуктов и софта для авиационных систем, аэропортов, логистики и много чего ещё интересного. Один из курсов с 2023 года мы решили посвятить разработке программного обеспечения для автопилота. В курсе всё как положено, с красивыми диаграммами регуляторов, кватернионами и кодами таких проектов как Ardupilot, PX4, Betaflight, iNav и другими.

Однако, довольно сложно сразу вкатиться в тему полетных прошивок — они переполнены всякими фичами и функционалом, так что неподготовленному разработчику сложно понять как же это всё работает. Поэтому долгое время я искал такой проект, который позволяет «на пальцах» объяснить как работает прошивка полётника. Таким проектом для меня стал Flix от Олега Калачева. Про опыт сборки проекта и изучения на его основе полетной прошивки со студентами и пойдет разговор в этой статье.

Полетели !

Лестница в небо: кастомизируем WLED

Level of difficultyMedium
Reading time7 min
Views8.2K

На хабре уже было несколько статей про wled, но обычно они ограничивались штатными возможностями прошивки - гирлянды с эффектами, управление RGB-подсветкой комплектующих ПК, вскользь упоминалась и возможность интеграции с умным домом.

Здесь же мы рассмотрим решение конкретной задачи - от идеи и попыток использования стандартной прошивки до сборки своей с увеличенным количеством управляющих пинов, расширенным web-интерфейсом, api для отладки, своей логикой для управления подсветкой и даже демкой на jsfiddle.

Кого заинтересовал — прошу под кат. Надеюсь, у меня таки получилось написать достойную хабра статью.

Читать далее

Обходим блокировку VPN

Level of difficultyMedium
Reading time2 min
Views76K

Мой провайдер помимо замедления (читай полная блокировка) YouTube так-же стали блокировать соединения с моими рабочими VPN. Работодатель не очень любит, когда на встречах на вопрос о прогрессе, я неделю отвечаю, что у меня не работает VPN! Своими действиями, мой провайдер сам меня подтолкнул к поиску обходных путей.

Сразу скажу, обходной путь придумал не сам, мне его подсказал автор проекта zapret, а точнее его комментарий, более того, я использую его проект, чтоб смотреть нормально YouTube. Спасибо огромное!

Добавлю, я использую nftables и nfqws, если этот вариант работает у меня — это не значит, что оно заработает и у вас! Возможно, вам придётся изменить некоторые параметры.

Читать далее

Корутины? Простейшая имплементация на C, protothread и Arduino

Level of difficultyEasy
Reading time4 min
Views8.4K

*иногда хочется уйти от управляемых будней

Корутины — это функции, которые могут приостанавливать своё выполнение и возобновлять его позже, сохраняя своё состояние между вызовами. Это позволяет выполнять несколько задач одновременно без необходимости создания отдельных потоков или процессов.

Читать далее

Zynq 7000. Загрузка Embedded Linux на SoC через JTAG с помощью XSCT

Level of difficultyEasy
Reading time11 min
Views6.6K

Учитывая, что я очень давно занимаюсь отладкой и запуском самых разнообразных проектов связанных с Zynq 7000 — со временем количество итераций перезапуска при проведении отладки увеличивалось пропорционально сложности проекта. Когда я только начинал осваивать разработку под Zynq, то каждый раз закидывал новый образ на microSD карту. Это было очень медленным процессом и требовало от меня постоянно подключать/отключать карту. После этого я освоил сетевую загрузку через Ethernet и TFTP, заменяя файлы по сети и проверяя результат после перезагрузки.

Впоследствии, изучив вопрос связанный с типами загрузки, я обнаружил, что есть альтернативный способ загрузки платы через интерфейс JTAG, который впрочем может оказаться единственным доступным, если на плате нет microSD и Ethernet.  

Вот как раз вопросы связанные с тем, как произвести загрузку по JTAG я бы хотел осветить в этой статье. Всем кому интересно — добро пожаловать под кат. 

Читать далее

Ардуино и сыр. Есть ли связь?

Level of difficultyEasy
Reading time9 min
Views7.7K
Картинка Vecstock, Freepik

И тем не менее, такая связь есть, и вот в чём тут дело: любой самодельщик, даже совсем немного дружащий с электроникой, программированием и желающий попробовать «нечто эдакое» вполне способен создать для себя весьма полезную систему, смысл которой будет не просто в тренировке навыков, а во вполне конкретном результате, который можно получать: производство собственного сыра разных сортов для себя любимого (а при желании и на продажу).
Читать дальше →

Карманный осциллограф на микроконтроллере STC 8051

Level of difficultyEasy
Reading time9 min
Views15K


Привет, Хабр! Габариты этой самоделки в модном корпусе из оргстекла на латунных стойках составляют всего 57x40x26 мм, и то, если учитывать выступающую ручку управления, рычажок микротумблера и разъём питания Micro USB.

Предусмотрена цифровая индикация частоты и амплитуды, а также генераторы стандартных сигналов — синусоиды и меандра. Получился неплохой карманный пробник, который выручит во многих ситуациях.
Читать дальше →

Виртуальная лаборатория робототехники или Как мы выбирали подходящее ПО

Level of difficultyEasy
Reading time8 min
Views2K

Вступление Так получилось что мы группа студентов и преподавателей заинтересованных в создании имитационных виртуальных лабораторий, в которых студенты могут без особых углубленных знаний попробовать поуправлять квадрокоптером, конвейером или другими интересными моделями. Ведь не всегда есть возможность потренироваться на реальных физических лабораториях. Нужны: место (деньги), оборудование (деньги) и время (тоже деньги). Следовательно придется смотреть в сторону виртуальных моделей. Мы искали удобную среду для создания таких моделей и вот до чего дошли (обозреваем ниже).

Немного истории: факультет электромеханики (ныне переименован в Мехатроники и Автоматизации) НГТУ создавался в 50-х, чтобы готовить специалистов по разработке и производству электродвигателей, электрогенераторов e.t.c. Позднее факультет оброс кафедрами смежных направлений а в конце 2020-х открыл направление Робототехники. Профиль ФГОС и 70% предметов оставили прежними. Как и педсостав. В результате получили выпускников которые: умеют подобрать двигатели для круглого квадрокоптера в вакууме (и не только подобрать, но и спроектировать с нуля или пересчитать/перемотать); умеют настроить регуляторы для этого пепелаца; знают как рассчитать мощность и КПД. А вот о том, как программировать автопилот — только «имеют представление».

В принципе такая заточка имеет право на жизнь если разрабатывать не роботов-доставщиков, а промышленные роботизированные ячейки.

Читать далее

Электролюминесцентные индикаторы из прошлого

Reading time11 min
Views23K
Сегодня речь пойдёт об электролюминесцентных индикаторах. Но, не о тех, которые окружают вас повсюду и к которым вы привыкли, а о других — получивших огромную популярность в 60-е годы прошлого века, и так же стремительно канувших в небытие. Заодно запущу свою коллекцию индикаторов, как серийно выпускавшихся, так и уникальных опытных и даже — лабораторных образцов.

Читать дальше →

Изготавливаем самодельный электролюминесцентный индикатор

Reading time11 min
Views25K
В прошлый раз я показывал вам свою коллекцию советских электролюминесцентных индикаторов. Я капитально подсел на эту тему и последние три месяца пытаюсь изготовить самодельный индикатор удовлетворительного качества.

Дерпи Хувс ловит маффины. Стекло. Эпоксидка. Зелёный люминофор.

Я потратил целых три месяца и изготовил добрую сотню образцов, прежде чем у меня стало получаться что-то сносное. На данный момент я провёл пять экспериментов и изготовил две серии прототипов.

Думаю ещё через несколько месяцев я смогу написать уже Исчерпывающее руководство по изготовлению самодельных индикаторов, с подробным обоснованием всех возможных комбинаций материалов, но пока же ограничусь описанием проведённых экспериментов и полученными текущими результатами^
Читать дальше →

Светящиеся конденсаторы и дисплеи на их основе (в том числе DIY) на любой поверхности? Почему нет…

Level of difficultyMedium
Reading time11 min
Views12K
Картинка Freepik

Что, если я скажу вам, что существуют светящиеся конденсаторы, которые могут быть использованы в качестве элементов дисплеев?

Несмотря на странное, на первый взгляд, утверждение, всё более, чем реально, и, мало того, известно около века…
Читать дальше →

OSINT: инструментарий по анализу профилей VK

Reading time2 min
Views135K

Подавляющее большинство OSINT-тусовки интересует анализ физ. лиц, что-ж, да будет так, подготовил вам подборку различных ботов и сервисов(ГБ и др. в список не включены, о них и ленивый знает, да и не OSINT это вовсе).

В РУ-сегменте основоположником анализа по соц. сетям является VK, телега хоть и стала отдаляться от понятия мессенджера трансформируясь в соц. сеть и набирать всё бОльшую популярность, но пока и рядом не стояла по объёму потенциально важной информации о цели.

Стоит отметить, что ВКонтакте уже начал умирать, и по моим предположениям, уже через два-три года былой актуальности от анализа ждать не стоит, народ заметно реже стал им пользоваться. Всё же, VK остаётся ключевым инструментом при анализе биографии человека, его интересов, окружения, происхождения и др.

1. 220vk Старый, добрый и весьма потрёпанный сервис, позволяющий определить скрытых друзей, узнать на кого подписалась/отписалась цель и её интересы исходя из подписок на сообщества и людей (с временным таймлайном), а также какие были изменения в профиле и др.

2. VKHistoryRobot Бот в тг, даст вам представление о том, как профиль выглядел в прошлом(очень полезен в случае, если профиль закрытый) предоставляет информацию в виде краткого дампа: Ф.И.; URL; фотография.

3. FindClone, search4faces сервисы обратного поиска изображения  по VK, позволяют произвести поиск профиля по загруженной фотографии, search4faces из этих двух - бесплатен.

4. Social Graph Bot бот в телеге, позволяющий выстроить графы взаимосвязей среди списка друзей , с этим инструментом вы поймёте: насколько разноплановое окружение, кто из списка друзей является родственником и т.д; легитимен ли аккаунт и имеет ли он связь с какой либо группой лиц. (применений масса, вот вам гайд с хабра

Ещё больше интересного и познавательного контента у меня в Telegram-канале — @secur_researcher

Читать далее

Малоизвестные фичи XRay, о которых невозможно молчать

Level of difficultyEasy
Reading time8 min
Views51K

В этом посте я кратко поведаю о разных интересных возможностях XRay (клиент и сервер для протоколов VMess, VLESS, Trojan и других, в том числе с XTLS-Reality и XTLS-Vision), о которых, кажется, мало кто знает, но которые могут оказаться очень полезными.

Оглавление:

- Фрагментирование запросов
- QUIC-транспорт
- Мониторинг и автоматический выбор outbound'а
- Сбор статистики
- Browser dialer

Читать далее

Information

Rating
6,200-th
Location
Москва, Москва и Московская обл., Россия
Date of birth
Registered
Activity