Сетевые технологии *

Начнем серию статей под названием Detection is easy, посвященных Detection engineering (DE), о чем я пишу в одноименном Telegram-канале. Один из этапов DE - определение источников событий и организация их сбора. В этой статье мы рассмотрим установку Elastiflow — это мощное решение для обработки и визуализации сетевых данных, построенное на основе стека ELK (Elasticsearch, Logstash, Kibana). Elastiflow предоставляет возможность собирать, обрабатывать и анализировать данные из различных сетевых протоколов, таких как NetFlow, sFlow и IPFIX. Основное преимущество Elastiflow по сравнению с классическим ELK-стеком заключается в оптимизированном агенте сбора сетевой телеметрии, а также в наличии готовых дашбордов и визуализаций, которые упрощают анализ сетевого трафика.

Изначально проект развивался на GitHub, однако разработчики перешли к коммерческому решению — flow-collector, который демонстрирует значительно более высокую производительность по сравнению с версией, доступной на GitHub. Более подробную информацию о различиях можно найти в документации. Политика лицензирования позволяет бесплатно использовать продукт, но если ты зарегистрируешься, то будет доступно порядка 480 полей и использование одного инстанса (4000 записей в секунду, без регистрации 500).

Недавно попалась статья на Хабре — «Решаем проблему устаревания кэширующих серверов. Смотрим на телевизоре. Не VPN» от автора @CyberexTech проделал все шаги по ней, но с моим провайдером YouTube не заработал. Соответственно решил опробовать другие решения, одно из которых в итоге сработало, настроил его также через Raspberry Pi. В этой статье делюсь опытом настройки на случай, если решение от @CyberexTech у вас не сработало.

В наше время, когда в каждой квартире интернет "течет" буквально из розетки, из порта роутера или прилетает по WiFi - никто не вспоминает о таком анахронизме как аналоговый модем.

А когда-то интернет добывали из модемов: обычные пользователи, они же ламеры, перебирали различные варианты программ-звонилок и "драйверов", а настоящие айтишники настраивали PPP вручную.

Как это работало и зачем может пригодиться сегодня (а оно может).

Недавно меня попросили помочь в определении источников утечки трафика в одной из организаций. Задачу усугубляло большое количество устройств в одном широковещательном домене, множество неуправляемых коммутаторов, отсутствие любой карты сети, а также старенький роутер на входе. В общем, это были настоящие "Авгиевы конюшни", но в итоге задача была решена, и данная статья посвящена методам, которые я использовал. Кто оказался виновником, я раскрою в конце статьи, чтобы не портить интригу.

В предыдущей статье я описал как сконфигурировать wireguard для работы через I2P. Эту статью можно считать копией с тем отличием, что будем использовать OpenVPN.

Желание попробовать OpenVPN в конфигурации "VPN over I2P" не случайно: в i2pd работа с TCP-туннелями сделана на порядок лучше, чем с UDP (wireguard работает как раз по этому протоколу). При стандартном использовании wireguard намного привлекательнее древнего OpenVPN, но в контексте i2pd и работы с TCP-туннелями, OpenVPN показал отличные результаты: несколько суток стабильной работы с просмотром видео и прочими бытовыми нагрузками не выявили ни единого разрыва.

dumbproxy уже упоминался на Хабре в одной из моих прошлых статей. Это HTTP(S) прокси-сервер, который работает через TLS, напрямую совместим с браузерами и браузерными расширениями, и имеет заметное количество дополнительных функций, расширяющих его границы применимости и облегчающих его использование.

Не так давно всех потрясла новость об устаревании оборудования популярного видеохостинга, в результате чего сервис перестал нормально работать и началось замедление. Сначала в замедлении сервиса пытались обвинить Роскомнадзор, но до сих пор нет внятных нормативно-правовых актов (поправьте меня в комментариях, если я ошибаюсь), которые бы позволяли данному органу применять методы блокировки в отношении сервиса. Я не верю, что государственный орган может нарушать закон, поэтому будем исправлять проблему самостоятельно и поднимем свой «кэширующий» сервер.

В качестве нашего «кэширующего» сервера будем использовать дешевый одноплатный компьютер MangoPi MQ-Quad (или другой аналогичный), стоимостью не более $29.

Конец года – время не только подводить итоги, но и строить планы на будущее. В целом, декабрь – пора прогнозов в отношении событий, которые могут произойти в мире технологий.

Мы собрали несколько интересных предсказаний аналитиков, касающихся трендов, которые дадут о себе знать в наступающем году. Одни из них очевидны, другие логичны, но есть среди них и откровенно пугающие.

Современный мир пресыщен различной информацией, и в наше непростое время её важно уметь не только находить и сохранять. Многие наверняка заметили, что в на YouTube, кроме мусора, котиков и прочих бесполезных вещей (которые мы иногда не прочь посмотреть) есть масса полезного материала по самым различным темам. И иногда этот материал неплохо было бы сохранить себе на будущее, чтобы не зависеть от переменчивых настроений в мире.

В этой статье я хочу рассказать, как можно скачивать видео, аудио (1 часть статьи), плейлисты и целые каналы с YouTube (2 часть статьи) без использования VPN и на чистом Python-е. Сразу оговорка: VPN нам не понадобится, но мы сделаем собственное средство, которое будет решать "проблему с устаревшим и изношенным оборудованием Google Global Cache" (вы поняли, о чём я). Я думаю это средство будет особенно актуально сегодня, когда у многих россиян YouTube почти или совсем не работает.

Например, у вас есть роутер Keenetic, в который уже встроена конфигурация VPN и прописаны маршруты для точечного пропуска трафика через этот VPN.

Иногда нужно разом прописанные маршруты перенаправить на другой VPN. Зачем это делать и как я описал под катом.

В конце ноября команда Yandex Infrastructure провела nexthop — конференцию от сетевых инженеров для всех, кто интересуется сетевыми технологиями. Мы посмотрели больше 20 выступлений и собрали в одном месте 500+ специалистов, которые знают всё про сетевую автоматизацию, идеальную инфраструктуру, а также могут легко объяснить бабушке, что такое маршрутизатор.

На конференции был и наш друг, автор комиксов Комикаки, Кирилл Анастасин aka @innubis. Чтобы составить топ самых интересных докладов, которые можно пересмотреть после каникул, мы попросили Кирилла (и его героев) поделиться свежим взглядом на выступления про сетевые дела.

Гайд о том, как гонять VPN через I2P. Полное описание серверной и клиентской конфигурации. Ловкость рук и гибкость ума — прошу под кат!

Всем привет, меня зовут Вадим Макеров, я работаю в iSpring бэкенд-разработчиком.
Однажды у нас в продукте был инцидент, который привел к даунтайму LMS и происходил несколько раз, в течении нескольких дней. Причина оказалась нетривиальной и находилась на уровне сетевых настроек подключений между сервисами.

Приветствую, коллеги! Меня зовут @ProstoKirReal. Сегодня хотелось бы продолжить обсуждение с вами о самых популярных протоколах, а также принципов их работы. В предыдущей части я говорил о протоколах динамической маршрутизации и принципы их работы.

Сегодня хотелось бы рассказать о HTTP и HTTPS протоколах, а так же немного затронуть шифрование SSL/TLS.

В статье рассмотрим 3 способа настройки VPN-подключения с VLESS и Reality.

VLESS — это современный протокол передачи данных ориентированный на конфиденциальность, его еще часто называют VLESS VPN, хотя строго говоря, речь пойдет об установке прокси с протоколом VLESS на базе сервера XRay с Reality.

Начнем с самого простого и универсального варианта, не требующего технических знаний.

Всем привет! Давно планировали рассказать пару сценариев использования нашего веб-сервера с открытым кодом Angie. Сегодня речь пойдет о том, как Angie используется в инфраструктуре такого большого проекта, как RUTUBE.

Когда мы хотим защитить передаваемые данные, мы используем VPN. Но иногда хочется, чтобы и сам факт использования VPN, тоже был бы скрыт. Мы настолько переживаем за свои данные:)

Так как сейчас очень популярным стал WireGuard, он основан на UDP. А из популярных UDP протоколов, которые могут через себя прокачивать большой трафик, это QUIC. Это совмещение TCP и TLS, основанное на UDP. Поэтому естественной мыслью стала мимикрировать WireGuard трафик под QUIC трафик. Для этого пришлось изучить код WireGuard в ядре Linux. Код патча ядра Linux лежит на QUICWireGuard.

Привет! Меня зовут Михаил Шпак, я занимаюсь комплексной архитектурой технологических решений в сетевой части ИТ-холдинга Fplus, который выпускает широкий спектр высокотехнологичных электронных устройств. В данной статье я хочу показать, как за последние 5 лет требования современного бизнеса и развитие ресурсоемких приложений (искусственного интеллекта, поисковых систем, мобильной связи стандарта 5G и т.д.) изменили требования к архитектуре, скорости и отзывчивости сетей, используемых в центрах обработки данных. Давайте разберемся, какие комплексные технологические решения заставляют нас ускоряться, а где можно использовать старые наработки и отточенные десятилетиями практики.

Приветствую.

 Это моя первая статья на Хабре. Говорят, для такого рода дебютов надо выбирать что-то предельно неизвестное. Но мне вот захотелось написать про агрегацию каналов, про которую уже, казалось бы, всякого писано-переписано.

Все уже написано о том, как она настраивается на всем возможном железе, как она балансируется, тоже много чего есть. Но во всем этом многообразии упущен один момент – а как именно порты собираются в агрегированные каналы на одном коммутаторе? Каким это таким магическим образом? Что их сподвигает работать как единый организм и на совершать при этом петель, штормов и прочих безобразий? Сразу скажу большое спасибо автору вот этой статьи, одна из ссылок в которой и вдохновила на данный литературный опыт.

Если бы всего пару лет назад мы задали вопрос IT- или ИБ-специалисту, какой NGFW лучше выбрать, то все в один голос рекомендовали бы продукты иностранных вендоров. Они созревали десятилетиями, были вне конкуренции по своим характеристикам и, как следствие, доминировали на российском рынке. Сейчас, когда переход на отечественные NGFW должен произойти уже вот-вот, компаниям предстоит не только выбрать оптимальное решение под свои задачи, но и внедрить его на своей инфраструктуре, причем так, чтобы не положить весь корпоративный трафик. На примере опыта внедрения собственного продукта InfoWatch ARMA Стена (NGFW) в ГК InfoWatch рассказываем, как развиваются события, когда компания уже выбрала межсетевой экран и приступает к его пилотированию. Внутри – рекомендации для заказчиков NGFW: какие важные моменты нужно учесть на старте, как сформировать список требований и какие шаги нужно предпринять для доработки, чтобы на выходе получить рабочий корпоративный межсетевик.