Администрирование

Обязательно посмотрите shell-скрипт в репозитории — он чудо как хорош. Раскрашивает выходные данные, надёжный как скала… настоящий мастер-класс по созданию shell-скриптов.

Спасибо Гуннару Морлингу за добрые слова!

В январе 2024 года меня, вместе с несколькими дюжинами других гиков, повёрнутых на производительности, что называется, «заснайпили», заинтересовав участием в конкурсе Гуннара One Billion Row Challenge (1BRC).

Гуннара, оценивающего результаты работы конкурсантов (бесплатно), очень быстро буквально завалил непрерывный поток решений. Я рискнул помочь ему автоматизировать оценку работ и написал Shell-скрипт, за что и получил от него вышеприведённый хвалебный отзыв. Он это сказал в выступлении на конференции JavaZone (# 1BRC‑Nerd Sniping the Java Community — Gunnar Morling). Посмотрите это выступление, если хотите узнать о подходах к повышению производительности кода, применённых на конкурсе.

Здесь я расскажу о 6 приёмах, которые я использовал в Shell-скрипте для конкурса. Эти приёмы позволили сделать скрипт надёжным, безопасным и приятным в использовании для Гуннара.

Протестировали нейросети и показали, в чём разница между разными моделями видеокарт — не только AI/ML-инженеры должны понимать, что скрывается за TFLOPS и в чём их разница. Взяли базовые карты, которые можно использовать для работы с нейросетями. За подробностями под кат!

Привет, Хабр! Мы рады представить вторую версию Brabus Recon Suite (BRS) - мощного набора инструментов для профессиональной разведки сетей, анализа доменов, оценки уязвимостей и тестирования на проникновение. После выпуска первой версии мы собрали обратную связь от сообщества, переработали архитектуру и добавили новые возможности, чтобы сделать BRS v2.0 еще более удобным и эффективным инструментом для специалистов по кибербезопасности. В этой статье мы расскажем о ключевых нововведениях, возможностях BRS v2.0 и о том, как использовать его в профессиональной и легальной работе.

Продолжаем разбираться в OpenSource генераторе трафика от Cisco - TRex. При разработке и внедрении сетевого оборудования критически важно проводить его тщательное тестирование. Маршрутизаторы и коммутаторы должны выдерживать заявленную нагрузку, правильно обрабатывать трафик на разных уровнях.

Стандартизированные методики (например, RFC 2544) определяют, как измерять пропускную способность устройства без потерь и другие метрики. Ранее для таких испытаний широко применялись дорогостоящие аппаратные генераторы трафика (Ixia, Spirent и т. д.). Однако в условиях ограниченной доступности коммерческих решений всё более актуальными становятся открытые альтернативы.

Одной из наиболее доступных и при этом мощных опций является бесплатный Open Source генератор трафика Cisco TRex. В продолжение предыдущей статьи рассмотрим, как с помощью Cisco TRex 3.06 провести комплексное тестирование производительности и функциональности сетевых устройств.

При создании временных таблиц в PostgreSQL изменяются до 13 таблиц системного каталога, при этом особенно сильно разрастаются pg_attribute, pg_class, pg_depend и pg_type. Массовое создание и усечение временных таблиц активно применяется, в том числе в 1C:ERP. В статье рассматриваются особенности работы с временными таблицами и описано решение проблемы раздувания таблиц системного каталога, реализованное в СУБД Tantor Postgres.

Итак, вы столкнулись с проблемой расширения традиционных систем хранения данных. С одной стороны, не хочется терять уже функционирующие внешние хранилища, с другой — модернизация требует значительных инвестиций и зачастую привязана к поддержке вендоров, которые больше не присутствуют на рынке. Функциональность, получившая название Unified Storage, решает эти проблемы. 

Как можно догадаться из названия, речь идет о доступе к слою хранения, который уже существует внутри виртуальной инфраструктуры, но теперь его можно предоставлять внешним потребителям. Проще говоря, теперь мы можем «одолжить» место из существующих пулов и отдать его физическим хостам или другим виртуальным машинам внутри нашей инфраструктуры.  

Давайте подробнее рассмотрим, как работает эта технология.

Сегодня использование HTTPS стало практически обязательным для большинства веб‑приложений. Angie позволяет эффективно обрабатывать HTTPS‑трафик, обеспечивая при этом высокий уровень безопасности. В новых протоколах HTTP/2 и HTTP/3 использование защищённого соединения обязательно. Однако, как обычно, есть много деталей в конфигурации, которые мы последовательно разберём в этой статье.

🔹 Основы IPv6 в домашней сети

📦 Вам дают не IP, а префикс (например, /56)

Это значит, что вы сами управляете адресами в своей сети — маршрутизатор раздаёт их клиентам.

Лето в самом разгаре — хорошее время, чтобы собрать что-то полезное. Если не знаете, что именно — эта подборка может подсказать. Мы собрали пять интересных проектов на Raspberry Pi. Это не концепты, а работающие устройства: компактные, автономные, с понятной задачей и аккуратной реализацией. Тут нет абстрактных прототипов — все собрано, протестировано и продемонстрировано.

Intel внезапно поставила точку в истории Clear Linux — дистрибутива, который больше десяти лет считался одним из самых шустрых в мире Linux. Разработка остановлена, поддержка прекращена, а пользователям настоятельно советуют паковать чемоданы и мигрировать на другие системы. Что привело к такому решению, какие уникальные фичи Clear Linux уже не увидят свет? А главное — что это значит для Linux-сообщества? Разбираемся в подробностях.

WhatsApp в России депутаты обещают заблокировать уже в очень скором времени. Доверие к Telegram у многих довольно сильно было подорвано после публикации расследования одного издания об особенностях их протокола вкупе с подробностями о том, кто владеет их сетевой инфраструктурой и с кем он связан, да и недавнее появление Telegram в реестре РКН тоже оптимизма в их отношении не добавляет. Max - оставим для сумасшедших и безвыходных, учитывая, кто и зачем его создал. Signal - отличный мессенджер и всем хорош, но в России его тоже периодически пытаются заблокировать.

На фоне всего этого многие начали задумываться о поднятии своего сервера для обмена сообщениями. С самодельными серверами и "не-попсовыми" протоколами всегда встает проблема "а с кем там общаться?", потому что перетащить прям вот вообще всех собеседников и контрагентов на что-то им непривычное практически нереально. Но если речь идет только, например, об инструменте общения внутри семьи, небольшой группы единомышленников или внутри одной компании, то это может быть вполне неплохим вариантом.

В наше время как self-hosted альтернативу популярным мессенджерам часто упоминают Matrix, например, с клиентом Element. На Хабре есть подробные инструкции, например вот эта: https://habr.com/ru/articles/837904/. Я попробовал, и мне не понравилось. Клиенты тормозные, через нестабильный интернет-канал все работает просто отвратительно, а сам сервер просто неповоротливый и укладывает не слишком богатый на процессор и память VPS даже всего с парой клиентов.

И тут мне вспомнилось про XMPP, он же Jabber. Он родом еще из тех времен, когда люди пользовались процессорами на 200-300 мегагерц и подключались к интернету через dial-up модемы - то есть он изначально очень нетребовательный к ресурсам. Между тем, развитие его не замерло на месте, а на сегодняшний день он умеет почти все то что требуется от современного мессенджера: хранение истории, передача файлов, аудио-видео звонки, end-to-end шифрование, и другое.

Привет, Хабр!

Сегодня мы рассмотрим, как заставить PostgreSQL самостоятельно крутить K-Means для сегментации клиентов, не вытаскивая данные наружу. Пройдемся по циклу: нормализуем фичи в materialized view, напишем функцию PL/PythonU, которая дергает scikit-learn, сохраняем cluster_id обратно в таблицу и закрываем гештальт отчётом «доход по кластеру» чистым SQL.

Дизайнеры, программисты, копирайтеры, маркетологи и многие другие на митапах, встречах, хакатонах, в комментариях на Хабре обсуждают, как, когда и в чём их заменит ИИ. В многоголосье айтишных голосов реже остальных слышно сисадминов. Не то чтобы они умели заговаривать роботов и были сами теми ещё искусственными интеллектами — просто есть довольно весомые предпосылки, которые говорят, что бубен и интуиция не одну нейронку переживут. 

День системного администратора — самое время разобраться кожаным с железными.

Уже несколько лет компания AMD предлагает совершенно атомные, а точнее ядерные, а ещё точнее суперМНОГОЯДЕРНЫЕ процессоры Epyc. В этой статье мы рассмотрим основные «бутылочные горлышки», настройки биос и другие вещи, которые мешают раскрыть потенциал этих процессоров.

Привет! На связи команда mClouds. В июне 2025 года вышло новое издание рейтинга TOP500, который ранжирует самые производительные суперкомпьютеры мира. Тройка лидеров сохранила свои позиции: El Capitan, Frontier и Aurora — все три системы перешагнули показатель в 1 экзафлопс и принадлежат Министерству энергетики США.

Мы решили разобраться, что скрывается за цифрами производительности: какие технологии позволили El Capitan достичь невероятных 1,742 экзафлопса, что помогло Frontier и Aurora удержаться в тройке лидеров и какие проекты могут бросить им вызов в ближайшем будущем.

В этом обзоре мы познакомимся с новым продуктом компании Киберпротект – Кибер Хранилище. Это простая в эксплуатации универсальная, система хранения данных, работающая на базе стандартного серверного оборудования архитектуры x86-64 с установленными дисками HDD, SSD или NVMe.

Кибер Хранилище поддерживает основные протоколы хранения: iSCSI, NFS и S3, интегрировано с системой резервного копирования Кибер Бэкап и сервисом Кибер Бэкап Облачный, поддерживает возможность неограниченного масштабирования и реализации географически распределенных решений. 

Изначально DevOps — специалист на стыке двух миров: разработки (DEVelopment) и эксплуатации (OPerations). Его задача — развертывать приложения и обеспечивать их бесперебойную работу, что включает в себя также заботу об инфраструктуре.

Я наблюдаю за развитием DevOps уже 13 лет. IT активно растет, девопсов требуется все больше. Так что сюда потянулись коллеги из смежных областей. Но в чистом виде ни одна из других специальностей не содержит полный набор требуемых навыков.

Сегодня размышляю, что так и что не так с разработчиками и сисадминами, которые устремились в DevOps (ну помимо идеи, что каждый должен заниматься своим делом).

Как бы ни отличались дистрибутивы, в основе любой Linux-системы лежит одна и та же иерархия каталогов. Некоторые директории встречаются повсюду, другие — появляются лишь при наличии определённых сервисов. Но чтобы понимать, где живут исполняемые файлы, конфигурации, временные данные или точки монтирования, нужно ориентироваться в стандарте FHS. В этом разборе — чёткое и системное описание всех ключевых директорий, их назначения и примеров использования, без упрощений и штампов. Материал будет полезен для новичков в Linux.

Во 2 части этой серии мы рассмотрели практическое развертывание кластера Ceph на двух площадках с отдельной tie-breaker локацией, с использованием пользовательского файла спецификации для компонентов Ceph, CRUSH-правил и мест размещения компонентов.

В финальной части мы протестируем эту конфигурацию и изучим, что происходит, когда весь дата-центр выходит из строя.

Привет, Хабр! Я, Солнцев Евгений, руководитель управления эксплуатации прикладных систем Страхового Дома ВСК.

У нас периодически возникает необходимость в миграции информационных систем и сервисов в другой ЦОД или облачную инфраструктуру. Необходимость в миграции может быть вызвана: