Системное администрирование *

Современный ЦОД может одновременно обслуживать кластеры GPU для обучения ИИ‑моделей и традиционные веб‑сервисы, но требования этих нагрузок к сети существенно различаются. Попытка объединить их в одной инфраструктуре может привести к перегрузкам, простоям ускорителей и неоправданным затратам. Разберёмся, почему возникают эти конфликты и какая архитектура сетевой фабрики позволит эффективно обслуживать оба типа нагрузок.

Привет! Меня зовут Василий, и я разработчик СУБД РЕД База Данных в компании РЕД СОФТ. Сегодня я расскажу про передачу данных из СУБД РЕД База Данных в платформу для обработки потоковых данных Apache Kafka с помощью специального плагина. В этой статье: про создание плагина, его отличия от аналогичных решений для других СУБД, репликацию и возможные кейсы использования.

В продакшене CDC обеспечивает аналитику данными практически в реальном времени и позволяет синхронизировать объекты с минимальной задержкой, например кэши. Технология дает возможность объединять данные из различных источников без дополнительной трансформации, а также проводить миграцию без даунтайма. Кроме того, CDC помогает решать задачи аудита инцидентов и поддерживать согласованность сервисов.

Но для начала немного вводной части. Сегодня данные – основа любого бизнеса. Но они очень редко хранятся в одном месте. Данные обрабатываются в OLTP-системах, анализируются в OLAP, поисковых движках, кэшах, потоках микросервисов.

Основная сложность распределения данных – передать их из одной системы в другую. Обычно такую проблему решают с помощью выгрузки данных в определенный формат и загружают их в целевую систему. Но этот подход имеет серьезный недостаток – данные быстро устаревают. К тому же сохранение большого объема данных требует дополнительного места на носителях информации, что увеличивает финансовые затраты.

Change Data Capture (Захват измененных данных) позволяет решить эту проблему. Это не просто технология, а архитектурная модель, описывающая подход, при котором в базе данных отслеживаются изменения (добавление, изменение и удаление записей) и оперативно передаются в другие системы, обеспечивая надежность и доступность данных. Простыми словами, CDC перехватывает только измененные строки, а не всю базу целиком.

Мы запускаем новую рубрику Лучшие практики SpaceVM 6.5.9, ориентированную на системных администраторов, сетевых инженеров и специалистов по виртуализации. В этой серии публикаций мы последовательно разберем ключевые архитектурные и прикладные сценарии развертывания, настройки и эксплуатации платформы SpaceVM.

В ноябре на вебинарах Инфостарта разберём четыре практические задачи: роботизацию рутинных операций, расчёт укладки товаров на палеты, поиск причин сложных сбоев в 1С и автоматизацию учебных центров. В программе - демонстрации решений, технические разборы и опыт внедрения.

29 октября из Binance, крупнейшей криптобиржи мира, вывели около $6,3 млрд. По первой версии самой биржи, всё началось со скомпрометированного ноутбука DevOps-инженера.

Через ноутбук атакующий добрался до service container и оттуда отправил транзакции на вывод. Ключи от кошельков не утекли: транзакции подписала сама система биржи, потому что запрос пришёл изнутри.

Криптовалюта здесь вторична. Мне интереснее другое: задачи по безопасности у нас месяцами лежат в бэклоге, а ноутбук инженера с доступом в прод остаётся самым удобным входом в компанию.

Утро на учебном сервере web-1. В /var/log/auth.log две строки: deploy зашёл по ключу и перезапустил приложение. Скучно.

Несколько секунд назад строк было шесть. Ещё четыре рассказывали, как кто-то с адреса 203.0.113.7 с третьей попытки подобрал пароль root и скачал себе файл в /tmp. Потом он выполнил sed -i ‘/203.0.113.7/d’ /var/log/auth.log, и для сервера этих строк не стало.

Но рядом с журналом работал сборщик, и каждая строка ушла на другую машину раньше, чем её стёрли. Расследование получает все четыре обратно, байт в байт, и к каждой приложено доказательство, которое проверяющий проверит у себя: без доступа к хранилищу и без доверия к его хозяину. Рассказываю, как это устроено и от каких пяти противников защищает.

Дома я постоянно что-нибудь мастерю, переделываю и пытаюсь заставить работать немного не так, как задумывал производитель. Где-то хочется оживить старое устройство, где-то - связать между собой две вещи, которые официально друг о друге ничего не знают, а иногда просто интересно проверить: «А что будет, если?» В последнее время почти во всех этих затеях мне помогает Чижик. Причем не в формате «спросил у чат-бота, получил пять общих советов и пошел разбираться сам». Мы вместе исследуем устройства, читаем логи, пишем небольшие программы, собираем приложения, проверяем гипотезы.

Постепенно таких домашних историй накопилось достаточно много, и я решил ими делиться. Возможно, кто-то найдет здесь готовую идею для собственного дома. А кто-то просто поймет, что ChatGPT Codex можно применять не только для написания очередной функции в рабочем проекте.

Для владельцев роутеров Keenetic/Netcraze, которые, как и автор, не смогли найти удобной управлялки Xray - навайбкоженное решение для управления ею.

В начале года я разработал AmneziaWG контейнер для Mikrotik. С тех пор произошло довольно много изменений, и судя по тому, как на хабре часто выходят разного рода статьи, где то один, то другой придумывает и вайбкодит какой-то новый впн-клиент, то складывается впечатление, что о Amnezia уже все забыли, хотя она очень даже помогает решать рабочие задачи.

В филиальной сети перестала открываться страница, которая до этого работала неделями. На роутере всё зелёное: :resolve отдаёт валидный адрес, DoH отвечает Status:0, монитор пишет «здоров». А у людей страница не открывается.

Оказалось, что ответ Cloudflare (8.6.112.0 / 8.47.69.0) валиден, но до него из этой сети нет маршрута. Проверка «получил IP или нет» такого не ловит. Рассказ о том, как я делал отказоустойчивый DoH на MikroTik и где упёрся в ограничения RouterOS.

Что делать, если Windows 11 заблокировала профиль пользователя, встроенные инструменты восстановления пасуют, а «всемогущий ИИ» с первой попытки предлагает решение, которое превращает систему в бесконечную рекурсивную петлю?

Рассказываю историю о том, как обычный пятничный вечер превратился в расследование сбоя NTFS-разрешений, как обойти скрытые ловушки совместимости Windows со времен XP и как с помощью правильного PowerShell-скрипта вернуть владельцу доступ к 180 тысячам файлов профиля (и спасти игровые сохранения!), не потеряв ни одного байта данных. 

Представьте ситуацию: на компьютере включён VPN, зарубежные сервисы работают, но некоторые российские сайты, банки или маркетплейсы начинают просить его отключить.

Выключаете VPN — российские ресурсы открываются, зато часть зарубежных становится недоступной. Включаете обратно — проблема повторяется.

А если одновременно нужны корпоративный VPN, личный VPN, мессенджеры, игры и обычный интернет?

Мне надоело постоянно переключаться между подключениями. Поэтому я начал разрабатывать NetRuleRouter — программу, которая позволяет управлять маршрутизацией трафика по сайтам, приложениям, IP-адресам и сетям.

Причём NetRuleRouter — не VPN-клиент. Он работает поверх уже существующих подключений и позволяет выбирать, через какое из них должен идти определённый трафик.

Разработку я начал 1 апреля 2026 года, первые рабочие версии использовал ещё летом, а теперь выпустил первую публичную альфу NetRuleRouter v0.1.0-alpha.1 для Windows и Linux.

Хочу рассказать, откуда появилась идея, что уже умеет программа, как я использую её сам и почему при таком количестве возможностей это пока именно alpha.

Сколько у вас в инфраструктуре версий PostgreSQL? А какие из них уже не поддерживаются? А сколько CVE висит на том nginx, который «работает — не трогай»?

Если вы ответили на все три вопроса без поиска по чатам и вики, дальше можно не читать. А я в какой‑то момент понял, что не могу, и написал для этого инструмент. Под катом история о том, как он появился, на какие грабли я наступил по дороге и почему MySQL однажды заблокировал собственный хост из‑за моего мониторинга.

Думаю, многие из нас, желавших освоить DevOps или углубиться в азы архитектуры всеми любимого Linux сталкивались с такими понятиями как Inode, файловые дескрипторы, виртуальная файловая система, какие-то там суперблоки и многое-многое другое.

Всё это, как я считаю, можно объединить двумя словами: "Архитектура VFS", которую мы сегодня и разберём. Перед тем как начать, я думаю, что нам стоит определиться, что КОНКРЕТНО мы будем изучать:

1. Что такое файловые системы, какими они бывают и зачем они нужны.

2. Что такое VFS, зачем она нужна и как она работает.

3. Что такое файловые дескрипторы (FD), зачем они нужны и как они работают.

4. Операторы перенаправления потоков.

Если вы, как и я, метите в DevOps(а именно для них эта статья и написана), то эта информация вам может понадобиться, как минимум, для того, чтобы пройти собеседование - на тему траблшутинга часто могут задавать вопросы в духе "удалил файл, но процесс всё равно продолжает его читать".

Система стояла мёртвой десять месяцев, пока платная поддержка искала причину. Я поднял её за три дня. Оказалось, что «просто протухли сертификаты» было семью независимыми поломками: keystore на 0 байт, зашифрованный пароль с потерянной первой «@», приватный ключ, который не понимает родной OpenSSL продукта, и утёкшие соединения к Sybase IQ. Разбираем слой за слоем, без ребута и без сброса паролей.

В логе моего сборщика данных годами появлялась строка «не удалось получить данные:» и дальше ничего. Я считал это багом форматирования, пока не посмотрел: код написан правильно, просто у asyncio.TimeoutError пустой str(). Дальше выяснилось интереснее. Рядом лежит хелпер с тремя попытками и паузой в пять секунд, написанный ровно под сетевые сбои, а ловит он except aiohttp.ClientError. Начиная с Python 3.11 asyncio.TimeoutError это встроенный TimeoutError, наследник OSError, и к иерархии aiohttp он отношения не имеет. То есть единственная ошибка, ради которой ретраи существовали, пролетала мимо них. Причём у aiohttp есть и свои таймаутные исключения, которые как раз ClientError, и именно это сбивает с толку. Заодно разбираю, как я на основе этих пустых ошибок записал в заметки несуществующее «сетевое ограничение VPS» и построил вокруг него архитектурное решение.

Сегодня с утра обнаружил, что на сервере не работает docker build, который собирает проект под nodejs.

Опытным путем выяснил, что прерываются соединения к npm. Но интересно то, что это было не на всех сборках. Оказалось, что режутся только node:22 и node:24, а node:20 работает. При этом режется только когда запускаешь npm, а git и curl работают. Помимо npm, не скачивается с gitlab. Github при этом работает. Проблема возникает и при работе npm, и при fetch из node. А при использовании образов, основанных на alpine, а не debian, не работает даже git.

Копия SQLite открывается, контрольная сумма совпадает, integrity_check отвечает ok. А подтверждённого заказа в ней нет. Разбираю результат десяти локальных прогонов: где осталась запись, почему проверки её не заметили и как принять резервную копию по содержимому. Полный проверенный скрипт — внутри.

В прошлой статье я рассказывал про маршрутизацию и деньги в Keystone. The Model Switchboard. (KTMS), нашем open-source LLM-шлюзе на Go. Эта статья про эксплуатацию: как подключить свои видеокарты, что происходит, когда отказывает каждая зависимость, как менять ключи шифрования, как проверять, что вы скачали именно наш релиз, и как обновляться без простоя.

Привет! На связи Никита Шелепин, менеджер поддержки в Selectel. Расскажу о том, как однажды подписался на легкое на первый взгляд задание, предвкушая потратить пару вечеров, а закончилось все собственным CI/CD, Docker’ом и PWA.

Предстояло сделать сервис, который позволит оценивать когнитивные способности пользователей, а также будет собирать и сохранять результаты для выгрузки и дальнейшего исследования.

За моими плечами тогда было около года опыта — я писал инструменты администрирования на Vue с Bootstrap для одной компании в качестве подработки. Затем самостоятельно познакомился с SvelteKit — мне понравились его философия и модульность, а также то, что «из коробки» он дает удобный роутер и простые инструменты для создания fullstack-приложения.

С этим багажом знаний я и приступил к работе.