Серверная оптимизация *

CSI-драйвер и Swordfish API: как заставить Kubernetes дружить с любым хранилищем

В современных enterprise-средах важно обеспечить стандартизированный доступ к системам хранения данных (СХД) от разных производителей, избегая жесткой привязки к конкретному вендору. Одним из решений этой задачи является использование CSI-драйвера, который взаимодействует с Swordfish API. Такая интеграция позволяет Kubernetes автоматически создавать, подключать и удалять тома, избавляя команды от множества ручных операций.

Процесс выглядит так: когда приложение в Kubernetes запрашивает постоянное хранилище, оркестратор формирует PersistentVolumeClaim (PVC) с нужными параметрами — размером, типом и характеристиками. Kubernetes определяет, что создание тома должно выполняться через CSI-драйвер, и передает запрос в эмулятор Swordfish API. Тот создает том, а в случае работы с файловыми системами (например, NFS) дополнительно настраивает подключение к серверу и возвращает CSI-драйверу сведения о готовом ресурсе.

Дальше Kubernetes связывает созданный том с заявкой PVC, после чего CSI-драйвер монтирует его на рабочий узел к нужному контейнеру или поду. Эмулятор Swordfish API при этом добавляет путь к каталогу в конфигурацию NFS (/etc/exports), что позволяет клиентам подключаться к сетевому хранилищу.

Когда хранилище больше не нужно:

• DevOps удаляет PVC.

• Kubernetes вызывает NodeUnpublishVolume для размонтирования тома с узла.

• CSI-драйвер передает команду Swordfish API.

• API удаляет том и освобождает ресурсы (в случае NFS — удаляет запись из /etc/exports и каталог).

• Kubernetes удаляет объект PV, завершая процесс.

Главное преимущество этого подхода в том, что он автоматизирует полный цикл работы с томами — от создания до удаления — и при этом одинаково хорошо работает с разными типами СХД, обеспечивая гибкость и снижение операционных затрат.

Если интересно, как самостоятельно разработать CSI-драйвер с поддержкой Swordfish API и запустить его даже без реального оборудования, то об этом — в статье, где пошагово показано, как реализовать и протестировать решение.

В развитие темы Bare Metal VM, над которой я время от времени размышляю начиная аж с 2010 года, предлагаю ознакомиться с интересным и, на мой взгляд, перспективным проектом OSv.

Ещё в 10-м году я подумывал над тем, что имея сервера приложений наподобие Томката и серьёзную взрослую изоляцию на уровне загрузчика классов - можно выкинуть подлежащую ОС со всеми её ненужными сервисами из нашего стека, оставив сервер приложений на голом железе. Тогда же выяснилось, что не я один так думаю, было коммерческое предложение Oracle JRockitVE. Судя по всему, наследница вот этого приобретения Bea.

Ранее я уже писал статью об этой идее на Хабре и пытался защищать в дискуссии.

Можно попробовать снова.

Ещё можно смотреть на развитие ОС на базе грааля. Или вспомнить про JaOS.

К современным ОС типа Линукса у меня есть много претензий, и есть несколько идей, которые можно было бы реализовать для их улучшения. Некоторые из них описаны в указанном проекте. Некоторые в том или ином виде наличествуют в специализированных коммерческих предложениях (Юникс) крупных вендоров типа АйбиЭм или того же Оракла. Это касается, например,

• файлово-дискового стека,

• оптимизации сети,

• использования ГПУ в неожиданных местах,

• гибкости в использовании СУБД при разработке с контейнером.

Чемпионат мира по метанию серверов на фестивале CloudFest-2025

CloudFest – ежегодный фестиваль интернет-индустрии и облачных вычислений, прошедший в Германии с 17 по 20 марта 2025 года и привлекший почти 9 тысяч посетителей. Мероприятие традиционно проводится в Европе-Парке в Шварцвальде и имеет достаточно насыщенную программу: 250 выступающих от 150 компаний-участников из 80 стран. Доклады, мастер-классы, новинки от гигантов индустрии, стартапы и проч. … но, по понятным причинам шоу-стоппером и гвоздем фестиваля стал чемпионат по метанию серверов – World Server Throwing Championship (WSTC). 

Метались серверы высотой 1U весом примерно 10 кг. (Говорят, можно даже было приносить свои серверы, но это не точно). Здесь всё как в большом спорте – громкие прозвища, например, Бартош-Зверь, Дирк-Машина, чемпионские пояса, анонсеры, чирлидерши и проч. 

В конкурсе принимали участие как мужчины, так и женщины – единственное требование к участникам – надеть перчатки дабы не поранить руки о края девайса и желание метать сервер %&#* далеко (орфография сохранена). 

Накануне основного дня соревнований устраивались отборочные туры, где у каждого метателя было по две попытки, из которых фиксировался самый дальний бросок. Затем три лучших финалиста вышли в финал и соревновались с победителями испанских и голландских квалификаций, а также с прошлогодними чемпионами. 

Приводим ссылку на страницу соревнования и пару роликов:

Официальный ролик дополняет любительское видео.

Устроители шутят (или нет?) и поговаривают, что в будущем следует ожидать включение этого вида спорта в олимпийскую программу.

Комменты под видео в сети:

 - Надо биатлон устроить: Сначала пишут код, который выполняет какую-то полезную работу на сервере, подключенном только к ИБП. Потом метают ИБП и сервер. Результаты суммируют.

- Никогда не используйте сервер, который не сможете выбросить в окно.

- Там от сервера - одно название. Ни тебе процессора с кулером, ни Хардов, ни РАМы, ни рек-Маунт-китов.

- Честно говоря, это самое приятное мероприятие, которое я когда-либо видел. 

- Линукс знает, как падать. 

- Обычный день сисадмина.

Orion soft обновляет виртуализацию zVirt: Storage DRS, репликация на уровне СХД YADRO и Huawei, ядро ИСП РАН и другие новые функции

31 марта мы выпустим крупное обновление нашей защищенной платформы виртуализации zVirt.

Версия 4.3 включает инструмент для объединения нескольких доменов хранения в логический кластер (Storage DRS), управление репликацией на уровне СХД YADRO и Huawei, управление сертификатами через интерфейс, отечественное ядро ИСП РАН, Terraform-провайдер и еще 30 улучшений.

Приглашаем 1 апреля в 11:00 по Мск на вебинар о новом релизе, на котором расскажем подробнее о главных нововведениях и поделимся планами на развитие продукта.

Регистрация открыта по ссылке.

Какие темы можно послушать на конференции GoCloud 2025? ☁️

Трек: Инфраструктура и сервисы — про новые и популярные инструменты платформы Cloud.ru Evolution и то, как они помогают в решении задач.

Тема: Увеличиваем дисковое пространство физического сервера за 1 минуту.

На выступлении вы узнаете:

- про возможные риски потери данных и способы их предотвращения;

- как подключить блочные хранилища к железным серверам;

- про эффективный подход к защите данных и его применение.

📅 Когда: 10 апреля в 16:30 мск

👉 Зарегистрироваться

Что еще интересного будет на GoCloud 2025, смотрите в программе конференции.

Через час подключайтесь к вебинару о сетевых дисках для выделенных серверов

В 12:00 мск начнем вебинар «Как работать с сетевыми дисками для выделенных серверов». Поговорим о новой фиче выделенных серверов Selectel — сетевых дисках. Обсудим ее с двух точек зрения — технической и продуктовой, а еще расскажем, как создавать сетевые диски и подключать их к серверам.

Смотреть на YouTube →

Смотреть во ВКонтакте →

Программа вебинара

• Введение в работу с сетевыми дисками: зачем они нужны и какое развитие ждет этот сервис;

• Архитектура сетевых дисков и демо подключения диска к хосту или группе хостов.

Кому будет интересно

• Системным администраторам;

• DevOps-инженерам;

• Техлидам.

Спикеры расскажут, как работают сетевые диски для выделенных серверов. Объяснят, как устроена архитектура сервиса, покажут подключение диска к хосту или группе хостов Proxmox, а также пример использования в частной виртуализации. Готовьте вопросы: эксперты обязательно на них ответят в конце вебинара.

Подключиться к трансляции →

Как мы сокращали количество запросов по фичам в API

Контекст: я отвечаю за разработку конструктора Telegram-приложений. Начинались мы как конструктор кликеров (еще до хомяка). Со временем эволюционировали в конструктор курсов, сообществ, визиток, мероприятий и любых других приложений

Одна из основных сущностей в коде — это BotUser. То есть пользователь, который появился в приложении (зашёл хотя бы раз), имеет имя и Telegram ID

За ~полгода проекта у нас добавилось много фич, привязанных к пользователю. Практически все сопоставляются 1 к 1 по ключу User ID. Например, квизы, бонусные дни, купленные страницы, купленный карточки апгрейдов, тариф и т.д.

Раньше для каждой новой фичи мы добавляли новый запрос в API с фронтенда. И вот мы заметили, что на каждый заход пользователя стало уходить >10 запросов в API ⚠️.

Примерно вот так:

GET /users/user
// Response
{
  "tgUsername": ...,
  "tgId": ...,
  ...
}

GET /users/features/quizzes/completed
// Response
{
  "completedQuizzes": ...,
}
   
GET /users/features/pages/bought
// Response
{
  "boughtPages": ...,
}
   
GET /users/features/rates/rate
// Response
{
  "userRate": ...,
}

При этом, на каждый запрос мы проверяли авторизацию. В Telegram это делается с помощью хеша от Telegram + проверка подписи токеном бота

Следовательно, на каждый запрос мы делали JOIN пользователя, брали бота (сущность Bot) из кэша и мэтчили подпись (+ логгировали). Это лишняя нагрузка

Сейчас подсобрали все фичи в один запрос. Теперь, на каждый заход пользователя получается только один GET /app/account/data, который возвращает данные пользователя вместе с данными фичей:

GET /app/account/data

// Response
{
  ...
  "user": ...,
  "completedQuizzes": ...,
  "boughtPages": ...,
  "currentRate": ...,
  ...
}

За одно перепроверили, что:

• не подгружаем связанные сущности, где не нужно (one-to-one, one-to-many);

• если подгружаем сущности, всегда делаем это одним JOIN'ом (а не бегаем по 2-3 раза в БД, как любит делать Hibernate);

• берём общие часто запрашиваемые данные из кэшей.

Это позволило снизить нагрузку на сервер и БД. К посту прикрепляю график загрузки части наших серверов по CPU до и после оптимизации.

---

Если вам понравился пост или оказался полезным, поставьте, пожалуйста лайк ❤️. Это мотивирует делиться опытом из разработки. И, как полагается, у меня есть Telegram-канал, в котором я рассказываю про разработку, развитие SaaS-сервисов и управление IT проектами.

Как справиться с 6 500 баз данных 1С?

Администрирование баз данных 1С — задача довольно распространенная. Другое дело, когда в вашей инфраструктуре 6 500 таких баз и 4 000 пользователей. И все это должно быстро и стабильно работать, резервироваться, восстанавливаться и иметь защиту от внешних угроз. С таким запросом в Selectel обратился сервис Альтап.

В кейсе рассказываем, как компания:

• подобрала оптимальные конфигурации выделенных серверов для 1С и баз данных,

• обеспечила надежное хранение резервных копий баз данных,

• защитила сервис от DDoS-атак и других угроз из интернета.

Подробности кейса — в Академии Selectel.

Как сэкономить на IT-инфраструктуре? Дадим план действий на вебинаре

Привет, Хабр! 29 января в 12:00 проведем вебинар «Cloud или Bare Metal: где лучше запускать кластеры Kubernetes?». Обсудим, как сократить расходы на инфраструктуру до 40%. Присоединяйтесь!

Участвовать →

О чем вебинар

Managed Kubernetes на выделенных серверах позволяет экономить на железе. На практическом вебинаре объясним и покажем, как это сделать. Познакомим вас с самыми популярными и выгодными конфигурациями серверов для развертывания кластеров Kubernetes и поделимся кейсами клиентов, которые уже используют решение.

«Что получится, если совместить мощность и безопасность выделенных серверов с гибкостью Kubernetes? Поговорим про производительность, эффективное управление ресурсами и снижение расходов у клиентов нового продукта Selectel Kubernetes on Bare Metal. До встречи!»

Сергей Ковалёв, спикер вебинара и менеджер выделенных серверов в Selectel

Кому будет особенно полезно?

• DevOps-инженерам и SRE-инженерам;

• Разработчикам и руководителям IT-проектов;

• Системным администраторам и архитекторам;

• Всем, кто работает с орекстраторами.

Ключевые темы

Managed Kubernetes на Bare Metal

Поговорим о преимуществах использования нового сервиса Selectel. Расскажем, для каких задач он подойдет.

Выделенные серверы, их особенности и преимущества

Раскроем карты и покажем самые популярные и выгодные конфигурации серверов для развертывания кластеров Kubernetes.

Пошаговое создание кластера Managed Kubernetes на выделенных серверах

Покажем весь процесс создания кластера с нуля и ответим на вопросы. Объясним, какие задачи возьмем на себя, а что останется сделать вам.

Задавайте вопросы — спикеры ответят на них в прямом эфире. За лучший вопрос подарим подарок от Selectel!

До встречи 29 января в 12:00.

Регистрация →

Продолжаем развивать сетевые диски

Добавили виджет визуализации параметров сетевых дисков. Теперь можно увидеть, сколько операций чтения и записи выполняется в секунду, и какая пропускная способность у разных типов дисков — NVMe и HDD. Обязательно зацените 😎

А теперь к цифрам, которые можно получить у нас в облаке:

NVMe. От 10 000 до 30 000 операций чтения в секунду и от 7 000 до 15 000 операций записи. Скачивание на скорости от 200 до 500 мегабайт в секунду, загрузка — от 150 до 300

HDD. В секунду от 150 до 2 000 операций чтения и от 100 до 1 000 записи. Скорость скачивания от 100 до 200 мегабайт в секунду, а загрузки — от 50 до 100

И апдейт для повышения безопасности: теперь можно подтвердить удаление сетевого диска с помощью кода в Телеграме. Для этого перейдите в настройки аккаунта → «Уведомления» → «Безопасность» → клик на соответствующий свитч под словом «Телеграм».

Выбрать тип сетевого диска →

Новая линейка тарифов Dedicated CPU. Её суперсила — в фиксировании процессорных ядер.

Обычные тарифы используют динамическое распределение свободных ядер, что может приводить к задержкам при переключении.

В Dedicated CPU такого нет. Все ядра фиксируются только за вашим сервером, обеспечивая максимальную производительность вычислений.

Стоимость такого ядра — 1 250 рублей в месяц. Под один сервер можно зафиксировать до 32 шт.

Минимальный конфиг — 1 ядро, 4 ГБ оперативки и диск NVMe на 50 ГБ — 2 330 рублей в месяц.

Доступно для облачных серверов в Москве и Санкт-Петербурге.

Заказать сервер с выделенными ядрами → 

🤒 Оптимизация электропотребления в Linux

Как известно, на линухе работа с питанием хуже, чем на Windows. Особенно это критично для людей с ноутбуком, желающих продлить время жизни от батареи.

Рассмотрим 3 инструмента:

1. Один из самых популярных — TLP

TLP (The Linux Power Management). Мощный инструмент, много гибких настроек для процессора, дисков, сетевых интерфейсов и т.д. Хорошая документация. TLP работает в фоновом режиме, после настройки все будет работать само. Существует удобный TLPUI, чтобы не менять конфиги руками. Автоматически переходит в режим экономии при подключении зарядки.

+ Много гибких параметров

+ Автоматическое адаптивное управление

+ Разные типы устройств

- Возможно, надо будет доп настраивать для некоторых систем (на моем Lenovo Ideapad например пришлось читать вот это, благо дока хорошая)

- Необходимость обновления (сомнительно)

2. Самый эффективный — auto-cpufreq

Автоматически управляет частотой процессора исходя из нагрузки и состояния батареи. Якобы сильно эффективнее и лучше TLP. Может работать вместе с ним, хотя и не рекомендуется.

+ Простота использования — достаточно запустить и забыть

+ Интеграция с другими инструментами

+ Постоянное обновление частоты процессора в зависимости от нагрузки

- Может потребовать доп настройки

- Требует админских прав для работы (сомнительно)

3. От корпорации зла — Power Profiles Daemon (ppd)

Power Profiles Daemon — три режима работы (производительность, сбалансированный, экономия), между которыми можно переключаться. По умолчанию во всех DE именно он находится в виджете "батарея". Сделан Red Hat.

+ Интеграция с системой

+ Поддержка различных профилей питания

+ Легкость использования через графический интерфейс

— Менее гибок, чем перечисленные выше

Я по итогу выбрал auto-cpufreq и tlp (только потому, что ограничивает заряд батареи)
Если вам есть что сказать, с удовольствием пообщаемся в комментах :)

Добавили в балансировщик новый протокол TCP+TLS — теперь его можно использовать, например, для TURN TLS или gRPC TLS.

И упростили установку Let's Encrypt. Теперь его можно устанавливать и на этапе создания новых балансировщиков, а также на поддомены. А еще А-запись для выбранных доменов теперь обновляется автоматически.

Пора создать балансировщик → 

Добавили в каждый балансировщик раздел «Серверы». В нем можно отслеживать все, что подключено к балансировке, а также IP-адреса сервисов, статусы доступности и время даунтайма.

Статусы обновляются моментально, но иногда могут быть задержки до 1 минуты.

Также теперь к балансировке можно подключать не только облачные и выделенные серверы, но и базы данных и Backend Apps. А еще балансировщики получили отдельный раздел в левом меню — для большего удобства.

Настроить балансировку → 

Добавили возможность устанавливать SSL на балансировщики. На выбор: бесплатный Let’s Encrypt с автоустановкой и продлением, или собственный.

Теперь вместо загрузки сертификатов на каждый сервер по отдельности достаточно загрузить один сертификат на балансировщик.

Скоро добавим автоматическую настройку А-записи перед установкой Let's Encrypt, его установку на поддомены и интеграцию с платными SSL.

Поставить SSL на балансировщик → 

Решите задачу про взвешивание серверов?

Условие

Стойки в дата-центре вмещают четыре одинаковых сервера. Форма, размер и вес серверов совпадают. В ЦОД привезли новую партию из восьми серверов, при этом выяснилось, что один из них весит больше других, хотя выглядит так же. 

Чтобы стойка не сломалась, сотруднику дата-центра Ване нужно определить нестандартную машину и отправить ее обратно поставщику.

Задача

Как с помощью огромных рычажных весов и всего двух взвешиваний определить нестандартный сервер?

Предлагайте варианты решения в комментариях. А проверить себя (или подсмотреть правильный ответ) можно в Академии Selectel.

Меньше часа остается до начала нашей флагманской конференции Selectel Tech Day 2024 🔥

Онлайн‑зрители, подключайтесь в 10:45 к прямому эфиру из студии. Директор по сопровождению ключевых клиентов Татьяна Свирко и руководитель event‑отдела Мария Бойкова поделятся историей мероприятия и подробнее расскажут о том, что ждет участников Tech Day сегодня. Официальная часть начнется с приветственного слова CEO Selectel Олега Любимова в 11:00. 

Если вы смотрите нас онлайн, обратите внимание: доклады в первом и втором зале пройдут в разных трансляциях. Все ссылки на разные площадки собраны на сайте конференции.

До начала конференции убедитесь, что вы подписаны на Telegram-канал Selectel Tech Day 2024. В нем дополнительно будем анонсировать каждый доклад и собирать под постами вопросы для спикеров. 

Присоединяйтесь, будет интересно ⚡️

Оптимизация изображений с помощью Image Stack

Loading… ⏰

Падают охваты из-за долгой загрузки страниц?

В мобильных приложениях, соцсетях и на веб-сайтах это может произойти из-за большого количества изображений.

Image Stack — функция CDN — помогает решить проблему и уменьшить объем передаваемых данных. Инструмент автоматически оптимизирует изображения, улучшает SEO-результаты и повышает уровень конверсии.

В новом материале рассказываем, как работает Image Stack, кому он подходит и какие задачи решает. Также оставили инструкцию по подключению функции.

Читать статью в Академии Selectel→

Отказоустойчивость Hosted Engine, поддержка Keycloak и другие обновления: Orion soft расскажет о масштабном релизе zVirt 4.2

30 июля в 11:00 российский ИТ-разработчик Orion soft проведет онлайн-презентацию нового релиза флагманского решения компании — системы виртуализации zVirt. Представители компании раскроют технические особенности новых фичей, проведут демонстрацию и ответят на вопросы участников.

Версия zVirt 4.2 получила несколько мажорных обновлений. В их числе — дублирование Hosted Engine, которое обеспечивает высокую доступность для узла управления кластером zVirt, а также поддержка Keycloak — функция, с помощью которой компании могут организовать безопасную авторизацию пользователей zVirt с двухфакторной аутентификацией и удобно управлять учетными записями пользователей через UI. В zVirt 4.2 реализованы также механизм зеркалирования и приема трафика в SDN и поддержка программно-определяемого хранилища (SDS). 

Презентацию новых функций проведет Максим Березин, директор по развитию бизнеса Orion soft. Кроме того, спикер поделится результатами нагрузочного тестирования и расскажет о том, на каком количестве хостов продукт может стабильно работать.

В рамках презентации будут анонсированы также функции, которые войдут в следующий релиз zVirt 5.0. Среди них Storage DRS, упрощенный инсталлятор, управление аппаратной репликацией на СХД, Terraform provider и миграция конфигурации VMware vSphere в модуль SDN zVirt.

Зарегистрироваться на митап можно по ссылке.

Пресс-служба компании «Веб-сервер» рассказала, что интеллектуальный сетевой экран SolidWall WAF совместим с веб-сервером Angie Pro. Его применяют для защиты веб-приложений и их пользователей от кибератак и выявления таргетированных атак.

Проведённые тесты совместимости Angie Pro и SolidWall дополнительно подтверждают большую надёжность и безопасность защиты бизнеса от киберугроз, учитывая тенденцию перехода на отечественное инфраструктурное ПО в рамках импортозамещения.

Генеральный директор компании «Веб-сервер» Заур Абасмирзоев

Кроме того, Angie Pro совместим с отечественными операционными системами, включая «Ред ОС», Astra Linux Special Edition, «РОСА Хром 12 Сервер», «Альт» и их ФСТЭК-версию «Альт СП». Angie Pro имеет обратную совместимость с самой последней версией nginx, что позволяет пользователям перейти на отечественное решение без серьёзных затрат и простоя сервисов.