Обновить
25.73

Виртуализация *

Виртуализируем машины, ресурсы, приложения

Сначала показывать
Порог рейтинга
Уровень сложности

Как мы освободили 7 ТиБ памяти

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров4.5K

Многие команды работают с кластерами Kubernetes побольше нашего. В них больше узлов, больше подов, больше ingress и так далее. По большинству размерностей нас кто-нибудь, да побеждает.

Но есть одна размерность, по которой, как мы подозреваем, мы почти на вершине: это пространства имён. Я думаю так, потому что мы постоянно сталкиваемся со странным поведением во всех процессах, которые их отслеживают. В частности, все процессы, выполняющие их listwatch, занимают на удивление много памяти и подвергают apiserver серьёзной нагрузке. Это стало одной из сложностей масштабирования, которую замечаешь, только достигая определённого порога. При увеличении оверхеда памяти эффективность снижается: каждый байт, который нам нужно использовать для управления — это байт, отнятый у пользовательских сервисов.

Проблема сильно усугубляется, когда daemonset должен выполнять listwatch пространств имён или сетевых политик (netpol), которые мы определяем для каждого пространства имён. Так как daemonset запускают под в каждом узле, каждый из этих подов выполняет listwatch одних и тех же ресурсов, из-за чего объём используемой памяти увеличивается при росте количества узлов.

Хуже того — эти вызовы listwatch серьёзно нагружали apiserver. Если одновременно перезапускалось множество подов daemonset, например, при развёртывании, то они могли перегрузить сервер запросами и вызвать реальный вылет.

Читать далее

Новости

Нужны ли виртуальные машины?

Уровень сложностиСложный
Время на прочтение9 мин
Количество просмотров5.4K

Я задал это вопрос ИИ (Google) и получил ответ:

Виртуальные машины (ВМ) нужны для запуска нескольких операционных систем на одном компьютере, тестирования программ без риска для основной системы, создания изолированных и безопасных сред, а также для эффективного использования серверных ресурсов в облачных вычислениях и дата-центрах. Они полезны для разработчиков, системных администраторов и для пользователей, которым необходимо работать с разными ОС или приложениями. 

Основные причины, зачем нужны виртуальные машины:

Запуск нескольких ОС: Позволяют использовать Windows на Mac или, наоборот, запускать различные операционные системы в отдельных окнах на вашем компьютере.

Тестирование: Можно безопасно тестировать новое или подозрительное программное обеспечение, не боясь навредить основной системе. Это особенно актуально для тестирования приложений на разных платформах (например, на Windows и Linux).

Изоляция и безопасность: ВМ создают изолированную среду. Если в виртуальной машине произойдет сбой или она заразится вирусом, это не повлияет на работу основной операционной системы.

Виртуальные серверы: ВМ позволяют использовать один физический сервер для размещения нескольких виртуальных серверов. Это экономит средства, снижает потребление энергии и упрощает управление серверной инфраструктурой для компаний.

Гибкость и масштабируемость: ВМ легко создать, настроить и перенести. Это позволяет компаниям быстро адаптироваться к меняющимся нагрузкам и легко масштабировать свои ресурсы.

Эффективное использование ресурсов: Виртуальные машины позволяют распределять ресурсы одного физического компьютера между несколькими ВМ, что повышает общую эффективность использования оборудования. 

Разберемся с каждым пунктом по отдельности.

Читать далее

Что такое виртуальная машина и чем она отличается от виртуальных систем

Уровень сложностиСложный
Время на прочтение18 мин
Количество просмотров6.4K

В комментариях к одной из моих первых статей на Хабре мне было предложено написать статью про виртуальные машины.

Долго думал об этом, было много дел не располагающих к писательству, и вот собрался наконец.

Начну с остренького. В ИТ есть только одна настоящая система виртуальных машин. Это zVM. Всё остальное претендующее на это название на самом деле является системами виртуальных ... систем.

Давайте разбираться с котлетами и мухами.

Читать далее

Как правильно выбрать процессоры под разные облачные сегменты

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров772

Облачная инфраструктура должна одинаково эффективно работать с корпоративными ERP-системами, современными контейнеризованными приложениями и базами данных. Выбор процессоров для такой универсальной платформы превращается в комплексную задачу, где необходимо учитывать производительность, экономическую целесообразность, гибкость архитектуры и возможности масштабирования.

Рынок серверных процессоров эволюционировал от универсальных решений первых поколений Intel Xeon Scalable до современных специализированных CPU пятого и шестого поколений с встроенными ускорителями. Понимание этой эволюции и правильная интерпретация характеристик процессоров становится критически важным навыком при построении облачной инфраструктуры.

Читать далее

Главный релиз года. Встречаем Кибер Бэкап 18

Время на прочтение10 мин
Количество просмотров2.2K

Привет, Хабр! Сегодня познакомимся с Кибер Бэкапом 18 — новой версией нашей системы резервного копирования. Релиз у нас получился «увесистый» — мы обеспечили дальнейший рост производительности и масштабируемости системы, защиту новых и развитие возможностей защиты уже поддерживаемых источников данных, реализовали открытый API управления планами защиты, выполнили доработки в части интерфейса и управления системой, а также выпустили ознакомительную MVP‑версию Кибер Медиасервера.

Читать далее

Осенние будни DevOps: Debian 13 и Proxmox VE 9.0 в продакшене HOSTKEY

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров4.3K

Новая версия Debian 13 и релиз Proxmox VE 9.0 пришли почти одновременно, вызвав ажиотаж у клиентов. В статье рассказываем, как команда HOSTKEY адаптировала свои процессы, автоматизировала деплой и подготовила инфраструктуру под свежие релизы.

Читать далее

Как использовать виртуальные сетевые карты SR-IOV в ProxMox VE 8

Уровень сложностиСредний
Время на прочтение12 мин
Количество просмотров4.4K

Случается, что виртуальной машине необходимо предоставить доступ к RAW сетевой карте с тегированным трафиком, не разделяя его на VLAN на уровне гипервизора. Например, такое требование есть у OPNsense(firewall и routing) и у контроллеров для отечественной виртуализации Basis Dynamix.

Расскажу, как сделать такой доступ.

Читать далее

DOS на QEMU или IBM в кармане

Уровень сложностиСредний
Время на прочтение2 мин
Количество просмотров3.8K

486-й в кармане: как оживить MS-DOS на QEMU
Полный контроль над железом, цветной промпт и настройка Sound Blaster 16 — всё, что вы хотели знать о ретровиртуализации

Источник обложки (ужас как трудно подобрать хорошую обложку! так что не судите строго)

Читать далее

Ubuntu в Windows Subsystem for Linux (WSL)

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров8.1K

Если в качестве основной (или единственной) операционной системы используется Windows, самым быстрым и удобным способом начать пользоваться Ubuntu является использование встроенного ядра Linux прямо внутри Windows.
Эта функция, доступная в составе Windows, позволяет обойтись без гипервизора виртуальных машин и без настройки мультизагрузки (dual-boot, multi-boot). Ядро Linux запускается в лёгкой служебной виртуальной среде, основанной на компонентах Hyper-V, что обеспечивает минимальные накладные расходы и высокую производительность.
После установки выбранный дистрибутив Linux полностью интегрируется в систему Windows, позволяя разработчику пользоваться преимуществами обеих ОС с минимальными затратами — как аппаратными, так и временными.

Читать далее

K8S для самых маленьких или как поднять отказаустойчивый кластер k8s. Часть 1

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров10K

Еще до открытия для себя практик Dev-ops я использовал Docker для упаковки и быстрой доставки кода на сервера (всё делалось ручками, я еще не знал про CI/CD xD). Со временем мои приложения становились больше, появлялись микросервисы, убирался монолит. И управлять ручками или через Portainer всей архитектурой было слегка сложновато. Простой, куча вопросов, падение контейнеров, рост нагрузки и все в этом духе. Тогда-то я и открыл для себя кубер.

Познать кубер

Не новые обои, а капитальный ремонт: чем zVirt отличается от oVirt

Уровень сложностиПростой
Время на прочтение11 мин
Количество просмотров3.1K

Привет! Я Саша Епихин, CTO zVirt. В прошлой моей статье речь шла о том, как oVirt стала самым зрелым Open Source ПО для виртуализации и о том, почему мы в Orion soft выбрали разработку на базе этого решения, а не пошли другим путем. Я упоминал, что мы давно ушли от модели форка: oVirt — это только проверенное ядро, а всю дополнительную функциональность мы разрабатываем «поверх» него сами. Можно сказать, мы не просто натянули новые обои, а сделали капитальную пристройку с ремонтом. Это позволяет и получать обновления сообщества, и отправлять в него багфиксы, и развивать свое комьюнити.

Важно понимать контекст: в 2024 году oVirt официально осталась без поддержки разработчика Red Hat, который перестал выпускать для нее обновления безопасности. Любой продукт, оставшийся без техподдержки, опасен для бизнеса. Но zVirt — это не просто локализованная версия oVirt. Это эволюция платформы, которая не только добавляет новые функции, но и решает проблемы безопасности и стабильности исходного кода.

В этой статье я хочу рассказать подробнее, чем именно мы отличаемся от oVirt. Начну с доработок по стабильности и безопасности.

Читать далее

Как я, не разработчик, читаю туториал, который ты, разработчик, написал для меня

Уровень сложностиПростой
Время на прочтение2 мин
Количество просмотров21K

«Привет! Я разработчик. Для начала расскажу о своём важном для этой статьи опыте: я пишу код на Hoobijag, иногда на jabbernocks и, разумеется, на ABCDE++++ (но никогда — на ABCDE+/^+; вы что, шутите?); мне нравится работать с Shoobababoo и иногда с клептомитронами. Я устроился на работу в Компанию1 и занимаюсь там кодом для Shoobaboo, поэтому перешёл к использованию Snarfus. Давайте разбираться!

Читать далее

Серверный «сэконд-хенд» 2.0: как экономить в 2025 без потерь в надёжности

Время на прочтение4 мин
Количество просмотров4.7K

Нужно нарастить мощность без лишнего CAPEX? Разбираем, как вторичный рынок серверов превращается из «плана Б» в стандарт: 50–80% экономии, недели вместо месяцев, совместимость с российскими ОС. Плюс: чек-лист приёмки, таблица конфигураций и как провести пилот, чтобы спорить цифрами, а не мнениями.

Читать далее

Ближайшие события

Пишем с нуля ядро операционной системы

Уровень сложностиСредний
Время на прочтение19 мин
Количество просмотров18K

Недавно я реализовал минимальный proof of concept ядра операционной системы с разделением времени для RISC-V. В этом посте я расскажу о том, как работает прототип. Целевая аудитория поста — все, кому интересно понимание низкоуровневого системного ПО, драйверов, системных вызовов и так далее. Надеюсь, он окажется особенно полезным для студентов, изучающих архитектуру ПО и компьютеров.

Это новый подход к упражнению, которое я выполнил на моём студенческом курсе по операционным системам; функционально он должен напоминать типичный проект по ОС. Однако в этом эксперименте сделан упор на современный инструментарий, а также на современную архитектуру RISC-V. RISC-V — это потрясающая технология, в которой проще разобраться быстрее, чем в других архитектурах CPU; в то же время она остаётся популярным выбором для многих новых систем, а не только архитектурой для обучения.

Отличия от моего предыдущего проекта заключаются в том, что я реализовал это упражнение на Zig вместо традиционного C. Это не просто интересный эксперимент: я считаю, что Zig повышает возможность его воссоздания на вашей машине, потому что его очень легко настроить и он не требует установки.

Читать далее

Как использовать OpenSDN vRouter Forwarder для простейшей маршрутизации пакетов между контейнерами

Уровень сложностиСредний
Время на прочтение26 мин
Количество просмотров1.8K

Говорят, хорошая документация обычно начинается с простых примеров и продолжается постепенным наращиванием сложности. Меня зовут Матвей Крапошин, я ведущий системный архитектор Холдинга Т1, и в этом материале расскажу, как OpenSDN (ex‑Tungsten Fabric) пересылает пакеты между виртуальными машинами (или контейнерами) и как установить OpenSDN vRouter Forwarder в минимальной конфигурации и наладить его работу для пересылки пакетов между двумя контейнерами.

Эта статья — своего рода продолжение первого материала «Почему мы выбрали OpenSDN и как контрибьютим в этот проект»[1]. Одна из её целей — рассказать о виртуализации и сетевых технологиях под капотом Т1 Облако, поделиться знаниями и экспертизой с техническим сообществом и способствовать развитию проекта. Напомню, что виртуальная сеть в облаке Cloud Compute компании Т1 Облако построена на основе избранных компонентов проекта Tungsten Fabric, который потом переименовали в OpenSDN. Наработками по OpenSDN пользуются не только Т1 Облако, но и другие российские и зарубежные облачные провайдеры.

Вы сможете лучше понять, как на самом нижнем уровне работает виртуальный коммутатор OpenSDN — средства для работы с программно‑определяемыми сетями. Углублённое знание принципов работы этого модуля позволит лучше понимать причины ошибок, возникающих при настройке OpenSDN (а также Contrail, OpenContrail, Tungsten Fabric), повысить эффективность диагностики возникающих неисправностей и разобраться в нюансах настройки этого средства поддержки программно‑определяемых сетей.

Читать далее

История oVirt: как развивалось решение и почему мы выбрали его как базу

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров2.6K

Привет, Хабр! Я — Саша Епихин, CTO платформы zVirt. Из-за того, что она базируется на oVirt, возникает много вопросов, чем же отличается наше решение от Open Source. Например, в oVirt есть задатки SDN, задатки интеграции с Keycloak и интеграция с Gluster. И инженеру, который не пробовал воспользоваться этой функциональностью в oVirt, может показаться, что в zVirt нет ничего нового, и это всего лишь BolgenOS с нескучными обоями. Но на практике все обстоит совершенно иначе.

Я попробую раскрыть тему и расскажу, чем же zVirt отличается от oVirt. У этой статьи будет несколько частей. Сегодня я начну, как полагается, с истории oVirt и с рассказа, почему мы выбрали разработку именно на базе этого решения.

Читать далее

Intel Arc Pro B50: 16 ГБ низкопрофильная видеокарта для мини-ПК

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров5.8K

Intel Arc Pro B50: обзор низкопрофильной видеокарты с 16 ГБ памяти для мини-ПК. Узнайте о производительности в задачах искусственного интеллекта, кодировании AV1 и тихой работе. Сравнение с NVIDIA RTX A1000 и рекомендации.

Читать далее

Влияние RDMA на производительность СХД

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров1.8K

Мы продолжаем исследовать работу протокола RDMA в СХД Qsan, начатую в предыдущей статье. Безусловно, самым интересным эффектом от применения данного протокола в разрезе его использования для доступа к данным является возможный прирост производительности. По крайней мере идейная составляющая самой концепции протокола RDMA на это недвусмысленно намекает. Так ли это на самом деле?

Читать далее

Узнаем из дампа памяти, какие документы открывал пользователь

Время на прочтение6 мин
Количество просмотров7.2K

При расследовании компьютерного инцидента первостепенное значение имеет анализ содержимого оперативной памяти и жесткого диска скомпрометированной машины. При этом содержимое памяти, как правило, представляет наибольший интерес, так как зачастую вредоносы и хакерские инструменты либо вообще не имеют файлового тела, либо этот файл хорошо обфусцирован и его исследование потребует дополнительных затрат времени. Поэтому крайне важно сохранить содержимое памяти скомпрометированного узла.

В рамках этой статьи мы поговорим об исследовании дампов памяти ОС Windows с использованием инструментов, предназначенных для работы с данной операционной системой.

Читать далее

Строим лабораторию по исследованию вирусов с eBPF и другими

Уровень сложностиПростой
Время на прочтение13 мин
Количество просмотров1.8K

Хабр, всем привет! Когда инфраструктура созрела до состояния персика и уже пора расширять классический SOC или вам всегда было интересно, как работает ВПО, то необходимо переходить к Threat Intelligence! Сегодня мы соберем свою лабу по исследованию вирусни/инструментов и процедур(PoC) в виртуальной среде для Linux-платформ.

Читать далее
1
23 ...

Вклад авторов