Системное администрирование *

Если в 1999-м вы апгрейдили ПК до GeForce 256 ради Quake III, вы инвестировали в будущее ИИ. Тогда никто не верил, что игровая карта с 32 МБ памяти станет прародителем ChatGPT. А сегодня ее «потомки» обучают нейросети, рендерят реалистичные миры и управляют суперкомпьютерами.

Рассказываем, как NVIDIA за 25 лет увеличила производительность GPU в тысячи раз и превратила их в главный инструмент для машинного обучения, моделирования сложных процессов и анализа больших данных.

Гиперконвергентная инфраструктура (HCI) зарекомендовала себя как надежный и эффективный способ построения современных IT‑систем. Однако вокруг гиперконвергенции до сих пор существует множество мифов. И несмотря на очевидные преимущества этого архитектурного подхода, многие компании по‑прежнему с осторожностью относятся к его внедрению. Давайте разберем страхи, которые мешают ИТ‑руководителям перейти на гиперконвергентный подход, и проанализируем, насколько они соответствуют действительности.

Сегодня рассмотрим вопросы, касающиеся ТСО (или совокупной стоимости владений).

В этой статье я расскажу, как можно разделить GPU на vGPU в кластере Kubernetes с поддержкой жесткой изоляции, используя Volcano и Volcano vGPU Device Plugin.

Для начинающих в системном администрировании Linux важно не просто знать команды, а понимать, как устроена система и как эффективно управлять её основными компонентами — файлами, сетью и процессами. Эта статья предлагает структурированное и доступное введение в ключевые аспекты администрирования Linux, которые помогут быстро освоить базовые инструменты и заложить прочный фундамент для дальнейшего развития.

Просили нас тут рассказать про протокол технологию XHTTP в контексте XRay, VLESS и прочих. Просили — рассказываем!

Для начала немного истории. Классическое использование VLESS и подобных прокси‑протоколов (в том числе с использование XTLS‑Reality) предполагает подключение клиента напрямую к прокси‑серверу, который крутится на каком‑нибудь VPS. Однако во многих странах (и в России тоже) под блокировки (или замедления) начали попадать подсети популярных хостеров целиком, а в других странах цензоры начали отслеживать подключения к «одиночным» адресам с большим объемом трафика. Поэтому еще с давних времен обдумывались и проверялись идеи подключения к прокси‑серверам через CDN (сети доставки контента). Чаще всего для этого использовался websocket‑транспорт, но у этого варианта есть два больших недостатка: у него есть один характерный признак (не буду указывать его тут, чтобы не облегчать работу РКН), а во‑вторых, число CDN, которые поддерживают проксирование вебсокетов, не так уж велико, и хотелось бы иметь возможность проксироваться и через те, что не умеют.

Поэтому сначала в известном проекте Tor для бриджей (мостов) придумали транспорт meek, который позволял передавать данные с помощью многочисленные запросов‑ответов по HTTP, и таким образом позволял подключаться к мостам (прокси) через любые CDN. Чуть позже этот же транспорт реализовали в ненадолго воскресшем из мертвых V2Ray. Но у meek есть два очень существенных недостатка, которые вытекают из его принципа работы: скорость работы очень низкая (по сути дела у нас полудуплексная передача и огромный оверхед на постоянные запросы‑ответы), и из‑за огромного количества GET/POST‑запросов каждую секунду, бесплатные CDN довольно быстро могут нас выгнать на мороз, а платные — выкатить солидный счет.

Привет, Хабр! Я Роман Севрук, менеджер по развитию решений СУБД в К2Тех. Сегодня расскажу о нашем опыте взаимодействия с заказчиками при переходе на отечественные СУБД, и о том, почему мы готовы делиться экспертизой.

События последних лет кардинально изменили подход к импортозамещению в России. Теперь компаниям необходимо перейти на отечественное ПО, однако горизонты полного перехода остаются размытыми – у бизнеса нет возможности одномоментно  перестроиться на новые рельсы.

По нашей статистике, 70% российских компаний еще не перешли на отечественные СУБД,  больше половины из них готовы мигрировать, но не знают, как это сделать самостоятельно.  Почему так происходит? Как изменить эту ситуацию? И главное — зачем что-то менять в этом тренде интегратору?

На примере реального проекта я расскажу, почему мы в К2Тех считаем, что будущее — за открытым обменом знаниями между интеграторами и заказчиками. Поделюсь конкретными практиками, которые помогают нашим клиентам становиться самостоятельными в работе с СУБД на базе PostgreSQL и другими отечественными решениями.

Сегодня VK — это технологическая компания с комплексом цифровых продуктов и сервисов, объединяющая десятки миллионов пользователей с разными интересами. Среди наших сервисов — ВКонтакте, VK Видео, VK Музыка, Одноклассники, Дзен, RuStore, Почта Mail, а также игровые, образовательные и облачные платформы. Каждый продукт генерирует огромные объёмы контента: видео, статьи, приложения, почтовый трафик, стримы и многое другое.

По мере роста компании и появления новых направлений для каждого крупного продукта мы создавали собственные решения по доставке контента. В итоге внутри VK возникла россыпь частных CDN, что осложняло развитие и сопровождение инфраструктуры. В 2024 году мы решили изменить подход и сделали первые шаги к созданию единой CDN для всей VK. Это инфраструктура, которая сможет эффективно обслуживать все наши сервисы и миллионы пользователей по всей стране.

Меня зовут Андрей Старченков, я руковожу командой разработки единой CDN в VK. В этой статье расскажу, как мы подошли к проектированию единой CDN-инфраструктуры, какие технологии и архитектурные решения используем и с какими вызовами сталкиваемся на этом пути.

После ухода HashiCorp с российского рынка многие компании стоят перед выбором: переехать на Community-редакцию Vault и дорабатывать её под свои потребности или купить готовый продукт, где многие фичи доступны «из коробки» и есть поддержка от разработчиков.

В этом году мы добавили в свой менеджер секретов Deckhouse Stronghold привычный пользователям Vault функционал: от пространств имён до автоматических бэкапов и репликации KV-хранилищ. В статье сравниваем реализацию этих возможностей в обоих продуктах и делимся ближайшими планами по развитию Stronghold.

Prometheus прекрасно подходит для краткосрочного мониторинга, но у этого решения есть свои ограничения по масштабу, и если вы столкнулись с высоким потреблением памяти/CPU, снижением скорости запросов или вам требуются уникальные лейблы вида user ID, то стоит подумать над внедрением альтернатив. На наш взгляд следующими после Prometheus в линейке стоят Thanos, Cortex, Mimir или VictoriaMetrics. Объективное, насколько это возможно, сравнение характеристик этих решений мы и проведем ниже.

СОДЕРЖАНИЕ

• 3.1. Что важнее: простота или масштаб?
• 3.2. Стоимость
• 3.3. Надёжность и высокая доступность
• 3.4. Насколько подходит по задачам?

• 6.1. Параллельный запуск и проверка
• 6.2. Мониторинг очередей remote_write
• 6.3. Аккуратное отключение Prometheus
• 6.4. Резервное копирование
• 6.5. Тестирование

• 10.1 Используйте recording rules для тяжёлых агрегаций
• 10.2 Не злоупотребляйте лейблами с высокой кардинальностью
• 10.3 Downsample старые точки данных
• 10.4 Осторожно с федерацией Prometheus

Итак, вы решили использовать Angie как замену Nginx. С чего начать процесс? Какие аспекты нужно учитывать при переходе? Разберёмся со всем по порядку.

Напомню, что Angie является форком Nginx. Это значительно упрощает процесс переезда с Nginx на Angie, так как Angie поддерживает все возможности и директивы конфигурации, что и Nginx. Обратный переход с Angie на Nginx может быть уже не таким простым, если мы начинаем использовать уникальные возможности Angie (например, возможности проксирования или балансировки).

Начнём с подготовки системы к миграции.

Привет хабр! В этой статье хочу рассказать, как развернуть свой собственный vpn сервис.

Тут будет только базовая настройка, рассчитанная только на личное пользование, но, ее хватит чтобы спокойно полистать youtube и прочие ресурсы, которых вам возможно не хватает.

Инфраструктура как код, GitOps, автоматизация — все эти слова давно перестали быть модными терминами и стали частью повседневной жизни инженера. Но вместе с этим появляются и вопросы: а всегда ли нужно внедрять тяжелые инструменты? Например, зачем нужен ArgoCD, если можно просто настроить cron с git pull на нужный сервер?

Попробуем разобраться, в чём разница между этими подходами, какие задачи они решают, где их границы применимости и, главное, в каких случаях cron — это «дешево и сердито», а когда он становится «дешево, но больно».

Привет! Это Николай Гриценко, ведущий технический менеджер в Yandex Infrastructure — команде, которая создаёт и развивает внутреннюю инфраструктуру Яндекса, от сетей и дата‑центров до инфраструктуры разработки. Я занимаюсь направлением Internal Developer Platform (IDP). Вместе с коллегами мы много разрабатывали наши собственные инструменты по оркестрации выкладки кода.

В этой статье разберёмся в терминах, попытаемся понять, что же вообще такое инфраструктура как код или IaC, какие бывают инструменты, какие виды и что у нас с этим в Яндексе.

Какие инструменты приходят вам на ум, когда заходит разговор о создании виртуальных машин под управлением Microsoft Hyper-V? Уверен что ими окажутся - Hyper-V Manager и командлеты PowerShell, т.к. они поставляются в комплекте с ролью Hyper-V и суммарно дают достаточно мощный инструментарий для управления виртуальными машинами и виртуальными сетями.

Однако, в какой-то момент мне стало интересно, а можно ли подружить Hyper-V с таким инструментом как Terraform? Этот вопрос и стал отправной точкой, за которой последовало несколько дней поисков, размышлений, экспериментов и набивания шишек.

В настоящей статье я попробую рассказать о своём опыте работы с Hyper-V провайдером для Terraform, поделиться опытом настройки WinRM для HTTPS, затронуть не самые очевидные механизмы, которые могут быть задействованы при администрировании операционных систем семейства Windows и описать свои ошибки и неудачи. Статья не претендует на то, чтобы стать полноценным руководством к действию, но может дать новые идеи энтузиастам и сэкономить время новичкам.

Привет, Хабр! Меня зовут Анатолий Усов, я инженер дата-центра Рег.ру. В этой статье расскажу, чем обычно занимается инженер в ЦОДе в течение смены, с какими сложностями сталкиваемся и как устроена работа внутри нашего дата-центра.

Всем привет! Меня зовут Александр Андреев, я старший SRE дата-инженер в компании "Криптонит". Сегодня я хочу рассказать о необычной, но набирающей обороты роли в области обработки данных - SRE Data Engineer: кто это такой, чем занимается, как им стать, куда развиваться и какие перспективы у этой профессии.

Привет, Хабр! Меня зовут Алексей, я главный эксперт по разработке ПО в департаменте СХД YADRO. В этой статье я расскажу об устройстве такого важного программного компонента СХД, как маппер, о реализуемой с его помощью функциональности TATLIN.UNIFIED — полноценных тонких томах, снапшотах, клонах — и о планах по развитию этого компонента.

Статья о том, как werf помог упростить переход на Kubernetes, ускорить CI/CD и решить проблемы с кэшированием. Автор поделился опытом внедрения, первыми шагами и преимуществами, которые получила его команда.