Администрирование

Ещё недавно суперкомпьютеры были чем-то вроде космической станции: дорого, сложно и только для избранных. Но мир HPC стремительно меняется — жёсткие конструкции устарели, бизнес требует гибкости, скорости и адаптивности под любые задачи. Старые вычислительные гиганты уже не вывозят, и будущее за платформами, которые превращают высокие вычисления в удобный сервис. 

Меня зовут Алексей Зотов, я руководитель направления ИТ-инфраструктуры в К2Тех. Почти год назад, опираясь на 19-летний опыт в сфере строительства и технического сопровождения кластеров суперкомпьютеров, мы запустили самостоятельное подразделение К2 НейроТех, которое занимается инфраструктурой для ИИ и высокопроизводительных вычислений.

И вот работая в это сфере уже который год, я давно наблюдаю, что бизнес отказывается от простого наращивания мощностей в пользу гибких платформенных решений, которые можно настраивать под конкретные задачи. В этой новой реальности HPC (High-performance computing cluster – высокопроизводительные вычисления) превращается из элитного инструмента в ключевой сервис, меняющий подход к инновациям и цифровой трансформации. Давайте разберёмся, как происходит эта революция и почему 2025 год станет поворотным для высокопроизводительных вычислений.

Большинство проектов не имеют нормального плана восстановления после падений. Если план и присутствует, скорее всего, в нем покрыты не все кейсы, и часть из них, возможно, устарела. При этом задач на подготовку восстановительных процедур никто не ставит. Зато сразу после падений начинаются вопросы к технарям: почему вы не заботитесь о сервисах как следует?

На самом деле создать disaster recovery план — т.е. набор документов и инструкций, в которых указано, как именно восстанавливать сервис — не так сложно. Как это сделать, читайте в статье.

Сегодня я расскажу, как мы обнаружили проблемы с производительностью на современном китайском оборудовании, которое можно встретить в ЦОДах крупных российских компаний.

Печальная история о том, как 10 материнских плат Gooxi из Шеньчженьска оказались критически непригодными для использования в НЕ самых сложных задачах.

График ниже показывает с чем мы столкнулись. При использовании серверного решения Труконф обнаружили проблему: служба видеоконференцсвязи нагружала систему значительно сильнее, чем должна была.

В первую очередь подумали на процессор, но замена укомплектованного Xeon Gold 6336Y на Xeon 4316 не решила проблему с производительностью.

А вот замена материнской платы Gooxi на проверенную SuperMicro при тех же составляющих дала ощутимый рост. При работе на 10 ядрах — более чем в 2 раза.

Для чистоты эксперимента на SuperMicro были протестированы на комплектном Xeon Gold 6336Y и на Xeon 4316, результаты можете наблюдать сами.

Долгие отношения с IDM Midpoint не могли пройти без последствий, так родилось это DEMO под названием EPPL - Employment Position Project LDAP. Как видно из названия это продолжение статей про концепцию Сотрудник Трудоустройства и Назначения на Должность в Midpoint. Но DEMO гораздо больше чем просто перенос кода, когда я описывал концепцию это был поиск, погоня за идей, которая местами уводила не в то место или просто что-то упускалось. В DEMO же во-первых все оттестировано(те функции что показаны ниже), найдена масса моих багов и к сожалению много переписано.. Комментировать код на этот раз не буду, но все что сделано-переделано отражено на окончательной схеме.

Привет, Хабр! Я Андрей Дугин, руководитель центра сервисов кибербезопасности RED Security. Про тему кибербезопасности веб-приложений уже, казалось бы, рассказали все, что можно: термины XSS, SQL-инъекции, DDoS знакомы каждому в мире ИБ.

Проблема в том, что знание отдельных уязвимостей и методов защиты не гарантирует комплексной безопасности. Качественный результат дает не борьба с каждой угрозой, а создание системной защиты, где разные решения дополняют и усиливают остальные.

В этом материале я разберу, как ИБ-инструменты взаимодействуют между собой и на какие нюансы важно обратить внимание при их настройке.

SRE Spotify написал интересный deep dive о том, как Kubernetes управляет контейнерами, запуская их как обычные процессы Linux. Вместо теоретических рассказов о пространствах имён, cgroups и внутренностях ОС автор развернул под в Kubernetes-кластере и исследовал, что происходит вокруг него на уровне Linux.

В оригинале для экспериментов использовался дистрибутив Kubernetes K3s, но наш инженер вдохновился историей и повторил все шаги на бесплатной версии нашей платформы — Deckhouse Kubernetes Platform Community Edition. Поэтому в статье теория из оригинала будет совмещена с нашей практикой. Будет полезно, если вы хотите лучше разобраться в фактических принципах работы K8s.

Я начал использовать Nginx более 20 лет назад, и как-то привык к тому что это решение по умолчанию при выборе веб сервера. В своем пути в IT я начинал с linux администрирования, потом был мелкий онлайн бизнес, работал бизнес аналитиком, продактом, временами что-то программировал для себя. Обстоятельства опять поменялись и год назад я устроился работать девопсом в маркетплейс доменов, по сути такой возврат к истокам. Первая задача которую мне выдали - перевести паркинг с 100к доменами с nginx на caddy. На тот момент я не слышал про Caddy, но был очень хорошего мнения о nginx. 

Я был удивлен, зачем?!
Что такого может быть в каком-то другом веб сервере, чего не умеет nginx? 

Я изучил нюансы, перевел паркинг на Caddy, и теперь могу уверенно заявить: да, у Caddy действительно есть очень сильные стороны. 

В этой статье я изложу кейс, нюансы, которые становятся важными когда у вас 100к клиентских доменов, на которых должен работать https. И какие тут есть преимущества у Caddy перед Nginx. На хабре есть всего несколько статей по Caddy, и это незаслужено мало для него. Поэтому я надеюсь из этого кейса вы сможете узнать что-то интересное.

Эта статья появилась из-за недостатка комплексных материалов по теме. Конечно, в интернете можно найти качественные статьи, описывающие работу мультикаста, например в знаменитом цикле "Сети для самых маленьких", однако взаимодействие с BGP и MSDP рассматривается в единичных источниках. Предлагаю вашему вниманию простой и базовый пример настройки передачи маршрутов ТВ-трафика через BGP-стык при помощи протокола MSDP.

Немного предыстории, прежде чем начать — о том, что у меня за проект такой — Talkvio. Уже два года я в свободное от основной работы время разрабатываю свой пет-проект — Talkvio, альтернативу Пикабу, где всё должно быть лампово и плюшево.

Проект уже довольно сильно развился: там есть нейросети для проверки орфографии, автотегов и помощи в формировании контента и заголовков. Есть Android-клиент, а iOS-версия находится в разработке. Реализована похожая система кармы, как на Хабре, есть даже минусы (привет администрации Пикабу), и многое-многое другое.

У нас на ресурсе пользователи больше фокусируются на авторском контенте — всевозможных интересных статьях и т.п., помимо юмористического. То есть казалось, что ничего не предвещает беды.

Забегая вперед, чтобы читателю было интересно, ресурс НЕ использовал Cloudflare.

В мире, где биты и байты движутся в такт машинного кода, где каждый файл — как драгоценный камень, а каждая команда — словно заклинание, живут три героя: Ansible, Bash и их друг-администратор. Здесь каждый день приносит новые задачи, а каждая задача — захватывающее приключение.

Приходилось ли вам устанавливать современные версии Windows? Если да, то вам точно знаком установщик, каждый этап которого прогружается несколько секунд, и который яростно навязывает вам использование аккаунта Microsoft, с каждым обновлением делая использование локального аккаунта всё труднее и труднее.

Но существует альтернативный способ установить Windows — более быстрый, не требующий подключения к интернету и не навязывающий никаких сервисов — ручная установка с использованием CMD.

Иногда бывает, что наступает EndOfLife систем хранения данных (СХД) и их нужно выводить из работы, т.к. заканчиваются запчасти.

В нашем случае оказалось, что неcколько хостов с Enterprise Linux загружены с этой СХД и необходимо их плавно перевести на другую.

Подключить две СХД через SAN к серверам достаточно просто, но как перетащить систему так, чтобы это прошло с минимальным влиянием на бизнес-процессы?

В прошлой статье в блоге Bercut я знакомил читателя с утилитой fsarchiver, сегодня мы рассмотрим другой вариант миграции с pvmove и qaucli.

В сообществе наделала шума свежая статья о том, каким мог бы быть Kubernetes, если бы его создавали с учётом всего, что мы знаем сейчас — почти десятилетие спустя после выхода версии 1.0. В ней DevOps-инженер Мэт Дугган предлагает заменить etcd и YAML (на HCL!), а также размышляет про новый пакетный менеджер вместо Helm и IPv6 по умолчанию. 

Перевели текст для тех, кому хочется посмотреть на предложенные идеи и обсудить их, а читать на английском не очень комфортно. 

В 2024 году рынок SSD-накопителей вступил в новую фазу развития — SK Hynix и Samsung представили накопители с объемом 61,44 ТБ, а Solidigm начала продажи SSD D5-P5336 рекордной емкостью 122,88 ТБ.

Попытки создать сверхъемкие SSD предпринимались и раньше. В 2018 году компания Nimbus Data анонсировала ExaDrive DC100 — накопитель емкостью 100 ТБ для корпоративного сегмента, который начал продаваться в 2020 году. Однако его цена в 40 000 долларов и ограниченная доступность сделали его скорее технологической демонстрацией, чем массовым продуктом. Сегодня же высокоемкие SSD становятся всё более доступными.

В этой статье проанализируем, как будет развиваться емкость SSD-накопителей в ближайшие годы, какие объемы хранения данных станут доступны к 2027 году и сможет ли SSD окончательно вытеснить HDD в корпоративном сегменте.

Очередной всплеск разговоров о "триумфе Linux на десктопе" из-за конца поддержки Windows 10? Те, кто действительно хотел перейти на Linux, сделали это давно. Остальным же смена ОС не решит главных проблем. Почему? Давайте разбираться на фактах.

1. LTSC: "Спасательный круг" для Windows-машин
Не спешите хоронить парк ПК под Win10. Есть LTSC 2021 (поддержка до 12.01.2027) и его IoT-версия (поддержка до 13.01.2032). У меня лично LTSC 2021 — основная система дома, и на работе мы переводим АРМы именно под нее.
Да, для физлица лицензия LTSC — серая зона. Но кого это реально беспокоит в РФ в 2025 году? .

2. Настоящее "узкое место": Браузер — пожиратель ресурсов
ОС давно не главный ограничитель. Критичный фактор — современный браузер. Ему тяжело работать с перегруженными сайтами (медиа, SPA, трекеры). Куча вкладок в Chrome легко "съест" 8+ ГБ ОЗУ.
Личный опыт: Пытался оживить старый нетбук Samsung (1 ГБ ОЗУ) через легковесный Linux, а потом и Chromium OS. Не помогло: браузер убил всю производительность. Можно, конечно, посидеть в консоли и в vi написать текст , но плюсы перед XP в такой роли не совсем ясны.
А что с Linux? Классические дистрибутивы (Ubuntu, Fedora) тоже весьма "прожорливы". Легковесные (Lubuntu, AntiX) помогают слабому железу, но браузерную нагрузку не снимают. Lubuntu (XFCE/LXDE) на моём ThinkPad T60 увы не даёт буста в браузере по сравнению с Windows. Клавиатура эталонная, но даже с SSD и 8 ГБ ОЗУ скорость ощутимо ниже, чем на современном ноуте, даже в браузере.

3. Старый ПК? Старая ОС? Не всегда катастрофа!
А если ПК не для веба? Допустим, это кассир, станок с ЧПУ или домашний медиацентр. В чем ужас работы хоть с Windows 7?

Тема ошибок, которые могут допускать специалисты в различных областях, практически неисчерпаема, но некоторые ошибки, вернее, их результаты, могут быть заметны далеко не всем. Так, ненастроенное журналирование событий совершенно незаметно обычным пользователям. И даже взлом, который произошел из‑за этих ненастроенных событий, тоже вряд ли заметят пользователи, если только потом об этом напишут в новостях.

Но вот ошибки при проектировании и эксплуатации сети становятся заметны сразу и всем — в случае если они приводят к проблемам в работе сети. В этой статье мы попробуем сделать разбор наиболее распространенных ошибок, которые могут допустить как проектировщики при планировании архитектуры сети, так и сетевые администраторы при эксплуатации.

Как мы построили DevOps в локальном облаке без AWS и managed-сервисов: GitLab CI, Kubernetes, PostgreSQL, мониторинг на Prometheus и Grafana. 10 000 TPS в пике, 12 минут на деплой, 2 минуты на восстановление — и всё это в проде.

Привет, Хабр. В этом дайджесте мы собрали обучающие материалы по ИТ‑инфраструктуре — чтобы вы могли получить нужные знания точечно или системно и перенять лучшие практики от экспертов индустрии, так сказать, не отходя от станка. Без долгих предисловий, перейдём к делу.

Сегодня пользователи ожидают от веб-приложений мгновенного отклика. Оптимизация производительности становится критически важной задачей для разработчиков. Один из способов повысить эффективность работы серверов и уменьшить время отклика — «прилипание» HTTP-запросов. 

Когда приложения обслуживают много пользователей одновременно, каждая миллисекунда задержки может привести к потере клиентов и снижению качества обслуживания. Прилипание запросов позволяет минимизировать количество необходимых операций, эффективнее распределять ресурсы и улучшить пользовательский опыт. 

Меня зовут Ринат Фатхуллин, я владелец продукта Platform V SynGX — веб- и обратного прокси-сервера на основе Nginx. Наш продукт полностью заместил Nginx Plus в Сбере, в том числе благодаря расширенной поддержке «липких» сессий. 

Здесь я подробно рассмотрю сценарии использования и особенности этого подхода. Статья будет особенно интересна специалистам, которые занимаются обеспечением бесперебойной работы высоконагруженных сервисов. 

Привет, Хабр! На связи Кирилл Савин, я — архитектор SDN в Облаке Рег.ру. Недавно мы с командой начали большой переезд OpenStack облака на OVN, который идет и сейчас. Это непростое путешествие, в котором мы пробовали разные решения, извлекали уроки из ошибок и продолжали двигаться вперед. Так появилась идея рассказать о рабочих кейсах и идеях, которые мы почерпнули. 

Мыслей на этот счет получилось много, поэтому решил сделать серию статей об инструментах для сетевой виртуализации. В первой начнем с обзора OVN: об архитектуре, преимуществах и недостатках. Будет полезно тем, кто в контексте OpenStack работает с сетевой виртуализацией и уже «трогал» OVN.