Обновить
243.41

Серверное администрирование *

Установка, настройка, обслуживание

Сначала показывать
Порог рейтинга
Уровень сложности

Управляем обновлением AWS Autoscaling Group: гармония Terraform и Ansible

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели3.1K

В мире DevOps, где автоматизация играет ключевую роль, управление ресурсами и процессами обновления инфраструктуры в облаке является критически важной задачей. Во многих современных проектах, особенно тех, что развертываются в облачной среде AWS, используется механизм Auto Scaling Groups (ASG) с целью достижения трех основных задач: балансировки нагрузки, повышения надежности сервиса и оптимизации стоимости эксплуатации.

Представьте себе: вы работаете в компании, развертывающей свои приложения на ресурсах Amazon. Ваши приложения важны, поскольку они обслуживают тысячи пользователей ежедневно. Для этого часто используется механизм Auto Scaling Groups (ASG) с целью достижения трех основных задач: балансировки нагрузки, повышения надежности сервиса и оптимизации стоимости эксплуатации.

И чтобы ускорить процесс развертывания и упростить управление конфигурацией, вы используете предварительно подготовленные AMI образы. Эти образы создаются с помощью инструментов типа HashiCorp Packer (или других аналогичных) и содержат все необходимое для того, чтобы ваше приложение стартовало быстро и без сбоев. Для разворачивания самой инфраструктуры вы используете Terraform, который стал стандартом de facto во многих крупных компаниях, управляющих облачными ресурсами и использующими подход IaC (Infrastructure as Code).

К сожалению, ресурсы Terraform (например тот же aws_autoscaling_group) не позволяют отслеживать прогресс и успешность выполнения операции обновления ASG в рамках instance refresh, а могут лишь запустить его. Если какие-то другие части инфраструктуры (например, обновления сертификатов или dns-записей) каким-то образом зависят от состояния и версии запущенных инстансов, то желательно проконтролировать завершение процесса обновления для получения корректного состояния инфраструктуры после завершения работы terraform.

Чтобы решить данную проблему, вводим в игру Ansible...

Ansible...

От Kubernetes в мечтах к Kubernetes в проде. Часть 3. Доставка кода, GitOps, ArgoCD

Время на прочтение12 мин
Охват и читатели9.1K

В серии статей по теме DevOps мы вместе с Lead DevOps инженером департамента информационных систем ИТМО Михаилом Рыбкиным рассказываем о проверенных инструментах выстраивания инфраструктуры, которыми с недавнего времени пользуемся сами. В предыдущих статьях мы уже рассмотрели предпосылки перехода на новую инфраструктуру и познакомились с азами Kubernetes, теперь пора перейти к следующему шагу – доставке кода. В рамках этой статьи мы подробно рассмотрим методологию GitOps и ее реализацию на примере ArgoCD.

Читать далее

Data-рынок: как российские ЦОДы справляются с нарастающим спросом

Уровень сложностиПростой
Время на прочтение4 мин
Охват и читатели9.2K

Традиционно рынок серверов, систем хранения данных и сетевого оборудования в России был представлен зарубежными компаниями — Dell, HP, Cisco и другими. В 2022-2023 гг data-центры взяли активный курс на импортозамещение при поддержке государства и отечественных поставщиков, поэтому приходится менять устоявшиеся годами бизнес-цепочки. При этом цифровизация требует все новых и новых ресурсов. Сегодня мы заглянем на рынок ЦОДов и постараемся понять, какие у него перспективы, и как российские data-центры справляются с огромным спросом. 

Читать далее

Что такое NOC-команда, и какие 5 KPI на нее вешать для улучшения аптайма вашей платформы

Уровень сложностиПростой
Время на прочтение6 мин
Охват и читатели11K

В работе с Incident Management-фреймворком мы в инжиниринге преследовали две основные цели: довести uptime до 99,99% (в API / SDK), и всегда знать о проблеме раньше пользователей.

В наши первые дни у нас не было всеобъемлющей системы оповещения и мониторинга. А если и была, то с кучей false-positive алертов и буквально одним-двумя графами в Kibana. Поэтому начать мы решили с создания команды Network Operations Center (NOC) - как стратегического базиса для работы с предотвращением и управлением инцидентами. Мы не только достигли показателя времени безотказной работы в 99,98%, но и увеличили нашу проактивность в выявлении инцидентов заранее: с 60% до впечатляющих 95% и выше. А все благодаря не только активному участию в улучшении платформы со стороны инженерки, но еще и благодаря метрикам First Time to Respond, Time to Acknowledge, Time to Assemble, Proactive Engineering Detection Rate, Number of Critical False Positives. В этом посте я расскажу про каждую из них, какие бывают антипаттерны, как измерять и как улучшать.

Прочитать про каждую метрику

Многогранный мониторинг Angie, форка веб-сервера nginx

Уровень сложностиСредний
Время на прочтение11 мин
Охват и читатели18K

Здравствуй, дорогой читатель. Меня зовут Дмитрий. Я — системный инженер компании «Веб-сервер». На протяжении моего опыта оказания услуг технической поддержки сначала в компании Nginx, а теперь и в компании разработчика российского веб-сервера Angie, мы отвечаем на очень популярный вопрос: «Как организовать мониторинг состояния веб-сервера?». А вот так.

Читать далее

Мониторинг SSL-сертификатов oVirt

Время на прочтение4 мин
Охват и читатели2.6K

В компании Hostkeyв качестве основной системы виртуализации мы используем решения oVirt. При этом крайне важно поддерживать работу системы на высоком уровне, несмотря на постоянный рост инфраструктуры до десятков и сотен физических серверов. В этой статье мы кратко опишем подход к мониторингу сертификатов oVirt, реализованный в нашей компании.

В прошлых статьях мы описывали варианты использования Prometheus + Alertmanager + Node Exporter и HTTP и SSL через Prometheus blackbox_exporter.

Сегодня речь пойдет о мониторинге сертификатов в локальном хранилище двух основных компонентов oVirt: oVirt Engine и oVirt Node. Именно посредством этих сертификатов происходит взаимодействие между данными компонентами.

Читать далее

Будь всегда в курсе: мониторим сертификаты с помощью Prometheus и Telegram

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели21K

Почему важно следить за сертификатами: сертификаты – это канал доверия между вашими системами и пользователями. Если канал рушится, доверие пропадает. И это может привести к невиданным техническим и, что еще хуже, бизнес-проблемам.

Поэтому, поговорим о том, как сохранить репутацию, удержать клиентов и обезопасить свой бизнес от неожиданных "сюрпризов" с помощью мониторинга.

Читать далее

Ошибка валидного сертификата для MS Remote Desktop при подключении

Уровень сложностиПростой
Время на прочтение3 мин
Охват и читатели4.7K

Добрый день уважаемые читатели!

Сегодня ко мне пришли с проблемой валидного сертификата для коллекции удаленных рабочих столов при подключении с macOS Ventura.

При подключении к коллекции через шлюз удаленных рабочих столов, приложением Microsoft Remote Desktop v 10.9.* теперь проверяется и FQDN имя брокера, может это было и раньше, точно не скажу, но о проблеме узнал только сейчас. В итоге, если не поставить галку доверять сертификату, подключится не получится.

Итак, избавляемся от лишних телодвижений пользователей, и присваиваем альтернативное имя брокеру.

Читать далее

Настройка авторизации через ssl сертификат на уровне nginx

Уровень сложностиСредний
Время на прочтение5 мин
Охват и читатели20K

Привет уважаемые, хабровчане!

Иногда возникает потребность выдать доступ пользователям только к одному веб ресурсу в компании. Самый очевидный вариант сделать это через урезанный VPN, но тут возникают препятствия в виде девайсов, с которых подключаются пользователи, и качество интернета, которым они пользуются. OpenVPN, который мы пробовали использовать для этих целей, не дал желаемого результата, подключение было медленным и нестабильным. Поэтому было найдено альтернативное решение.

Читать далее

Простой способ компрометации приватных ключей при помощи SSH-Agent

Уровень сложностиСредний
Время на прочтение8 мин
Охват и читатели15K

Введение


Однажды я просматривал видео из закладок и решил запустить AASLR: Leveraging SSH Keys for Lateral Movement Хэла Померанца. Примерно на середине видео я захотел начать заново и открыл заметки, чтобы документировать полученную информацию, потому что это был очень интересный материал, которого я не видел раньше. Воспользовавшись этой информацией как фундаментом, я начал искать другие способы применения утилиты ssh-agent и решил создать демо в своей домашней лаборатории. В этом посте я расскажу о своих открытиях.
Читать дальше →

Собственная копия YouTube

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели55K


Мы уже обсуждали, как удобнее всего скачивать видео с YouTube для дальнейшего просмотра и хранения. Но если коллекция файлов становится слишком большой, то нужно их как-то организовать: по темам или тегам, по каналам, категориям, чтобы быстро найти нужный видеоролик. И желательно настроить сервер так, чтобы раздавать это видео по локальной сети или через интернет.

В итоге получается, что мы делаем нечто вроде маленькой копии YouTube, только на своём сервере. В определённом смысле это архивная копия на случай удаления видеоконтента из-за цензуры YouTube. Или на случай, если серверы YouTube станут недоступны с территории РФ из-за какого-то «технического сбоя».
Читать дальше →

Что такое оценка эффективности в мире IaaS, или как мы обезопасили облако на базе VMware

Время на прочтение10 мин
Охват и читатели2.1K

Пользовались услугами провайдеров, арендовали облачные серверы или базы данных? Слышали про аттестованные услуги и сервисы? Их на современном рынке много, но в интернете совсем нет информации, как облачные провайдеры проводят оценку эффективности принимаемых мер защиты и подготавливают системы к ней.

Для чего это вообще нужно, какие требования выдвигаются к провайдеру? А самое главное: что по итогу получает клиент? Пора разобраться в этих вопросах.
Читать дальше →

Настраиваем двухступенчатый WireGuard для выхода из страны

Уровень сложностиСредний
Время на прочтение4 мин
Охват и читатели93K

У Wireguard есть немало прекрасного, включая его простоту реализации, скорость и минималистичные клиенты, которые не вызывают проблем у пользователей.

В начале августа некоторые интернет операторы и провайдеры начали блокировку протокола WireGuard в РФ по его рукопожатию.

Лично испытывал блокировку у Мегафон и Теле2, но не заметил у Ростелеком. VPN по-прежнему работал через последнего.

Очень не хотелось отказываться от Wireguard в пользу прокси-серверов в духе VLESS+TLS-Vision, в виду того, что все наши пользователи уже сильно привыкли именно к Wireguard.
Поэтому вариант с кардинальной сменой клиентского софта не рассматривался.

Поскольку трафик Wireguard блокируется только на зарубежные адреса было принято решение добавить еще один хоп в систему, а начальное подключение осуществлять к серверу в РФ.

Читать далее

Ближайшие события

MSSQL: Rebuild vs Reorganize в высоконагруженных системах

Уровень сложностиСредний
Время на прочтение3 мин
Охват и читатели9.6K

В двух прошлых статьях я разобрал Index REBUILD в Enterprise и Standard editions. Настало время осветить Index Reorganize - то есть Index Rebuild для бедных. Рекомендую заглянуть в статьи по ссылкам выше - там описан скрипт, который выполняет rebuild или reorg, контролируя течение процесса.

Ведь index reorganize не держит долгих блокировок, почти не нагружает сервер, работая в одном треде, поэтому он безопасен, так? Правда? Ведь правда?

Читать далее

Заблокирован ли протокол OpenVPN? И как теперь быть?

Уровень сложностиПростой
Время на прочтение3 мин
Охват и читатели202K

Один мой знакомый держит свой OpenVPN сервер, он поделился со мной хронологией блокировки популярных VPN протоколов в России. С его разрешения, я публикую детальную информацию о том, как это происходило с точки зрения клиента и администратора OpenVPN.

Читать далее

Google Workspace и Office 365 постепенно закрывают для РФ. Ставим офисный софт на своём сервере

Уровень сложностиПростой
Время на прочтение6 мин
Охват и читатели22K

Nextсloud Office

В последнее время появляется всё больше новостей про блокировку офисных сервисов Google Workspace и Office 365 для российских клиентов. По слухам, отключают некоторые компании, попавшие в санкционные списки. Но скоро блокировка может распространиться на остальных, всё к этому идёт.

К счастью, есть много опенсорсных альтернатив на замену Google Workspace и Office 365. Это бесплатные открытые решения, которые можно установить на своём сервере.
Читать дальше →

Картина ясная: как мы визуализируем метрики Platform V DataGrid в Grafana

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели3.9K

Привет, Хабр! Меня зовут Илья Степанов, я работаю в СберТехе в команде продукта Platform V DataGrid — распределённой базы данных, основанной на Apache Ignite и доработанной до enterprise-уровня надёжности и безопасности. В статье расскажу, как мы обеспечиваем промышленный мониторинг критических систем и визуализируем метрики наших кластеров.

Периодически к нам обращаются пользователи и клиенты с вопросом: «Как лучше визуализировать то или иное состояние кластера?» В нашем продукте есть несколько способов получения метрик из кластера. В том числе «классические» для Java-приложений: можно прочитать метрики через JMX, экспортировать в формате Prometheus, сбрасывать в log-файл, получать в результате SQL-запроса или через вызов управляющего скрипта. То есть, с метриками может работать практически любая система мониторинга.

Читать далее

Серверы Dell и Supermicro: авторизация через LDAP

Уровень сложностиПростой
Время на прочтение5 мин
Охват и читатели2.4K

Мы уже рассказывали о нашем опыте интеграции FreeIPA с Active Directory в нескольких прошлых статьях (здесь и здесь), а теперь настало время авторизации IPMI-серверов.

LDAP стал стандартом де-факто для служб аутентификации и авторизации. Популярные решения на базе LDAP, такие как FreeIPA, обеспечивают централизованное управление учетными записями и доступом. Это позволяет разработчикам программного обеспечения легко интегрировать аутентификацию через LDAP в свои приложения с помощью готовых клиентских библиотек...

Читать далее

У самураев есть только путь: как запустить Gentoo Linux в облаке

Время на прочтение7 мин
Охват и читатели16K

Привет, Хабр! Меня зовут Антон, я старший менеджер региональных проектов в Selectel. В этой статье я бы хотел рассказать про Gentoo Linux: особенности установки ОС и работы с ней.

Идея материала родилась неожиданно. Мне потребовалась очередная виртуальная машина для достаточно банальной вещи — VPN в РФ. Я начал делать виртуальную машину в панели управления Selectel, и на стадии выбора ОС мне захотелось поэкспериментировать. Не использовать вполне стандартные Debian/Ubuntu, а запустить свой сервер с Gentoo Linux, который не поставить «из коробки».

Далее я решил описать свой опыт, чтобы упростить жизнь пользователям Linux и всем причастным.
Читать дальше →

VPS cheatsheet

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели59K

Базовая настройка vps

В этом туториале я кратко распишу базовую настройку безопасного vps сервера для личного пользования (например, pet проектов) на ubuntu 22.04.

Читать далее

Вклад авторов