Как стать автором
Поиск
Написать публикацию
Обновить
298.19

DevOps *

Методология разработки программного обеспечения

Сначала показывать
Порог рейтинга
Уровень сложности

От идеи до продакшена: как мы строили SDN-слой для zVirt

Уровень сложностиСредний
Время на прочтение14 мин
Количество просмотров508

Привет, Хабр! Меня зовут Дмитрий, я работаю в компании Orion soft. Преимущественно занимаюсь проектированием и разработкой бэкендов различного уровня от низкоуровневых сервисов до масштабируемых API. Сегодня мои основные инструменты — языки Python и Go. Так как ранее плотно работал с системным программированием, очень люблю *nix и всё, что с ними связано.

В статье расскажу, почему классические подходы к сетям перестали работать в условиях масштабирования, как мы выбирали стек, с какими архитектурными и техническими ограничениями столкнулись на практике — и почему выгоднее доработать существующий Open Source, а не переписывать всё с нуля. Покажу, как мы шаг за шагом избавлялись от узких мест, оптимизировали работу с большими объёмами ACL, переносили критичные компоненты на Go, и что в итоге получилось в продуктивных инсталляциях.

Если вам интересно, как реально эволюционирует инфраструктура и почему MVP — это не всегда «быстро и грязно», а зачастую — про осознанный выбор компромиссов — добро пожаловать под кат! Перед вами наш путь разработки программно-определяемой сети (SDN) для платформы виртуализации zVirt.

Читать далее

Новости

Как не потерять миллионы на SLA: архитектурный подход к управлению ожиданиями

Уровень сложностиСредний
Время на прочтение15 мин
Количество просмотров560

Нарушение SLA — это условность, которую придумали поверх технических проблем. В IT-инфраструктуре любая техническая проблема быстро превращается в убытки, особенно если не умеешь правильно управлять доступностью. В этой статье расскажу, как на практике связаны инциденты и деньги, почему формальное соблюдение SLA — это ещё не успех, и как выстроить процессы так, чтобы бизнес не терял миллионы из-за минут простоя.

Привет, Хабр! Меня зовут Игорь Цупко и я — инженерный менеджер с 13+ годами опыта, работаю на стыке технологий, процессов и людей. Создаю устойчивые команды, процессы и платформы для масштабирования бизнеса. В числе кейсов — запуск mos.ru, масштабирование Flant, управление платформами с сотнями приложений в Лемана Тех.

Читать далее

DNS-хаос, зомби-поды и майнеры в кластере: самые невероятные случаи при работе с Kubernetes

Уровень сложностиПростой
Время на прочтение14 мин
Количество просмотров1.5K

Kubernetes — мощный и одновременно сложный инструмент, работа с которым неизбежно порождает… инциденты. И на практике DNS виновата далеко не всегда. Иногда всё ломает слишком длинное имя деплоймента, протухший CA-сертификат или сбой сетевой карты, из-за которого TCP-пакеты просто отбрасываются. В статье вас ждут самые интересные и поучительные инженерные истории с Reddit.

Читать далее

Я перешла из Data Science в AI Engineering: вот всё, что вам нужно знать

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров1.7K

Переход из Data Science в AI Engineering — это не просто смена должности, а полный сдвиг в подходах к работе с моделями и их внедрению в продакшн. В статье я делюсь опытом, как расширение ролей Data Scientist и AI Engineer пересекается с DevOps, MLOps и инфраструктурными практиками. Если вам интересно, как сделать шаг от теории к реальной работе с моделями, интеграции в инфраструктуру и поддержке на протяжении жизненного цикла — читайте дальше.

Читать далее

Что за зверь n8n. Первые шаги автоматизации

Уровень сложностиСредний
Время на прочтение8 мин
Количество просмотров11K

Разбираемся, что собой представляет n8n — мощный open-source инструмент для no-code автоматизации, и создаём первый рабочий процесс: Telegram-бота, который находит заказы в Google Таблицах.

Читать далее

Резервные копии PostgreSQL: сравнение скорости pg_dump в разных форматах и с разными уровнями сжатия

Уровень сложностиСредний
Время на прочтение33 мин
Количество просмотров3.2K

Я сделал резервную копию через pg_dump и восстановился из неё 22 раза. Резервные копии делал в 4 разных форматах с использованием от 1 до 7 уровней сжатия под каждый формат. Записал результаты и сделал сравнение разных видов, чтобы понимать, какие способы более эффективны для моего сценария использования.

Детали и замеры — ниже.

Читать далее

Правильный старт: как заложить фундамент проекта

Время на прочтение2 мин
Количество просмотров1.8K

Почему зрелый проект начинается не с кода, а с инфраструктуры? Рассказываю, как простая автоматизация, тесты и документация экономят время, нервы и спасают от хаоса, особенно если вы пишете код с помощью ИИ.

Читать далее

Warden: мониторинг ошибок, который не требует докторской по DevOps

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров460

Хочу представить вам Warden — инструмент для сбора, анализа и отслеживания ошибок в приложениях, совместимый с SDK от Sentry. Это решение родилось из реальных потребностей: нужна была система мониторинга, которую можно развернуть внутри своей инфраструктуры, не зависеть от внешних сервисов и при этом сохранить привычный workflow разработчиков.

Читать далее

Новости виртуализации Deckhouse: готовность к продакшену, автоматическая перебалансировка ВМ по узлам и другие фичи

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров681

За последние два месяца в Deckhouse Virtualization Platform (DVP) вышло пять новых релизов (0.19–0.23). За это время в платформе появилось много важных улучшений, о которых мы расскажем в этом обзоре. Среди них — готовность к продакшену, улучшенная безопасность, автоматическая перебалансировка ВМ по узлам, оптимизация миграции и вложенная виртуализация. Подробности в обзоре.

Читать далее

Как мы внедряли Service Mesh и не утонули в сложностях: реальный кейс Orion soft

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров679

Артём Еремин, системный инженер Nova Container Platform в Orion soft.

Всем привет! Недавно я выступал на мероприятии СНОВА О КУБЕРЕ и рассказывал о Service Mesh. Тема достойна и поста на Хабре, потому что Service Mesh стал распространенной фишкой, но при этом не самой простой. 

Мы в Orion soft решили внедрить ее в нашу платформу оркестрации Nova Container Platform, и по пути столкнулись с целым рядом «подводных камней»: от выбора самого решения до нюансов настройки MTLS и организации точек входа трафика в наш кластер. В этой статье я расскажу, как мы выбирали реализацию для Service Mesh, почему остановились на Istio, какие вопросы решали и что из этого получилось.

Читать далее

Через тернии к звездам: настраиваем сетевую связность Kubernetes на физическом сервере в ЦОД

Уровень сложностиСредний
Время на прочтение8 мин
Количество просмотров1.4K

Привет, Хабр! С вами Антон Паус. Я четыре года проработал системным инженером в российском офисе Cisco, а сейчас работаю DevOps-инженером в Cloud.ru — занимаюсь облаком собственной разработки

С 2024 года я веду проект по разработке новой архитектуры кластера виртуализации Evolution IaaS на базе Kubernetes. Раньше мы использовали связку Ansible и Docker, и это отлично работало на существующем масштабе, но с ростом клиентской нагрузки столкнулись с рядом сложностей, что в конечно итоге и сподвигло нас на обновление архитектуры. 

Проект получился довольно объемным и со множеством нюансов и сложностей, о которых я, возможно, напишу в следующих статьях. В этой же хотел остановиться на нюансах сетевого взаимодействия в кластере bare metal Kubernetes — в ходе работы возник ряд сложностей (например, с первоначальной установкой K8s на сервер с несколькими интерфейсами), о решении которых я и расскажу. 

Если развернуть кластер Kubernetes на железе — в ваших обозримых планах, надеюсь, мои изыскания будут полезны. А еще в статье довольно много сетевки, так что приготовьтесь!

Читать дальше

Angie 1.10: разбор фич, планы на 1.11

Уровень сложностиПростой
Время на прочтение17 мин
Количество просмотров1.7K

Следуя устоявшемуся квартальному ритму выпуска значимых релизов, мы выпустили стабильные версии Angie и Angie PRO 1.10 — форка nginx, развиваемого в основном бывшими ключевыми разработчиками оригинального проекта.

Как и в прошлый раз, расскажем подробнее о нововведениях, приводя примеры. Вы узнаете, в чём ключевая фишка нового релиза (картинка под заголовком намекает); также слегка приоткроем завесу тайны над тем, что у нас припасено на будущее.

А пока — краткий список нововведений, которые будут разобраны ниже:

— автоматическое проксирование и балансировка веб-сервисов в Docker-контейнерах (или Podman);
— автоматическое получение TLS-сертификатов для потокового модуля (stream);
— прием соединений Multipath TCP (MPTCP);
— контроль перегрузки CUBIC в QUIC-соединениях;
— привязка сессий с внешним хранилищем в модуле stream;
— новые режимы привязки сессий при проксировании HTTP-запросов;
— режим постоянного перехода на резервную группу в модуле stream.

Читать далее

SVACE по-взрослому: как мы перенесли лицензирование в облако без костылей (ну или почти)

Уровень сложностиСредний
Время на прочтение17 мин
Количество просмотров702

Привет, Хабр! Меня зовут Максим Сыропятов, я отвечаю в Arenadata за безопасную разработку. В этой статье расскажу, как мы перенесли систему лицензирования инструмента статического анализа SVACE в облако — без костылей, туннелей и физического железа. Поделюсь, какие ограничения нам пришлось обойти, зачем это вообще понадобилось и что дало такое решение в контексте безопасности и стабильности разработки.

SVACE позволяет проводить углублённый анализ зависимостей функций и путей, через которые данные могут попасть в программу. Само решение и предлагаемый функционал вполне нас устраивают, но в то же время есть нюансы, связанные с системой лицензирования — по умолчанию лицензия приезжает на HASP-ключе. Мы подробно разберем процесс миграции в облако OEM-лицензии, трудностях, с которыми мы столкнулись, и преимуществах, которые это решение дало для тестирования и разработки.

Как мы ушли от токена

Ближайшие события

Kubernetes: шестимесячный марафон по прокачке dBrain.cloud

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров2K

За последние полгода наши инженеры проделали значительную работу по развитию и оптимизации платформы dBrain.cloud, ключевым инструментом которой является Kubernetes. В этой статье мы подробно расскажем об изменениях, произошедших в инфраструктуре, о внедрении новых функций и фишках, которые, мы надеемся, будут интересны DevOps-сообществу.

Читать далее

PDB для StatefulSet с minAvailable=100 % и контролируемый rolling-update через Partition

Уровень сложностиСредний
Время на прочтение4 мин
Количество просмотров384

Привет!

Сегодня мы рассмотрим, как перезапустить полноценный ZooKeeper‑кластер в Kubernetes так, чтобы ни один из узлов не потерял кворум даже на микросекунду. Берём два проверенных инструмента — строгий PodDisruptionBudget с minAvailable: 100% и StatefulSet с updateStrategy.RollingUpdate.partition.

Читать далее

OWASP Top 10 API: Полный разбор всех угроз и как от них защититься

Уровень сложностиСредний
Время на прочтение17 мин
Количество просмотров4.2K

API — это «кровеносная система» современного веба, но без должной защиты они становятся лёгкой добычей для хакеров. OWASP выделил Топ-10 уязвимостей API, которые чаще всего эксплуатируют злоумышленники. Разберём ключевые риски и методы защиты.

Читать далее

Автоматизация деплоя с помощью GitHub Actions: руководство для чайников

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров3.7K

Привет, Хабр! Меня зовут Микаэль Оганесян, я backend-разработчик, и сегодня хочу поделиться с вами опытом настройки CI/CD с использованием GitHub Actions. В этой статье мы разберём, как автоматизировать процесс деплоя вашего приложения, что сэкономит ваше время и уменьшит количество ошибок при ручном деплое.

Читать далее

Загрузка Docker-образа в Private Registry: руководство для чайников

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров2.2K

Автор: Оганесян Микаэль, backend-developer

В этой статье я расскажу, как создать, тэгировать и загружать Docker-образ в приватный Docker Registry, используя Key ID и Key Secret. Также рассмотрим, как скачать образ с Registry на целевой сервер.

Читать далее

Опыт эксплуатации Service Mesh в Авито

Уровень сложностиСредний
Время на прочтение16 мин
Количество просмотров3.7K

Привет, Хабр! Меня зовут Игорь Балюк, совсем недавно я работал платформенным инженером в Авито. В этой статье я рассказываю про Service Mesh и показываю, что это, скорее, не конечная точка, где можно найти «серебряную пулю» от всех проблем, а путь, который, возможно, никогда не закончится: придется постоянно куда-то бежать и что-то дорабатывать. В тексте я также разбираю, как работает Service Mesh в Авито. 

Переходите под кат, будет интересно!

Читать далее

Нас не заменят! Почему сисадмины не боятся конкуренции с ИИ

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров11K

Дизайнеры, программисты, копирайтеры, маркетологи и многие другие на митапах, встречах, хакатонах, в комментариях на Хабре обсуждают, как, когда и в чём их заменит ИИ. В многоголосье айтишных голосов реже остальных слышно сисадминов. Не то чтобы они умели заговаривать роботов и были сами теми ещё искусственными интеллектами — просто есть довольно весомые предпосылки, которые говорят, что бубен и интуиция не одну нейронку переживут. 

День системного администратора — самое время разобраться кожаным с железными.

Читать далее
1
23 ...

Вклад авторов