Облачные сервисы *

Kafka — распределенная стриминговая платформа, которая стала де-факто стандартом для обработки событий в реальном времени. Она обеспечивает надежную доставку сообщений, масштабируемость и низкую задержку. Однако чтобы кластер Kafka работал стабильно под высокой нагрузкой, мало просто «поднять брокеры» — критично правильно настроить параметры конфигурации. От них напрямую зависят пропускная способность, время отклика, устойчивость к сбоям и эффективность использования ресурсов.

На связи снова Александр Гришин, руководитель по развитию продуктов хранения данных Selectel. В этой статье я разберу доступные параметры конфигурации Kafka-кластеров в облачных базах данных: от настроек репликации и ретеншена до лимитов на продюсеров и потребителей. Мы посмотрим, как каждый параметр влияет на производительность и надежность, приведем практические рекомендации для разных сценариев — от высокочастотных событий до больших архивных потоков.

Материал будет полезен инженерам, которые проектируют архитектуру обмена данными, DevOps-специалистам, отвечающим за эксплуатацию, и разработчикам, которым важно предсказуемое поведение стриминга на продакшене. Погнали!

Привет, Хабр! Меня зовут Даня Гербовец, я разработчик в международной компании Garage Eight. Сегодня хочу поделиться своим опытом, как можно поднять собственное домашнее облако — быстро, понятно и недорого.

Почему я вообще пришел к идее развернуть у себя Nextcloud? Всё просто: огромное количество файлов. Фото и видео в наше время занимают куда больше места, а надежности смартфонов я не доверяю. Я начал интересоваться облачными хранилищами, но довольно быстро понял: если хочется действительно много места за адекватный прайс, нужен свой сервер.

Всё оказалось не так сложно, как кажется на первый взгляд, — расскажу по шагам, какие есть варианты установки, что выбрать и на что стоит обратить внимание.

Были времена, когда переход в облако казался прямо-таки идеальным решением. Благодаря ему не нужно было покупать серверы, строить дата-центры, содержать администраторов и делать все, что так сильно нагружало штат и бюджет. Отказ от собственной инфраструктуры действительно сильно облегчал компаниям жизнь – особенно на первых порах – и ускорял запуск проектов. Но со временем затраты на облака стали серьезной статьей расходов, добавив сложностей финансовому планированию. Именно поэтому появилось такое явление как FinOps. А что это такое и с чем его едят – сейчас разберем.

Привет, друзья!

В этой серии статей я делюсь с вами своим опытом решения различных задач из области веб-разработки и не только.

Другие статьи серии:

DevOps Tutorials — Ansible: разворачиваем веб-приложение на виртуальном сервере

Предыдущая статья была посвящена деплою Angular+Java веб-приложения на виртуальном сервере Ubuntu Linux с помощью Ansible. В этой статье мы научимся читать для этого деплоя сеть и создавать виртуальный сервер в облаке с помощью Terraform.

Интересно? Тогда прошу под кат.

Существует огромное количество расширений для PostgreSQL, каждое из которых помогает решать конкретные задачи пользователей. С их помощью можно адаптировать базу данных под собственные нужды и упростить работу с данными. Под катом посмотрим на некоторые из популярных расширений PostgreSQL: зачем они нужны, как применяются, какие имеют преимущества и ограничения.

В работе с публичными облаками много плюсов, но с точки зрения ИБ — есть свои риски по сравнению с on‑premises. Минимизировать их помогает выделенный Security Operation Center (SOC). При этом создать его у себя не так просто: для эффективной работы SOC в Yandex Cloud понадобилось несколько лет разработки, а также технологии и мощности Яндекса, которые развивались годами.

Поскольку у клиентов облака не всегда есть ресурсы и экспертиза, чтобы создать подобный SOC у себя, мы не только строили свой центр, но и параллельно делали на его основе управляемый сервис Yandex Cloud Detection & Response (YCDR). В процессе разработки мы должны были позаботиться о том, чтобы даже привилегированные учётные записи не могли обойти семь слоёв облачной безопасности, — и в итоге многие компоненты написали самостоятельно.

— Первая часть статьи для тех, кому важны механизмы безопасной изоляции ресурсов. Покажем, как мы строили SOC c учётом особенностей облачной защиты.

— Вторая часть для тех, кто интересуется большими данными. Продемонстрируем, что скрывает под капотом сервис, обрабатывающий более полумиллиона событий в секунду. А также расскажем, почему нам потребовалось создать для него собственную SIEM‑систему.

Как подключиться к облаку надёжно и гибко.

Привет, Хабр! Меня зовут Влад Одинцов, я техлид и product owner сетевых сервисов в K2 Cloud. Мы строим облачную платформу, где стабильное и безопасное подключение клиентов к инфраструктуре — ключевой элемент.

В этой статье расскажу про шесть способов подключения к инфраструктуре клиента в К2 Облаке: от Elastic IP до Direct Connect. Каждый из способов решает разные задачи — от простого доступа по публичным адресам до построения отказоустойчивых архитектур гибридного облака. Расскажу о плюсах, ограничениях и подводных камнях.

Кажется, что большие языковые модели просто созданы для того, чтобы работать в клиентском сервисе. Они умеют анализировать запрос, генерировать короткие и подробные ответы, структурировать и объяснять. Но в большинстве случаев мы все равно недовольны ответами чат-ботов и просим быстрее «перевести на оператора». Почему?

Я — Максим Михайлов из Cloud.ru. В серии статей попробую ответить на этот вопрос. А еще расскажу, как мы внедряем AI в клиентский сервис так, чтобы сотрудники и технологии работали в симбиозе, ответы сохраняли дружелюбие, клиенты максимально эффективно решали свои задачи и уровень удовлетворенности услугами и сервисами только возрастал.

Развертывание Kubernetes-кластера и системы мониторинга часто воспринимается как сложная задача, которая требует глубоких знаний и значительных временных затрат. Однако современные инструменты автоматизации позволяют существенно упростить этот процесс, поэтому разобраться смогут и начинающие специалисты.

Привет, Хабр! Меня зовут Катя Низовцева, я системный администратор в Selectel. В этой статье мы подробно рассмотрим, как с помощью Kubespray быстро и эффективно развернуть работоспособный Kubernetes-кластер, а также интегрировать с ним систему мониторинга VictoriaMetrics. Этот подход особенно полезен, когда необходимо оперативно создать тестовое окружение или подготовить базовую инфраструктуру для дальнейшего развития.

Какие панели управления хостингом действительно востребованы у клиентов? Мы проанализировали реальные заказы на серверы и сравнили популярные решения — от бесплатных FASTPANEL и CyberPanel до платных ispmanager, cPanel и Plesk. Подробная статистика, сравнение функционала и цен ждут вас в статье.

Весной 2022 с уходом западных облачных вендоров стало понятно, что старые подходы больше не работают: нужна своя платформа, своя архитектура и полный контроль. Мы решили построить облачную платформу с нуля — и пошли по самому сложному пути. В статье — инженерные компромиссы, разбор альтернатив и архитектурные принципы, с которыми мы пришли к собственной облачной платформе.

Pix – это национальная система мгновенных платежей Бразилии, запущенная Центральным банком (Banco Central do Brasil, BCB) в ноябре 2020 года. Всего за несколько лет она совершила революцию в финансовой сфере страны, став повсеместно используемым способом переводов и платежей.

Pix позволяет физическим лицам, компаниям и государственным учреждениям переводить средства между любыми банками 24/7, практически мгновенно и с минимальными издержками. К 2024 году около 153 млн бразильцев (примерно 75% населения) и 15 млн компаний воспользовались Pix, а объем транзакций достиг 42 млрд в год – поразительные показатели, свидетельствующие о масштабном успехе системы. В этом обзоре мы рассмотрим архитектуру Pix, взаимодействие пользователей, банков и регулятора, вопросы безопасности и API-интерфейсов, роли участников (банки, финтехи, торговые предприятия), управление данными и отказоустойчивость системы. Отдельно постараюсь рассказать об интеграции Pix в контексте Open Banking/Open Finance и сравню Pix с другими системами быстрых платежей (индийской UPI, европейской SEPA Instant и российским СБП).

Что общего у систем видеоконференцсвязи (ВКС), финансовых транзакций и авиаперевозок? Все они должны работать всегда, когда нужны людям. Сегодня расскажем, как мы строили георезервирование для инфраструктуры, что пошло не так и какие выводы сделали. Перед вами — true story, как мы помогаем одному из наших заказчиков сопровождать инфраструктуру большого критичного сервиса. 

Привет, Хабр! Это Никита Турцаков и Алексей Кузьмин из К2.

В этой статье расскажем:

• зачем и для чего нужно георезервирование для системы ВКС;
• как мы подошли к выбору архитектуры;
• с чем столкнулись при реализации;
• и что бы сделали по-другому, если бы начинали сейчас.

Готовьтесь: будет много практики и немного боли — потому что как без неё в масштабных и амбициозных задачах.

Как интегрировать Google ADK с кастомным интерфейсом: пошаговое руководство с примерами

Подробный гид по интеграции Google ADK (Agent Development Kit) и Vertex AI Agent Engine в кастомные интерфейсы. В статье разобраны все ключевые этапы — от развёртывания агента до настройки стриминга, сохранения состояния (state) и построения собственной архитектуры взаимодействия с LLM. Подходит разработчикам, которые хотят быстро подключить AI-агента к своему продукту и сохранить контроль над логикой, безопасностью и пользовательским опытом.

«- Внимание! Нагрузка растёт неравномерно! О нет, ручное управление не помогает…
- Сбой! Повторяю: сбой! Инфраструктура падает!
- Нужно больше ресурсов!»

Звучит как сцена из фантастического фильма-катастрофы, но в компаниях с большим количеством хостов и высокой нагрузкой на них так могут выглядеть и обычные рабочие будни. Хабр и Octopus решили опросить айтишников из компаний с развитой инфраструктурой, чтобы узнать как те справляются со своими IT-ресурсами, какие инструменты для этого задействуют и чего им не хватает для счастья работы без перегрузок и нервов.

Привет, Хабр! Меня зовут Евгений Мартынов, я директор по информационным технологиям в Рег.ру. В декабре 2024 года мы запустили сервис объектного хранилища S3, построенный на Ceph. Тогда это был MVP с минимально необходимым функционалом — сейчас мы вышли из беты, добавили ключевые возможности, расширили хранилище и накопили первые 130+ ТБ пользовательских данных.

В этой статье я решил поделиться опытом облачной команды Рег.ру: почему выбрали Ceph, как проектировали квоты, масштабировали инсталляцию без остановки сервиса, какие вызовы нас ждали на проде и как мы их решили.

Привет! Меня зовут Михаил Шпаков, я разрабатываю Statuser — платформу для мониторинга доступности сайтов, приложений и серверов. Делаю всё один, по вечерам, без команды.

В этой статье я расскажу, как появилась функциональность, которая была в планах с самого начала — публичные страницы статуса. Эта идея зрела давно, и запросы от первых клиентов только ускорили её появление.

Объясню, как всё устроено внутри, с какими техническими решениями пришлось столкнуться и почему статус-пейджи — это логичное продолжение любого хорошего мониторинга.

Привет, Хабр! У нас тут кипит работа, и мы снова делимся свежими новостями со стройплощадок. Да-да, под катом уже шестая часть истории о подмосковных дата-центрах. А если пропустили наши прошлые статьи — вам сюда: раз, два, три, четыре, пять.

Привет всем! Меня зовут Александр Бардаш, я CTO интеграционной платформы MWS Octapi. Недавно я выступал с докладом на конференции True Tech Day и рассказывал, как мы строим инженерную основу для AI-агентов, которые не просто отвечают, а действительно помогают: автоматизируют процессы, принимают решения и становятся частью цифровых продуктов, а не остаются на уровне игрушек и прототипов.

Полностью посмотреть доклад можно в True Tech. А ниже — переработка для Хабра. Обсудим единый интеграционный ландшафт: зачем и для кого он нужен, как используется и почему важен для построения бизнеса и внедрения моделей. Поделюсь кейсом, как мы решили проблему сложных композитных сценариев построения и внедрили собственные ИИ-решения, которые серьезно упростили жизнь пользователям. Погнали!

Привет, Хабр! Меня зовут Максим Сыропятов, я отвечаю в Arenadata за безопасную разработку. В этой статье расскажу, как мы перенесли систему лицензирования инструмента статического анализа SVACE в облако — без костылей, туннелей и физического железа. Поделюсь, какие ограничения нам пришлось обойти, зачем это вообще понадобилось и что дало такое решение в контексте безопасности и стабильности разработки.

SVACE позволяет проводить углублённый анализ зависимостей функций и путей, через которые данные могут попасть в программу. Само решение и предлагаемый функционал вполне нас устраивают, но в то же время есть нюансы, связанные с системой лицензирования — по умолчанию лицензия приезжает на HASP-ключе. Мы подробно разберем процесс миграции в облако OEM-лицензии, трудностях, с которыми мы столкнулись, и преимуществах, которые это решение дало для тестирования и разработки.