Все потоки
Поиск
Написать публикацию
Обновить
34.95

Микросервисы *

Микросервисная архитектура и все что с ней связано

Сначала показывать
Порог рейтинга
Уровень сложности

Как мы подключали Prometheus

Время на прочтение9 мин
Количество просмотров18K

Как-то мне предстояло разобраться с метриками для нашего API, как всегда (нет времени?!) дописать позже — очень сложно и ещё не внедрили — значит пора внедрять. После некоторых скитаний в сети, самой популярной системой мониторинга, как мне показалось, был Prometheus.


При помощи Prometheus мы можем отслеживать различные ресурсы компьютера, такие как: память, загрузка процессора, диска, сети. Также нам может быть важно посчитать количество обращений к методам нашего API или измерить время их выполнения, ведь чем больше нагрузка на систему, тем дороже время её простоя. И тут нам на помощь приходит Prometheus. В данной статье приводятся, как мне кажется, основные моменты для понимания работы Prometheus и для добавления сбора метрик в API. Поэтому начнём с самого банального, с небольшого описания.

Читать дальше →

Строим домашний CI/CD при помощи GitHub Actions и Python

Время на прочтение12 мин
Количество просмотров67K

Как то вечером, придя домой с работы, я решил немного позаниматься домашним проектом. Я сделал несколько правок и сразу захотел поэкспериментировать с ними. Но до экспериментов мне пришлось заходить на VPS, пулить изменения, пересобирать контейнер и запускать его. Тут я и решил, что пора разобраться с непрерывной доставкой.

Читать дальше →

Service mesh для микросервисов. Часть I

Время на прочтение3 мин
Количество просмотров7.4K
Перевод статьи подготовлен специально для студентов курса «Инфраструктурная платформа на основе Kubernetes».




Если в последние годы вы следили за тенденциями в области распределенных и облачных архитектур, вы наверняка не раз слышали о микросервисах. Они появились несколько лет назад, и с тех пор их роль в вопросах корпоративных облачных развертываний только растет. Все больше компаний переходят на микросервисы и заявляют об этом в своих публикациях и пресс-релизах.

Их выбор вполне оправдан, но лишь немногие рассказывают, что стоит за таким переходом. При должной реализации микросервисы решают множество проблем монолитной архитектуры: их легко итерировать и распределять по группам, а код без труда разбивается на управляемые компоненты. Однако в большинстве публикаций нет ни слова о последующей работе с микросервисами и инструментах, необходимых для их эффективного использования.
Читать дальше →

Синхронный Запрос-Ответ с использованием Apache Kafka

Время на прочтение11 мин
Количество просмотров32K
Архитектуры, управляемые событиями (Event Driven Architecture), в целом, и Apache Kafka, в частности, привлекли в последнее время большое внимание. Для реализации всех преимуществ архитектуры, управляемой событиями, механизм делегирования событий должен быть по своей сути асинхронным. Тем не менее, могут существовать некоторые особые сценарии/потоки использования, в которых требуется семантика Синхронного Запроса-Ответа. В этом выпуске показано, как реализовать "Запрос-Ответ" с помощью Apache Kafka.

Перевел @middle_java
Читать дальше →

Apache NiFi. 28 ноября в лектории Deworkacy

Время на прочтение2 мин
Количество просмотров2.3K
Привет!

Через две недели пройдет наш митап, посвященный Apache NiFi, полезному OpenSource-инструменту по доставке данных. Поговорим о живых кейсах и обсудим различные технические подходы его использования.

Спикеров будет 4, один человек от нас и коллеги по цеху от Центра разработки Тинькофф, ЭР-Телеком и Аренадата Софтвер.



Под катом — список докладов и ссылка на регистрацию.
Читать дальше →

Умный сервис кэша на базе ZeroMQ и Tarantool

Время на прочтение14 мин
Количество просмотров5K
Руслан Ароматов, главный разработчик, МКБ



Привет, Хабр! Я работаю бэкенд-разработчиком в Московском кредитном банке, и за время работы у меня накопился некоторый опыт, которым я хотел бы поделиться с сообществом. Сегодня я расскажу, как мы писали свой собственный сервис кэша для фронт-серверов наших клиентов, использующих мобильное приложение «МКБ Онлайн». Статья может быть полезна тем, кто занимается проектированием сервисов и знаком с микросервисной архитектурой, in-memory базой данных Tarantool и библиотекой ZeroMQ. В статье практически не будет примеров кода и объяснения основ, а только описание логики работы сервисов и их взаимодействия на конкретном примере, работающем у нас на бою уже более двух лет.
Читать дальше →

Обзор Skaffold для разработки под Kubernetes

Время на прочтение7 мин
Количество просмотров19K


Полтора года назад, 5 марта 2018, компания Google выпустила первую альфа-версию своего Open Source-проекта для CI/CD под названием Skaffold, целью которого стало создание «простой и воспроизводимой разработки под Kubernetes», чтобы разработчики могли сфокусироваться именно на разработке, а не на администрировании. Чем может быть интересен Skaffold? Как оказалось, у него есть несколько козырей в рукаве, благодаря которым он может стать сильным инструментом для разработчика, а может — и инженера по эксплуатации. Познакомимся с проектом и его возможностями.
Читать дальше →

Секция Backend на DUMP Казань: архитектура облачных приложений, общительные микросервисы, DDD и не только

Время на прочтение4 мин
Количество просмотров1.5K
Что делать, если секция Backend на конференции одна, а языков программирования несколько? Получается, либо каждому по докладу, и тогда что делать все остальное время? Либо больше внимания одному-двум языкам, а все остальные не в удел. Кажется, мы нашли выход. В Backend на DUMP Казани мы поговорим о серверной разработке, без привязки к языкам программирования. Обсудим технологии и методы разработки, которые только появились в последние годы, и поищем оптимальное решение задач, с которыми сталкивается большинство разработчиков.


Читать дальше →

Telegram bot, показывающий первые страницы 10 самых популярных мировых периодических изданий

Время на прочтение1 мин
Количество просмотров6.2K

Сейчас часто можно услышать, что российские сми формируют, или кто-то заставляет их формировать ограниченную и по сути пропагандистскую информационную повестку. Я решил проверить в меру своих способностей и желания так ли это? Для чего написал Telegram bot, который каждый день может отправлять первые страницы топ-10 самых популярных мировых газет, таких как:


  1. The New York Times
  2. The Guardian
  3. China Daily
  4. USA Today
  5. Bild
  6. The Washington Post
  7. The Asian Age
  8. The Wall Street Journal
  9. The Japan Times
  10. Los Angeles Times

Бот ежедневно определяет 20 самых часто употребляемых слов. Кроме этого можно осуществить поиск по тегу и подписаться на определенные теги. Как только выбранный тег появится в газете, придет уведомление.


Поисследовав мировые сми с помощью этого бота, могу сказать одно — не все у нас так плохо, как мне до этого представлялось.


Если интересно попробовать бота в деле, пожалуйста Main press pages @press_pages_bot.

Семинары по облачным сервисам, ИИ, блокчейну, Data Science, микросервисам: теперь в Москве и Санкт-Петербурге

Время на прочтение4 мин
Количество просмотров2.4K


Если вы еще не побывали на наших практических семинарах по популярным темам для разработчиков (ИИ, блокчейн, data science, распознавание изображений, контейнеры, чат-боты и пр.), возможно, в этом ноябре — самое время восполнить упущение. Тем более, что этой осенью мы расширили географию наших семинаров, и теперь предлагаем их не только в Москве, но и в северной столице.

Как обычно, участие в семинарах абсолютно бесплатное, а кофе-чай-пирожные за наш счет. По окончании семинара каждый его участник получит сертификат от IBM. Количество мест ограничено.

Перечень практических семинаров:


  • Чат-боты + методология разработки интеллектуальных ассистентов
  • Микросервисы, DevOps и модернизация приложений — подход IBM
  • Watson Studio – все необходимое для Data Science в облаке
  • Распознавание изображений и видео в облаке
  • Блокчейн с практическими примерами, платформа Hyperledger Fabric
  • Искусственный интеллект для ваших приложений — практический семинар по сервисам ИИ

Интересно? Просим под кат для детального описания и регистрации.
Неинтересно? Предложите свою тему в комментариях — мы рассмотрим возможность провести по ней семинар.
Читать дальше →

Бэкенд, машинное обучение и serverless — самое интересное с июльской конференции Хабра

Время на прочтение12 мин
Количество просмотров6.9K
Конференция Хабра — история не дебютная. Раньше мы проводили довольно крупные мероприятия Тостер на 300-400 человек, а сейчас решили, что актуальными будут небольшие тематические встречи, направление которых можете задавать и вы — например, в комментариях. Первая конференция такого формата прошла в июле и была посвящена бэкенд-разработке. Участники слушали доклады об особенностях перехода из бэкенда в ML и об устройстве сервиса «Квадрюпель» на портале «Госуслуги», а также приняли участие в круглом столе, посвященном Serverless. Тем, кто не смог посетить мероприятие лично, в этом посте мы рассказываем самое интересное.


Читать дальше →

Пишем блог на микросервисах – часть 2 «API Gateway»

Время на прочтение5 мин
Количество просмотров22K
В первой части нашего цикла статей «Пишем блог на микросервисах» мы описали общий подход к решению задачи.

Теперь пришла очередь API Gateway или API GW.

В нашем c ptimofeev API GW мы реализуем следующие функции:

  • Конвертация REST запросов в gRPC запросы и наоборот.
  • Логирование запросов.
  • Аутентификация запросов.
  • Присвоение каждому запросу Trace ID для дальнейшей передачи его между микросервисами по всей цепочке выполнения запроса.
Читать дальше →

Пишем блог на микросервисах – часть 1 «Общее описание»

Время на прочтение4 мин
Количество просмотров18K
В этой статье хочу поделится нашими c SergeyMaslov наработками решения типовых задач с использованием микросервисной архитектуры на примере задачи «создание блога» (в надежде, что читатель представляет как устроен блог и это не должно вызывать вопросов по функциональности:)
Читать дальше →

Ближайшие события

Распределенная трассировка в Istio

Время на прочтение7 мин
Количество просмотров5.6K


Примечание от нашей редакции переводов: в представляемой статье описывается закрытый продукт конкретной компании и, к сожалению, пока нет никаких данных о том, что его когда-либо планируют открывать — в столлмановском понимании этого слова. Тем не менее, нам показалось очень важным и полезным рассмотреть, как вообще люди подходят к вопросам дебага Istio и как оптимизируют свою работу на этом поле. Возможно, кто-то сможет почерпнуть для себя пару интересных идей.

В какой-то момент, при разработке продакшн-систем на основе микросервисной архитектуры мы пришли к тому, что мониторинга каждого отдельного элемента нашего сервиса недостаточно, чтобы справляться с серьезными проблемами. С течением времени назрела необходимость получать полную картину всего стека вызовов во всем приложении одновременно, причем с подробной информацией о топологии запросов, задержках сети и длительности отдельных команд. Обычно для решения подобной задачи инженеры прибегают к распределенной трассировке.

В этом посте концепция распределенной трассировки будет рассмотрена через призму микросервисной архитектуры: как это все интегрируется и автоматизируется через Istio, а затем весь процесс упрощается и обрабатывается через Backyards — наш сервисный продукт для Istio.
Читать дальше →
Ситуация, когда в IT-инфраструктуре работает множество монолитных систем сторонних вендоров, далеко не новая. И нередко при попытках подружить монолит с собственными решениями возникают проблемы. В посте рассказываем, как может помочь в решении этих проблем переход на микросервисы и как работать при этом с данными.
Подробности — под катом

Что можно делать с аннотациями контрактов микросервисов?

Время на прочтение7 мин
Количество просмотров3.8K
В прошлом посте мы рассказывали о том, как и почему мы в Acronis делаем аннотации к микросервисам, и обещали поделиться своей практикой применения единого формата API для всей платформы Acronis Cyber Platform. Сегодня мы расскажем про свой опыт статических проверок аннотаций – aka первый шаг на пути внедрения аннотаций в компании.


Читать дальше →

Интеграционное тестирование микросервисов на Scala

Время на прочтение22 мин
Количество просмотров7.1K
Unit-тестирование — это замечательно, но его одного бывает недостаточно. Часто хочется дополнительно убедиться, что запущенное приложение будет работать. На помощь приходит интеграционное тестирование. Оно все чаще применяется для тестирования сервисов, а Docker позволяет удобно управлять тестовым окружением. Но, как всегда, не все так просто, когда микросервисов и зависимостей становится намного больше.

Юрий Бадальянц на РИТ++ рассказал, как в 2ГИС тестируют связку из большого числа сервисов и целого зоопарка технологий. Под катом дополненная и актуализированная под тщательным присмотром спикера версия этого доклада: какие варианты пробовали, к чему пришли, какие проблемы теперь вам не придется решать. Будет про Docker, Testcontainers, а также про Scala.

QIWI Server Party 5.0

Время на прочтение2 мин
Количество просмотров2K
Привет!

Мы собираем QIWI Server Party в пятый раз — уже через 10 дней, 17 октября, мы соберемся на улице Правды, дом 24 стр. 3.

Остаёмся привержены традициям — бесплатное участие для тех, кто заранее зарегистрировался, трансляция и интересные выступления спикеров (которых будет целых 8).


Сборка и деплой однотипных микросервисов с werf и GitLab CI

Время на прочтение5 мин
Количество просмотров16K


Два года назад мы публиковали статью «Сборка проектов с GitLab CI: один .gitlab-ci.yml для сотни приложений», а теперь расскажем о решении схожей задачи сегодня. Новый материал — о том, как можно построить CI/CD-процессы для большого количества однотипных приложений с появлением include в .gitlab-ci.yml и приходом werf на замену dapp.
Читать дальше →

Рождение платформы

Время на прочтение9 мин
Количество просмотров2.8K


Мир изменился. Я чувствую это в воде, вижу в земле, ощущаю в воздухе. Всё, что когда-то существовало, ушло, и не осталось больше тех, кто помнит об этом.
Из фильма «Властелин колец: Братство кольца»

В интернете существует 100500 статей и докладов на тему «как мы пилили монолит», и у меня нет желания написать еще одну. Я попробовал пойти немного дальше и рассказать, как изменения технологий привели к появлению абсолютно нового продукта (спойлер: мы писали коробку, а написали платформу). Статья во многом получилась обзорной, без технических подробностей. Подробности будут позже.
Читать дальше →