Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Тarantool Cartridge: шардирование Lua-бекенда в три строчки

Блог компании Mail.ru Group Высокая производительность *Lua *Распределённые системы *Tarantool *


У нас в Mail.ru Group есть Tarantool — это такой сервер приложений на Lua, который по совместительству ещё и база данных (или наоборот?). Он быстрый и классный, но возможности одного сервера всё равно не безграничны. Вертикальное масштабирование тоже не панацея, поэтому в Tarantool есть инструменты для горизонтального масштабирования — модуль vshard [1]. Он позволяет шардировать данные по нескольким серверам, но придётся повозиться, чтобы его настроить и прикрутить бизнес-логику.

Хорошие новости: мы собрали шишек (например [2], [3]) и запилили очередной фреймворк, который заметно упростит решение этой проблемы.

Тarantool Cartridge — это новый фреймворк для разработки сложных распределённых систем. Он позволяет сфокусироваться на написании бизнес-логики вместо решения инфраструктурных проблем. Под катом я расскажу, как этот фреймворк устроен и как с его помощью писать распределённые сервисы.
Читать дальше →
Всего голосов 68: ↑67 и ↓1 +66
Просмотры 8.9K
Комментарии 6

Тarantool Cartridge: Sharding Lua Backend in Three Lines

Блог компании Mail.ru Group Высокая производительность *Lua *Распределённые системы *Tarantool *

In Mail.ru Group, we have Tarantool, a Lua-based application server and a database united. It's fast and classy, but the resources of a single server are always limited. Vertical scaling is also not the panacea. That is why Tarantool has some tools for horizontal scaling, or the vshard module [1]. It allows you to spread data across multiple servers, but you'll have to tinker with it for a while to configure it and bolt on the business logic.

Good news: we got our share of bumps (for example, [2], [3]) and created another framework, which significantly simplifies the solution to this problem.

Тarantool Cartridge is the new framework for developing complex distributed systems. It allows you to concentrate on writing business logic instead of solving infrastructure problems. Under the cut, I will tell you how this framework works and how it could help in writing distributed services.
Read more →
Всего голосов 26: ↑25 и ↓1 +24
Просмотры 1.5K
Комментарии 0

Легко и непринужденно деплоим приложения на Tarantool Cartridge (часть 1)

Блог компании Mail.ru Group Высокая производительность *IT-инфраструктура *Администрирование баз данных *Tarantool *
Tutorial


Мы уже рассказывали про Tarantool Cartridge, который позволяет разрабатывать распределенные приложения и паковать их. Осталось всего ничего: научиться деплоить эти приложения и управлять ими. Не беспокойтесь, мы всё предусмотрели! Мы собрали вместе все best practices по работе с Tarantool Cartridge и написали ansible-роль, которая разложит пакет на серверы, стартанет инстансы, объединит их в кластер, настроит авторизацию, забутстрапит vshard, включит автоматический failover и пропатчит кластерный конфиг.


Интересно? Тогда прошу под кат, всё расскажем и покажем.

Читать дальше →
Всего голосов 52: ↑52 и ↓0 +52
Просмотры 4.1K
Комментарии 4

Deploying Tarantool Cartridge applications with zero effort (Part 1)

Блог компании Mail.ru Group Высокая производительность *IT-инфраструктура *Администрирование баз данных *Распределённые системы *


We have already presented Tarantool Cartridge that allows you to develop and pack distributed applications. Now let's learn how to deploy and control these applications. No panic, it's all under control! We have brought together all the best practices of working with Tarantool Cartridge and wrote an Ansible role, which will deploy the package to servers, start and join instances into replica sets, configure authorization, bootstrap vshard, enable automatic failover and patch cluster configuration.

Interesting, huh? Dive in, check details under the cut.
Read more →
Всего голосов 29: ↑29 и ↓0 +29
Просмотры 950
Комментарии 0

Легко и непринужденно деплоим приложения на Tarantool Cartridge (часть 2)

Блог компании Mail.ru Group Высокая производительность *IT-инфраструктура *Администрирование баз данных *Tarantool *
Tutorial


Совсем недавно мы рассказывали о том, как деплоить приложения, написанные на Tarantool Cartridge. Но на деплое эксплуатация не заканчивается, поэтому сегодня мы обновим наше приложение и разберемся с тем, как управлять топологией, шардированием и авторизацией, а также изменять конфигурацию ролей.


Любознательных прошу под кат!

Читать дальше →
Всего голосов 27: ↑26 и ↓1 +25
Просмотры 2.4K
Комментарии 2

Deploying Tarantool Cartridge applications with zero effort (Part 2)

Блог компании Mail.ru Group Высокая производительность *Администрирование баз данных *Распределённые системы *Tarantool *
Tutorial


We have recently talked about how to deploy a Tarantool Cartridge application. However, an application's life doesn't end with deployment, so today we will update our application and figure out how to manage topology, sharding, and authorization, and change the role configuration.

Feeling interested? Please continue reading under the cut.
Read more →
Всего голосов 15: ↑15 и ↓0 +15
Просмотры 630
Комментарии 0

Мониторинг Tarantool: логи, метрики и их обработка

Блог компании Mail.ru Group Администрирование баз данных *Lua *DevOps *Tarantool *
Tutorial

Tarantool — это платформа in-memory вычислений с гибкой схемой данных. На её основе можно создать распределённое хранилище, веб-сервер, высоконагруженное приложение или, в конце концов, сервис, включающий в себя всё вышеперечисленное. Но какой бы ни была ваша промышленная задача, однажды настанет момент, когда её решение придётся мониторить. В этой статье я хочу дать обзор существующих средств для мониторинга приложения на базе Tarantool и пройтись по основным кейсам работы с ними.


Мониторинг Tarantool


Я работаю в команде, которая занимается разработкой, внедрением и поддержкой готовых решений на основе Tarantool. Для вывода наших приложений в эксплуатацию на контуре заказчика было необходимо не только разобраться в текущих возможностях мониторинга, но и доработать их. Большая часть доработок в результате вошла в те или иные стандартные пакеты. Данный материал является текстовой выжимкой этого опыта, и может пригодиться тем, кто решит пройти по той же тропе.

Читать дальше →
Всего голосов 45: ↑43 и ↓2 +41
Просмотры 4.7K
Комментарии 0

Деплоим Tarantool без людей

Блог компании Mail.ru Group Администрирование баз данных *DevOps *Tarantool *


Как сделать так, чтобы любой разработчик мог быстро накидать решение своей проблемы и гарантированно доставить его в прод? Деплоить приложение просто. Сделать из него полноценный продукт, чтобы десяток команд использовал его на сотне инстансов — сложнее. А если речь про мастер-систему на несколько терабайт, то уровень тревожности повышается, руки потеют, а база трещит по швам (может быть).

Я хочу поделиться способом деплоить без простоя и без отказа в обслуживании. Пайплайн на Jenkins, ноль посредников, 500 инстансов в production-среде за 60 минут. Всё это в опенсорсе. За подробностями приглашаю под кат.
Читать дальше →
Всего голосов 32: ↑32 и ↓0 +32
Просмотры 3.8K
Комментарии 3

Управляем кластером на Tarantool из командной строки

Блог компании Mail.ru Group Высокая производительность *Администрирование баз данных *Lua *Tarantool *
Tutorial


Два года назад мы уже рассказывали вам, что такое Cartridge и как с его помощью разрабатывать распределенные приложения. Это полноценный фреймворк, в который входит CLI-интерфейс, который сильно упрощает разработку и эксплуатацию приложений на Tarantool Cartridge.

Я расскажу вам, как можно использовать Cartridge CLI для эффективного использования ваших локальных приложений, и об интересных фичах самого CLI. Статья больше ориентирована на тех, кто уже использует Cartridge или хочет начать им пользоваться. Поехали!
Читать дальше →
Всего голосов 32: ↑28 и ↓4 +24
Просмотры 1.5K
Комментарии 10

Grafana as code, или как я перестал кликать мышкой в UI и полюбил grafonnet

Блог компании Mail.ru Group DevOps *Tarantool *
Tutorial

Когда мы в Tarantool столкнулись с задачей настройки мониторинга для сдачи проекта заказчику, мы решили её с помощью grafonnet. Это библиотека для написания дашбордов Grafana с помощью кода на языке jsonnet, которая заметно облегчила нам жизнь.


Рассказ поделён на две части. В первой я делюсь нашей историей знакомства с grafonnet, причинами, по которым мы выбрали этот инструмент, и задачами, которые мы решили с его помощью. Вторая представляет собой пошаговое обучение написанию простого дашборда для Prometheus. Так что если ситуации, описанные мной в первой половине статьи, покажутся вам знакомыми, вторая позволит вам совершить первый шаг на пути к их разрешению.


Читать дальше →
Всего голосов 35: ↑35 и ↓0 +35
Просмотры 9.1K
Комментарии 6