Рассказываем, что такое Middleware, как мы прокачали Tarantool от Cache до Middleware и когда будет полезен Tarantool с новыми возможностями.

Что такое Middleware

Middleware — программный слой между фронтендом и бэкендом приложения, который обеспечивает коммуникацию и взаимодействие между ними. Например, Middleware может связывать мобильное приложение с базой данных.

Работа Middleware основана на принципе клиент-серверной архитектуры. Клиентские приложения отправляют запросы на серверы через Middleware-слой, который обрабатывает эти запросы и возвращает результаты обратно клиентам. Middleware может использовать разные протоколы и технологии для обмена данными — например, HTTP, SOAP, REST.
Middleware подходит для задач разного спектра.

Управление подключением к внутренним ресурсам. Middleware может создать пул одновременных соединений с базами данных, очередями сообщений, облачными ресурсами и другими Core-системами. Как результат, скорость обработки запросов и стабильность подключений увеличиваются.
Реализация бизнес-логики. Middleware может реализовывать логику на основе клиентских запросов. Например, может определить геолокацию отправителя запроса по IP и отдать приоритет результатам поиска, которые ближе географически. Или распознавать язык, установленный в клиентском браузере, и выдавать ответы только на этом языке.
Балансировка нагрузки. Middleware помогает распределять запросы по серверам, виртуальным машинам или зонам доступности в облаке. Также программный слой позволяет решить проблемы при параллельной обработке запросов — например, исключает конфликты, когда несколько клиентов одновременно обращаются к одному ресурсу.
Обеспечение безопасного доступа. Middleware-решения можно задействовать для аутентификации пользователей, управления доступом, шифрования данных, мониторинга безопасности и других кейсов, оставляя всю механику в промежуточном слое, то есть изолируя риски от Core-систем.

Исходя из кейсов использования, Middleware делят на несколько типов. К часто используемым относят программный слой для:

обмена сообщениями (Messaging Middleware) — упрощает обмен данными между распределенными приложениями и сервисами;
удаленного вызова процедур (Remote Procedure Call Middleware) — предоставляет протокол, который позволяет запрашивать сервис другого приложения программы, расположенного на другом компьютере или в другой сети;
транзакций (Transaction Middleware) — обеспечивает переход транзакций из одной фазы в следующую посредством мониторинга процесса транзакций;
интеграций (Embedded Middleware) — облегчает взаимодействие и интеграцию между встроенными приложениями и Real-time-системами;
данных (Middleware for data) — обеспечивает прямой доступ к базам данных и взаимодействие с ними.

Движение Tarantool от Cache

Tarantool появился в 2008 году как инструмент для проекта «МойМир@Mail.ru». Технология In-memory позволила снять часть нагрузки с железа, снизить стоимость хранения данных.
Tarantool прошел долгий путь эволюции:

Сначала это был In-memory кэш, который мало отличался от memCached.
Для нивелирования недостатков, характерных для холодного кэша, мы сделали Tarantool персистентным.
Далее мы реализовали поддержку репликации, добавили индексы и Lua-функции.

Сегодня Tarantool — решение класса Middleware for data, с помощью которого можно создать промежуточной слой для управления движением данных, ускорения цифровых сервисов и снижения нагрузки на Core-cистемы. Tarantool сочетает в себе сервер приложений, гибридное хранилище с гибкой схемой данных и мощные средства масштабирования.

Фактически Tarantool встраивается между Core-системой (например, Legacy-решением) и третьими сервисами. Это позволяет без изменения архитектуры Core-систем ускорять обработку данных и получать горячий кэш в необходимых решениях, будь то золотая запись, процессинг или витрины данных.

Почему мы позиционируем Tarantool в качестве решения класса Middleware for data:

Модульность. Tarantool Enterprise поддерживает большое количество модулей, что позволяет легко настраивать его по принципу конструктора под разные сценарии использования.
Расширенные возможности. Tarantool сочетает функции СУБД и сервера приложений. Он предлагает средства для хранения и обработки данных, позволяя разработчикам эффективно работать с большими объемами информации. В то же время решение дает возможность разрабатывать и развертывать приложения непосредственно внутри БД.
Поддержка разных форматов. Инструмент поддерживает разные модели данных, такие как ключ-значение, графы и документы, независимо от структурированности самих данных. Как результат, Tarantool может быть использован в разных сценариях работы с данными — от простых операций поиска и обновления до сложных аналитических запросов и манипуляций с графовыми структурами данных.
Совместимость и интегрируемость. Tarantool имеет поддержку MySQL, PostgreSQL и других БД, что позволяет разработчикам использовать его для создания высокопроизводительных приложений. Более того, Tarantool легко интегрируется с другими системами, в том числе с инструментами для управления проектами и мониторинга, что позволяет создавать комплексные решения для обработки данных.
Масштабируемость. Tarantool использует распределенную архитектуру и может горизонтально масштабироваться. Это позволяет ему обрабатывать большие объемы данных быстрее, чем традиционные базы данных.

Кейсы применения Tarantool Middleware for data в деле

Tarantool позволяет закрыть 99% потребностей в хранении и обработке данных и одновременно с этим решает разные бизнес-задачи, в том числе помогает с ускорением Core-систем, преодолением ограничений Legacy и построением микросервисов. Этими и другими сценариями применения Tarantool Middleware for data уже пользуются компании из разных сфер.

Построение микросервисной архитектуры. Переход от архитектуры монолита к микросервисам позволяет компаниям создавать системы, способные обрабатывать миллионы транзакций и поддерживать растущую нагрузку без снижения скорости сервисов. Например, применив Tarantool Middleware for data в собственной биллинговой системе, «Мегафон» смог обеспечить быструю и надежную работу 25 сервисов для 80 миллионов абонентов в режиме реального времени. При этом проект был реализован на небольшой технической базе: один из сервисов работает на 6 серверах в трех ЦОДах, обеспечивая производительность обработки на уровне 3000 записей в секунду.
Повышение отказоустойчивости. Tarantool как решение класса Middleware for data позволяет строить надежные системы на базе разнородной ИТ-инфраструктуры. Например, банк «Открытие» применил Tarantool при построении объединенной архитектуры после слияния с другими банками. Решение позволило на 85% снизить нагрузку на Core-системы, в 20 раз повысить скорость обработки транзакций и сократить обновление информации о балансе на клиентском счете с нескольких десятков до 2 секунд. Решить подобную задачу с помощью монолитного ПО было бы затруднительно.
Ускорение сервисов. Раньше для интернет-магазина «Ситилинк» использовал монолитную реляционную базу данных, но она не позволяла справляться с расширением ассортимента товаров и повышением активности покупателей. Миграция на микросервисную архитектуру и БД на основе Middleware for data Tarantool помогли компании ускорить сервисы. Например, обновление каталога после добавления новых позиций стало занимать не 30 минут, а 3 секунды. Одновременно с этим в 10 раз повысилась и доступность сервисов.

Важно при этом, что, если надо оптимизировать сервисы, интеграция Tarantool Middleware for data в проект позволяет командам избежать значительных трудностей и больших инвестиций в краткосрочной перспективе. Так, встраивание Tarantool между не самым быстрым, надежным Legacy-сервисом и фронтендом может решить проблему быстродействия всей архитектуры и даже поддержания гарантированной надежности на нужном уровне.

Узнавайте о новых релизах, вебинарах и выходящих статьях в Telegram-канале Tarantool News.

Задать вопросы команде разработчиков про использование Tarantool можно в официальном канале сообщества.

О принципах и примерах работы продуктов Tarantool читайте в блоге на сайте.

От Cache до Middleware: эволюция Tarantool