Именно эту фразу я слышал от менеджеров разного уровня лет десять назад, когда предлагал пересмотреть концепцию мультимастера. Разочарование, помнится, наступило, когда люди, принимающие решения, таки увидели, что масштабируемости по записи постгресовый мультимастер на логической репликации не обеспечивает. И даже eventually consistent active-active репликация имеет предел насыщения. У PostgreSQL он в значительной мере определяется наращиванием репликационных воркеров (CPU, диск), скоростью декодинга у walsender'a и скоростью применения транзакций apply worker'ом.

Удивляться тут, впрочем, было нечему — эту тему активно изучали ещё в 90-х. Но что, если пересмотреть саму решаемую проблему — может быть, мы просто делаем не тот продукт? Позвольте мне здесь отрефлексировать старый и совсем недавний опыт и высказать свои соображения на эту тему.

Списывать мультимастер со счетов, по-моему, рано. Просто нужен он не ради скорости.

Сразу оговорюсь, что я не имею опыта инженера инфраструктуры, так что точно не в курсе тех способов, утилит и хитрых трюков, которыми настраивается реальная система, — подозреваю, таких наберётся предостаточно. Я — теоретик, который пишет базовые компоненты таких систем. И с моей колокольни представляется, что иметь все данные на каждом инстансе и обрабатывать на нём транзакции может потребоваться не только ради масштабирования или автоматического фейловера. В конце концов, не так много бизнесов требуют миллионов TPS, а переключить активный мастер может и внешний инструмент — например, Patroni.

Есть и много последователей правильно настроенной логической мастер-реплика репликации. Это действительно так, но у приложений опять одна точка подключения. И вряд ли так уж легко переключить мастер в режим реплики. Распределённые СУБД? — возможно. Однако цель распределённой СУБД — сохранять связность базы, размазанной по множеству зон. Реплики там держатся поближе к мастеру, так что схема всё равно остаётся скорее централизованной.

Чтобы было яснее, к чему я веду, давайте обратимся к недавним кейсам — их в этом году набралось на целую коллекцию.

В марте дроны поразили дата-центры AWS в ОАЭ и Бахрейне. В регионе разом вышли из строя две зоны доступности из трёх, и вслед за ними легли банки и платёжные сервисы. Резервирование, рассчитанное на потерю одной зоны, не спасло, а спустя полгода AWS предложил клиентам переезжать в другие регионы. Не уверен, но, вероятно, для тамошних банков есть какие-то требования о локализации данных, и такой переезд — в первую голову юридическая проблема.

В июле Telstra уронила мобильную сеть по всей Австралии, вплоть до сбоев вызовов в службу спасения 000. Охотно верю: в то утро я как раз прилетел в Сидней, и это ощущалось скорее как катастрофа, нежели рутинный сбой, - не работали ни телефон, ни банкомат, ни вызов такси. А причиной был какой-то банальный блок питания в оборудовании синхронизации времени и обновление системы.

В октябре Revolut на большую часть дня оставил клиентов по всей Европе без приложения и даже без оплаты картой в магазинах. Причина - сбой питания в одном дата-центре Google Cloud под Лондоном. В тот день мне тоже довелось поволноваться: только приехав в Валенсию на PGConf.EU'26, я нигде не мог расплатиться. Благо, немного наличных у меня всегда с собой.

И наконец, ноябрь. Exchange Online и Outlook у Microsoft лежали почти сутки. А на следующий день FAA остановила вылеты во всех аэропортах США примерно на четыре часа: отказала связь центров управления воздушным движением, и одной из возможных причин министр транспорта назвал работы по модернизации старой телекоммуникационной системы.

Размышляя об этих событиях, я вспоминаю правила проектирования больших электрических сетей. При аварии сеть не пытается удержать всех потребителей, а отключает часть из них, чтобы сохранить остальных, - так было, например, в ноябре 2006 года, когда европейская энергосистема распалась на три сегмента. И у жёсткой связности, и у автономии есть свои плюсы, поэтому обычная стратегия - обеспечить связность внутри региона и ослабить её между регионами.

Электричество - жизненно важный ресурс, но разве ИТ-сервисы не становятся таким же ресурсом? Какой процент дохода типичная компания потеряет за день «простоя» без доступа к своим AI-агентам?

Так что времена изменились. Если 10 лет назад можно было устанавливать один большой инстанс и рассчитывать на высокое качество магистральных интернет-коммуникаций, упирая на то, что 30 мс - не такая большая задержка, то сейчас изменились сами предпосылки. TPS и автофейловер мастера не так важны, как принципиальная работоспособность сервиса.

Это наводит меня на мысль, что лучше сразу проектировать систему слабосвязанной и децентрализованной, пусть и с некоторым (ограниченным, заранее прописанным) ослаблением гарантий, нежели контролировать каждую транзакцию и терять доступность на значительное время. Для СУБД это означает по факту вариацию на тему мультимастера, в котором каждый инстанс изначально спроектирован полноценным владельцем своих данных. По умолчанию он работает полностью автономно, без кворума и принятия совместных решений. От других инстансов он асинхронно получает лишь те общие данные, без которых приложение не может полноценно работать.

Моя гипотеза в том, что для значительной массы клиентов важно не столько иметь возможность восстановить всё до последнего коммита, сделанного пользователем перед самым отключением инстанса, сколько иметь работоспособный сервис. Да, банки с этим не согласятся - а вот магазин Amazon вполне может. Если что, он просто компенсирует потери сотне клиентов, пока остальной миллион продолжает делать покупки.

Быстрый поиск сразу выдаёт ворох аналитики на эту тему. Например, Dynamo: корзина покупателя обязана принимать запись всегда, а противоречия разбираются потом, на уровне приложения. Другой пример - «Building on Quicksand», где извинение перед клиентом становится штатной частью бизнес-процесса. Из любопытного ещё разбор того, как система живёт при разделении сети и как потом компенсирует накопленное, и SLOG, где у каждой записи есть home region, а владение можно переносить. В промышленной реализации то же владение записью - это регионные таблицы CockroachDB. При этом я лично пока не вижу интенсивной дискуссии или значительных движений сообщества PostgreSQL в этом направлении. Пока что, судя по реальным предложениям, логическая репликация скорее для кейсов «мастер → много реплик» или «много независимых инстансов → одна реплика».

Если мы проектируем систему в такой концепции, данные можно поместить очень близко к приложению и клиенту - буквально в том же городе, - что сокращает время отклика. И не прерывать сервис (или какую-то важную его часть), даже если регион оказался в полной изоляции.

Опускаясь на уровень ниже в структуре СУБД, можно заметить, что нас ждёт и приятный бонус - некоторое масштабирование вставки данных: достаточно спроектировать PRIMARY KEY, не требующий синхронизации. Формальное обоснование есть у Bailis и др.: вставка с глобально уникальным ключом не нарушает инвариант уникальности ни при каком порядке слияния, а значит, координации не требует. В качестве генератора такого ключа в PostgreSQL можно попробовать uuidv7. Однако масштабируется только приём записи. Поток общих данных каждый инстанс всё равно применяет целиком, и apply worker никуда не делся. Выигрыш тем больше, чем большая доля данных остаётся локальной.

Представим теперь плохой случай: вы резервируете билет на «Фигаро» в театре Ла Скала в Милане. И делаете это в момент обрыва связи, когда приложение коннектится к своему экземпляру БД где-нибудь в Мадриде. Да, учитывая спрос, весьма вероятна ситуация овербукинга. Однако, если конфликт обнаруживается автоматически, разрешить проблему можно многими способами: предложить откидное место, запись на другой день или место классом выше. Зато сервис был возможен в принципе. Сценарий этот почти дословно разобран в Bayou ещё в 1995 году. Там бронировали переговорные комнаты, а пересечение по времени разрешала merge-процедура, которую писало само приложение: она подбирала другой подходящий слот.

Здесь проходит граница, на которой держится гипотеза. Конфликт допустим, если он редок и дёшев. Вероятность, что два человека в разных изолированных регионах в одну и ту же минуту схватят одно и то же кресло, невелика, а цена ошибки - откидное место и извинение.

А как же разрешение конфликтов UPDATE/DELETE, спросите вы? Ладно DDL - его можно выполнять нечасто и отдельно, как maintenance-операцию. Но что делать с потоком обновлений строк таблиц? Здесь, вероятно, сработает простая концепция ownership: каждый инстанс является владельцем своих данных до тех пор, пока он доступен в сети. В момент, когда принимается решение, что он более недоступен, владение его данными может быть перераспределено между другими инстансами.

Итого данные делятся на два класса. Собственные данные инстанса конфликтов не порождают по построению. Общие - вроде мест в зале - порождают, но редко и дёшево. Концепция ownership позволяет не тратить лишних ресурсов, пока система связна, а при её разделении изолированные сегменты продолжают работать в своих регионах, рискуя расхождением лишь небольшого объёма данных. И чем локальнее изоляция, тем меньше данных может разойтись.

Да, система объективно ограничена. Но у неё есть важные нынче свойства. Например, она позволяет обкатывать обновления в одном регионе, не боясь, что это вызовет сбои в других. В AWS этот приём называют cell-based architecture и выкатывают обновления волнами, ячейка за ячейкой.

Полагаю, что active-active конфигурация PostgreSQL должна стать важной основой устойчивой информационной системы. Большая часть работы при этом ложится на схему базы, а не на протокол репликации: данные организуются так, чтобы каждый инстанс мог работать независимо, общих данных было немного, а конфликт по ним был маловероятен и дёшев. При этом опасные операции обновления стоит выносить в максимально простые транзакции, чтобы облегчить (и автоматизировать) разбор конфликтов, которые могут возникнуть во время разделения сети. Тогда от репликации требуется немногое: доставить изменения, обнаружить конфликт и дать приложению его разрешить.

И хотя это звучит как перекладывание нагрузки на проектировщиков БД, мы со стороны СУБД всё же должны предложить им некоторые инструменты для взаимодействия инстансов, отслеживания их состояния, контроля консистентности. Ведь остановка распределённой системы даже на 10 минут недопустима, а необходимость пусть изредка, но выполнять какие-то изменения централизованно и атомарно никуда не исчезла.

Что у нас есть в ванильном Postgres? Есть сама логическая репликация, а фильтры строк и списки колонок в публикациях (PostgreSQL 15) позволяют отделить общие данные от собственных. PostgreSQL 18 научился классифицировать конфликты и считать их в pg_stat_subscription_stats, а в PostgreSQL 19 добавился конфликт update_deleted вместе с опцией подписки retain_dead_tuples. Не слишком много.

А что могут предложить постгресовые вендоры? Если оставить за скобками pgpro multimaster (он для другого), остаются pgactive, Spock и EDB Postgres Distributed. Все они предлагают асинхронную репликацию и разрешение конфликтов, а Spock и PGD - ещё и AutoDDL (must have для нашего случая). Это замечательно, но акцент всё же делается на консистентность, а не на автономию. Судя по документации PGD, каждая группа узлов выбирает через Raft write leader'a, и Connection Manager направляет все записи к нему. А в документации pgactive балансировка нагрузки между узлами названа антипаттерном. Выходит, active-active здесь - это скорее быстрый фейловер с запасными писателями, чем сеть автономных инстансов.

Сама по себе идея eventual consistency достаточно скользкая, и её многие аргументированно критикуют. Да и мне сложно представить, как можно в автоматическом режиме решать, какую версию строки оставить, если в разделённых регионах клиенты обновили общие данные по-разному. А вот смещение целей в сторону выживаемости и сохранения работоспособности выглядит для таких инструментов естественно. Так что, на мой взгляд, вендорам лучше было бы сконцентрировать внимание на следующем:

  • Уменьшение лага репликации (parallel apply, batch insert и всё в таком духе).

  • Снижение цены слота репликации. Слот должен быть достаточно легковесным, чтобы его можно было создавать на любой чих. Он не должен требовать очередного декодинга WAL, равно как и держать этот самый WAL, - достаточно один раз декодировать и потом рассылать результат подписчикам. Желательно - в каком-нибудь режиме мультиплексора.

  • Инструментарий фенсинга и catchup'a отдельного инстанса. Нужно уметь исключить вероятность влияния отключенной ноды на конфигурацию равно как и обеспечить быстрый и автоматизированный ввод в строй после восстановления.

  • Стратегии выживания при расщеплении сети. Сейчас Postgres просто держит WAL, пока его не отпустит самый отстающий слот. Если вынести единый журнал декодинга на отдельное хранилище и писать его в сжатом виде, больше шансов дожить до восстановления сети, просто добавляя диски в это хранилище. По крайней мере, локальный инстанс не будет рисковать исчерпать дисковое пространство.

  • Развитие conflict-free типов данных (CRDT, см. здесь и здесь). Есть реализованные варианты для инкрементальных числовых типов, но этот вопрос стоит изучать активнее.

  • Статистика и логи. Хорошо структурированные логи упростят разрешение конфликтов в системах типа ACE.

  • Централизованные команды изменения состояния кластера. Ванильных возможностей 2PC/prepared transactions очевидно недостаточно для выполнения общекластерных команд, например DDL. Без простых инструментов изменения схемы система будет недостаточно практичной.

В этом списке можно заметить как задачи, которые нужно имплементировать в ядре PostgreSQL, так и то, что должно быть реализовано вендорами, - собственно та добавленная ценность, за которую клиенты им платят.

Было бы интересно смоделировать базу данных, скажем, интернет-магазина и посмотреть, какой минимальный набор инструментов нужен ванильной логической репликации, чтобы такая система работала. Однако это уже тема для отдельной статьи.

И да. Как я уже писал, мне не довелось пока заниматься проектированием и инсталляцией промышленных распределённых систем, поэтому буду рад, если вы поделитесь своим мнением в комментариях.

THE END.
Мадрид, Испания, 18 ноября 2026 г.