Хабр Курсы для бэкендеров
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток Бэкенд доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 9
Спасибо за статью. Есть пара вопросов:
1. как вы избегаете коллизии nodeId? используете магию statefulsets? насколько это надежно? не слишком ли дорого выходит?
2. snowflake хорош тем, что как только распределили nodeId, так сразу можно генерировать ид и использовать по назначению в любом сервисе, в том числе stateless. Не кажется ли вам избыточным вынос этого функционала в отдельный микросервис? И классическая реализация толкает разработчика в этом же направлении.
Спасибо за вопросы! Постараюсь ответить подробно. Да, проблема с коллизиями nodeId решается с использованием statefulsets. В документации сказано что поды в StatefulSet имеют уникальный порядковый индекс, например, idgen-0, idgen-1, idgen-2. В коде я получаю этот индекс и преобразую в пару id-датацентра, id-машины. Поскольку индексы гарантированно уникальны в рамках одного SatefulSet, коллизии nodeId исключены. Это надежно, так как K8s гарантирует, что в один момент времени не будет двух подов с одинаковым индексом в одном SatefulSet. Даже если под упадет, K8s пересоздаст его с тем же самым номером. По поводу того, не слишком ли дорого выходит. Я думаю, что с точки зрения потребления ресурсов (CPU, RAM) StatefulSet поды вряд ли "весят" существенно больше чем поды Deployment. Поды StatefulSet развертываются последовательно, поэтому данный процесс происходит медленее, чем с подами Deployment. Но для сервиса генерации ID это не критично.
По вопросу избыточности вынесения функционала генератора в отдельный микросервис. Да, для приложений с невысокой нагрузкой вынесение функционала в отдельный микросервис избыточно. Однако, цель данной серии статей - продемонстрировать именно микросерисный подход в условиях потенциально высокой нагрузки. В таких условиях вынос генератора ID в отдельный сервис оправдан по двум причинам.
Масштабирование экземпляров микросервиса в ответ на увеличение количества запросов генерации ID.
Избавление от единой точки отказа в виде БД. Альтернативным вариантом вместо алгоритма Snowflake является сервер тикетов, основанный на использовании базы данных с автоинкрементом счетчика ID. При высокой нагрузке использование БД может стать узким местом и точкой отказа.
После распределения nodeId при помощи StatefulSet я не вижу причин по которым нельзя было бы сразу генерировать ID и использовать по назначению в любом сервисе, в том числе stateless.
Спасибо, стало яснее. Но все равно не до конца понимаю логику:
1. Я правильно понял, что Statefulsets в вашем алгоритме нужны только для того, чтобы взять гарантированно уникальую цифру из имени? Не чересчур ли это? Почему не подошла классическая реализация через Zookeeper? Так можно было бы использовать для генераторов дешевые в развертывании и сопровождении Deployments.
2. Я не понял логики выделения генераторов в отдельные микрачи именно в нагруженном проекте. В чем она? Контрагрументы предложенного решения следующие:
- лишняя конкуренция за генераторы
- лишний трафик и задержки выполнения запросов к генераторам.
Да, предложенный вариант точно лучше sequence или пессимистических блокировок в бд. Но ничего не стоит сделать сразу лучше переместив генераторы в микросервисы-потребители ид, а для синхронизации по nodeId использовать Zookeeper\etcd.
Спасибо за вопросы! К сожалению, я не имею опыта работы с Zookeeper\etcd, поэтому отвечу, основываясь исключительно на информации, которую только что прочитал об этих системах.
1.Да StatefulSet здесь используется исключительно ради получения гарантированно уникальной цифры из имени.
Мне кажется что внедрение ZooKeeper или etcd ради раздачи номеров — это избыточное усложнение. К тому же на Хабре уже была статья, в которой говорится, что настройка кластера ZooKeeper может быть непростой задачей, особенно для новичков.
Насколько я понял, и ZooKeeper, и etcd — это распределенные системы, работающие на алгоритмах консенсуса. Для кворума им нужно минимум 3 ноды. Ирония еще и в том, что для запуска надежного кластера ZooKeeper в K8s все равно придется использовать полноценный StatefulSet с дисками. То есть мы значительно усложняем систему.
К тому же ZooKeeper и etcd не умеют вести учет подов. Если мы выберем Deployment вместе с ZooKeeper/etcd, то придется писать сервис назначения свободного ID вручную. StatefulSet нативно берет логику отслеживания Id подов на себя.
2.Предложение переместить генераторы в микросервисы-потребители, на первый взгляд выглядит заманчивым, но у данного подхода есть ограничения по масштабированию.
У меня на хранение Id генератора отведено 3 бита, то есть может быть максимум 8 микросервисов-потребителей. Если их перестанет хватать для обработки запросов, то масштабировать эти сервисы дальше мы не сможем.
По поводу лишнего трафика трудно сказать, что создаст его больше - решение со StatefulSet или с использованием кластера Zookeeper. В моем решении количество запросов к генератору минимизируется за счет того, что в ответ на запрос потребитель получает не один Id, а сразу массив. При старте сервиса выполняется предварительная генерация Id, не дожидаясь запросов. Поэтому задержки здесь сводятся к минимуму. Конкуренция за генераторы минимизируется за счет gRPC балансировки нагрузки на клиенте.
Уххх. Какая хорошая тема, не хочется оставлять. Давайте (до)разбираться.
1. Использовать statefulsets только для получения NodeId в снежинке - это классический антипаттерн гвоздь-микроскоп. Не надо так делать. Для каждой задачи должны использоваться свои инструменты.
2. В данной необходим распределенный счетчик nodeId(а не подов), на роль которого идеально подходит Zookeeper\etcd или БД с пессимистической блокировкой на крайний случай.
3. Нагрузка на Zookeeper минимальна (нужно только при старте пода со счетчиком получить nodeId, при каждой генерации ходить не нужно). Поэтому с проблемами ZK под нагрузкой вы скорее всего не столкнетесь.
4. По этой же причине будет достаточно минимального кворума ZK: 3 statefullset ноды.
5. Генераторы должны быть в каждом микросервисе, которым нужны идентификаторы - в этом вся прелесть снежинки. Иначе весь профит от скорости генерации съест сетевой трафик и конкуренция на выделенных сервисах генерации.
Я активно внедряю снежинку на проектах с типовой нагрузкой в несколько миллионов сообщений в сутки. В итоге команды получают целочисленный удобный в работе и индексировании в БД идентификатор. UUID длинный и плохоиндексируемый, ULID просто длинный.
Давайте продолжим обсуждение увлекательной темы. Отвечу по пунктам.
1.Тезис про «классический антипаттерн гвоздь-микроскоп» слишком категоричен, если не определены критерии, по которым StatefulSet може быть хуже. Само по себе использование StatefulSet для получения ID не является доказанным антипаттерном. Это одно из возможных решений, которое нужно сравнивать с альтернативами по требованиям и стоимости эксплуатации.
Возможные критерии сравнения: 1.Высокое потребление ресурсов StatefulSet по сравнению с ZK; 2.Время запуска; 3.Cущественное потребление ресурсов; 4.Отказоустойчивость; 5.Ограничения масштабирования;
ZooKeeper/etcd, на мой взгляд, не всегда является “решением по умолчанию”. Для эксплуатации ZooKeeper нужны определенные усилия для облеспечения кворума, выделение дисков, мониторинг кластера. Кроме того, для решения задачи получения nodeID нужно определить допустимый диапазон значений, получать номер не только при старте, но и при перезапуске пода. ZooKeeper/etcd сами по себе не знают, что такое workerId, сколько таких идентификаторов разрешено, какие значения свободны и как сопоставить выданный номер с конкретным генератором. Для этого нужно дополнительная логика.
2.Я не утверждал, что нужен распределённый счётчик Pod’ов. Мне нужен уникальный идентификатор генератора, который можно получить при помощи StatefulSet, не прибегая к развертыванию кластера ZK. Тезис про необходимость распределенного счетчика nodeId мне кажется не совсем точно отражающим суть проблемы. Нужно решать несколько проблем, в том числе: 1.Как определить когда номер освобождается и что делать с этим номером? 2.Как связать владение nodeId с Pod? 2.Как обнаружить исчезновение владельца? 3.Как исключить одновременное владение когда процесс завис и не отдает свой номер? Нужен координатор уникального владения worker ID,а не распределенный счетчик nodeId. В свете вопросов, связанных с развертыванием и эксплуатацией кластера ZK и создания механизма координации уникального владения worker ID, использование StatefulSet не кажется мне антипаттерном.
3 и 4.Я не говорил что проблема предлагаемого подхода в высокой нагрузке на Zookeeper, а обратил внимание на то, что эта система не умеет вести учет номеров workerId, так как ничего о них не знает. Согласен, что к ZooKeeper/etcd не нужно обращаться при каждой генерации ID. Координатор может использоваться только при получении nodeID, когда Pod стартует впервые или перезапускается. Мой аргумент был в другом: ZooKeeper/etcd сами по себе не знают о Snowflake workerId. Они предоставляют механизмы координации, но не готовый учёт номеров генераторов.
5.Утверждение о том, что “Генераторы должны быть в каждом микросервисе, которым нужны идентификаторы - в этом вся прелесть снежинки” слишком категорично. Да, генераторы могут быть частью микросервиса, в котором нужны идентификаторы. Тут всё зависит от того, насколько нужно масштабировать алгоритм “снежинки”. Об этом я писал в прошлом ответе. Сама по себе “снежинка” ничего не знает о микросервисах. Это алгоритм генерации распределённых идентификаторов, которому нужны уникальные идентификаторы одновременно работающих генераторов, а не микросервисная архитектура как таковая. Утверждение “весь профит съест сетевой трафик” без бенчмарков слишком сильное. Если микрорсервисы написаны на разных языках, то для каждого нужна реализация “снежинки”, получения worker ID, корректная обработка отвода часов назад и т.д. Это усложнит разработку.
Описанный Вами вариант является вполне разумной альтернативой. Я выбрал другой вариант, потому что в рамках серии статей хотел показать именно выделенный сервис генерации ID и Kubernetes-механику его масштабирования.
Использование Snowflake для генерации уникальных ID требует координации и, следовательно, слишком сложной логики. Вместо этого предлагаю UUIDv7 с кодированием в Base62. При этом вообще не нужна координация. Будет 22 URL-безопасных символа против ~11 у Snowflake. Для сокращения ссылок это не критично, зато проще.
Согласен с тем, что в случае использования UUIDv7 не нужна координация. Но проблема в том, что получается слишком длинный ID. Вы пишете что UUIDv7 с кодированием в Base62 дает 22 URL-безопасных символа. В задаче по системному дизайну, которую я рассматривал в качестве отправной точки, говорится о том, что ссылка должна быть как можно короче (7 символов).
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Рулим в облака: деплой микросервиса генерации ID в Kubernetes