Здравствуйте, интересный подход. Было бы интересно посмотреть на прокси до реального регистри (начиная от докерхаба и заканчивая клауд провайдерами (вроде ECR)).
Я тоже бьюсь вокруг librkafka и с одной стороны почти все библиотеки вокруг нее и конфлюент выглядят съедобными, но если есть необходимость в качестве стратегии (например при необходимости реализовать распределение по зонам/az) скормить что-то своё, то это мрак и непреодолимый ужас.
Здравствуйте, очень глубокий материал, большое спасибо:) Из хороший новостей - большинство описанной работы не нужно кодить самостоятельно, благо большое количество библиотек, фреймворков уже написано/портировано на практически любой язык. И вот отсюда вопрос, какой фреймворк/язык наиболее комфортный и какой посоветуете?
Спасибо за статью, познавательно. Мне показалось что зря не покрыли ещё опцию Using при создании индекса. Пусть он и не участвует в описанных случаях, но тоже полезная инфа по работе с индексами.
Наверное тут сложно однозначно ответить, так как зависит от кучи факторов: Мощностей брокера, количества активных партиций, как быстро происходит обработка сообщений, как быстро новые поды ackают запросы на вхождение в группу, сам алгоритм партишн асаймента. На практике скажу что в более менее активном топики это происходит достаточно быстро, в пределах 10 секунд. Думаю точное число можно узнать только эмпирически :)
Тут стандарт упоминает сущность SpanKind, которая как раз поможет определить, был ли вызов как цепочка (Аля РПЦ или АПИ запрос) или задачи были заспавнены отложенно (вида Producer/Consumer). Касательно батча, зависит что хотите увидеть, я бы каждую задачу в батче помечал.
Спасибо за статью, предлагаю рассмотреть как альтернативу https://github.com/zillow/zkafka . Крайне приятный интерфейс, очень удобно пользоваться и построено поверх конфлюент-го.
Хм, у меня в целом были похожие мысли, хотелось чтобы кто-то подтвердил :)
Помню как-то в доках для sqs находил примеры на джаве, где создавали эфемерную (временную очередь) в соседний сервис, отправляли имя как один из параметров в основную очередь и ждали ответа с таймаутом. Выглядит конечно необычно, но сознание расширяет
Окей, спасибо а что-то менее тривиальное, к примеру у нас пул воркеров но задачи отстреливают очень быстро и нет смысла закрывать соединение чтобы поллить, как хендлеру взаимодейстовать с этим пулом на примере очередей? Для примера - мы погрузили пейлод в некий sqs, дальше лямбды сделали дело и как вернуть результат работы в том же запросе?
Хотелось бы чтобы также раскрыли нюансы как строить апи и при этом происходила работа со стрима и/очередями. Как и в какой момент возвращается сообщение по окончании, стоит ли это делать в том же обработчике или это хорошо выглядит цепочкой вызывов/сообщений.
Здравствуйте, спасибо за статью. Я использую простой пример при пояснении конкурентности и параллелизма - мы сами (люди то бишь). Человек мыслит конкурентно, обдумывая только 1 вещь в один момент времени, но при этом люди думают о разных или одинаковых вещах в одно и то же время.
Здравствуйте, осталось несколько вопросов после прочтения
Как именно поднимается Кафка для тестов?
Как контролируется ордер статус при создании? По факту если мы смогли записать в кафку это нечто вроде "ордер создан", так как в работу вступают другие сервисы, валидирующие заказ
Как вернуть ответ/отправить нотификацию в случае проблем/успешного выполнения заказа?
Спасибо за статью, не рассматривали redpanda как альтернативу? У них тоже довольно интересный сетап и конфигурации, также поддерживает arm64 архитектуру в купе с amd64
Ну по сути можно устроить отличную компрессию на белте, но только при условии что фабрики рассчитаны точно под ресурсы. Так если не успевать собирать излишки то он тупо забьется и станет обычным конвейером) По сути фабрики с рецептами уже решают проблемы фильтрации, нужно быть только аккуратнее с печами (хотя бы не плавить металлическую пластину в балку), но в остальном выглядит как решаемое. На молле после дронов быстро становится неинтересно из-за ящиков снабжения (хотя сейчас их засунули в самый конец исследования, может быть интересно)
Нет ничего нераспутываемого в факторио) Мне попадались люди которые специально перемешивали конвейер, строя логические цепи которые равномерно замешивали все компоненты и при этом скорость производства почти не страдала) Это выглядит супер-ужасно, по одной стороне ленты едет все - от руды до твердотопливных двигателей, но флиртующие манипуляторы быстро могут это упорядочить.
Здравствуйте, интересный подход. Было бы интересно посмотреть на прокси до реального регистри (начиная от докерхаба и заканчивая клауд провайдерами (вроде ECR)).
Я тоже бьюсь вокруг librkafka и с одной стороны почти все библиотеки вокруг нее и конфлюент выглядят съедобными, но если есть необходимость в качестве стратегии (например при необходимости реализовать распределение по зонам/az) скормить что-то своё, то это мрак и непреодолимый ужас.
Здравствуйте, очень глубокий материал, большое спасибо:) Из хороший новостей - большинство описанной работы не нужно кодить самостоятельно, благо большое количество библиотек, фреймворков уже написано/портировано на практически любой язык. И вот отсюда вопрос, какой фреймворк/язык наиболее комфортный и какой посоветуете?
Спасибо за статью, познавательно. Мне показалось что зря не покрыли ещё опцию
Usingпри создании индекса. Пусть он и не участвует в описанных случаях, но тоже полезная инфа по работе с индексами.Наверное тут сложно однозначно ответить, так как зависит от кучи факторов: Мощностей брокера, количества активных партиций, как быстро происходит обработка сообщений, как быстро новые поды ackают запросы на вхождение в группу, сам алгоритм партишн асаймента. На практике скажу что в более менее активном топики это происходит достаточно быстро, в пределах 10 секунд. Думаю точное число можно узнать только эмпирически :)
Окей, к фастапи вопросов нет :)
Рассматривали ли faust-streaming?
Здравствуйте, спасибо за статью. Просматривал листинги и пытался сам себе ответить на вопрос, "а зачем тут фастапи то"?
Идея в целом понятна, но в таком случае может лучше взять faust-streaming?
Ага, обманочка для глаз steam -> stream
В крайнем случае можно описать валидацию в жсон схеме
Тут стандарт упоминает сущность SpanKind, которая как раз поможет определить, был ли вызов как цепочка (Аля РПЦ или АПИ запрос) или задачи были заспавнены отложенно (вида Producer/Consumer). Касательно батча, зависит что хотите увидеть, я бы каждую задачу в батче помечал.
Хм, а можете просвятить почему такое отношение к CGO? Кроме времени билда я не успел заметить каких-то проблем.
Спасибо за статью, предлагаю рассмотреть как альтернативу https://github.com/zillow/zkafka . Крайне приятный интерфейс, очень удобно пользоваться и построено поверх конфлюент-го.
Хм, у меня в целом были похожие мысли, хотелось чтобы кто-то подтвердил :)
Помню как-то в доках для sqs находил примеры на джаве, где создавали эфемерную (временную очередь) в соседний сервис, отправляли имя как один из параметров в основную очередь и ждали ответа с таймаутом. Выглядит конечно необычно, но сознание расширяет
Окей, спасибо
а что-то менее тривиальное, к примеру у нас пул воркеров но задачи отстреливают очень быстро и нет смысла закрывать соединение чтобы поллить, как хендлеру взаимодейстовать с этим пулом на примере очередей? Для примера - мы погрузили пейлод в некий sqs, дальше лямбды сделали дело и как вернуть результат работы в том же запросе?
Здравствуйте, спасибо за ваш труд.
Хотелось бы чтобы также раскрыли нюансы как строить апи и при этом происходила работа со стрима и/очередями. Как и в какой момент возвращается сообщение по окончании, стоит ли это делать в том же обработчике или это хорошо выглядит цепочкой вызывов/сообщений.
Здравствуйте, спасибо за статью. Я использую простой пример при пояснении конкурентности и параллелизма - мы сами (люди то бишь). Человек мыслит конкурентно, обдумывая только 1 вещь в один момент времени, но при этом люди думают о разных или одинаковых вещах в одно и то же время.
Здравствуйте, осталось несколько вопросов после прочтения
Как именно поднимается Кафка для тестов?
Как контролируется ордер статус при создании? По факту если мы смогли записать в кафку это нечто вроде "ордер создан", так как в работу вступают другие сервисы, валидирующие заказ
Как вернуть ответ/отправить нотификацию в случае проблем/успешного выполнения заказа?
Спасибо за статью, не рассматривали redpanda как альтернативу? У них тоже довольно интересный сетап и конфигурации, также поддерживает arm64 архитектуру в купе с amd64
Ну по сути можно устроить отличную компрессию на белте, но только при условии что фабрики рассчитаны точно под ресурсы. Так если не успевать собирать излишки то он тупо забьется и станет обычным конвейером) По сути фабрики с рецептами уже решают проблемы фильтрации, нужно быть только аккуратнее с печами (хотя бы не плавить металлическую пластину в балку), но в остальном выглядит как решаемое. На молле после дронов быстро становится неинтересно из-за ящиков снабжения (хотя сейчас их засунули в самый конец исследования, может быть интересно)
Нет ничего нераспутываемого в факторио) Мне попадались люди которые специально перемешивали конвейер, строя логические цепи которые равномерно замешивали все компоненты и при этом скорость производства почти не страдала) Это выглядит супер-ужасно, по одной стороне ленты едет все - от руды до твердотопливных двигателей, но флиртующие манипуляторы быстро могут это упорядочить.