Комментарии 3
а рассматривали вариант не просто тупого проксирования запросов, а кеширования их?
И если эти данные например ранее уже запрашивались и им не более допустим 15 дней, то в принципе не идти в внешнее API?
Или у вас почти все запросы на получение данных уникальные?
Да, кэширование очень поможет сократить количество запросов.
Специфика выгружаемых данных у нас получилась такой, что вероятность того, что backend c «базовыми» данными захочет сходить во внешнее API несколько раз с одними и теми же параметрами — близка к нулю.
А вот со стороны аналитического контура с «продвинутыми» данными такое случалось бы постоянно, если бы мы каждый раз отгружали целиком информацию по всем пользователям. Но мы как раз кэшируем то, что отправляем из аналитического контура, в нём, и отправляем только те данные, что изменились.
С увеличением количества компонентов, требующих такого кэширования, можно будет перенести эту логику в наш общий сервис, спасибо, что подметили.
Специфика выгружаемых данных у нас получилась такой, что вероятность того, что backend c «базовыми» данными захочет сходить во внешнее API несколько раз с одними и теми же параметрами — близка к нулю.
А вот со стороны аналитического контура с «продвинутыми» данными такое случалось бы постоянно, если бы мы каждый раз отгружали целиком информацию по всем пользователям. Но мы как раз кэшируем то, что отправляем из аналитического контура, в нём, и отправляем только те данные, что изменились.
С увеличением количества компонентов, требующих такого кэширования, можно будет перенести эту логику в наш общий сервис, спасибо, что подметили.
странно не увидеть кафку.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Как жить с ограничениями внешних API на количество запросов