Задача была хранить 30 дней. Сейчас, кстати, думаем начать хранить ещё больше.
Да, можно было бы сгружать все старые логи куда-то, где они будут лежать компактней, но часто бывают кейсы, когда люди прямо что-то ищут на интервале 30 дней, графики строят, аналитику делают. И, как обычно, результаты таких запросов им нужны не через час, а максимум секунд через 30-40, ну может минуту. Да, эластик приходится сильно «готовить», но, по сути, если считать кол-во событий, обрабатываемых мастером, его можно ещё раза в 2-3 увеличить без больших напрягов.
Да, можно было бы сгружать все старые логи куда-то, где они будут лежать компактней, но часто бывают кейсы, когда люди прямо что-то ищут на интервале 30 дней, графики строят, аналитику делают. И, как обычно, результаты таких запросов им нужны не через час, а максимум секунд через 30-40, ну может минуту. Да, эластик приходится сильно «готовить», но, по сути, если считать кол-во событий, обрабатываемых мастером, его можно ещё раза в 2-3 увеличить без больших напрягов.