Аналитика логов Nginx с помощью Amazon Athena и Cube.js

[timurminulin]

Мы все логи собираем так, не только nginx + продуктовую аналитику так же считаем. Nginx — самый простой пример, с которым сталкиваются +- все. По ELK — очень нравится per-query pricing, потому что хостить свой стэк с таким же перформансом у нас получалось заметно дороже. А объемы данных IRL там совсем другие естественно, я просто для примера недельный датасет сгенерил.

[phikus]

По сравнению с ELK/Graylog как-то очень всё сложно. Возможно за счёт узкой специализации оно быстрее/экономичнее эластика?

[timurminulin]

Я ориентируюсь на блог Mark Litwintschik, если ему верить, то prestodb/athena и elastic в разных лигах играют. Но для нас самое важное преимущество Athena — именно per-request pricing, как в Google BigQuery. Хостить/арендовать что-то свое после этого не хочется.
Почему сложно? Таблица в SQL + конфиг fluentd + бакет в S3, если по шагам пройтись, можно минут в 10 уложиться. Дэшборд собрать сложнее конечно, но тут nginx как пример, мы и эвентовую аналитику собираем, и другие логи, а такой кастом ни одно готовое решение не вытягивает