Долгосрочное хранение данных в Elasticsearch

[divanikus]

То чувство, когда понимаешь что пора апгрейдить кластер :) В 6.х к сожалению такого нет, приходится двигать индексы скриптами.

[ky0]

Та-ак, а сакральное знание-то где? Или это для тех, кто не читает документацию? :)

[ownhrd]

По большей части да. Разжевывание темы ILM и небольшой обзор нюансов, с которыми мы столкнулись в процессе настройки.

[Lelik13a]

Добавлю пять копеек:
Что-бы kibana искала в замороженных индексах, необходимо включить соответствующий параметр «Search in frozen indices».
В хот фазе для логов по одному дню rollover не особо нужен и, если его убрать, то можно не заморачиваться с нумерацией вида 000001.
В варм фазе, если индекс не урезать, то он остаётся доступен для записи — что может быть тоже полезно.

[ownhrd]

Спасибо за дополнение, про Kibana упустил.

[weslyg]

А еще если выгружаете elasticdump ом, из frozen не забудьте добавить ```--params='{«ignore_throttled»: «false»}'```
Ну и экспорт в CSV Вроде до сих пор не работает с frozen индексами (в 6ке точно)
так что, хоть штука с замораживанием и годная. Но костылей еще много в ней.