Изучаем ELK. Часть II — Установка Kibana и Logstash

[PSVITAmins]

Артём, спасибо! Несколько вопросов, если позволите. В этот раз мы указываем список нод эластика в текстовом файле, потому что этот способ лучше. Тогда почему в первой статье цикла вы так не сделали?

Второй вопрос касается ноды балансировщика, которая «Coordinating only» — я правильно понимаю, что это потенциальная точка отказа? Если у нас не будет работать этот эластик, то и кибана в целом ничего не покажет. Получается по-хорошему надо и балансировщик дублировать, а это уже получается к трём нодам кластера ещё два балансера — не перебор ли? Насколько он вообще нужен, при каком объёме нагрузки вы его рекомендуете? Просто раньше этой ролью не пользовались и непонятно, стоит ли начинать.

[artem_s_shestakov]

1. Чтобы показать варианты настроек. Замечание дельное, спасибо! Наверное в первой части поправлю, сразу указав два варианта.
2. Совершенно верно, как и любая служба в единственном экземпляре — потенциальная точка отказа. На вопрос когда использовать никто не скажет точно, надо смотреть и тестировать конкретный кластер. Основная задача роли — поисковые запросы направлять на узлы, где данные лежат, потом все собрать пришедшее с узлов и отдать в Kibana. Если поисковых запросов много, то имеет смысл использовать эту роль, чтобы ES узлы не гоняли между собой трафик, если нет, то лучше еще узел с данными добавить.

[stekov27]

Добрый, Спасибо за материал, но я думаю актуальней уже делать разбор по OpenDistro.

[vainkop]

Рано ещё разбирать то, что пока даже не выложили: https://aws.amazon.com/ru/blogs/opensource/stepping-up-for-a-truly-open-source-elasticsearch/

"We will publish new GitHub repositories in the next few weeks."

К тому же теоретически в плане установки и настройки ничего в ближайшее время точно не изменится.

[stekov27]

opendistro.github.io/for-elasticsearch/downloads.html#prod

В плане установке да, во всем остальном есть нюансы.

[vainkop]

Нет, пока что это не то, о чём говорил Амазон неделю назад.

https://www.opennet.ru/opennews/art.shtml?num=54456

Форк продолжит независимое развитие дистрибутива Open Distro for Elasticsearch, который ранее разрабатывался совместно с Expedia Group и Netflix в форме надстройки над Elasticsearch и включал дополнительные плагины со свободными аналогами платных компонентов платформы. Все изменения и исправления, реализуемые для Open Distro for Elasticsearch, раньше передавались в upstream, но отныне проект будет преобразован в независимый форк.

В течение нескольких недель будет создано ответвление от последней кодовой базы Elasticsearch 7.10, остающейся под старой лицензией Apache 2.0, после чего форк продолжит развиваться самостоятельно в отдельном репозитории на GitHub и будет задействован в будущих выпусках дистрибутива Open Distro for Elasticsearch, а также начнёт использоваться в сервисе Amazon Elasticsearch Service (Amazon ES).

[stekov27]

Спасибо, я знаком с данной информацией. Мой посыл был к тому что КМК многие компании будут внимательней относиться к выбору дистрибутива ES.

[artem_s_shestakov]

Мне кажется надо подождать первого релиза (как самостоятельный продукт).

[onegreyonewhite]

<комментарий удалён>

[serhiy1994]

А при установке под Винду все делается так же?

[artem_s_shestakov]

На Windows никогда не использовал. Если не ошибаюсь, там все через установку из архива делается, сами настройки аналогичные должны быть. При указании путей надо специфику ОС учитывать.

[Drift3r]

Описан один экземпляр логстэш. А если их несколько, как они собираются в кластер?

[artem_s_shestakov]

Ставите нужное количество узлов Logstash, настраиваете одинаковый pipeline на каждом для приема данных, а на стороне Beats агента, которым собираете данные указываете эти узлы. Агенту включаете балансировку.
В отдельной статье про Logstash и Beats агенты этот вопрос будет описан.

[osipov_dv]

А четвертая статья так и не вышла? Про Logstash и beats?