Я бы не рекомендовал имплементировать данную архитектуру.
Поясню почему:
Использование парсеров данных в контейнере — это ужас ужасный. REGEX — одна из самых дорогих операций в програмировании, т.е. проц будет жрать, как не в себя. А теперь представьте сайт, или микросервис, у которого вдруг пошёл спайк логов, а такое бывает. Мало того, что он сам перегружает проц, так ещё и флуент на себя тянет… результат- упал контейнерь и логи ушли, т.к. были внутри контейнера. Далее, для более ли менее приличного колличества контейнеров, пойдёт нереальный перегруз по соединениям с Эластиком при малом размере балка. Эластик это очень не любит. Как потенциальный результат — входная очередь в Эластике переполнилась и агенты получают эксепшены. Я не помню есть ли там апарат повторной пересылки, но даже если есть, то это только ещё больше забьёт очередь, а если нет, то потеряете данные. Кроме того, если я правильно понял, у Флюента нет внутреннего лод балансера на посылку в Эластик, т.е. там можно определить только один нод, а это значит, что если нод упал, данных нет. Ну и по мелочам, типа поддержки ECS, увеличенного трафика за счёт полей JSONa и.т.д.
У меня недавно был клиент, который хотел у себя такое имплементировать… слава б-гу отговорил:) В общем категорически не рекомендую.
Если уж вы хотите использовать Флюент (хотя я всё ещё предпочитаю Файлбит), то логи стоит писать на диск, который при падении контейнера не умрёт. Посылать их в том формате, в котором они есть на отдельный контейнер(или несколько) с парсером, а он уже будет кидать их в Эластик. Я обычно ставлю Файлбиты, посылающие на Логсташ и уже он парсит и кидает в Эластик.
И да, совсем не вазноь чьи логи… скажу больше если это кастомнэ логи чьейто аппликации, то писать под них реджексы это тот ещё кайф, уж лучьше гроки:)
Конечно, только вот что такое Алерты? Это НЕ результаты работы детекшинов, а обработка их результатов. А точнее посылка результатов во внешние системы, типа мейла, Слека и т.д. Сама система Алертов, не путать с Вочами, Изначально была в Бейсик лицензии. Денег стоит именно работа с внешними ресурсами. Честно говоря, не знал, что в ОпенДистро добавили ML. Видно недавно, а я больше за Эластик релизами слежу. Насчёт этого не могу сказать. Последний раз, когда я смотрел на сам дистрибутив, мне он, всё ещё, очень не понравился, как минимум из за внешней системы мониторинга, да и observability очень не хватает:(
Помогите, пожалуйста, поправить посты. Буду очень благодарен.
Честно, просто не вижу смысла. SIEM на бесплатном Эластике ставится за пол дня включая OOB rules… ну может день, если кластер большой и у клиента проблемы с фаерволами и сертифицатами. Ещё день на Логсташ если надо наружу писать и столько же на ElastAlert (скорее всего меньше). Подкючение дата сорсов, да, зависит от того есть ли готовые модули. Понятно, что потом надо делать Rules, но это отдельная тема на много времени, и я в ней очень плохо разбираюсь. Дешборды берутся из готовых, а те, которых не хватает, строятся по ходу. Если человек хочет их научиться делать, стоит просто найти курс по Кибане. В среднем проект на 10 дата сорсов, в базе, занимает от 5 до 10 рабочих дней… Смысл городить огород? Я так же уверен, что в блогах производителя есть достаточно статей по тому, как постоить SIEM. Вот их можно было бы перевести, но там их столько и они на столько часто появляются, что… можно устать:)
Ок, согласен. Меня честно не хватило на все статьи, т.к. я, как и писал, не вижу в них смысла. Зачем изобретать велосипед? На бейсик лицензии(бесплатной) можно построить нормальный SIEM, с кучей функционала, которого в Опене нет и быть не может. Да и меняется всё слишком часто и много. И да, я смотрел на ОпенДистро и не раз… нет, не тянет он на нормальный дистрибутив.
Так SIEM эластика платная (и серьёзно платная), а тут речь о том, как построить аналог на полном опенсорсе.
Вот скажите, а зачем писать, если точно не знаете? Ведь так легко зайти на страницу производителя и проверить … SIEM бесплатный, он не опен сорсный для SIEM, но бесплатный. То что стоит денег — это Machine Learning jobs и пересылка Алертов в мейл и т.д. Что без того, что без другого вполне можно жить. И да, на пересылку алёртов можно поставить Логсташ, а на мейлы таки да ElastAlert. Бесплатных ML, правда, не знаю. Но главное, сам SIEM бесплатный! Единственно зачем может понадобиться опен сорс версия — это если вы хотите построить SIEM и продавать его как продукт… даже не как сервис, а именно как продукт, устанавливаемый у клиента (да, такие на рынке есть, но сом, неваюсь, что эта статья для них). И да, в опен сорсе теряется очень много функционала, вкючая часть модулей у битов.
Честно говоря не вижу смысла в переводе этой серии. Она практически не актуальна из-за активного развития Elastic SIEM. Там столько изменений каждый месяц, что человек потеряется.
И главное название вашего перевода!!! Не знаю насколько вы разбираетесь в Эластике, но вы смешали названия двух дистрибутивов: собственно оригинала: «Elastic Stack» и «Open Distro for Elasticsearch», созданного компанией Amazon. Кстати в названии оригинальной стати Open Distro не упоминается. Не стоит путать читателей, которые пойдут качать Open Distro for Elasticsearch, и вдруг не обнаружат там SIEM, т.к. его там нет и быть не может, т.к. SIEM не идёт с опен сорсовой лицензией.
Поясню почему:
Использование парсеров данных в контейнере — это ужас ужасный. REGEX — одна из самых дорогих операций в програмировании, т.е. проц будет жрать, как не в себя. А теперь представьте сайт, или микросервис, у которого вдруг пошёл спайк логов, а такое бывает. Мало того, что он сам перегружает проц, так ещё и флуент на себя тянет… результат- упал контейнерь и логи ушли, т.к. были внутри контейнера. Далее, для более ли менее приличного колличества контейнеров, пойдёт нереальный перегруз по соединениям с Эластиком при малом размере балка. Эластик это очень не любит. Как потенциальный результат — входная очередь в Эластике переполнилась и агенты получают эксепшены. Я не помню есть ли там апарат повторной пересылки, но даже если есть, то это только ещё больше забьёт очередь, а если нет, то потеряете данные. Кроме того, если я правильно понял, у Флюента нет внутреннего лод балансера на посылку в Эластик, т.е. там можно определить только один нод, а это значит, что если нод упал, данных нет. Ну и по мелочам, типа поддержки ECS, увеличенного трафика за счёт полей JSONa и.т.д.
У меня недавно был клиент, который хотел у себя такое имплементировать… слава б-гу отговорил:) В общем категорически не рекомендую.
Если уж вы хотите использовать Флюент (хотя я всё ещё предпочитаю Файлбит), то логи стоит писать на диск, который при падении контейнера не умрёт. Посылать их в том формате, в котором они есть на отдельный контейнер(или несколько) с парсером, а он уже будет кидать их в Эластик. Я обычно ставлю Файлбиты, посылающие на Логсташ и уже он парсит и кидает в Эластик.
И да, совсем не вазноь чьи логи… скажу больше если это кастомнэ логи чьейто аппликации, то писать под них реджексы это тот ещё кайф, уж лучьше гроки:)
Честно, просто не вижу смысла. SIEM на бесплатном Эластике ставится за пол дня включая OOB rules… ну может день, если кластер большой и у клиента проблемы с фаерволами и сертифицатами. Ещё день на Логсташ если надо наружу писать и столько же на ElastAlert (скорее всего меньше). Подкючение дата сорсов, да, зависит от того есть ли готовые модули. Понятно, что потом надо делать Rules, но это отдельная тема на много времени, и я в ней очень плохо разбираюсь. Дешборды берутся из готовых, а те, которых не хватает, строятся по ходу. Если человек хочет их научиться делать, стоит просто найти курс по Кибане. В среднем проект на 10 дата сорсов, в базе, занимает от 5 до 10 рабочих дней… Смысл городить огород? Я так же уверен, что в блогах производителя есть достаточно статей по тому, как постоить SIEM. Вот их можно было бы перевести, но там их столько и они на столько часто появляются, что… можно устать:)
Вот скажите, а зачем писать, если точно не знаете? Ведь так легко зайти на страницу производителя и проверить … SIEM бесплатный, он не опен сорсный для SIEM, но бесплатный. То что стоит денег — это Machine Learning jobs и пересылка Алертов в мейл и т.д. Что без того, что без другого вполне можно жить. И да, на пересылку алёртов можно поставить Логсташ, а на мейлы таки да ElastAlert. Бесплатных ML, правда, не знаю. Но главное, сам SIEM бесплатный! Единственно зачем может понадобиться опен сорс версия — это если вы хотите построить SIEM и продавать его как продукт… даже не как сервис, а именно как продукт, устанавливаемый у клиента (да, такие на рынке есть, но сом, неваюсь, что эта статья для них). И да, в опен сорсе теряется очень много функционала, вкючая часть модулей у битов.
И главное название вашего перевода!!! Не знаю насколько вы разбираетесь в Эластике, но вы смешали названия двух дистрибутивов: собственно оригинала: «Elastic Stack» и «Open Distro for Elasticsearch», созданного компанией Amazon. Кстати в названии оригинальной стати Open Distro не упоминается. Не стоит путать читателей, которые пойдут качать Open Distro for Elasticsearch, и вдруг не обнаружат там SIEM, т.к. его там нет и быть не может, т.к. SIEM не идёт с опен сорсовой лицензией.