До какой скорость обработки данных из Kafka + Logstash вы разогнали OpenSearch? Я уперся в 3.4 млн. логов в секунду на 20 физ нод OpenSearch без репликации. Советую почитать ребят https://e-mc2.net/blog/elasticsearch-garbage-collection-hell/ их борьба помогла увеличить стабильность кластера.
До какой скорость обработки данных из Kafka вы разогнали Logstash? Также уперся в 50k/сек для одного Logstash.
С другой стороны амазон зарабатывает большие деньги предоставляя ElasticSearch как сервис не вкладывая в развие самого Open Source продукта. Удобненько :-)
Странно винить Amazon в своих хотелках. Нет такого закона, который бы запрещал им разрывать контракты в одностороннем порядке за нарушение пунктов в договоре.
Необходим правовой статус СМИ-подобным компаниям в интернете и их защита или санкции.
Непрятно, обидно, но надо думать как предотвратить такие критические ситуации для социально-значимых приложений в будущем с точки зрения закона, а не комментариев :-)
…
Ребят, ну есть же множества других форматов (JSON, KEY=VALUE, разбор сырой строки на крайний случай), чему вы учите читателей? Разве SIEM Qradar не умеет в JSON или key=value?
CSV filter имеет множество недостатков, навскидку:
Придет вам строка, где значения поменялись местами и будет у вас полная каша
Трудности поддержки при добавлении\изменении полей
Также UDP протокол имеет ограничение в ~65507 байт. Раз у вас SIEM, то осветили бы гарантированную доставку сообщений, было бы куда интересней :-)
Какая-то странная статья, показывающая всю правду о том, что сотрудник почему-то должен переживать за чужой бизнес, в котором он только наемный работник.
Оценка личных качеств происходит по продуманному, зафиксированному и подписанному сотрудником процессу в компании или чисто по субъективному мнению «руководителей»?
А методика оценки работы сотрудника где-то продумана, зафиксирована и подписана сотрудником, которого оценивают или это «я начальник, я прав»?
То, что с «проблемным» сотрудинком не хотят работать остальные члены команды — это конечно же их проблема. Они не семья и не должны стремиться к гармонии в личных отношениях.
Про переработки звучит так мелочно…
Прежде чем предъявлять сотруднику претензии их нужно зафиксировать в комании не на уровне «а у нас вот так вот», а на уровне документов, где есть подпись работодателя и сотрудника. Остальное это типичные «я руководитель, я прав».
Всё вышеописанное конечно же ИМХО.
Все как обычно. Детальный мониторинг всех слоев с процессами отсутствует (зачем разбираться в метриках, проще на всём готовеньком жить), настройки везде «по умолчанию» (это вообще очень странно) и т.д.
Разгильдяйство сплошное :-)
Спасибо за статью. Можете подробнее рассказать про конфигурации нод elasticsearch (jvm.options, elasticsearch.yml, маппинг индексов)?
Сколько у Вас мастер нод, дата нод?
Используете ли Вы координатор?
Какой объем индексации с учетом реплик?
Использовали ли Вы Kibana Canvas?
Ну и с какими проблемами сталкиваетесь :)
Спасибо за ответ! А вы пользуетесь dead letter в logstash? Из-за этого функционала я уже несколько лет не могу использовать альтернативы Logstash. Используете ли pipeline to pipeline в log stash? https://www.elastic.co/docs/reference/logstash/pipeline-to-pipeline
Поделитесь пожалуйста своим опытом по оптимизации jvm для opensearch и Logstash.
Не желаете ли митап по логам провести? Было бы здорово обсудить все вопросы оффлайн.
Добрый день!
До какой скорость обработки данных из Kafka + Logstash вы разогнали OpenSearch? Я уперся в 3.4 млн. логов в секунду на 20 физ нод OpenSearch без репликации. Советую почитать ребят https://e-mc2.net/blog/elasticsearch-garbage-collection-hell/ их борьба помогла увеличить стабильность кластера.
До какой скорость обработки данных из Kafka вы разогнали Logstash? Также уперся в 50k/сек для одного Logstash.
Добрый день! Полнотекстовый поиск вы не используете? все чаще замечаю, что те кто отказывается от ElasticSearch его не используют.
Не могли бы рассказать как тюнинговали Elastic stack?
Необходим правовой статус СМИ-подобным компаниям в интернете и их защита или санкции.
Непрятно, обидно, но надо думать как предотвратить такие критические ситуации для социально-значимых приложений в будущем с точки зрения закона, а не комментариев :-)
То есть заказчик решил все-таки в SolarWinds погрузиться?)
Привет @password Ильдар! :)) Мониторинг предоставляет интеграция или заказчик решил использовать услугу у Mail?
…
Ребят, ну есть же множества других форматов (JSON, KEY=VALUE, разбор сырой строки на крайний случай), чему вы учите читателей? Разве SIEM Qradar не умеет в JSON или key=value?
CSV filter имеет множество недостатков, навскидку:
Также UDP протокол имеет ограничение в ~65507 байт. Раз у вас SIEM, то осветили бы гарантированную доставку сообщений, было бы куда интересней :-)
То, что с «проблемным» сотрудинком не хотят работать остальные члены команды — это конечно же их проблема. Они не семья и не должны стремиться к гармонии в личных отношениях.
Про переработки звучит так мелочно…
Прежде чем предъявлять сотруднику претензии их нужно зафиксировать в комании не на уровне «а у нас вот так вот», а на уровне документов, где есть подпись работодателя и сотрудника. Остальное это типичные «я руководитель, я прав».
Всё вышеописанное конечно же ИМХО.
Разгильдяйство сплошное :-)
Сколько у Вас мастер нод, дата нод?
Используете ли Вы координатор?
Какой объем индексации с учетом реплик?
Использовали ли Вы Kibana Canvas?
Ну и с какими проблемами сталкиваетесь :)