Pull to refresh

ELK+R как хранилище логов

Reading time3 min
Views33K
В компании заказчика появилась необходимость в неком хранилище логов с возможностью горизонтального масштабирования. Исходя из начала задачи первая мысль — Splunk. К сожалению, стоимость данного решения уходила далеко за пределы бюджета заказчика.

В итоге выбор пал на связку Logstash + Elasticsearch + Kibana.
Читать дальше →
Total votes 14: ↑14 and ↓0+14
Comments25

ELK+R как хранилище логов 2. Установка и настройка

Reading time7 min
Views18K
В продолжение об своих экспериментах с хранением логов на ELKR пишу некий «мануал» по установке и базовой настройке.

Те статьи, которые ОЧЕНЬ помогли:
Собираем, парсим и отдаём логи с помощью Logstash — матчасть
Собираем и анализируем логи с помощью Lumberjack+Logstash+Elasticsearch+RabbitMQ — хороший пример реального использования

Спасибо авторам!

Итак, мы будем разворачивать следующую архитектуру:
Device => HAProxy => Logstash-Listener => RabbitMQ => Logstash-Filter => Elasticsearch-Balancer => Elasticsearch DATA/MASTER
Читать дальше →
Total votes 8: ↑8 and ↓0+8
Comments15

Изучаем ELK. Часть I — Установка Elasticsearch

Reading time10 min
Views117K

Эта статья является первой в серии статей по стеку Elasticsearch, Logstash, Kibana (ELK). Цикл статей ориентирован на тех, кто только начинает знакомится со стеком ELK, и содержит минимально необходимый набор знаний, чтобы успешно запустить свой первый кластер ELK.

В этой статье будет рассмотрена процедура установки Elasticsearch и конфигурирование кластера.

Читать далее
Total votes 12: ↑12 and ↓0+12
Comments20

Киберполигон для самых бедных ( и умных )

Level of difficultyEasy
Reading time4 min
Views4.8K

Привет! Меня зовут Миша, и я основатель https://defbox.io - платформы на которой можно попробовать написать детект под разные атаки и соревноваться кто лучше это делает :)

Мы успели сделать несколько лабораторных работ, о которых, я надеюсь, Вам будет интересно почитать :)

На примере SSH-bruteforce стенда я расскажу, как можно своими руками сделать лабу для тренировки написания детектов:
1. Как поднять платформу для сбора и анализа логов
2. Как поднять и подготовить заведомо уязвимый сервер
3. Как провести SSH-Bruteforce
4. Что искать в платформе из п.1 и как написать правило в эластике

Читать далее
Total votes 6: ↑5 and ↓1+4
Comments3

Неклассические лицензии на открытое ПО и управление продуктами: разбираем кейс стека ELK

Reading time7 min
Views2.6K

Обсуждаем изменения в лицензионной политике для ключевых составляющих ELK-стека — Elasticsearch и Kibana. Что нужно знать об истории Elastic и лицензиях компании, и оставляют ли они простор для кастомизации решений на основе стека.

Disclaimer: материал не является юридической консультацией.

Читать далее
Total votes 7: ↑7 and ↓0+7
Comments0

7 петабайт логов в Elastic

Level of difficultyMedium
Reading time16 min
Views13K

Всем привет, меня зовут Роман. В ИТ я больше 15 лет — начинал как системный администратор, сейчас SRE-инженер. Расскажу, как мы дошли до семи петабайт логов в Elastic и как он устроен.

Поделюсь некоторыми архитектурными принципами для нашего большого хранилища, когда мы его создавали. Какие принципы и как мы ими руководствовались. Расскажу, почему нас перестали устраивать стандартные компоненты.

Читать далее
Total votes 31: ↑31 and ↓0+31
Comments39

Kibana. Использование языка запросов KQL при поиске логов

Level of difficultyEasy
Reading time6 min
Views26K

Туториал по работе с логами в Kibana для начинающих специалистов по тестированию ПО.

У Kibana имеется свой язык запросов KQL (Kibana Query Language) - официальный источник. С помощью этого языка можно составлять запросы, которые помогают отфильтровывать и найти необходимую информацию.

Подключение к Kibana для просмотра логов.

Читать далее
Total votes 6: ↑6 and ↓0+6
Comments12

Опять про IDS или ELK для suricata

Reading time4 min
Views29K
Привет, привет!
Сегодня хочу поделиться с вами опытом по настройке ELK и IDS Suricata. В инете много мануалов, но ни один из них не позволит «завезти» связку этих продуктов в текущих версиях.
Также есть готовый дистрибутив SELKS — www.stamus-networks.com/open-source/#selks или же, в качестве альтернативы, связка snort, snorby и barnyard2 в SecOnion — blog.securityonion.net.
Для остальных прошу под кат.
Читать дальше →
Total votes 7: ↑7 and ↓0+7
Comments4

ELK на Docker

Reading time4 min
Views94K
Многие я думаю читали о применении Elasticsearch, Logstash и Kibana для сбора и анализа логов, но часто статьи начинаются с длинного мануала как поднять сервисы ELK и заставить работать их совместно.
Здесь я хочу рассказать о быстром старте с помощью Docker.
Читать дальше →
Total votes 18: ↑17 and ↓1+16
Comments22

Визуализация атак на базе ELK (elasticsearch, kibana, logstash)

Reading time6 min
Views23K
Доброго времени суток. В процессе обслуживания большого количества серверов возникает необходимость централизации управления всем зоопарком машин, а так же централизованный сбор логов и аналитика логов на предмет выявления аномалий, ошибок и общей статистики.

В качестве централизованного сбора логов используется rsyslog, а для структурирования и визуализации elasticsearch + kibana. Все бы ничего, но когда количество подключенных машин разрастается, то данных настолько много, что уходит (уходило) большое количество времени на их обработку и анализ. Наряду с другими интересными штуками всегда хотелось организовать свой центр безопасности. Этакая мультимониторная статистика с картами, графиками и прочим.
Читать дальше →
Total votes 19: ↑19 and ↓0+19
Comments6

Анализ комуникации из Tor сети в инфраструктуру с помощью ELK стека

Reading time9 min
Views7.2K
ElasticSeach достаточно гибкая платформа, и полученные в него данные можно обрабатывать многими способами, даже за пределами стека ELK. Для этого предоставлено более десятка различных API. Но для многих задач будет достаточно и возможностей Kibana.

Одной из таких я хотел бы поделиться с сообществом. Для меня, как и любого безопасника, важно видеть и понимать коммуникацию своей инфраструктуры с внешним миром. Одной из самых интересных является коммуникация с луковой сетью (Tor).


Читать дальше →
Total votes 7: ↑7 and ↓0+7
Comments2

Рецепт гладкого релиза: PMy на заметку

Reading time3 min
Views5.6K
Всё ближе момент, когда мы выпустим в свет наше решение, свежее, новенькое и сияющее. Волнительно? Не очень, ведь мы его уже проверили со всех сторон.

У нас есть чек-лист для проверки, насколько решение готово к выкатыванию в продакшн. В нём перечислили всё самое важное, что проверяем в инфраструктуре, первоначальном наполнении, интеграции, обучении пилотной группы пользователей, передаче решения, пользовательской документации, бизнес-мониторинге и выборе момента для релиза.

На основе этого плана мы ставим задачи разработчикам и «аудиторам» — коллегам из других отделов, которые проводят ревью решения (да, это тоже лайфхак). Надеемся, эта шпаргалка пригодится для подготовки к релизу продукта в прод.


Читать дальше →
Total votes 16: ↑14 and ↓2+12
Comments3

Мы хотим заменить девопсов скриптом (на самом деле нет): разработчики, нужно ваше мнение

Reading time6 min
Views14K

Мы делаем проект облака для разработки — платформу, способную максимально упростить жизнь девопсам, разработчикам, тестировщикам, тимлидам и другим вовлеченным в процесс разработки специалистам. Это продукт не для сейчас и не для завтра, и потребность в нём только-только формируется.

Основная идея — вы можете разворачивать конвейер с уже преднастроенными инструментами, но при этом с возможностью внесения целого ряда настроек, и вам останется только деплоить код.
Читать дальше →
Total votes 48: ↑43 and ↓5+38
Comments32

На что обратить внимание при выборе системы логирования, и почему мы остановились на ELK

Reading time6 min
Views29K
На рынке представлено огромное количество систем логирования — как открытых, так и проприетарных. У каждой из них своя функциональность, свои достоинства и недостатки.

Сегодня мы решили поделиться опытом выбора системы логирования и рассказать, почему мы в 1cloud остановились на ELK.

Читать дальше →
Total votes 32: ↑32 and ↓0+32
Comments15

ELK Stack для хранения логов Django приложения

Reading time3 min
Views32K

Каждый из проектов, который перерастает этап прототипа, нуждается в организации логирования. Грамотное логирования решает уйму проблем и помогает понять состояние проекта. На начальном этапе логирование в файл меня устраивало пока проект не разросся и поиск по логам не начал отнимать время.


Решением было создание централизованного лог хранилища с агрегацией логов и поиском. Выбор пал на ELK стек. ELK — сочетание трех OpenSource проектов: ElasticSearch, Logstash и Kibana. ELK хранит логи, строит графики и есть поддержка полнотекстового поиска с фильтрами. В статье описывается процесс настройки ELK стека для хранения логов Django приложения.

Читать дальше →
Total votes 12: ↑12 and ↓0+12
Comments2

Прокачиваем логирование: как отслеживать бизнес-процессы в Kibana

Reading time8 min
Views5.8K

Всем привет! Меня зовут Дима Зотов, я специалист техподдержки. Работаю в Почтатехе на проекте Почта.ID. Мы обеспечиваем регистрацию и вход в сервисы Почты России, а также отвечаем за хранение учетных записей. Еще разрабатываем решения для некоторых почтовых услуг. Например, получение отправлений по коду или отправка электронных извещений.

Я расскажу про подход к логированию, который используется на нашем проекте: почему мы выделили бизнес-логи в отдельную категорию и как с их помощью обеспечили observability процессов.

Статья будет полезна продактам, которые хотят прокачать поддержку на своем проекте и упростить сбор статистики, а также специалистам саппорта и всем, кто интересуется темой логирования.

Читать далее
Total votes 12: ↑12 and ↓0+12
Comments6

Отладка продакшена бесплатно: ELK, Jaeger, Sentry

Reading time4 min
Views4.8K

Наш продукт три года существовал в монолите, а ошибки мы мониторили с помощью New Relic. Когда мы перешли на микросервисы, дорогой New Relic c посервисной тарификацией надо было чем-то заменить. Вместо него мы сформировали стек из трёх основных инструментов — они бесплатны и полностью закрывают наши потребности

Я Миша Гудов, тимлид и бэкенд-разработчик в CarPrice, и под катом вы увидите, как мы перешли на маленький, но удобный стек.

Читать далее
Total votes 12: ↑10 and ↓2+8
Comments2

Amazon выпустила Open Distro for Elasticsearch

Reading time4 min
Views26K
Эта статья — обзор новостей о том, как:

  • Amazon выпустила Open Distro for Elasticsearch
  • почему они это сделали?
  • что это значит для компании Elastic и для Open Source вообще?

Elastic


Жила была компания Elastic.

Было у них несколько Open Source продуктов:

  • сам Elasticsearch: сервер, который получает, хранит логи и позволяет по ним делать поиск
  • Kibana: frontend движок, который берёт данные из Elasticsearch и из них рисует красивые репорты
  • ещё несколько утилит, которые собирают логи. Например LogStash

Elasticsearch бывает называют ELK (лось), как акроним основных элементов:

Elasticsearch
LogStash
Kibana

Хотя компоненты «L» и «K» в общем-то можно заменять на другие: Beats, Grafana,…

Ещё у Elastic есть X-Pack.
Это коммерческий продукт. Часть из возможностей X-Pack — платная (довольно дорогая) и часть — бесплатная (но лицензия всё равно коммерческая).

X-Pack расширяет возможности ELK:

— security
— alerting
— monitoring
— reporting
— graph
— …

Причём если не ставить X-Pack, то отсутствуют некоторые довольно существенные возможности. Например, по умолчанию ELK отсутствует аутентификация, то все данные «торчат» наружу. Можно прикрутить обратный прокси и сделать basic authentication (так себе вариант), а можно купить X-Pack.

Ход 1: Elastic хитро меняет лицензию


Читать дальше →
Total votes 28: ↑28 and ↓0+28
Comments15

Создание инкрементального сервера для iOS Team

Reading time3 min
Views2.9K
image

Бесплатная книга

После пяти лет наступаний на одни и те же грабли, и полугода поисков DevOps-а, который знает что-такое Provision Profile и как от него зависит развертывание приложения, было принято решение составить пошаговую инструкцию, в картинках, о том, настраивать рабочее окружение в iOS Team с минимальными финансовыми вложениями (к примеру, когда нет проплаченных аккаунтов GitHub или Jira), а работа кипит.
Читать дальше →
Total votes 8: ↑8 and ↓0+8
Comments1

Kibana Tips & Tricks: How to view events in Discover mode

Reading time3 min
Views6K
image

Hi Habrausers!

As you may know Kibana is a visualization instrument, part of ELK (Elastic, Logstash, Kibana) stack. With the help of Kibana you may analyze and visualize your data, build different charts and combine them on the dashboard to present data in the most beautiful way.
People who use Kibana in our company have different background — some of them are technical who process data, some are managers who simply want to monitor some KPIs. And all have various questions. In spite of Kibana is rather popular in IT companies, there are not many articles or courses about it. To fill the gap I have created Kibana Tips & Tricks — weekly letters with frequently asked questions or themes. Such letters help our users to become more familiar with Kibana. There are no secrets — just detailed description of how you may work with your data.
I would like to share the first part of 'Kibana Tips & Tricks' with you — series of simple how-to articles for people who would like to know more about data analysis and visualization in Kibana. Today we will see how to view events in Kibana.
Read more →
Total votes 7: ↑7 and ↓0+7
Comments0