Сегодня мы поговорим об агентах(форвардерах) для загрузки данных в Splunk. В статье мы кратко расскажем о том, что это такое, какие типы бывают, в чем между ними разница и в каких ситуациях лучше использовать тот или иной форвардер.
Корректная загрузка данных — это самый проблемный вопрос в любой системе по работе с данными. Передача данных может осуществляться различными способами, но самый распространенный из них это использование форвардеров.
У Splunk форвардера есть ряд преимуществ:
- Маркировка метаданных (источник, тип источника и хост)
- Настраиваемая буферизация
- Сжатие данных
- SSL
- Использование любых доступных сетевых портов
После того, как вы приняли решение, что будете пересылать данные с помощью форвардеров, возникает следующий вопрос: каким именно форвардером лучше всего воспользоваться?
Всего существует 2 вида форвардеров:
- Universal Forwarder, который содержит только те компоненты, которые необходимы для передачи данных.
- Heavy Forwarder, который представляет собой полноценный Splunk Enterprise, который, помимо передачи данных, может индексировать, выполнять поисковые запросы и модифицировать данные.
Universal Forwarder
Universal Forwarder имеет ряд преимуществ перед использованием Heavy Forwarder. И поэтому зачастую рекомендуется использовать именно его, если нет конкретных предпосылок использования Heavy Forwarder, о которых мы расскажем далее.
Наиболее заметным преимуществом является то, что Universal Forwarder использует значительно меньше аппаратных ресурсов, чем другие программные продукты Splunk. Он меньше нагружает CPU, использует меньше памяти и занимает меньше места на диске. Он также более масштабируемый, чем другие продукты Splunk, поскольку можно установить более тысячи экземпляров, которые не будут сильно влиять на производительность сети и хостов.
Еще преимуществом является его доступность для установки на многих различных платформах. Его можно установить не только на Windows, Linux и Mac OS, как Splunk Enterprise, но и на Solaris, FreeBSD и AIX.
Universal Forwarder доступен как отдельный установочный пакет и включает только необходимые компоненты, необходимые для пересылки данных в другие экземпляры платформы Splunk. Хотя он не имеет веб-интерфейса, но все равно его можно настраивать, управлять и масштабировать, редактируя конфигурационные файлы.
Для достижения более высокой производительности Universal Forwarder имеет несколько ограничений:
- Невозможно локально выполнять индексирование и поисковые запросы.
- Нельзя настроить отправку оповещений.
- Анализировать входящий поток данных до индексации можно только в случае, если это структурированные данные.
- Не включает в себя Python.
Как установить и настроить Universal Forwarder можно найти тут.
Heavy Forwarder
Хотя Universal Forwarder является предпочтительным способом пересылки данных, но вам может потребоваться Heavy Forwarder, если необходимо проанализировать или внести изменения в данные, прежде чем пересылать их, или вам нужно будет контролировать, куда данные идут, основываясь на их содержании.
Одним из ключевых преимуществ Heavy Forwarder является то, что он может фильтровать нежелательные события, даже в неструктурированных данных, что позволит сократить объем индексации, а от этого зависит размер лицензии.
Правда, следует отметить, что использование Heavy Forwarder увеличивает сетевой трафик, использование ЦП и памяти. Это связано с тем, что Heavy Forwarder отправляет проанализированные данные по сети не просто сырыми событиями, а со всеми полями, которые выделяются во время индексации и дополнительными метаданными.
Чтобы сравнить показатели работы Heavy и Universal Forwarder, было проведено испытание.
В тестовом файле было 367 463 625 событий.
| Сетевой трафик (Гб) | Средняя скорость передачи (кбит/с) | Средняя скорость индексации (кбит/с) |
Длительность (сек) | |
|---|---|---|---|---|
| Heavy Forwarder | 38.4 | 1922 | 5139 | 20998 |
| Universal Forwarder | 6.4 | 1015 | 17466 | 6662 |
Итоги эксперимента
При использовании Universal Forwarder:
- Объем данных, отправленных по сети, был в 6 раз ниже.
- Объем данных, индексированных в секунду, был примерно в 3 раза выше
- Общая длительность загрузки данных была в 3 раза быстрее
Рекомендации
Используйте Heavy Forwarder, только когда:
- Есть возможность отфильтровать значительную часть данных, проведя предварительный анализ неструктурированных событий
- Существуют специальные требования к пользовательскому интерфейсу или аддону, например, DBconnect, Checkpoint, Cisco IPS
- Сложная (по содержанию события) маршрутизация данных
В других случаях лучше использовать Universal Forwarder.
Если вы все еще не пробовали Splunk, то самое время начать, бесплатная версия до 500Мб в сутки доступна всем желающим. А если у вас есть вопросы или проблемы со Splunk — вы можете задать их нам, а мы поможем.
Мы являемся официальным Premier Партнером Splunk.
