Splunk — общее описание платформы, базовые особенности установки и архитектуры

  • Tutorial
В рамках корпоративного блога компании TS Solution мы начинаем серию обучающих статей про такой продукт для анализа машинных данных как Splunk. Большинство статей будут представлять собой «how to tutorial», описание интересных кейсов и решение популярных проблем.

В данной статье мы кратко расскажем о самой системе и её назначении, а также рассмотрим варианты по её установке.


Пару слов про Splunk


Splunk это платформа для сбора, хранения, обработки и анализа машинных данных, то есть логов. На сегодняшний день является крайне популярной в США и в Европе и постепенно выходит на другие рынки, включая Россию. Одной из главных особенностей платформы является то, что она может работать с данными практически из любых источников, и поэтому список возможных применений системы очень широк.



Splunk, в большинстве случаев, (автоматически или с помощью аддонов) разбирает входные данные на поля и значения и в последствии обрабатывает их. Обработка происходит посредством SPL запросов (специальный язык от Splunk), с помощью которого можно строить различные выборки и таблицы, сортировать, фильтровать, агрегировать, строить отчеты, создавать вычисляемые поля, обращаться как к внутренним, так и внешним справочникам, создавать дашборды, с широким спектром визуализации и делать алерты (например по результату выполнения запроса отправлять тикеты в Service Desk). Все это можно упаковать в свое персональное приложение.



Основные отличия или сильные стороны Splunk


  • Real Time Architecture: Splunk осуществляет сбор, поиск, мониторинг и анализ по различным и достаточно большим (сотни Тб данных в день) объемам данных в режиме реального времени и все это — одна система.

    Почему это важно? Потому что Splunk может обеспечить сбор данных в реальном времени из тысяч разнородных источников — и это может быть как физический или виртуальный хост, так и облако. Также Splunk поддерживает поиск не только в реальном времени, но и по всему временному промежутку, данные за который были собраны. То есть мы можем осуществлять поиск, мониторинг, оповещения, отчетность и анализ за любое время (исторический данные и данные в реальном времени в одном решении). И наконец, Splunk обеспечивает быстрый результат и высокую интерактивность поисковых запросов на чрезвычайно больших объемах данных.

  • Universal Machine Data Platform: Splunk является универсальной платформой для машинных данных, которая обеспечивает комплексный сбор данных, их обработку и анализ. Таким образом мы можем индексировать любые машинные данные с отметкой о времени независимо от структуры и формата. Splunk способен объединить в себе машинные данные + бизнес данные + пользовательские данные, что делает его крайне универсальным.

  • Schema on the Fly: Splunk осуществляет поиски по времени, то есть вам не нужно заранее знать структуру данных, чтобы сформировать запрос. Вы можете выбрать промежуток во времени, ввести пару ключевых слов и быстро ознакомиться с данными. Нет никаких жестких ограничений на столбцы, таблицы и прочее. Это сильно повышает гибкость системы. Также любой запрос можно остановить, поставить на паузу или показать промежуточные результаты.

  • Agile Reporting & Analytics: Splunk предоставляет широкие возможности по построению аналитики, отчетов и их визуализации. Помимо целевых данных, система также может обращаться ко внешним справочникам, например в SQL БД. Также хотелось бы сказать, что Splunk достаточно открытая система и вы всегда можете дописать свой модуль, хотя возможности визуализации ну очень разнообразны.

  • Scales from Desktop to Enterprise: Splunk использует технологию MapReduce, что обеспечивает распределение нагрузок и горизонтальную масштабируемость системы, то есть мы можем начать с одного сервера для Splunk, а при увеличении данных — быстро добавить пару новых серверов и распределить нагрузку. Также благодаря технологии MapReduce Splunk может быстро перерабатывать реально большие объемы данных, не требуя выдающегося железа.

  • Fast Time to Value: Splunk позволяет быстро получить результат от использования. Внедрение занимает часы или дни, а не недели и месяцы. Тоже самое с масштабированием и эксплуатацией.

  • Passionate & Vibrant Community: У Splunk есть очень качественное, а главное бесплатное комьюнити, которое включает:

    • Splunk Base — портал, содержащий всевозможные приложения и аддоны, 99% из которых бесплатно
    • Splunk Answers — форум с большим числом вопросов/ответов и живых участников
    • Splunk Dev — портал для разработчиков
    • Splunk Dock — полная база знаний продукта

Где скачать?


Бесплатная версия Splunk c ограничением на индексацию в 500 Мб в день доступна на официальном сайте компании, единственное что вам нужно сделать это пройти регистрацию.

Системные требования




Splunk поддерживает как 32-bit, так и 64-bit разрядную архитектуру. Ниже представлены таблицы с доступными платформами для Splunk отдельно для Unix и Microsoft. В последнем столбце таблицы находится информация о Splunk Universal Forwarder. Это отдельный дистрибутив и отдельная роль в платформе Splunk, которая выступает в качестве агента и отвечает исключительно за сбор логов и пересылку их на сервер.

Unix

А – версия доступна для скачивания, но не имеет официальной поддержки
D – версия в данный момент поддерживается, но в будущих релизах компания может снять ее с официальной поддержки

Windows

D – версия в данный момент поддерживается, но в будущих релизах компания может снять ее с официальной поддержки
… — версия поддерживается, но Splunk не рекомендует использовать данную архитектуру

Установка


После того как вы скачали установочный файл просто запускайте установку и по умолчанию система встанет в базовой конфигурации. Подробная пошаговая инструкция по установке на Windows здесь, на Unix системы здесь.

После установки Splunk должен быть доступен через веб интерфейс порт 8000: localhost:8000 и после смены пароля и входа вы увидите следующий интерфейс.



На этом мы закончим вводный обзор. В следующей статье мы расскажем как загрузить данные в Splunk, как пользоваться языком SPL, как строить графики и дашборды.

Также, мы недавно делали вебекс общего характера про Splunk — его запись вы можете посмотреть по ссылке на Youtube. В этом вебинаре был показан базовый функционал и рассказаны некоторые кейсы применения продукта.

П.с.


16 марта мы проведем еще один вебинар (регистрация) по Splunk со следующими тезисами:
  • Что такое решение Splunk и из чего оно состоит
  • Как Cisco использует Splunk для работы со своими решениями и как работает Cisco Security Suite от Splunk
  • Какую пользу позволяет получить Splunk, интегрируясь с системами Microsoft
  • Как Splunk технологически интегрируется с системами Microsoft и Cisco, лучшие практики по подключению и архитектуре
  • Как использовать бесплатное решение на базе Splunk для работы с Microsoft и Cisco


P.S.


28 июня 2018 г. в Москве будет проводиться обучение "Splunk Getting Started", на котором за 6 часов участники получат теоретическую базу и практические навыки по работе в Splunk. Узнать об обучении больше и зарегистрироваться можно по этой ссылке.
TS Solution 105,33
Системный интегратор
Поделиться публикацией
Комментарии 15
  • 0
    У вас хорошо получаетяся структурированно и лаконично информацию по вендорам представлять. Подписался на блог, спасибо.

    Про Splunk с точки зрения Информационной Безопасности (т.е. SIEM-решений) могу добавить, что он активно пальму первенства у HPE ArcSight забирает, квадрант Gartner SIEM 2016 для наглядности:
    Скрытый текст
    image

    Наша компания, в том числе под Splunk, пишет ИБ-юзкейсы Use Case Library. Так что жду продолжения цикла статей, надеюсь, сможем опытом в комментариях поделиться.
    • +1
      Спасибо за комментарий!

      А какие Use Cases наиболее востребованы на рынке, исходя из Вашего опыта?
      • 0
        Я бы сказал, что они к двум категориям относятся: «помогите запустить SIEM» и «нам срочно нужна защита от новой-популярной-угрозы».

        В первой категории находятся: мониторинг неудачных авторизаций (подбор паролей, ошибочный ввод пароля в поле логина и т.д.), консолидация событий антивирусной защиты, мониторинг исходящих соединений (на предмет утечки данных, подключения к ТОР-сети, командным центрам ботоводов и т.д.). Часто задача стоит как «помогите показать руководству положительный эффект от внедрения SIEM».

        Ну и, соответственно, когда все СМИ трубят о Mirai-ботнете, Ransomware (криптовымогатели), утечке эксплуатируемых ЦРУ уязвимостях нулевого дня — возникает спрос на оперативную защиту уже сегодня (вместо длительной разработки кейса своими силами).
        Комплексная защита, такая как обнаружение Advanced Persisted Threat (APT), также попадает во вторую категорию, т.к. это слабоформализуемая задача и эффективнее ее на аутсорс отдать.
        • 0
          А на чем чаще всего эти use case-ы отрабатываете? Splunk, ArcSight, ELK?
          Что вообще думаете о ELK? Применим ли он в обычных среднестатистических компаниях без выделенного штата работников по анализу данных?
          • 0
            У нас есть внутренний лабораторный демо-стенд, на нем и обкатываем кейсы. Плюс учитываем замечания от первых клиентов, конечно же. Полный список кейсов в таблице приведен.

            Касательно ELK — интересно и перспективно. Под данный SIEM (с точки зрения безопасности я этот продукт именно как SIEM возспринимаю) у нас еще нет юзкейсов. Но уже разработан мониторинг «здоровья» ядра и компонентов. Сложные системы сложно поддерживать, эту задачу мы также решаем (для ArcSight, QRadar, Elastic) = Predictive Maintenance.
            • 0
              А для graylog?
              • 0
                Все спросом рынка определяется. Планов у нас много, но пока на самые популярные системы ориентируемся. GreyLog'а в них нет.
                В дополнение к Gartner Magiс Quadrant SIEM 2016 (см.мой первый комментарий), вот сегодня ForesterWave for Security Analytics Platforms 2017 Q1 нашел. PDF по ссылке качается.
                image
    • +1
      Спасибо за статью! Планирует ли Спланк поддержку Windows Server 2016?
      • 0
        Спасибо за вопрос!

        Да, конечно планирует, скоро должен быть официальный релиз!
      • 0
        Работал со Splunk. Система реально очень быстрая и удобная. «коробочный» ELK выдавал 1/10 скорости на том же оборудовании.
        Только один минус: стоит как крыло самолета. Может даже дороже
        • 0
          Спасибо за комментарий!

          Если прибавить к ELK стоимость железа, чтобы он работал хотя бы на уровне со Splunk + расходы на внедрение и разработку, то суммы стоимости владения будут похожи.

          А на каких объемах Вы проводили сравнение?
          • 0
            Вполне возможно. 500ГБ данных за 6-8 часов (логи). В дальнейшем планировалось нарастить до 1-2ТБ. Данные поступают ежедневно.
            Мое мнение как инженера — очень качественный (скорость, удобство, возможности) продукт. Но бюджетом управляю не я)
        • 0
          В чем преимущества и недостатки Splunk по сравнению с ManageEngine Log360
          • +1
            Спасибо за вопрос!

            В первую очередь, отличие конечно в функционале, у Splunk он гораздо шире (не говоря уже о скорости работы, гибкости, универсальности и пр.). Это в общем. Также сильные стороны описаны в самой статье.

            Вот ссылка на еще одно общее сравнение.

            Для подробного сравнения стоит понимать предметную область использования.
          • 0
            Удобная система, работает шустро и весьма понятно. Сейчас активно изучаю возможности, что очень радует много всяких дополнительных наворотов. Рекомендую.

            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

            Самое читаемое