Splunk 7.1. Что нового? Новый веб интерфейс, интеграция с Apache Kafka и многое другое…



    Несколько дней назад компания Splunk выпустила новый релиз своей платформы Splunk 7.1 в котором, наверно, произошло самое ожидаемое изменение за последние несколько лет — да, полностью изменился графический интерфейс. В этой статье мы расскажем об основных нововведениях и улучшениях платформы. Что еще нового помимо GUI? Смотрите под кат.

    Интерфейс


    Как мы уже сказали, да, и наверно это самое заметное изменение, Splunk полностью поменял интерфейс, вплоть до изменения страницы с ошибкой. Внешний вид становится более современным и стильным. Исправлены элементы диаграмм и просмотра событий для повышения удобства восприятия информации. После обновления немного непривычно, но попользовавшись системой пару дней — привыкаешь и начинает нравится. Да, действительно нравится.



    Интеграция с Apache Kafka



    У Splunk появился коннектор для Kafka. Теперь вы можете стримить ваши данные с Kafka в инсталляцию Splunk, используя Splunk HTTP эвент коллектор. Также в этом релизе Splunk предлагает возможность интеграции с AWS Kinesis Firehose, но в наших реалиях это менее интересно. Подробное описание функционала и инструкция по деплою доступны здесь.

    Контроль доступа


    Splunk начал серьезно задумываться о безопасности своей платформы и начиная с этого релиза вы забудете о комбинации admin/changeme. Теперь вам будет предложено ввести пароль на этапе установки с требованием в 8 символов.



    Также в новой версии в целях повышения безопасности появилась возможность настройки расширенных политик учетных записей. Теперь администратор Splunk может устанавливать требования к сложности пароля, срок действия, блокировку после повторных неудачных попыток входа.



    Мониторинг состояния компонентов Splunk


    Ура! Splunk становится более общительным. Теперь когда что-то ломается на этапе сбора/парсинга/индексирования он сам будет пытаться говорить нам об этом и нам не нужно смотреть в лог _internal и искать, что случилось.

    В версии Splunk 7.1 реализована возможность мониторинга работоспособности компонентов Splunk. При отклонениях Splunk может указать причину, сообщения о возникших ошибках и дать советы для решения проблемы. Статус работоспособности указан в строке меню.





    Усовершенствование метрик и новые SPL-команды


    В релизе 7.0 Splunk появился новый тип индексации данных – метрики. Более подробно о них вы можете прочитать в нашем обзоре Splunk 7.0. Использование метрик повышает обработку поисковых запросов и уменьшает общую нагрузку на систему. Но в первом релизе инструментарий для работы с метриками был несколько ограничен.

    В новой версии была улучшена команда mstats, а также добавлена команда mcollect.

    1. Улучшение mstats


    В 7.0 мы могли вычислять только один показатель в этой команде. И для того, чтобы посчитать сразу несколько приходилось использовать дополнительные инструменты, которые усложняли поисковый запрос.

    Например:

    | mstats avg(_value) as "Average_speed" WHERE metric_name="car.speed" AND index=car_data span=1m
    | appendcols [
    | mstats max(_value) as "Max_speed" WHERE metric_name="car.speed" AND index=car_data span=1m ]


    В версии 7.1 появилась возможность вычислять сразу несколько показателей в одной команде.

    | mstats avg(_value) as "Average_speed" max(_value) as "Max_speed" WHERE metric_name="car.speed" AND index=car_data span=1m




    2. Новая команда mcollect


    С помощью команды mcollect мы можем преобразовывать результаты поиска в метрики. Перед выполнением команды необходимо создать новый индекс для метрик, в который мы будем сохранять показатели.

    Например, создадим метрику количества ошибок:

    ERROR | stats count BY type | rename count AS _value type AS metric_name | mcollect index=my_metric_index

    И да, забыли сказать, они увеличили скорость работы с метриками в 10 раз. Теперь поиск по метрикам еще быстрее!

    Обновление Machine Learning Toolkit


    Также был обновлен инструментарий ML Toolkit, который позволяет получать из Ваших данных ответы на важные вопросы об аномалиях, прогнозах и разделении на кластеры, используя различные алгоритмы машинного обучения.

    X-means


    В первую очередь следует отметить добавление нового алгоритма кластеризации X-means, который отличается от стандартного алгоритма кластеризации, K-means, тем, что автоматически определяет оптимальное количество кластеров по Байесовскому информационному критерию. Алгоритм X-means удобно использовать, когда Вы предварительно не знаете на сколько кластеров можно разделить данные.



    Управление моделями и экспериментами


    Также появился единый интерфейс, позволяющий просматривать существующие модели и их параметров, настраивать доступ к экспериментам для различных ролей пользователей, устанавливать алерты, получать историю экспериментов и алертов.



    Заключение


    Конечно, в новом релизе есть еще множество нововведений и фич, например таких как: Diagnostic UI, оптимизация работы с кластерами: минимизировано влияние на работу системы при обновлениях, перезапусках, регулярных запланированных поисковых запросах и многие другие изменения. В рамках статьи мы попытались рассказать Вам о наиболее интересных нововведениях, с которыми может столкнуться каждый, кто использует Splunk.

    Дополнительно


    Для наиболее глубокого изучения вопроса стоит установить приложение Splunk Enterprise 7.1 Overview, а также посмотреть официальное видео релиза.

    Также, не забывайте, что по любым вопросом относительно Splunk: его внедрения, обновления, разработки на нем приложений, добавления новых, сложно индексируемых событий и всего прочего мы можем помочь вам.

    Мы являемся официальным Premier Партнером Splunk.

    TS Solution 159,11
    Системный интегратор
    Поделиться публикацией
    Комментарии 12
    • 0
      У Slunk есть два главных недостатка: большая цена и большая задержка от поступления данных в систему до времени их доступности к анализу. При большом количестве open source конкурентов исход сравнения явно не в его пользу…
      • +1
        большая цена

        Это если сравнивать цену с ценой open source (которая ноль). Но если использовать более менее адекватную модель затрат, включающую затраты на внедрение, железо, зп сотрудников (об этом вообще никто никогда не вспоминает, хотя это ежемесячные расходы, и достаточно большие, если учесть что это квалифицированные сотрудники), затраты на поддержку, затраты на дополнительные платные фичи ( у open source они всегда есть иначе где модель монетизации бизнеса), список можно продолжать.

        исход сравнения явно не в его пользу...

        Судя по тому как растет его популярность, пока явно наоборот:
        www.fool.com/investing/2017/04/05/splunk-in-2-charts.aspx

        большая задержка от поступления данных в систему до времени их доступности к анализу

        Здесь хотелось бы примеров, потому как не слышал о такой проблеме ранее.
        • 0
          На работе в инвестбанках использовали и ElasticSearch и Splunk. В итоге ElasticSearch был объявлен стратегическим решением в организации, новые проекты на Splunk принимали со «скрипом», да и не каждый готов выделять из бюджета проекта круглые суммы на гигабайты логов так как таррификация по объему ingesting data (попробуй предскажи sizing реального профиля работы приложения, а в нештатных ситуациях объем логов только увеличивается). Безусловно splunk удобнее на начальном этапе — не нужно прописывать regexp для файлов, но когда в организации генерируются терабайты лог файлов, затраты на поддержку нескольких проектов окупаются с лихвой.
          Но если использовать более менее адекватную модель затрат

          Множество конкурентов на рынке анализа данных. Всегда можно найти решение, которое больше подойдет в данном конкретном случае для конкретной задачи: elasticsearch, logentries, datadog, druid, clickhouse…

          Судя по тому как растет его популярность, пока явно наоборот:
          www.fool.com/investing/2017/04/05/splunk-in-2-charts.aspx

          Впервые вижу этот ресурс с говорящим за себя названием. Маркетинг и не такое расскажет. Повторюсь, что по своему опыту я вряд ли когда-либо порекомендую splunk.

          Примеры задержек в Splunk, к моей радости, остались при смене работы с бывшим работодателем. В Network security monitoring software Splunk не конкурент Elasticsearch. Когда надо реагировать на атаку, данные еще не доступны в дашборде…

          А если нужно ускорить выполнение запросов, затраты и требования к квалификации специалистов будут не меньше чем в случае с Elasticsearch.
          • 0
            Количество клиентов у Splunk продолжает расти. Они публичная компания, последний раз я видел их отчет, у них было около 13k клиентов, несколько лет назад было меньше 10k.
            Вот другой более популярный сайт с рейтингом БД db-engines.com/en/ranking, Splunk растет по их показателям тоже.

            Никто не может обезопасить от неправильного сконфигурированного software. Использование Summary Index для real-time анализа как-то не имеет особый смысл.

            > В Network security monitoring software Splunk не конкурент Elasticsearch.

            Можете посмотреть на список компаний и их обоснования на выбор Splunk для Security Monitoring www.splunk.com/en_us/customers.html#filter/filter2/Security
            • 0
              Вот другой более популярный сайт с рейтингом БД db-engines.com/en/ranking, Splunk растет по их показателям тоже.

              Да но на этом же сайте видно что Elasticsearch на 9 месте по популярности, а Splunk на 13

              Использование Summary Index для real-time анализа как-то не имеет особый смысл.

              Привел исключительно как пример, что Splunk не проще и требует определенного уровня знаний при оптимизациях. Соответственно не будет экономии на заработной плате экспертов, только прийдется искать малочисленных специалистов по этой системе. А стоимость лицензий астрономическая.
              • 0
                Машин выпущенных компанией тайота тоже больше на дорогах, чем мерседесов. Это не показательно. ElasticSearch это изначально БД для Full-Text Search, а Machine Log Analysis они прикрутили потом. Поэтому популярность его меня ни сколько не смущает.

                Я не спорю в том, что Splunk тоже можно сконфигурировать не верно. И, скорее всего, нужны некоторые знания в настройке. Но это другое, чем допиливать самому в ElasticSearch.
                Например, если нужен ACL — то придется платить за XPack в ElasticSearch, либо писать самому (либо прикручивать кем-то написанный opensource plugin). X-Pack совсем не дешевый, у них ценовая политика другая, но не знаю, что окажется дешевле X-Pack или гигабайты Splunk.
                • 0
                  Помимо X-Pack, в случае с Enterprise будет необходим саппорт, он тоже платный.
        • 0
          Если мы говорим про ELK, то я рекомендую посмотреть на ответ сравнение между ELK и Splunk answers.splunk.com/answers/616416/what-is-the-difference-between-splunk-and-elk-stac.html?childToView=617933#answer-617933

          С моей точки зрения, их сложно сравнивать без понимания ваших задач, и сколько времени вы готовы уделять поддержки решения.

          Поэтому я бы не сказал, что это верное замечание «При большом количестве open source конкурентов исход сравнения явно не в его пользу». It depends.
          • +1
            Если мы говорим про ELK, то я рекомендую посмотреть на ответ сравнение между ELK и Splunk answers.splunk.com/answers/616416/what-is-the-difference-between-splunk-and-elk-stac.html?childToView=617933#answer-617933


            наверно одно из наиболее успешных сравнений
        • 0
          Изменения в Контроли доступа вызовет боль для тех, кто автоматизирует установку Splunk.
          У Splunk есть отличная документация, как установить изначальный пароль docs.splunk.com/Documentation/Splunk/7.1.0/Security/Secureyouradminaccount

          Мы так же написали блог пост о том, как использовать теперь Splunk Docker Image www.outcoldsolutions.com/blog/2018-04-25-docker-splunk-7-1-0 после этих нововведений.
          • 0
            Некоторое время назад все спрашивали про OpenSource конкурентов — чем они лучше Splunk. Сегодня, я смотрю, вопрос задается ровно наоборот — за что платить деньги за лицензию, и можно ли то же сделать на менее дорогих (но, как на вид, не всегда менее хороших) решениях.
            • 0
              По поводу mstats. Несколько показателей в одной команде можно было вычислять и в 7.0. В частности, ваш пример для 7.1 отлично отработал бы и в 7.0.*.

              Разница в том, что в 7.0 можно было делать вычисления только по полю _value. Так что если надо было рассчитать статистику по разным метрикам, то приходилось писать что-то вроде такого:

              | mstats avg(_value) as value where index=metric_index metric_name=metric1 OR metric_name=metric2 span=1min by metric_name
              | timechart span=1min max(value) as value by metric_name


              В 7.1 же можно имя метрики сразу писать внутри стат.функции:

              | mstats avg(metric1) as metric1, avg(metric2) as metric2 where index=metric_index span=1min

              Так что новый функционал тут особо не привнесли, но синтаксически стало приятнее (а использование _value в mstats теперь deprecated).

              Главная проблема с метрическими индексами в том, что если повторно отправить в метрический индекс метрику с таким же именем и dimensions, то в индексе будут содержаться оба значения. Очевидно, что это может плохо повлиять на вычисляемые статистики по этим метрикам. Возможными вариантами решения проблемы могли быть либо возможность избирательно удалять данные из метрического индекса (сделать аналог команды delete), либо настройка индекса, которая позволяла бы хранить только последнее значение по имени метрики и dimensions. Но этого пока нет, и приходится очень аккуратно настраивать сбор данных в метрические индексы.

              Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

              Самое читаемое