Pull to refresh

WSJ: Cisco предложила за Splunk $20 млрд

Finance in IT IT-companies

Cisco Systems хочет купить американского производителя программного обеспечения Splunk примерно за $20 млрд. О переговорах двух компаний сообщили сразу два издания – New York Times и Wall Street Journal. Cisco предложил сделку некоторое время назад, но издания не уточняют, когда именно. Сейчас активных переговоров между компания не ведется.

Splunk – компания, выпускающая программное обеспечение для сбора логов. Создана в 2003 году и на текущий момент имеет рыночную капитализацию около $18 миллиардов. Ее акции упали почти на 30% после ухода в отставку исполнительного директора Дуга Мерритта в ноябре 2021 года. За несколько месяцев до этого акционерная компания Silver Lake инвестировала $1 млрд в Splunk, чтобы помочь организации перейти на облачные сервисы. 

Читать далее
Total votes 8: ↑7 and ↓1 +6
Views 1.3K
Comments 1

Пример использование Splunk для анализа логов

System administration *IT Infrastructure *Server Administration *
Splunk — это система хранения и анализа логов. В двух словах принцип работы можно описать так: есть сервер Splunk, который хранит, индексирует и позволяет анализировать логи, и есть рабочие машины (сервера), которые эти логи создают и передают на сервер Splunk. Сервер Splunk в свою очередь может быть кластером из нескольких физических машин, между которыми распределяется хранение информации, и которые используются для ее обработки по технологии MapReduce. Способов передавать логи с рабочих машин очень много: через специальную программу forwarder, которая умеет быстро и эффективно отсылать изменения логов на сервер, через технологии типа NFS/SMB, или SNMP, можно самостоятельно отсылать данные в Splunk по TCP/IP (например, вместо того, чтобы писать в файл). Под Windows Splunk умеет брать данные из Windows Events, Performance Counters или Реестра.
Читать дальше →
Total votes 19: ↑16 and ↓3 +13
Views 96K
Comments 60

Собираем и анализируем статистику в мобильных приложениях

«Alawar Entertainment» corporate blog Game development *
imageВ нашем блоге мы уже публиковали ряд статей о статистике в играх, в них мы рассказывали, в основном, о ключевых показателях и метриках и о том, какие на рынке есть инструменты для аналитиков.
А в сегодняшней статье мы хотим поделиться опытом построения непосредственно технических инструментов по сбору и обработке статистической информации для мобильных игр.
Читать дальше →
Total votes 15: ↑12 and ↓3 +9
Views 9.5K
Comments 4

Сбор и анализ логов демонов в Badoo

Badoo corporate blog High performance *Website development *

Введение


В Badoo несколько десятков «самописных» демонов. Большинство из них написаны на Си, остался один на С++ и пять или шесть на Go. Они работают примерно на сотне серверов в четырех дата-центрах.

В Badoo проверка работоспособности и обнаружение проблем с демонами лежат на плечах отдела мониторинга. Коллеги с помощью Zabbix и скриптов проверяют, запущен ли сервис, отвечает ли он на запросы, а также следят за версиями. Кроме того, в отделе анализируется статистика демонов и скриптов, работающих с ними, на предмет аномалий, резких скачков и т.п.



Однако у нас до недавнего времени не было очень важной части — сбора и анализа логов, которые каждый демон пишет локально в файлы на сервере. Зачастую именно эта информация помогает на самом раннем этапе поймать проблему или постфактум понять причины отказа.

Мы построили такую систему и спешим поделиться подробностями. Наверняка у кого-то из вас будет стоять похожая задача, и прочтение данной статьи убережет от ошибок, которые мы успели совершить.
Читать дальше →
Total votes 51: ↑50 and ↓1 +49
Views 46K
Comments 53

Расширение функциональных возможностей Splunk – это просто

Python *Machine learning *
Sandbox


Меня зовут Ткачев Константин, я работаю архитектором прикладных решений.

Предисловие


Хочу рассказать о том, как можно расширить имеющуюся функциональность платформы Splunk на примере библиотеки для машинного обучения scikit-learn (sklearn), реализованной в Python. В нашем примере мы будем использовать алгоритм «деревьев решений». Данный алгоритм не входит в стандартную поставку Splunk и ниже я покажу, что подключить его для реализации прикладной задачи можно, выполнив достаточно простые действия.
Читать дальше →
Total votes 14: ↑13 and ↓1 +12
Views 11K
Comments 7

Поиск Use Case'ов для SIEM

Information Security *
Глоссарий:

SIEM (Security Information & Event Management) — программно-аппаратный комплекс для сбора информации о событиях (логи), их корреляции и анализа. Wiki.

Use Case (применительно к SIEM) — устоявшийся термин, обозначающий конкретный набор правил/скриптов и/или механизмов визуализации. Например, для обнаружения сканирования портов, сверки IP адреса с внешней репутационной базой и т.д. Use Case’ы можно писать самому, брать готовые с сайта производителя или заказывать у подрядчиков.



Задачей данной статьи является систематизация найденной информации по каталогам Use Case’ов и дополнительным ресурсам, а также активный диалог в комментариях. Поделитесь своим опытом, пожалуйста, а я буду обновлять пост полученной информацией.

Содержание:

1. Рейтинг SIEM в 2016 году
2. “Родные” магазины Use Case’ов на сайтах производителей SIEM
3. Рекомендации по самостоятельному написанию Use Case’ов
4. Заказная разработка: карта интеграторов
5. Сторонние каталоги Use Case’ов: SOC Prime UCL, форумы вендоров (список обновляется)
6. Ссылки на блоги и дополнительные ресурсы информационной безопасности, относящиеся к SIEM
Читать дальше →
Total votes 5: ↑5 and ↓0 +5
Views 11K
Comments 13

10 вопросов для осознанного выбора SIEM-системы

Information Security *
Translation
выбор очевиден?

Прим.переводчика: в оригинальном документе 2017 года также приводится краткий обзор 24 SIEM решений и смежных технологий. Дополнительно рекомендую отчет Gartner за 2014, 2015 и 2016 года.

Security Information and Event Management является сложным и дорогим решением по сбору, нормализации, анализу и корреляции информации из лог-файлов всех ИТ-систем, однако и результаты ее работы при правильной эксплуатации являются выдающимися. Портал Solutions Review подготовил список из 5 вопросов к себе и 5 вопросов к потенциальному поставщику, собрав ответы на которые, вы сможете более осознанно сделать выбор достойной SIEM системы для внедрения в вашей организации.
Читать дальше →
Total votes 9: ↑8 and ↓1 +7
Views 6.9K
Comments 2

Splunk — общее описание платформы, базовые особенности установки и архитектуры

TS Solution corporate blog System administration *IT Infrastructure *Server Administration *
Tutorial
В рамках корпоративного блога компании TS Solution мы начинаем серию обучающих статей про такой продукт для анализа машинных данных как Splunk. Большинство статей будут представлять собой «how to tutorial», описание интересных кейсов и решение популярных проблем.

В данной статье мы кратко расскажем о самой системе и её назначении, а также рассмотрим варианты по её установке.

Читать дальше →
Total votes 9: ↑9 and ↓0 +9
Views 83K
Comments 17

Splunk. Введение в анализ машинных данных — часть 1. Примеры SPL запросов и визуализация логов

TS Solution corporate blog System administration *IT Infrastructure *Network technologies *Server Administration *
Tutorial


В данной статье мы расскажем и покажем как загрузить данные в Splunk, как строить поисковые запросы в системе на основе встроенного языка SPL и как можно их визуализировать. Это чисто практическая «How to» статья на основе тестовых данных, доступ к которым предоставляется свободно и доступен для скачивания всем желающим.

После прочтения и практического повторения Вы научитесь:

  • Пользоваться базовым функционалом системы
  • Загружать данные в Splunk
  • Строить базовые поисковые запросы
  • Визуализировать полученные результаты

Total votes 12: ↑12 and ↓0 +12
Views 31K
Comments 11

Добавляем в Splunk бесплатные фиды IP Reputation

Information Security *Open source *Open data *
В базе приложений Splunk есть много решений, которые позволяют делать Enrichment и добавлять информацию о том, что тот или иной IP-адрес выглядит подозрительным и «засветился» в той или иной reputation-базе. Однако, эти приложения либо платные (например, Recorded Future App, Kaspersky Threat Feed App), либо очень медленные (IP Reputation App, на момент написания к тому же не до конца доступен из-за maintenance с февраля месяца), поэтому мы решили разработать свой opensource плагин RST Cloud Threat Database Add-on for Splunk, который позволит собирать в единую базу разрозненные сведения из открытых источников и выдавать ответы на потоках в десятки тысяч запросов в секунду.
Читать дальше →
Total votes 15: ↑15 and ↓0 +15
Views 4.5K
Comments 0

Splunk. Введение в анализ машинных данных — часть 2. Обогащение данных из внешних справочников и работа с гео-данными

TS Solution corporate blog System administration *IT Infrastructure *Network technologies *Server Administration *
Tutorial


Мы продолжаем рассказывать и показывать как работает Splunk, в частности говорить о возможностях языка поисковых запросов SPL.

В этой статье на основе тестовых данных (логи веб сервера) доступных всем желающим для загрузки мы покажем:

  • Как обогатить логи информацией из внешних справочников
  • Как можно визуализировать географические данные (данные с координатами)
  • Как группировать цепочки событий в транзакции и работать с ними

Под катом вы найдете как сами примеры поисковых запросов, так и результат их выполнения. Вы можете скачать бесплатную версию Splunk, загрузить тестовые данные и повторить все на своем локальном компьютере.
Читать дальше →
Total votes 9: ↑9 and ↓0 +9
Views 15K
Comments 3

Splunk + Check Point, пример анализа логов вашего фаервола

TS Solution corporate blog System administration *IT Infrastructure *Server optimization *Network technologies *
Tutorial

Если Вы не удовлетворены стандартными отчетами и средствами аналитики от Check Point, если Ваш Smart Event виснет и грузит ваш сервер, если отчеты Smart Event кажутся Вам несколько неинформативными… То почему бы не создать свои?



Сегодня мы расскажем как загрузить логи Check Point в Splunk, какие могут быть отчеты, и как, отфильтровать данные, чтобы лишний раз не грузить систему и уменьшить лицензию. И да, если Ваша компания не очень большая — то вы можете спокойно обойтись бесплатной лицензией.
Читать дальше →
Total votes 7: ↑7 and ↓0 +7
Views 9.2K
Comments 10

Обзор Splunk Machine Learning Toolkit

System administration *IT Infrastructure *Network technologies *Server Administration *


Помимо того, что Splunk может собирать логи практически из любых источников и строить аналитические отчеты, дашборды, алерты на основе встроенного языка поисковых запросов SPL, о котором мы писали в предыдущих статьях, Splunk еще имеет очень большую базу бесплатных аддонов и приложений.

Сегодня мы рассмотрим одно из самых популярных, с точки зрения пользователей, приложений — Splunk Machine Learning Toolkit.
Читать дальше →
Total votes 20: ↑19 and ↓1 +18
Views 11K
Comments 9

Анализ CDR Cisco и Asterisk телефонии с помощью Splunk

TS Solution corporate blog System administration *IT Infrastructure *Cisco *Network standards *
На сегодняшний день существует классическая, с точки зрения аналитики, задача — анализ CDR телефонии. В рамках данной статьи мы расскажем о том, как две разные компании решали две совершенно разные задачи. Компания X анализировала CDR Cisco телефонии, а компания Y — CDR Asterisk телефонии. Почему мы пишем об этом в одной статье? Потому что в качестве инструмента для анализа обе компании используют Splunk, о котором мы много писали ранее.


Под катом вы найдете подробное описание задач и их решения с картинками и запросами.
Читать дальше →
Total votes 10: ↑8 and ↓2 +6
Views 8.4K
Comments 11

Splunk 7.0. Что нового?

TS Solution corporate blog System administration *IT Infrastructure *Server optimization *Server Administration *


Месяц назад компания Splunk на своей 8-ой ежегодной конференции Splunk Conf 2017 презентовала выпуск нового мажорного релиза Splunk 7.0. В этой статье мы расскажем об основных нововведениях и улучшениях платформы, а также покажем пару примеров.
Читать дальше →
Total votes 11: ↑11 and ↓0 +11
Views 5.4K
Comments 4

Mars IS расширяет функционал платформы операционного анализа SPLUNK

Mars corporate blog System Analysis and Design *IT Infrastructure *Machine learning *Business Models *
Сбор, анализ и использование больших данных из технологической инфраструктуры – одно из важных развивающихся направлений работы Mars IS. В сегодняшней публикации мы расскажем о проекте по использованию платформы SPLUNK для мониторинга и анализа операционной деятельности IT-инфраструктуры и приложений.


Читать дальше →
Total votes 5: ↑3 and ↓2 +1
Views 1.5K
Comments 0

Анализ Cisco CDR и логов Microsoft Exchange Server c помощью Splunk

TS Solution corporate blog System administration *IT Infrastructure *Cisco *Big Data *


Сегодня электронная почта и телефонные звонки являются основными средствами коммуникации в бизнесе среде. Каждое сообщение или звонок могут потенциально принести доход компании, а один сотрудник может в день написать несколько сотен сообщений или совершить около сотни звонков. В данной статье мы расскажем, как с помощью Splunk можно анализировать логи Microsoft Exchange Server и Cisco Call Manager, а также чем это может быть полезно.
Читать дальше →
Total votes 4: ↑4 and ↓0 +4
Views 4.1K
Comments 0

Анализ логов СКУД с помощью Splunk

TS Solution corporate blog System administration *IT Infrastructure *Big Data *Data visualization *
Если у Вас есть Система Контроля и Управления Доступом или, проще говоря, СКУД, но вы не знаете, как можно получить полезную информацию из данных, которые эта система генерирует, то эта статья будет полезна Вас.



Сегодня мы расскажем о том, как с помощью Splunk, о котором говорили ранее, можно получать аналитику по результатам деятельности СКУД, а также зачем это нужно.
Читать дальше →
Total votes 9: ↑8 and ↓1 +7
Views 5.8K
Comments 5

Мониторинг эффективности работы IT-систем с помощью Splunk IT Service Intelligence

TS Solution corporate blog IT Infrastructure *Server optimization *Server Administration *Big Data *
Ни для кого не секрет, что бизнес непрерывно стремится к повышению своей конкурентоспособности. Кажется, что проще всего это сделать через инновации, давайте повысим эффективность одного-двух-трех бизнес-процессов с помощью современной, высокотехнологичной системы и будет нам счастье. Эта схема работает до тех пор, пока сложность нашей IT-системы не начинает работать против нас.



Вы знаете, насколько эффективно работают элементы вашей IT- инфраструктуры? Как они влияют друг на друга? Может быть, какой-нибудь элемент ухудшает работу системы в целом? Как понять, что это за элемент?
Читать дальше →
Total votes 9: ↑8 and ↓1 +7
Views 4K
Comments 1

Splunk + Excel. Что получится?

TS Solution corporate blog System administration *Client optimization *IT Infrastructure *Big Data *
Tutorial
В предыдущих статьях мы много рассказывали о Splunk. Это продукт, который позволяет собирать и анализировать данные с любых IT-систем в режиме реального времени, например, это могут быть результаты работы web-сервера, почтового сервера, Windows, различных приложений и тд. Значит ли это, что если всем сотрудникам, заинтересованным в аналитике, полученной в Splunk, необходимо разбираться в работе программы, вносить изменения в свои бизнес-процессы и делать всю аналитику только в Splunk? Конечно же, нет!



В данной статье мы покажем, как сделать так, чтобы в несколько кликов отдел продаж мог получать в MS Excel таблицу, с актуальными данными о реализации товара через интернет магазин.
Читать дальше →
Total votes 13: ↑13 and ↓0 +13
Views 5.4K
Comments 2