Как стать автором
Обновить

WSJ: Cisco предложила за Splunk $20 млрд

Финансы в IT IT-компании

Cisco Systems хочет купить американского производителя программного обеспечения Splunk примерно за $20 млрд. О переговорах двух компаний сообщили сразу два издания – New York Times и Wall Street Journal. Cisco предложил сделку некоторое время назад, но издания не уточняют, когда именно. Сейчас активных переговоров между компания не ведется.

Splunk – компания, выпускающая программное обеспечение для сбора логов. Создана в 2003 году и на текущий момент имеет рыночную капитализацию около $18 миллиардов. Ее акции упали почти на 30% после ухода в отставку исполнительного директора Дуга Мерритта в ноябре 2021 года. За несколько месяцев до этого акционерная компания Silver Lake инвестировала $1 млрд в Splunk, чтобы помочь организации перейти на облачные сервисы. 

Читать далее
Всего голосов 8: ↑7 и ↓1 +6
Просмотры 1.2K
Комментарии 1

Пример использование Splunk для анализа логов

Системное администрирование *IT-инфраструктура *Серверное администрирование *
Splunk — это система хранения и анализа логов. В двух словах принцип работы можно описать так: есть сервер Splunk, который хранит, индексирует и позволяет анализировать логи, и есть рабочие машины (сервера), которые эти логи создают и передают на сервер Splunk. Сервер Splunk в свою очередь может быть кластером из нескольких физических машин, между которыми распределяется хранение информации, и которые используются для ее обработки по технологии MapReduce. Способов передавать логи с рабочих машин очень много: через специальную программу forwarder, которая умеет быстро и эффективно отсылать изменения логов на сервер, через технологии типа NFS/SMB, или SNMP, можно самостоятельно отсылать данные в Splunk по TCP/IP (например, вместо того, чтобы писать в файл). Под Windows Splunk умеет брать данные из Windows Events, Performance Counters или Реестра.
Читать дальше →
Всего голосов 19: ↑16 и ↓3 +13
Просмотры 95K
Комментарии 60

Собираем и анализируем статистику в мобильных приложениях

Блог компании «Alawar Entertainment» Разработка игр *
imageВ нашем блоге мы уже публиковали ряд статей о статистике в играх, в них мы рассказывали, в основном, о ключевых показателях и метриках и о том, какие на рынке есть инструменты для аналитиков.
А в сегодняшней статье мы хотим поделиться опытом построения непосредственно технических инструментов по сбору и обработке статистической информации для мобильных игр.
Читать дальше →
Всего голосов 15: ↑12 и ↓3 +9
Просмотры 9.5K
Комментарии 4

Сбор и анализ логов демонов в Badoo

Блог компании Badoo Высокая производительность *Разработка веб-сайтов *

Введение


В Badoo несколько десятков «самописных» демонов. Большинство из них написаны на Си, остался один на С++ и пять или шесть на Go. Они работают примерно на сотне серверов в четырех дата-центрах.

В Badoo проверка работоспособности и обнаружение проблем с демонами лежат на плечах отдела мониторинга. Коллеги с помощью Zabbix и скриптов проверяют, запущен ли сервис, отвечает ли он на запросы, а также следят за версиями. Кроме того, в отделе анализируется статистика демонов и скриптов, работающих с ними, на предмет аномалий, резких скачков и т.п.



Однако у нас до недавнего времени не было очень важной части — сбора и анализа логов, которые каждый демон пишет локально в файлы на сервере. Зачастую именно эта информация помогает на самом раннем этапе поймать проблему или постфактум понять причины отказа.

Мы построили такую систему и спешим поделиться подробностями. Наверняка у кого-то из вас будет стоять похожая задача, и прочтение данной статьи убережет от ошибок, которые мы успели совершить.
Читать дальше →
Всего голосов 51: ↑50 и ↓1 +49
Просмотры 46K
Комментарии 53

Расширение функциональных возможностей Splunk – это просто

Python *Машинное обучение *
Из песочницы


Меня зовут Ткачев Константин, я работаю архитектором прикладных решений.

Предисловие


Хочу рассказать о том, как можно расширить имеющуюся функциональность платформы Splunk на примере библиотеки для машинного обучения scikit-learn (sklearn), реализованной в Python. В нашем примере мы будем использовать алгоритм «деревьев решений». Данный алгоритм не входит в стандартную поставку Splunk и ниже я покажу, что подключить его для реализации прикладной задачи можно, выполнив достаточно простые действия.
Читать дальше →
Всего голосов 14: ↑13 и ↓1 +12
Просмотры 11K
Комментарии 7

Поиск Use Case'ов для SIEM

Информационная безопасность *
Глоссарий:

SIEM (Security Information & Event Management) — программно-аппаратный комплекс для сбора информации о событиях (логи), их корреляции и анализа. Wiki.

Use Case (применительно к SIEM) — устоявшийся термин, обозначающий конкретный набор правил/скриптов и/или механизмов визуализации. Например, для обнаружения сканирования портов, сверки IP адреса с внешней репутационной базой и т.д. Use Case’ы можно писать самому, брать готовые с сайта производителя или заказывать у подрядчиков.



Задачей данной статьи является систематизация найденной информации по каталогам Use Case’ов и дополнительным ресурсам, а также активный диалог в комментариях. Поделитесь своим опытом, пожалуйста, а я буду обновлять пост полученной информацией.

Содержание:

1. Рейтинг SIEM в 2016 году
2. “Родные” магазины Use Case’ов на сайтах производителей SIEM
3. Рекомендации по самостоятельному написанию Use Case’ов
4. Заказная разработка: карта интеграторов
5. Сторонние каталоги Use Case’ов: SOC Prime UCL, форумы вендоров (список обновляется)
6. Ссылки на блоги и дополнительные ресурсы информационной безопасности, относящиеся к SIEM
Читать дальше →
Всего голосов 5: ↑5 и ↓0 +5
Просмотры 11K
Комментарии 13

10 вопросов для осознанного выбора SIEM-системы

Информационная безопасность *
Перевод
выбор очевиден?

Прим.переводчика: в оригинальном документе 2017 года также приводится краткий обзор 24 SIEM решений и смежных технологий. Дополнительно рекомендую отчет Gartner за 2014, 2015 и 2016 года.

Security Information and Event Management является сложным и дорогим решением по сбору, нормализации, анализу и корреляции информации из лог-файлов всех ИТ-систем, однако и результаты ее работы при правильной эксплуатации являются выдающимися. Портал Solutions Review подготовил список из 5 вопросов к себе и 5 вопросов к потенциальному поставщику, собрав ответы на которые, вы сможете более осознанно сделать выбор достойной SIEM системы для внедрения в вашей организации.
Читать дальше →
Всего голосов 9: ↑8 и ↓1 +7
Просмотры 6.8K
Комментарии 2

Splunk — общее описание платформы, базовые особенности установки и архитектуры

Блог компании TS Solution Системное администрирование *IT-инфраструктура *Серверное администрирование *
Tutorial
В рамках корпоративного блога компании TS Solution мы начинаем серию обучающих статей про такой продукт для анализа машинных данных как Splunk. Большинство статей будут представлять собой «how to tutorial», описание интересных кейсов и решение популярных проблем.

В данной статье мы кратко расскажем о самой системе и её назначении, а также рассмотрим варианты по её установке.

Читать дальше →
Всего голосов 9: ↑9 и ↓0 +9
Просмотры 80K
Комментарии 17

Splunk. Введение в анализ машинных данных — часть 1. Примеры SPL запросов и визуализация логов

Блог компании TS Solution Системное администрирование *IT-инфраструктура *Сетевые технологии *Серверное администрирование *
Tutorial


В данной статье мы расскажем и покажем как загрузить данные в Splunk, как строить поисковые запросы в системе на основе встроенного языка SPL и как можно их визуализировать. Это чисто практическая «How to» статья на основе тестовых данных, доступ к которым предоставляется свободно и доступен для скачивания всем желающим.

После прочтения и практического повторения Вы научитесь:

  • Пользоваться базовым функционалом системы
  • Загружать данные в Splunk
  • Строить базовые поисковые запросы
  • Визуализировать полученные результаты

Всего голосов 12: ↑12 и ↓0 +12
Просмотры 30K
Комментарии 11

Добавляем в Splunk бесплатные фиды IP Reputation

Информационная безопасность *Open source *Открытые данные *
В базе приложений Splunk есть много решений, которые позволяют делать Enrichment и добавлять информацию о том, что тот или иной IP-адрес выглядит подозрительным и «засветился» в той или иной reputation-базе. Однако, эти приложения либо платные (например, Recorded Future App, Kaspersky Threat Feed App), либо очень медленные (IP Reputation App, на момент написания к тому же не до конца доступен из-за maintenance с февраля месяца), поэтому мы решили разработать свой opensource плагин RST Cloud Threat Database Add-on for Splunk, который позволит собирать в единую базу разрозненные сведения из открытых источников и выдавать ответы на потоках в десятки тысяч запросов в секунду.
Читать дальше →
Всего голосов 15: ↑15 и ↓0 +15
Просмотры 4.4K
Комментарии 0

Splunk. Введение в анализ машинных данных — часть 2. Обогащение данных из внешних справочников и работа с гео-данными

Блог компании TS Solution Системное администрирование *IT-инфраструктура *Сетевые технологии *Серверное администрирование *
Tutorial


Мы продолжаем рассказывать и показывать как работает Splunk, в частности говорить о возможностях языка поисковых запросов SPL.

В этой статье на основе тестовых данных (логи веб сервера) доступных всем желающим для загрузки мы покажем:

  • Как обогатить логи информацией из внешних справочников
  • Как можно визуализировать географические данные (данные с координатами)
  • Как группировать цепочки событий в транзакции и работать с ними

Под катом вы найдете как сами примеры поисковых запросов, так и результат их выполнения. Вы можете скачать бесплатную версию Splunk, загрузить тестовые данные и повторить все на своем локальном компьютере.
Читать дальше →
Всего голосов 9: ↑9 и ↓0 +9
Просмотры 15K
Комментарии 3

Splunk + Check Point, пример анализа логов вашего фаервола

Блог компании TS Solution Системное администрирование *IT-инфраструктура *Серверная оптимизация *Сетевые технологии *
Tutorial

Если Вы не удовлетворены стандартными отчетами и средствами аналитики от Check Point, если Ваш Smart Event виснет и грузит ваш сервер, если отчеты Smart Event кажутся Вам несколько неинформативными… То почему бы не создать свои?



Сегодня мы расскажем как загрузить логи Check Point в Splunk, какие могут быть отчеты, и как, отфильтровать данные, чтобы лишний раз не грузить систему и уменьшить лицензию. И да, если Ваша компания не очень большая — то вы можете спокойно обойтись бесплатной лицензией.
Читать дальше →
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 9.1K
Комментарии 10

Обзор Splunk Machine Learning Toolkit

Системное администрирование *IT-инфраструктура *Сетевые технологии *Серверное администрирование *


Помимо того, что Splunk может собирать логи практически из любых источников и строить аналитические отчеты, дашборды, алерты на основе встроенного языка поисковых запросов SPL, о котором мы писали в предыдущих статьях, Splunk еще имеет очень большую базу бесплатных аддонов и приложений.

Сегодня мы рассмотрим одно из самых популярных, с точки зрения пользователей, приложений — Splunk Machine Learning Toolkit.
Читать дальше →
Всего голосов 20: ↑19 и ↓1 +18
Просмотры 11K
Комментарии 9

Анализ CDR Cisco и Asterisk телефонии с помощью Splunk

Блог компании TS Solution Системное администрирование *IT-инфраструктура *Cisco *Стандарты связи
На сегодняшний день существует классическая, с точки зрения аналитики, задача — анализ CDR телефонии. В рамках данной статьи мы расскажем о том, как две разные компании решали две совершенно разные задачи. Компания X анализировала CDR Cisco телефонии, а компания Y — CDR Asterisk телефонии. Почему мы пишем об этом в одной статье? Потому что в качестве инструмента для анализа обе компании используют Splunk, о котором мы много писали ранее.


Под катом вы найдете подробное описание задач и их решения с картинками и запросами.
Читать дальше →
Всего голосов 10: ↑8 и ↓2 +6
Просмотры 8.3K
Комментарии 11

Splunk 7.0. Что нового?

Блог компании TS Solution Системное администрирование *IT-инфраструктура *Серверная оптимизация *Серверное администрирование *


Месяц назад компания Splunk на своей 8-ой ежегодной конференции Splunk Conf 2017 презентовала выпуск нового мажорного релиза Splunk 7.0. В этой статье мы расскажем об основных нововведениях и улучшениях платформы, а также покажем пару примеров.
Читать дальше →
Всего голосов 11: ↑11 и ↓0 +11
Просмотры 5.4K
Комментарии 4

Mars IS расширяет функционал платформы операционного анализа SPLUNK

Блог компании Mars Анализ и проектирование систем *IT-инфраструктура *Машинное обучение *Бизнес-модели
Сбор, анализ и использование больших данных из технологической инфраструктуры – одно из важных развивающихся направлений работы Mars IS. В сегодняшней публикации мы расскажем о проекте по использованию платформы SPLUNK для мониторинга и анализа операционной деятельности IT-инфраструктуры и приложений.


Читать дальше →
Всего голосов 5: ↑3 и ↓2 +1
Просмотры 1.5K
Комментарии 0

Анализ Cisco CDR и логов Microsoft Exchange Server c помощью Splunk

Блог компании TS Solution Системное администрирование *IT-инфраструктура *Cisco *Big Data *


Сегодня электронная почта и телефонные звонки являются основными средствами коммуникации в бизнесе среде. Каждое сообщение или звонок могут потенциально принести доход компании, а один сотрудник может в день написать несколько сотен сообщений или совершить около сотни звонков. В данной статье мы расскажем, как с помощью Splunk можно анализировать логи Microsoft Exchange Server и Cisco Call Manager, а также чем это может быть полезно.
Читать дальше →
Всего голосов 4: ↑4 и ↓0 +4
Просмотры 4K
Комментарии 0

Анализ логов СКУД с помощью Splunk

Блог компании TS Solution Системное администрирование *IT-инфраструктура *Big Data *Визуализация данных
Если у Вас есть Система Контроля и Управления Доступом или, проще говоря, СКУД, но вы не знаете, как можно получить полезную информацию из данных, которые эта система генерирует, то эта статья будет полезна Вас.



Сегодня мы расскажем о том, как с помощью Splunk, о котором говорили ранее, можно получать аналитику по результатам деятельности СКУД, а также зачем это нужно.
Читать дальше →
Всего голосов 9: ↑8 и ↓1 +7
Просмотры 5.7K
Комментарии 5

Мониторинг эффективности работы IT-систем с помощью Splunk IT Service Intelligence

Блог компании TS Solution IT-инфраструктура *Серверная оптимизация *Серверное администрирование *Big Data *
Ни для кого не секрет, что бизнес непрерывно стремится к повышению своей конкурентоспособности. Кажется, что проще всего это сделать через инновации, давайте повысим эффективность одного-двух-трех бизнес-процессов с помощью современной, высокотехнологичной системы и будет нам счастье. Эта схема работает до тех пор, пока сложность нашей IT-системы не начинает работать против нас.



Вы знаете, насколько эффективно работают элементы вашей IT- инфраструктуры? Как они влияют друг на друга? Может быть, какой-нибудь элемент ухудшает работу системы в целом? Как понять, что это за элемент?
Читать дальше →
Всего голосов 9: ↑8 и ↓1 +7
Просмотры 3.9K
Комментарии 1

Splunk + Excel. Что получится?

Блог компании TS Solution Системное администрирование *Клиентская оптимизация *IT-инфраструктура *Big Data *
Tutorial
В предыдущих статьях мы много рассказывали о Splunk. Это продукт, который позволяет собирать и анализировать данные с любых IT-систем в режиме реального времени, например, это могут быть результаты работы web-сервера, почтового сервера, Windows, различных приложений и тд. Значит ли это, что если всем сотрудникам, заинтересованным в аналитике, полученной в Splunk, необходимо разбираться в работе программы, вносить изменения в свои бизнес-процессы и делать всю аналитику только в Splunk? Конечно же, нет!



В данной статье мы покажем, как сделать так, чтобы в несколько кликов отдел продаж мог получать в MS Excel таблицу, с актуальными данными о реализации товара через интернет магазин.
Читать дальше →
Всего голосов 13: ↑13 и ↓0 +13
Просмотры 5.4K
Комментарии 2