Обновить
48.28

Визуализация данных *

Облекаем данные в красивую оболочку

Сначала показывать
Порог рейтинга
Уровень сложности

ELK, SIEM из OpenSource, Open Distro: Составление отчетов

Время на прочтение3 мин
Охват и читатели6.2K

Чтобы защитить вашу корпоративную сеть от угроз и атак, вы всегда должны выполнять тест на уязвимости в своей системе. Для того, чтобы их исправить. Итак, как вы понимаете, работа с отчетами очень важна для любого SOC, потому что она дает обзор уязвимостей, которые могут быть в вашей системе.


В этой статье мы расскажем вам об инструменте, который мы использовали для создания отчетов и сканирования уязвимостей.

Читать дальше →

ELK, SIEM из OpenSource, Open Distro: Оповещения (алерты)

Время на прочтение6 мин
Охват и читатели15K

Здравствуйте и добро пожаловать в нашу новую статью, в которой будет рассказано об оповещениях (алертах) в нашем решении SOCaaS. Как вы все знаете, предупреждения в любом SOC играют жизненно важную роль при уведомлении группы реагирования.


Они могут прервать цепочку кибер-атак или отслеживать эту атаку, в зависимости от политики предприятия и команды. Вы, наверное, задаетесь вопросом, зачем нам нужно включать больше предупреждений. Разве модулей предупреждений Open Distro недостаточно? Это потому, что ему не хватает количества выходов и его интегрируемости с остальной частью нашего решения, например Thehive. Мы познакомим вас с другой альтернативой.

Читать дальше →

ELK, SIEM из OpenSource, Open Distro: Интеграция с WAZUH

Время на прочтение6 мин
Охват и читатели37K

Продвигаемся дальше по нашему проекту. Мы завершили часть SIEM. Пришло время перевести наш проект из простого наблюдателя в активного ответчика. Одним из важных инструментов, которые мы использовали для этого, является Wazuh. В этой статье мы надеемся просветить вас о преимуществах, предлагаемых этим инструментом. А также расскажем как его установить и использовать.


Wazuh — это механизм обнаружения, просмотра и сравнения соответствия безопасности с открытым исходным кодом.


Он был создан как форк OSSEC HIDS, позже был интегрирован с Elastic Stack и OpenSCAP, которые превратились в более комплексное решение.


Wazuh помогает вам получить более глубокую видимость безопасности в вашей инфраструктуре, отслеживая хосты на операционной системе и уровне приложений.

Читать дальше →

CATIA: из истории одного проекта

Время на прочтение9 мин
Охват и читатели17K
Насколько легко использовать возможности современных систем автоматизированного проектирования для автомобильной отрасли, включая инструменты моделирования поверхностей и функции работы с цифровыми макетами программного решения CATIA V5? Какой это дает эффект, какие возникают проблемы? Лучше всего показать это на конкретном примере.

В данном случае речь пойдет об одном из проектов компании «Ладуга».
Читать дальше →

ELK, SIEM из OpenSource, Open Distro: Визуализация информационных панелей ELK и SIEM в ELK

Время на прочтение4 мин
Охват и читатели12K

В этом посте будет описана настройка визуализации информационных панелей ELK и SIEM в ELK
Статья разделена на следующие разделы:


1- Обзор ELK SIEM
2- Дашборды по умолчанию
3- Создание ваших первых дашбордов

Читать дальше →

ELK, SIEM из OpenSource, Open Distro: Прогулка по open Distro

Время на прочтение6 мин
Охват и читатели15K

В этом посте будет описана установка и настройка open Distro для Elasticsearch.
В open Distro доступны следующие плагины:


  • Безопасность (Security )
  • Оповещение (Alerting )
  • SQL
  • Управление информационной безопасностью (ISM)
  • Анализатор производительности (Performance Analyzer )
Читать дальше →

Сравнение цен интернет магазинов

Время на прочтение3 мин
Охват и читатели6.7K


Здравствуйте дорогие хабровчане, в этой статье я сравнил цены трёх известных интернет магазинов wildberries, lamoda и kupivip, которые специализируются на продаже одежды. Я сравнил цены в общем, а также нашёл одинаковые товары и сравнил их. Также сосчитал уникальное количество брендов в каждом магазине. В общем получилась небольшая аналитика, кому это интересно прошу под кат.

Читать дальше →

ELK, SIEM из OpenSource, Open Distro: ELK stack — установка и настройка

Время на прочтение7 мин
Охват и читатели24K

ELK SIEM Open Distro: ELK stack — установка и настройка.


В этой главе будет описана установка и настройка ELK стека. Можно было бы эту главу пропустить и не переводить, но тогда потеряется нить между оригинальными главами.

Читать дальше →

ELK, SIEM из OpenSource, Open Distro: Введение. Развертывание инфраструктуры и технологий для SOC как Service (SOCasS)

Время на прочтение6 мин
Охват и читатели27K

ELK SIEM Open Distro: Введение. Развертывание инфраструктуры и технологий для SOC как Service (SOCasS)


За последние пару лет количество кибератак зашкаливает. Эти атаки нацелены не только на отдельных людей, но и на фирмы, правительства, критическую инфраструктуру и т. д. Традиционные решения, такие как антивирус, брандмауэр, NIDS и NIPS, больше не являются достаточными из-за сложности атак и их подавляющего количества.


Эта серия статей были задуманы как построение аналога SIEM на полном опенсорсе. Подробности будут представлены в следующих статьях.

Читать дальше →

Аномалии голосования по поправкам к Конституции России. Часть 2

Время на прочтение13 мин
Охват и читатели29K

Сcылка на первую часть


Основная цель второй части — это детально исследовать феномен массового рисования (выдумывания) результатов голосования на конкретных примерах.


Как и в первой части, все вычисления, визуализации и парсинг данных приведены в Google Colab, который доступен по этой ссылке Google Colab.


Читать дальше →

Первые шаги в визуализации данных с использованием Geopandas и OSM

Время на прочтение8 мин
Охват и читатели39K

image
У многих хоть раз возникала необходимость быстро нарисовать карту города или страны, нанеся на нее свои данные (точки, маршруты, тепловые карты и т.д.).
Как быстро решить такую задачу, откуда взять карту города или страны для отрисовки — в подробной инструкции под катом.

Читать дальше →

Визуализация статистики Яндекс Директ своими руками. От API до Data Studio

Время на прочтение3 мин
Охват и читатели5.9K
Мне, как специалисту по рекламе, требуется постоянно присматривать за клиентами. В этом мне помогает Data Studio.
Однако специалистам по рекламе редко выделяют бюджеты на аналитику, поэтому приходится делать все своими руками.

Что нужно сделать чтобы визуализировать Яндекс Директ в Data Studio:

  1. Получить токен от своего аккаунта (за этим в справку Директа)
  2. На Python Написать запрос к серверу Яндекс Директ
  3. Сложить статистику в Pandas Data Frame
  4. Отправить данные в Google Big Query
  5. Построить визуализацию в Data Studio на основе данных в Google Big Query


Читать дальше →

Blender для (геофизического) моделирования и визуализации

Время на прочтение5 мин
Охват и читатели8K

Недавно мы обсудили, как дополнить ранее построенную в ParaView геологическую модель вулкана Тамбора, Индонезия с помощью симуляции потоков дыма, воды, лавы,… в MantaFlow и визуализировать результаты в ParaView: Гидродинамическое моделирование (CFD) на рельефе с помощью MantaFlow и визуализация результатов в ParaView Сегодня мы посмотрим, что получится, если использовать "настоящий" софт для работы с трехмерной компьютерной графикой Blender. В последние его версии встроен тот же самый "движок" физически корректной гидродинамической симуляции MantaFlow, это многое упрощает. Как обычно, инструкции по преобразованию данных, исходные данные и проект Blender смотрите в моем GitHub репозитории: ParaView-Blender.


Tambora Volcano Plume Simulation


Визуализация наполнения магматических камер вулкана, взрыва и шлейфа извержения и потока лавы.

Ближайшие события

Язык запросов для TSDB. Улучшаем PromQL (Александр Валялкин, VictoriaMetrics) (2019г)

Время на прочтение15 мин
Охват и читатели19K


Добрый день! Сегодня я вам расскажу немного про PromQL. Это язык запросов для time-series баз данных. Затем расскажу, как мы его усовершенствовали в разрабатываемой нами time-series базе данных VictoriaMetrics.

Решения визуализации сети для повышения эффективности архитектуры сетевой безопасности и мониторинга

Время на прочтение6 мин
Охват и читатели6.6K
Визуализация сетевого трафика (network visibility layer) является на сегодняшний день критически важным компонентом сетевой архитектуры. Сотовые операторы, финансовые учреждения, государственные организации и крупные корпорации внедряют решения визуализации трафика на своих сетях, при этом совокупный среднегодовой темп роста в данном сегменте рынка по миру для некоторых отраслей достигает 25%.

Предпосылки


Как следствие цифровизации бизнеса и стремительного увеличения объемов и ценности трафика информационная безопасность превратилась в решающий фактор успешности практически любой компании. ИТ-инфраструктура даже небольших организаций непрерывно усложняется. Для обеспечения кибербезопасности бизнесы наращивают арсенал продвинутых программных и аппаратных средств защиты и мониторинга. Однако эффективность этих систем возможна лишь при обеспечении полной видимости сетевого трафика всей инфраструктуры.

Визуализация всего потока данных позволяет предоставить необходимую информацию о контролируемом трафике приложениям безопасности и мониторинга и устранить «слепые зоны» в сети, являющиеся потенциальным источником кибератак и других проблем с доступностью и качеством сервисов. Кроме того, визуализация трафика позволяет повысить производительность и эффективность использования ресурсов систем безопасности и мониторинга, защитить инвестиции в имеющиеся инструменты и сократить расходы на дополнительные лицензии, обычно зависящие от объема проходящего трафика.
Читать дальше →

Правильно [c]читаем параллельные планы PostgreSQL

Время на прочтение4 мин
Охват и читатели7K
Исторически, модель работы сервера PostgreSQL выглядит как множество независимых процессов с частично разделяемой памятью. Каждый из них обслуживает только одно клиентское подключение и один запрос в любой момент времени — и никакой многопоточности.

Поэтому внутри каждого отдельного процесса нет никаких традиционных «странных» проблем с параллельным выполнением кода, блокировками, race condition,… А разработка самой СУБД приятна и проста.

Но эта же простота накладывает существенное ограничение. Раз внутри процесса всего один рабочий поток, то и использовать он может не более одного ядра CPU для выполнения запроса — а, значит, скорость работы сервера впрямую зависит от частоты и архитектуры отдельного ядра.

В наш век закончившейся «гонки мегагерцев» и победивших многоядерных и многопроцессорных систем такое поведение является непозволительной роскошью и расточительностью. Поэтому, начиная с версии PostgreSQL 9.6, при отработке запроса часть операций может выполняться несколькими процессами одновременно.


Со схемами работы некоторых параллельных узлов можно ознакомиться в статье «Parallelism in PostgreSQL» by Ibrar Ahmed, откуда взято и это изображение.
Правда, читать планы в этом случае становится… нетривиально.
Читать дальше →

Хайповые строительные сектора и стоимость работ в Большом городе. Инфляция и рост чека в Сан-Франциско

Время на прочтение11 мин
Охват и читатели2.6K
Сан-Франциско — технологическая «Москва» нашего мира, на примере которого (при помощи открытых данных) можно наблюдать за развитием строительной отрасли в больших городах и столицах. В этом технологичном городе очень выраженно проходили экономические циклы, которые в разные временные промежутки, давали взрывной рост спроса разным секторам недвижимости.

Данные о более чем миллионе разрешений на строительство (записей в двух датасетах) от департамента по строительству Сан-Франциско — позволяют проанализировать не только строительную активность в городе, но и критически рассмотреть последние тенденции и историю развития строительных секторов и спроса на недвижимость за последние 30 лет.

В прошлой статье была рассмотрена общая годовая сумма строительных объемов (инвестиций) в Сан-Франциско в период с 1980 по 2018 год. По разнице между ожидаемой (сметной) и фактической (пересмотренной) стоимостью строительства отслеживались движения настроений инвесторов в периоды экономических бумов и кризисов в регионе.

Взлёты и падения строительной отрасли Сан-Франциско. Тенденции и история развития строительной активности



В данной статье рассмотрим подробнее отдельные отрасли строительства: ремонт крыш, кухонь, лестниц и ванных комнат. После этого сравним инфляцию по отдельным типам работ с данными по официальной инфляции и другими экономическими показателями.
Читать дальше →

Как машинное обучение спасает деревья в Екатеринбурге

Время на прочтение7 мин
Охват и читатели5.3K


Привет, Хабр! Мы сотрудники екатеринбургского офиса NAUMEN. Делимся интересным проектом – интерактивной картой деревьев на основе нейросетевых алгоритмов. В ее создании также участвуют студенты УрФУ и волонтеры нашего города.


Многие современные мегаполисы сталкиваются с проблемой недостатка зеленых насаждений, и Екатеринбург не исключение. Точечная застройка центральных районов и, как следствие, незаконные вырубки, сокращение парковых массивов не помогают улучшить ситуацию. Думаем, эта проблема знакома жителям многих российских городов. Одно из решений – создать регулярно обновляемую интерактивную карту деревьев, доступную всем. С ее помощью можно будет узнавать, сколько деревьев уже растет в городе, сколько их должно быть и в каких районах необходимы дополнительные посадки.


Проводить опись зеленых насаждений вручную – долго и неэффективно. На помощь приходят современные технологии: аэрофотосъемка, изображения Street View, съемка LiDAR-систем и дронов. Среди многообразия источников данных для получения информации об объектах городской среды наиболее доступными и относительно дешевыми являются панорамные фотографии со Street View. С их помощью можно обучить нейросеть распознавать на снимках деревья, определять их геолокацию и наносить их на карту города. Как проходил этот процесс и каких результатов удалось добиться – читайте в статье.


Читать дальше →

Гидродинамическое моделирование (CFD) на рельефе с помощью MantaFlow и визуализация результатов в ParaView

Время на прочтение5 мин
Охват и читатели8.9K

Дисциплина Computational fluid dynamics(CFD) или, на русском языке, Вычислительная гидродинамика изучает поведение различных потоков, в том числе вихревых. Это и моделирование цунами, и лавовых потоков, и выбрасываемых из жерла вулкана камней вместе с лавой и газами и многое другое. Посмотрим, как можно использовать совместно MantaFlow и ParaView, реализовав на встроенном в MantaFlow языке Python необходимые функции конвертации данных. Как обычно, исходный код смотрите в моем GitHub репозитории: MantaFlow-ParaView.


Tambora Volcano Plume Simulation


Визуализация шлейфа извержения вулкана. Мы уже видели эту картинку в серии статей про визуализацию в ParaView Как визуализировать и анимировать (геофизические) модели, обсуждали создание геологических моделей в статье Методы компьютерного зрения для решения обратной задачи геофизики, а теперь поговорим и о моделировании дыма.

Увидеть истинное лицо продукта и выжить. Данные о пользовательских переходах как повод написать пару новых сервисов

Время на прочтение10 мин
Охват и читатели3.5K


В интернете сотни статей о том, какую пользу приносит анализ поведения клиентов. Чаще всего это касается сферы ритейла. От анализа продуктовых корзин, ABC и XYZ анализа до retention-маркетинга и персональных предложений. Различные методики используются уже десятилетиями, алгоритмы продуманы, код написан и отлажен — бери и используй. В нашем случае возникла одна фундаментальная проблема — мы в ISPsystem занимаемся разработкой ПО, а не ритейлом.
Меня зовут Денис и на данный момент я отвечаю за бэкенд аналитических систем в ISPsystem. И это история о том, как мы с моим коллегой Данилом — ответственным за визуализацию данных — попытались посмотреть на наши программные продукты сквозь призму этих знаний. Начнем, как обычно, с истории.

Читать дальше →