Как стать автором
Поиск
Написать публикацию
Обновить
41.08

Визуализация данных *

Облекаем данные в красивую оболочку

Сначала показывать
Порог рейтинга
Уровень сложности

Wi-Fi без Интернета на рейсе Southwest

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров14K

Недавний полет я провел, пытаясь выяснить, что можно сделать, подключившись к Wi-Fi на борту самолета, но без доступа к Интернету.

Читать далее

Аналог Tableau LOD в FineBI: 15 типичных кейсов

Уровень сложностиСредний
Время на прочтение18 мин
Количество просмотров4.6K

Хабр, привет! На связи команда Business Intelligence GlowByte. Хотим поделиться статьей китайского автора и бизнес-аналитика, активного пользователя FineBI. Он рассмотрел решение 15 типичных кейсов в Tableau и FineBI, провел сравнение инструментов, а также сделал вывод относительно их преимуществ и недостатков. Для интересующихся темой этот материал – находка. Если вы ищете больше информации и ответов на вопросы, смело приходите к нам в комьюнити FineBI в России, созданное Business Intelligence GlowByte.

15 типичных кейсов в Tableau и FineBI

Детекция дефектов дорожного покрытия без размеченных данных: Хакатон, LiDAR, RANSAC, ICP и 44 бесcонных часов

Уровень сложностиСредний
Время на прочтение14 мин
Количество просмотров6K

Здравствуйте, читатели Хабра! Решил активнее вкатываться в DS (хотя уже больше года в "теме" и даже нет ни одной публикации, ужас) и написать первую статью на Хабре.

В данной публикации я расскажу о проекте для детекции дефектов дорожного покрытия с использованием лидара, проблемах с данными и как нам помогли алгоритмы RANSAC, ICP, а так же линейная алгебра. Конечно же с каплей математики и реализацией в коде, поэтому будет интересно, если вы не знакомы еще с данными алгоритмами.

Читать далее

Вышел Chipmunk.v3

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров3K

Вышла новая версия программы для просмотра и анализа логов — Chipmunk v.3. Инструмент был полностью переработан с упором на производительность и переосмыслен с акцентом на простоту и удобство использования. Под капотом очень краткое описание нововведений и возможностей.

Читать далее

Как оценивать технический риск ИБ при разработке приложений

Уровень сложностиПростой
Время на прочтение9 мин
Количество просмотров3.1K

Всем привет! С вами снова Антон Башарин, технический директор Swordfish Security. В предыдущих статьях мы рассказывали об обработке обнаруженных при сканировании уязвимостей – о дедубликации, автоматических правилах, приоритизации и других функциях инструмента класса ASOC, которые позволяют облегчить работу инженеру ИБ. А также о Shift-Left подходе к безопасности в разработке приложений. Сегодня мы хотим затронуть не менее важную тему в управлении ИБ. Поговорим об отслеживании технического риска информационной безопасности и его оценке для портфеля приложений. В этом мне поможет наш аналитик данных, Анастасия Арсеньева. В статье расскажем о различных метриках для оценки риска, об их сходствах и различиях, — и покажем это на дашборде, разработанном нами для модуля визуализации метрик DevSecOps в рамках развития платформы AppSec.Hub.

Читать далее

Мониторинг и логирование 1С систем

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров19K

Практически в каждой организации присутствуют информационные системы, реализованные на платформе 1С.

Описание основных инструментов, их ограничений и способ нивелирования.

Читать далее

Opensource или проприетарное ПО: плюсы и минусы. Мнение

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров7K

Привет, Хабр! На связи Александр Чебанов, product owner компании Modus.

Сегодня хочу затронуть популярную и, чего уж там, холиварную тему плюсов и минусов проприетарных систем и opensource. И тот, и другой метод разработки имеет своих защитников и последователей, и споры – что же лучше? – не утихают. В этой статье порассуждаю об этом в разрезе аналитических систем.

Читать далее

Электоральная статистика выборов губернатора Московской области 2023 года

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров4K

По итогам голосования 8-10 сентября 2023 года Андрей Воробьев сохранил за собой должность губернатора Московской области. Официально опубликованный результат выборов следующие: 83.56% Воробьев А.Ю., 4.82% Жигарев К.С., 6.37% Наумов А.А., 4.06% Никитин А.Ю.

Попытаемся оценить электоральную статистику голосования, визуализировать ее, поискать аномалии.

На сайте ЦИК РФ по-прежнему присутствуют препоны для копирования первичных данных по участкам, поэтому эти данные взяты из телеграм-канала Бориса Надеждина.

Для начала рассмотрим диаграммы зависимости результатов победителя и суммы результатов проигравших от явки.

Читать далее

Оцифровка звука FPGA платой MCY316

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров3.3K
image

Вот уже почти закончился сентябрь. Студенты уже давно вернулись за парты и учатся.
Многие начали изучать цифровую обработку сигналов. А как известно, лучше предмет пощупать один раз своими руками, чем десять раз прочитать о нём в учебнике.

В этой статье я расскажу о захвате звукового сигнала платой FPGA MCY316. Захват сигнала это только первый этап перед обработкой. Получим сигнал и передадим эти данные в ПК. Если всё получится, то в следующих работах добавим в ПЛИС цифровой фильтр
Читать дальше →

BI-инструмент от Яндекса DataLens — теперь в опенсорсе

Время на прочтение7 мин
Количество просмотров66K

Сегодня мы опубликовали на GitHub под открытой лицензией Apache 2.0 исходный код Yandex DataLens — сервиса для анализа и визуализации данных. Теперь использовать опенсорс-версию DataLens может любой желающий и в любой инфраструктуре. 

Меня зовут Павел Дубинин, вместе с Гаджи Гаджиевым мы в Yandex Cloud занимаемся развитием DataLens. Сегодня расскажем, какие задачи он помогает решать разным пользователям, какие возможности открываются с выходом в опенсорс и что можно развернуть у себя прямо сейчас.   

Читать далее

Сам себе BI-аналитик или как навести порядок в отчётности компании

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров11K

Привет, Хабр! На связи аналитики Кошелька. Наша команда состоит из 13 дата-аналитиков, 5 DE-инженеров, 2 ML-инженеров и ровно 0 BI-аналитиков. Что мы любим делать? Определять метрики и рисовать дашборды. Что нужно заказчику? Метрики и дашборды (а еще достижение целей и выручка, но не будем сейчас об этом).

В этой статье мы собрали инструкцию, как можно навести порядок в отчётности без отдельных BI-аналитиков, и с какими проблемами вы можете столкнуться в процессе.

Читать далее

Сертифицируй ЭТО: как получить сертификат ФСТЭК на новейшую версию ПО

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров10K

Привет! Сегодня наш разговор пойдет про сертификацию ФСТЭК и про тонкости этого процесса. Этот пост — не про теорию, а про практику, которая позволила нам получить одобрение ФСТЭК на версию 2.32 (на тот момент являлась новейшей - сейчас есть еще 2.33). Мы расскажем о том, что все это значит для пользователей нашей BI-платформы (из первых уст), а также почему мы уверены, что сертификация — это правильная практика не только “для бумажки”, но и для реальной пользы дела. Надеюсь, многое из этого текста окажется полезно как разработчикам российского ПО, так и его пользователям. Все подробности процесса нашей сертификации, в том числе мучительные — под катом!

Читать далее

Разбираемся в отличии среднего чека от ARPU на примере одного интернет-магазина

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров8.1K

Ко мне обратился коллега с вопросами про бизнес-метрики – средний чек и ARPU.

В этой статье я разобрался в бизнес-метриках и ответил на вопросы:

- Что такое ARPU и средний чек? Как их рассчитывать? На какие вопросы они отвечают и для чего нужны? 

- Могут ли они ARPU и средний чек быть  равны между собой? Будут ли отличаться в динамике месяц от месяца?

- Что если в бизнесе кол-во продуктов фиксировано и все они с одинаковой ценой? Будет ли показатель от месяца к месяцу одинаков? А если рассчитывать среднюю выручку?

А для наглядности – рассчитал данные метрики на реальных данных интернет-магазина.

Читать далее

Ближайшие события

Почему мой любимый API — это файл zip на сайте Европейского центрального банка

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров31K

Когда был максимальный курс доллара к евро?

Вот небольшая программа, вычисляющая это:

curl -s https://www.ecb.europa.eu/stats/eurofxref/eurofxref-hist.zip \ | gunzip \ | sqlite3 -csv ':memory:' '.import /dev/stdin stdin' \ "select Date from stdin order by USD asc limit 1;"

Результат: 2000-10-26. (Можете попробовать запустить её самостоятельно.)

Читать далее

Логика и принципы построения BI-дашборда

Уровень сложностиПростой
Время на прочтение9 мин
Количество просмотров23K

Привет, Хабр!

Важная составляющая BI – это читаемый и понятный дашборд с визуальными элементами. Поэтому сегодня поговорим об общих принципах: этапах и логике построения, способах и инструментах для визуализации различных данных.

Статья будет полезна тем, кто только планирует начать применять BI в своей компании. Сложной технической информации тут не будет.

Читать далее

Ad-hoc мониторинг: сбор, хранение и визуализация данных

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров4.1K

Готовим гибридную систему мониторинга + щепотка observability дабы нанести непоправимую пользу всему прогрессивному человечеству. С ароматом кофе, перед использованием можно добавить свои данные по вкусу.

Вход в картинную галерею

Моделирование биологических явлений с помощью Python

Уровень сложностиСредний
Время на прочтение15 мин
Количество просмотров9.3K


Автор статьи: Артем Михайлов

Моделирование биологических явлений позволяет нам лучше понимать и прогнозировать поведение живых систем, начиная от популяционных динамик до молекулярных взаимодействий. Биологические явления нередко слишком сложны, чтобы быть полностью понятыми на интуитивном уровне, и моделирование предоставляет нам мощный инструмент для их анализа.

Моделирование биологических систем позволяет ученым исследовать разнообразные аспекты биологии, такие как динамику популяций, структуру генных сетей, взаимодействие молекул внутри клеток и многое другое. Это полезно не только в фундаментальных исследованиях, но и в практических областях, таких как медицина, сельское хозяйство и экология.
Читать дальше →

DIY-маркетинг: как проанализировать спрос на рынке с помощью KeyCollector, Python и DataLens

Время на прочтение4 мин
Количество просмотров2.6K

Исследовать поисковый спрос — обычная задача для SEO-специалиста: просто собираешь запросы, смотришь сезонность и делаешь выводы. Но что если нужно исследовать целую сферу бизнеса типа авторынка, на котором представлено очень много брендов, а сроки и ресурсы ограничены? Включаем воображение и расширяем инструментарий. Делимся своим хитрым способом.

Я Женя Кузнецов, диджитал-стратег JetStyle. Мы исследуем китайский авторынок в РФ, и анализ поискового спроса — часть этой работы. Мы решили распарсить Вордстат за два года и собрать список всех брендов с интентами и сезонностью, а потом визуализировать в BI, чтобы увидеть наглядную динамику и тренды. Расскажу пошагово, как мы действовали.

Читать далее

Занимательные картинки электоральной статистики на выборах в Государственную Думу 2021 года по 118 ОИК

Уровень сложностиПростой
Время на прочтение2 мин
Количество просмотров4.7K

В первой и второй предыдущих статьях на данную тему мы рассматривали аномалии выборной статистики по 125 избирательному округу по партийным спискам на выборах в Государственную Думу 2021 года, теперь сместимся по Подмосковью северо-западнее и рассмотрим электоральные аномалии по результатов выборов по 118 одномандатному избирательному округу.

В связи с отсутствие нормальной возможности копировать первичные данные УИК с сайта ЦИК РФ, данные взяты из телеграм-канала t.me/RUElectionData.

Для начала Вашему вниманию итоги выборов по одномандатному округу.

Читать далее

Анализ данных с использованием библиотеки Dask

Уровень сложностиСредний
Время на прочтение14 мин
Количество просмотров13K


Автор статьи: Артем Михайлов


Dask — это мощная библиотека для параллельных и распределенных вычислений в Python, предназначенная для работы с большими объемами данных. Она разработана с учетом того, чтобы предоставить инструменты для высокоуровневого управления вычислениями, которые могут быть выполнены параллельно или распределенно на нескольких вычислительных узлах. Основной целью Dask является упрощение обработки данных, которые не помещаются в оперативной памяти одного компьютера.

Dask может использоваться для выполнения разнообразных задач, включая анализ данных, обработку изображений, машинное обучение, и многое другое. Его фундаментальной концепцией является создание графа задач, который описывает вычисления и зависимости между ними. Затем этот граф может быть выполнен параллельно или распределенно.
Читать дальше →