Визуализация данных *

Это вторая (и заключительная) часть цикла статей о нашей миграции с Zeppelin. О причинах и первом опыте перехода с Zeppelin я рассказал здесь. В данной статье я хочу большее внимание уделить второму виду Zeppelin notebook, которые срочно нуждались в переносе.
Конечно, отчеты для клиентов не были настолько "забагованы" как рассылки: большая часть проблем с Zeppelin крылась именно в cron-е, который временами работал как хотел (или в интерпретаторах, мы так и не смогли разобраться, но ошибка интерпретатора возникала только когда запускали через cron). В отчетах этого звена не было, поэтому их перенос был плавным и основан скорее на особенностях UI/UX дизайна.
Данная статья может быть полезна аналитикам, которые не знают, какой инструмент использовать для своих задач и думают, что писать графический интерфейс крайне сложно (спойлер, нет), а также для команд, которые устали от Zeppelin как UI-инструмента (и от Zeppelin в целом)

Я давно торгую на рынках криптовалют, металлов, форексе. И большинство трейдеров знает, что на финансовых рынках значительная часть инструментов движется не изолированно, а в составе коррелирующих групп. Валютные пары, индексы, криптоактивы и производные индексы часто демонстрируют согласованное поведение, поскольку отражают одну и ту же макроэкономическую или риск среду.

Среды таких активов я выделяю особые 'триады активов' - активы с максимальной корреляцией, где расхождение является прямым сигналом. Эти триады - почти общепризнанные тройки. Именно по этим триадам мы будем искать интересное расхождение - PSP. Оно является отличным подтверждением в торговле.

Для упрощения его поиска и работы с ним напишем Pine Script индикатор. Я разберу для вас логику работы psp, логику его использования в торговле, объясню полностью код индикатора и структуру pine script.

В сети 26 кофеен на 240k чеков в месяц всё выглядело достаточно хорошо (поток гостей, выручка растёт, но прибыль не соответствует ожиданиям). Рассказываю, как мы собрали ежедневную BI аналитику для управления сетью: от R-Keeper и ETL до витрин в ClickHouse и дашбордов в Yandex DataLens. По дороге упёрлись в типичную проблему: справочники, из-за которых отчёты неточны.

Всем, у кого есть любимая интересная работа, наверное хотелось рассказать о ней своим детям, увлечь их, показать, как это здорово и полезно! И пусть они не пойдут по нашим стопам, но хотя бы будут уважать и ценить то, чем увлечены родители. 

Может быть это мечты, иногда хочется попробовать рассказать в красочной и интересной форме о нашей работе своим детям.

Всем привет! На связи практика Business Intelligence GlowByte. Открываем год полезной информацией. 

В 2022 году мы опубликовали на Habr статью про выбор BI-платформы, публикация набрала более 24 000 просмотров. Тогда наш подход был простым: составили большую таблицу сравнения по множеству критериев, поставили баллы — и вуаля, выбирайте лидера.

Четыре года спустя понимаем: такой подход работал для своего времени, но сегодня устарел. В условиях большой неопределенности компании действительно искали универсальные решения "на все случаи жизни". Логика была понятной: выбираем один инструмент, который закроет максимум потребностей на годы вперед.

Но рынок BI созрел. Заказчики стали подходить к выбору осознаннее, исходя не из абстрактного функционала, а из конкретных бизнес-сценариев. И оказалось, что попытка найти "универсальную пилюлю" часто приводит к разочарованию.

Расскажу, как мы в GlowByte пересмотрели методику выбора BI и почему сценарный подход работает эффективнее.

Начнем данную статью с казалось бы простого вопроса: "Кто такие клиенты и зачем их считать?". Ответ на данный вопрос не такой простой и вообще философский! Каждая компания и человек в отдельности ответят на него по-своему.

В телеком компании вам скажут: "Клиент = абонент. Мы считаем их прирост, а также дни, в течение которых они платят нам абонентскую плату.". В небольшой парикмахерской вам, возможно ответят так: "Ну вот кто пришел стричься, тот и клиент. Считаем количество тех, кто постригся за отрезок времени.". Подсчет клиентов может даже пригодиться для оценки компании третьими лицами, здесь также используются свои методологии. И так далее... Думаю, мораль ясна, каждый определяет для себя сам, кто является клиентом и как их считать.

Но может быть существует более универсальный способ подсчета клиентов? В следующих разделах я постараюсь предоставить такой способ, пусть меня рассудят в комментариях.

Привет, меня зовут Григорий, я Senior UX Researcher в Атоме и занимаюсь основным интерфейсом автомобиля и разработкой прототипа для тестирований.
Наша сфера меняется очень быстро и просто быть в курсе – недостаточно. Если специалист уже «встал на крыло» и сформировал свой мыслительный шаблон, ему становится сложно воспринимать и применять новые подходы, а это тормозит дальнейший рост в профессии.

Мне такое не подходит. Чтобы не ржаветь и регулярно выглядывать за пределы привычного, ищу разную/профессиональную литературу, которая подбрасывает новые идеи.

Расскажу, что из последнего меня особенно зацепило.  

В предыдущей статье я разобрался с устройством формата файлов ECG кардиограммы цифрового портативного кардиографа «Кардиан-ПМ». Это было сделано с целью получения доступа к информации о кардиограмме с помощью какого-либо другого ПО. Идея пришла использовать формат EDF – популярный формат временных рядов с открытой спецификацией. Как оказалось, этот формат используют на практике также для хранения кардиограмм. Одна из популярных программ, где можно открыть этот формат, – EDFbrowser. Именно с этой программой я и предпочёл работать.

Сравнение натриевых и литиевых аккумуляторов

Сейчас литиевые аккумуляторы используются почти везде, так как у них наибольшая плотность энергии по сравнению с доступными на практике альтернативами. Однако в настоящее время появились ниши, где масса и объём менее критичны, а ключевыми факторами становятся стоимость, безопасность и низкотемпературная работоспособность.

Натриевые аккумуляторы потенциально обладают этими преимуществами по сравнению с литиевыми.

Также натрий гораздо более распространенный и дешевый элемент, что тоже имеет немалое значение.

Уровень развития технологии

Вот, что мне удалось найти, относительно серийного выпуска натриевых аккумуляторов:

Представьте: вы показываете нейросети фотографию кота, и она уверенно говорит «кот». Отлично! Но почему она так решила? Увидела усы? Уши? Или, может быть, диван на заднем плане, потому что в обучающей выборке коты часто лежали на диванах?

Нейросети называют «чёрными ящиками» не просто так. Внутри типичной модели для распознавания изображений — миллионы параметров, организованных в десятки слоёв. Данные проходят через эту махину, и на выходе появляется ответ. Но что происходит между входом и выходом — загадка даже для создателей модели.

Это не просто академическое любопытство. Когда нейросеть решает, давать ли вам кредит, ставит медицинский диагноз или управляет автомобилем — хочется понимать, на что она опирается. Не выучила ли она какие-то странные закономерности? Не обманется ли на необычных данных?

Хорошая новость: способы заглянуть внутрь существуют. Один из самых наглядных — Activation Maximization, или метод максимальной активации. Его идея проста и красива: мы буквально спрашиваем у каждого нейрона, что он хочет увидеть больше всего. А потом смотрим на ответ.

В этой статье разберём, как работает этот метод, что можно увидеть с его помощью, и почему это полезно не только исследователям, но и практикующим инженерам.

Эта статья проведёт вас через классический проект по машинному обучению — анализ датасета Titanic. Мы разберём полный цикл работы: от первоначального знакомства с данными и их очистки до построения и валидации первых предсказательных моделей. Вы узнаете, как преобразовывать категориальные признаки, создавать новые переменные, бороться с пропущенными значениями и оценивать качество моделей через ключевые метрики. На примере Random Forest и логистической регрессии наглядно показываю, как разные алгоритмы решают одну задачу и почему выбор модели зависит от поставленной цели.

Привет всем! Меня зовут Лера, занимаюсь развитием строительной модели и электронной исполнительной документацией в Sminex.

Цифровые технологии на стройке призваны снижать сроки и затраты. Но при внедрении автоматизации в устоявшиеся повседневные процессы возникает риск отрыва технологичной теории от реальной практики. В статье поделимся своим опытом: как при помощи BIM-технологий мы разработали и внедрили строительную цифровую модель, добились прозрачности данных и сократили трудозатраты в 10 раз. 

Недавно я был на интересной лекции по созданию моделей личности с помощью сверхбольших промптов для LLM в библиотеке им. Фёдорова от лектория «Футурчай». Концепции, прозвучавшие на ней, оказались настолько интересными, что я решил познакомить с ними Хабр.

Представьте: в отчете о продажах появляется таблица. Формально - все на месте. Данные корректные, структура логичная, визуальный порядок соблюден. Но стоит открыть документ, как чтение превращается в маленький квест: взгляд блуждает, сравнивать показатели не очень удобно, главное не сразу считывается.

Почему так происходит? И главное - что именно в таблице мешает работать с ней быстро и уверенно?

Предлагаем сначала взглянуть на пример внимательно. Подумайте, какие элементы интерфейса вы бы улучшили в первую очередь.

Есть такое направление в визуализации данных — называется Дата‑арт. То есть, когда данные пытаются визуализировать творчески, не с целью сделать их понятными, а с целью передать эмоции или привлечь внимание к эстетической красоте проекта на основе данных. 

И вот, изучая и классифицируя проекты в этой коллекции (их там несколько сотен), я обнаружила, что в дата‑арт направлении есть набор проектов, которые явно вдохновлены пейзажами — и я выделила их в отдельную группу. 

Привет, Хабр! С каждым годом ИИ способен решать более сложные задачи, одной из задач является понимание DAX, связанных предметных областей и генерация кода. Можно выделить несколько задач, которые не являются первостепенными, тем не менее актуальны для анализа или работы в Power BI, например, от простейших — создание клиента для выполнения DAX запросов в Power BI из произвольной среды (например, из .NET приложения) и импорт метаданных TOM модели, до более сложных задач — экспорта схемы данных и самих данных из Power BI в произвольную СУБД (понятно, что такая задача не всегда актуальна с точки зрения ETL, т.к. проще взять данные из исходных источников, а не из Power BI, но польза решения задачи «интуитивно понятна» пользователю) и задач генерации SQL запросов на основе DAX для заданной СУБД, причем результаты сгенерированного SQL должны совпадать с результатами DAX запросов.

Интересующимся применением ИИ на примере DAX из Power BI — добро пожаловать под кат :)

Рассказываю и наглядно показываю как делать понятные и красивые дашборды без лишнего шума, которые ответят на вопросы пользователей, а не создадут новые.

📊 Знаете, что общего у температуры в городах и валютных курсов? И то, и другое — относительные величины. У вас есть разницы, но нет абсолютных значений.

Можно ли из одних лишь парных котировок вроде EUR/USD или USD/JPY вычислить внутреннюю, абсолютную стоимость каждого доллара, евро или йены? Оказывается, можно — и для этого не нужен волшебный экономический калькулятор.

В этой статье мы делаем то, что звучит как задача для детектива: восстанавливаем абсолютные значения из одних лишь отношений. С помощью чистого Python и метода наименьших квадратов мы превращаем сеть из 85 рыночных котировок в единую шкалу стоимости для 45 валют.

Что вас ждёт:

Матрицы, логарифмы и МНК — как линейная алгебра очищает финансовые данные от шума.

Рабочий код — от построения матрицы инцидентности до ежедневного расчёта.

Фокус с разоблачением — на примере USD/JPY покажем, как понять, что на самом деле движет парой: укрепление доллара или ослабление йены?

Масштабирование до 153 валют — как та же математика работает для всей мировой системы.

Если вы когда-либо задумывались, как устроена «кухня» валютного рынка за пределами парных графиков — эта статья для вас. Переходите, чтобы узнать, как превратить относительность в абсолют.

Привет, Хабр! Меня зовут Евгений Мичурин, я senior BI-разработчик в Авито.

Если у вас BI растёт хаотично — вы наверняка сталкивались с тем же, что и мы: сотни дашбордов, разный стиль, неясные владельцы, дублирующиеся датасеты. В какой-то момент это превращается в хаос, где пользователи не доверяют данным, а self-аналитика становится невозможной.

Мы решили навести порядок и создали фреймворк автосертификации BI‑отчётов. В этой статье рассказываю, как он работает, какие критерии мы выбрали и как мотивировали команды участвовать в процессе.

DAX содержит гибкие возможности фильтрации, и важными функциями являются ALL и REMOVEFILTERS. При использовании ALL и REMOVEFILTERS в качестве модификатора CALCULATE они ведут себя одинаково, т.к. в этом случае REMOVEFILTERS является псевдонимом ALL, однако ALL в FILTER возвращает «новую таблицу» и очищает влияние всех фильтров, что важно учитывать с точки зрения производительности и результатов.

Интересующимся особенностями ALL и сравнением ALL и REMOVEFILTERS  — добро пожаловать под кат :)