Визуализация данных *

Всем привет! Меня зовут Александр Цай, я ведущий инженер-аналитик в МТС Web Services.
Занимаюсь всем, что связано с данными и ИИ. Найти, заполучить, обработать, спроектировать, развернуть — это все ко мне.

Опущу все нудные подробности, решили мы развернуть себе Superset 6.1.0 — последнюю версию, но столкнулись с тем, что заказчику категорически не нравится штатный фильтр по датам и он не хочет пересаживаться со своего BI, а хочет он календарик. А еще — пару плагинов с оглядкой на PowerBI. Поэтому встал вопрос создания собственного плагина-фильтра.

Казалось бы, задача несложная. Пара-тройка гайдов в en сегменте имеется, есть даже документация и штатный генератор шаблонов. Но по факту оказалось, что все это не работает. Генератор так вообще не обновлялся аж с 2024 года: выдает шаблон, который ссылается на уже несуществующие классы и типы, что автоматически делает все гайды неактуальными…

А что все это значит? Время написать свой собственный!
Об этом и расскажу в сегодняшнем материале. 

Дисклеймер: Я питонист до мозга костей и в тайпскрипте, да и фронте в целом, понимаю не очень много. Простите меня, адепты сего языка программирования, но код самого плагина навайбкожен (хоть и проверен насколько я смог).
В npm не запушил тоже умышленно, цель статьи — дать исходники и показать, как можно собрать плагин. Любой желающий может что-то додумать и доработать, собрать или разобрать и так далее.

Итак, два ряда чисел. Первый — насколько высоко пик каждого цикла стоял над трендом:

1.03 → 0.81 → 0.46 → 0.06

Второй — насколько глубоко дно уходило под тренд:

−0.28 · −0.24 · −0.38 · −0.37

Верхний ряд схлопывается монотонно, четыре цикла подряд, пятнадцать лет. Нижний стоит на месте: все четыре дна укладываются в коридор шириной 0.14. Пик декабря 2013 года стоял над трендом в десять раз. Пик октября 2025 превысил тренд на 15%.

Расхожая формулировка «четырёхлетний цикл умер» склеивает три разные вещи в одну. Тайминг цикла держится как держался: пики приходили на 13, 17, 18 и 18-й месяц после халвинга, максимальные падения — на 26, 29, 30 и 26-й. Дно не затухло вообще. Умер эйфорический верх.

Из этого наблюдения выросла интерактивная сквозная модель:

Cross-scale Bitcoin price model (исходники, русская версия).

Далее — что там внутри, где оно ломается, и что должно или может произойти.

В этой статье рассказываем о реальном опыте переноса решения Retail Analytics (платформа аналитики для ритейла от Lasmart) с Microsoft SQL Server Analysis Services (SSAS Multidimensional) на Alpha OLAP, входящий в состав российской аналитической платформы Alpha BI.

Привет, Хабр! Меня зовут Лилиана Муллаярова, я маркетолог продукта Alpha BI. Статью готовили с командой продукта Alpha BI и командой нашего партнёра Lasmart, который и проводил миграцию Retail Analytics. Мы сравним, как система работала на MS SSAS, а как на Alpha OLAP, где получили прирост производительности, а где пришлось менять подходы. И главное: стоит ли игра свеч, если вы сегодня выбираете между «остаться на SSAS» или «мигрировать на российский OLAP».

Двенадцать лет незнакомые люди ставили друг другу баллы от 1 до 10. В базе накопилось 24 миллиона оценок от 110 тысяч человек из 232 стран. Мы залезли в собственный PostgreSQL и нашли четыре вещи, которых не ожидали: провал на девятке, разрыв в 1,14 балла в том, как мужчины оценивают мужчин, разброс по странам в 2,4 балла и падение щедрости по ходу сессии.

Создаём отдельный BI-дашборд на данных Битрикс24, в котором можно менять визуализацию и поддерживаемые настройки отчёта запросами к ИИ.

В статье — ссылка на готовый редактор, описание принципов его работы и промпты для самостоятельного повторения.

Есть класс ошибок, которые проходят все ручные проверки и спокойно доезжают до продакшена. Не пятисотки, не пустые поля, не сломанная структура — с этим как раз всё в порядке. Речь про случаи, когда сервис отвечает статусом 200, все поля на месте, типы правильные, и при этом одно число посчитано неверно.

Расскажу, как я проверяю такие ответы, когда в команде нет автотестов и в ближайшее время не появится: писать и поддерживать код некому, а сверка ответа с документацией делается глазами. Подход применим в любом инструменте, я просто покажу его на своём рабочем сценарии — создании заказа с расчётом скидки.

Выходит обновление плагина, он дописывает свои ключи в ваш конфиг и заодно меняет порядок остальных. Через сутки в дискорде жалобы, вы открываете бэкап и текущий конфиг в diff — а он красный целиком. Разбираемся, почему текстовый diff врёт на JSON, и что с этим можно сделать: сравнение с игнором порядка ключей, структурный дифф по путям, до шести файлов сразу и экспорт в JSON Patch.

В последнее время традиционная бизнес-аналитика все сильнее пересекается с плоскостью аналитики данных (как в индустрии финтеха и банкинга, так и во многих других сферах). Некоторые профильные специалисты уже не первый год рассматривают Business Intelligence как супермножество Data Science, и все громче звучит мнение, что компаниям необходимо объединять оба направления.

Поэтому сегодня мы в МКБ подготовили подборку материалов для желающих погрузиться в тему BI/Data Science. Под катом — открытые книги, которые помогут разобраться в современном аналитическом стеке, а также профильные учебники. А еще блоги, авторы которых простыми словами разбирают вопросы и проблемы по теме: от борьбы с «фактором автобуса» до принципов работы в индустрии BI.

Возьмите функцию на комплексной плоскости, у которой производная существует всюду, кроме отдельных изолированных точек.

Что необходимо о ней знать, чтобы восстановить её целиком?

Ответ поразительный: достаточно списка точек, где функция не дифференцируема, и «силы» каждой поломки. Формулу написал шведский математик Гёста Миттаг-Леффлер, и она — одна из самых красивых в комплексном анализе.

В статье далее — электростатика на комплексной плоскости, спины у классических мультиполей, контрчлены как в квантовой теории поля, вывод в две строчки, самая дорогая ошибка Пуанкаре и разбор легенды о том, почему не бывает Нобелевской премии по математике. И картинки на matplotlib, разумеется, — с кодом.

Статья для тех, кто хочет по-настоящему понять суть основ комплексного анализа!

Привет, это команда BI GlowByte.

Это третий разбор материалов FanRuan про дата-агентов. В первом смотрели, чем агент отличается от ИИ-помощника. Во втором собрали чек-лист готовности данных. Сегодня говорим про людей и процесс. Основной тезис: инструмент купить несложно, сложно наладить путь от бизнес-задачи до работающего сценария.

Материал вендора при этом целиком управленческий: ни одной цифры, ни одного шаблона. Поэтому мы взяли его каркас (пять этапов пилота, владелец сценария, стартовая команда) и развернули в то, чего в оригинале нет. Что у нас получилось: шаблон брифа, процедура приёмки, точки проверки человеком и метрики, по которым через два месяца решают, оставлять сценарий или закрывать. Надеемся, что вам будет полезно.

Я — аналитик данных в команде BIGDATAHOUSE, и на всех проектах трансформацию данных реализую через dbt — де‑факто стандарт, в качестве BI в основном использую Superset.

Бизнес‑логика в таком стеке оказывается разбита по двум местам: одна её часть оседает в dbt, другая описывается в BI. Со временем эти две части неизбежно расходятся, и отследить такие расхождения становится всё сложнее.

Из профессионального интереса изучая альтернативные BI‑платформы, я наткнулся на Lightdash. Он обещает закрыть эту и ряд других проблем.

Привет, Хабр! Меня зовут Никита, я основатель и генеральный директор VSL-BI.

Недавно мы сделали проект для рекламного агентства, где вся аналитика была построена в BI Конструкторе Битрикс24. На его примере покажу, какие задачи инструмент действительно закрывает, где начинаются ограничения и кому его возможностей будет достаточно.

Что делать, если средний чек премиального автосервиса оказался в 4 раза меньше планового? Первое «очевидное» решение руководства — немедленно избавиться от дешёвой мелочёвки вроде сезонного шиномонтажа и хранения колес, которая перегружает мастеров и портит красивую статистику.

Звучит логично. Вот только глубокий дата-анализ показал, что такое «оптимизаторское» решение лишило бы компанию доброй трети валовой выручки.

В этой статье мы разбираем реальный кейс анализа массива из сотен тысяч заказов за 10 лет работы крупного автодилера. Разберем обработку данных в Python (Pandas/Seaborn), столкнемся с Парадоксом Симпсона в действии и рассчитаем честный LTV клиентов. Вы узнаете, как сезонная переобувка работает в роли «троянского коня» и почему клиенты с шиномонтажом за свой жизненный цикл приносят компании в 3.1 раза больше денег.

Как выбрать аналитическую СУБД, если одна быстрее, другая проще в эксплуатации, а третья лучше поддерживает нужный SQL? Рассказываю о нашем исследовании: TPC-DS и SSB, экспертные критерии и метод комплексной оценки с расчётом, который можно повторить на своих данных.

Я хотел добавить в пищевой дневник одно число: сколько разных растений человек съел за неделю. Четыре строки Kotlin — пока не выяснилось, что непонятно главное: что именно считать разным?

Помидор и черри — один продукт или два? Сырой и запечённый шпинат? Три грамма петрушки в борще?

Разбираю, как простой COUNT(DISTINCT food) превратился в три инструмента: недельный счётчик, карту пробелов из 14 направлений и рейтинг продуктов по 24 показателям. Внутри — исследования пищевого разнообразия, проверка устойчивости расчёта и три борща одинаковой массы, которые система видит совершенно по-разному.

Привет, это практика BI GlowByte. В прошлой статье мы говорили про новый продукт FanRuan Dora – дата-агентов поверх BI. Мы разобрали, как устроены агенты, какие роли они выполняют и с чего лучше начинать внедрение. В продолжение темы поговорим о требованиях к данным. Тема вполне актуальная и родилась не на пустом месте. Последние полгода заказчики нам стабильно задают один и тот же вопрос: «У нас есть BI, можно ли поставить сверху ИИ-агента, чтобы он сам отвечал на вопросы руководства?»

Да, это выполнимая задача, но для старта необходимо понимать, что из себя представляют ваши данные в BI.

Наш партнёр FanRuan привел хорошие примеры в статье Fast Answers Are Not Enough: Why Data Agents Need AI-Ready Data. Автор публикации Сабер Чен, AI Product Architect & CPO FanRuan, не так давно выступал на конференции GlowByte и рассказывал о развитии продуктов компании в эпоху искусственного интеллекта. В статье он сформулировал пять требований к данным, которые должны быть выполнены до того, как вы подключаете ИИ. Мы взяли эти тезисы и развернули их в практический чек-лист. Он отлично демонстрирует и подход GlowByte к проверке метрик.

Всем привет! На связи Александр Ларин, руководитель центра поддержки и обучения в GlowByte.

Компания GlowByte – официальный партнер FanRuan по внедрению FineBI в России. Мы внимательно изучаем новые продукты вендора и не могли пройти мимо свежего релиза – набора дата-агентов Dora, работающих поверх BI-среды: моделей данных, метрик и дашбордов.

Ниже делимся статьёй FanRuan (оригинал можно почитать по ссылке), в которой авторы отмечают, что BI – это всего лишь полдела: такие системы давно научились показывать проблему, но ее решением по-прежнему занимается аналитик вручную – ищет причину, сверяет системы, готовит отчёт. Как современные цифровые сотрудники, работающие поверх вашей BI-системы, могут автоматизировать эту цепочку от алерта до задачи, читайте в переводе статьи под катом.

В конце – наш взгляд со стороны практики: почему без порядка в метриках любой агент будет врать убедительно.

Всем привет! Меня зовут Аня Шатшнайдер, я старший BI-разработчик в команде антифрода Авито. Мы пользуемся сотнями ИИ-моделей, чтобы бороться с действиями недобросовестных пользователей. Но иногда модели работают не так эффективно, как следует. Поэтому моя команда решила найти аутсайдеров и передать их на доработку DS-инженерам. Расскажу, как мы пересматривали подход к оценке моделей.

Статья будет полезна аналитикам и DS, которые работают с несколькими ML-моделями в проде и хоть раз озадачились вопросом, как сравнивать их между собой.

Помесячный прогноз выручки стабильно недобирает, не скачет, а именно недобирает: факт всегда выше прогноза, из месяца в месяц, примерно в одну и ту же сторону.
Стабильное смещение — это уже не шум, это баг, поэтому я полезла в модель.
Модель прогноза выручки занижала цифры вдвое.
Ошибка была в одной строке – np.exp() вместо честного возврата из логарифмов.
Разбираю этот кейс и всё остальное, что аналитику нужно знать про логарифм: декомпозиция роста, эластичность, A/B-тесты и поправка Дуана.
С кодом и цифрами.

Что ценнее: купить готовый программный продукт, технологическое ядро или сразу получить собственный «завод» по выпуску ПО? Разбираемся, чем отличаются White Label и OEM, почему сегодня необязательно разрабатывать сложные технологии полностью с нуля и какие инженерные задачи скрываются за зрелой корпоративной платформой.

Посмотрим на автомобильную промышленность, где общие платформы, двигатели и другие комплектующие давно стали нормой, а затем разберемся, почему в мире корпоративного ПО работают те же самые принципы.