Визуализация данных *

В последние десятилетия наблюдается значительное усложнение технологических процессов, на промышленных предприятиях применяется всё более эффективное оборудование, которое требует более внимательного подхода к его диагностике. Следствием этого стало появление отдельного класса промышленных информационных систем – систем параметрической диагностики. Помимо систем параметрической диагностики в последнее время стали появляться Системы Поддержки Принятия Решений, которые, помимо прочих функций, успешно решают задачи диагностики. Пример такой системы мы и рассмотрим в этой статье, ориентированной на технических руководителей и эксплуатирующий персонал промышленных предприятий.

Всем, кто работает с данными, знакома ситуация: цифр много, а понятных инсайтов — мало. Рутинные отчеты в Excel съедают время, а ответ на внезапный вопрос от руководства превращается в многочасовой квест.

Всем привет, меня зовут Ирина Севрюкова, руководитель отдела бизнес-анализа Polymatica. В этой статье я на реальных задачах разберу, как современные OLAP‑системы (на примере платформы Polymatica BI) позволяют не просто строить отчеты из больших данных, а проводить живой анализ данных, находить скрытые зависимости и быстро проверять гипотезы.

Несмотря на на то, что статья описывает проблемы заказчика в АПК, аналогичные задачи встречаются во многих отраслях.

Поговорим в этой статье о метриках тщеславия — показателях, которые красиво выглядят в отчётах, но плохо помогают принимать решения. В тексте разбирается, почему такие метрики вводят в заблуждение, как отличить их от действительно полезных показателей и на какие альтернативы стоит опираться, чтобы объективно оценивать рост и здоровье продукта или бизнеса.

Сказ о том, как после долгого перерыва я "взял в руки шашки" (поучаствовал в ML-соревновании) и дотащил задачу на "таблички" до первого места на финальном "приватном" лидерборде с помощью простейшей подготовки фич и классической линейной регрессии с регуляризацией, внезапно обогнав при этом всех модных катбустеров, банально переобучившихся на "паблике".

В задаче нужно было предсказать, "доживёт" ли ёлка до определённой даты, учитывая время рубки, наличие дома кота, вес гирлянды, далеко ли от ёлки стоит обогреватель (и есть ли он вообще) и прочие важные и не очень сведения.

Smart Money Tool (SMT) — концепция из арсенала продвинутых трейдеров, основанная на анализе "умных денег" (крупных игроков). Основная идея: когда рынок делает ложный пробой уровня (свип) на одном инструменте, но не подтверждает его на коррелированном инструменте — это может сигнализировать о манипуляции и потенциальном развороте.

Концепция свипа (Sweep):

Цена временно пробивает значимый уровень (свинг), но закрывается обратно за этим уровнем. Это часто интерпретируется как сбор стоп-лоссов.

Корреляционный анализ:

SMT использует два коррелированных актива (например, BTC и ETH). Расхождение в их поведении может указывать на слабость движения

Break of Structure (слом структуры): Показывает, что движение имеет силу. Дальнейшее подтверждение — закрытие за пределы предыдущего свинга

Чаще всего приходилось искать SMT вручную, что довольно накладно по времени и нередко можно упустить smt банально из-за человеческого фактора. Поэтому для упрощения этой работы я написал pine script индикатор. Выглядеть на графике он будет следующим образом:

В этой статье — важные изменения для аналитиков, разработчиков и лидов разработки: новые возможности отчётности, обновления моделирования, улучшения для разработчиков и API, развитие Copilot и ИИ, а также объявления о прекращении поддержки отдельных функций. Power BI продолжает двигаться в сторону более умной, гибкой и масштабируемой аналитики — разбираемся, что именно изменилось и почему это важно.

Это вторая (и заключительная) часть цикла статей о нашей миграции с Zeppelin. О причинах и первом опыте перехода с Zeppelin я рассказал здесь. В данной статье я хочу большее внимание уделить второму виду Zeppelin notebook, которые срочно нуждались в переносе.
Конечно, отчеты для клиентов не были настолько "забагованы" как рассылки: большая часть проблем с Zeppelin крылась именно в cron-е, который временами работал как хотел (или в интерпретаторах, мы так и не смогли разобраться, но ошибка интерпретатора возникала только когда запускали через cron). В отчетах этого звена не было, поэтому их перенос был плавным и основан скорее на особенностях UI/UX дизайна.
Данная статья может быть полезна аналитикам, которые не знают, какой инструмент использовать для своих задач и думают, что писать графический интерфейс крайне сложно (спойлер, нет), а также для команд, которые устали от Zeppelin как UI-инструмента (и от Zeppelin в целом)

Я давно торгую на рынках криптовалют, металлов, форексе. И большинство трейдеров знает, что на финансовых рынках значительная часть инструментов движется не изолированно, а в составе коррелирующих групп. Валютные пары, индексы, криптоактивы и производные индексы часто демонстрируют согласованное поведение, поскольку отражают одну и ту же макроэкономическую или риск среду.

Среды таких активов я выделяю особые 'триады активов' - активы с максимальной корреляцией, где расхождение является прямым сигналом. Эти триады - почти общепризнанные тройки. Именно по этим триадам мы будем искать интересное расхождение - PSP. Оно является отличным подтверждением в торговле.

Для упрощения его поиска и работы с ним напишем Pine Script индикатор. Я разберу для вас логику работы psp, логику его использования в торговле, объясню полностью код индикатора и структуру pine script.

В сети 26 кофеен на 240k чеков в месяц всё выглядело достаточно хорошо (поток гостей, выручка растёт, но прибыль не соответствует ожиданиям). Рассказываю, как мы собрали ежедневную BI аналитику для управления сетью: от R-Keeper и ETL до витрин в ClickHouse и дашбордов в Yandex DataLens. По дороге упёрлись в типичную проблему: справочники, из-за которых отчёты неточны.

Всем, у кого есть любимая интересная работа, наверное хотелось рассказать о ней своим детям, увлечь их, показать, как это здорово и полезно! И пусть они не пойдут по нашим стопам, но хотя бы будут уважать и ценить то, чем увлечены родители. 

Может быть это мечты, иногда хочется попробовать рассказать в красочной и интересной форме о нашей работе своим детям.

Всем привет! На связи практика Business Intelligence GlowByte. Открываем год полезной информацией. 

В 2022 году мы опубликовали на Habr статью про выбор BI-платформы, публикация набрала более 24 000 просмотров. Тогда наш подход был простым: составили большую таблицу сравнения по множеству критериев, поставили баллы — и вуаля, выбирайте лидера.

Четыре года спустя понимаем: такой подход работал для своего времени, но сегодня устарел. В условиях большой неопределенности компании действительно искали универсальные решения "на все случаи жизни". Логика была понятной: выбираем один инструмент, который закроет максимум потребностей на годы вперед.

Но рынок BI созрел. Заказчики стали подходить к выбору осознаннее, исходя не из абстрактного функционала, а из конкретных бизнес-сценариев. И оказалось, что попытка найти "универсальную пилюлю" часто приводит к разочарованию.

Расскажу, как мы в GlowByte пересмотрели методику выбора BI и почему сценарный подход работает эффективнее.

Начнем данную статью с казалось бы простого вопроса: "Кто такие клиенты и зачем их считать?". Ответ на данный вопрос не такой простой и вообще философский! Каждая компания и человек в отдельности ответят на него по-своему.

В телеком компании вам скажут: "Клиент = абонент. Мы считаем их прирост, а также дни, в течение которых они платят нам абонентскую плату.". В небольшой парикмахерской вам, возможно ответят так: "Ну вот кто пришел стричься, тот и клиент. Считаем количество тех, кто постригся за отрезок времени.". Подсчет клиентов может даже пригодиться для оценки компании третьими лицами, здесь также используются свои методологии. И так далее... Думаю, мораль ясна, каждый определяет для себя сам, кто является клиентом и как их считать.

Но может быть существует более универсальный способ подсчета клиентов? В следующих разделах я постараюсь предоставить такой способ, пусть меня рассудят в комментариях.

Привет, меня зовут Григорий, я Senior UX Researcher в Атоме и занимаюсь основным интерфейсом автомобиля и разработкой прототипа для тестирований.
Наша сфера меняется очень быстро и просто быть в курсе – недостаточно. Если специалист уже «встал на крыло» и сформировал свой мыслительный шаблон, ему становится сложно воспринимать и применять новые подходы, а это тормозит дальнейший рост в профессии.

Мне такое не подходит. Чтобы не ржаветь и регулярно выглядывать за пределы привычного, ищу разную/профессиональную литературу, которая подбрасывает новые идеи.

Расскажу, что из последнего меня особенно зацепило.  

В предыдущей статье я разобрался с устройством формата файлов ECG кардиограммы цифрового портативного кардиографа «Кардиан-ПМ». Это было сделано с целью получения доступа к информации о кардиограмме с помощью какого-либо другого ПО. Идея пришла использовать формат EDF – популярный формат временных рядов с открытой спецификацией. Как оказалось, этот формат используют на практике также для хранения кардиограмм. Одна из популярных программ, где можно открыть этот формат, – EDFbrowser. Именно с этой программой я и предпочёл работать.

Сравнение натриевых и литиевых аккумуляторов

Сейчас литиевые аккумуляторы используются почти везде, так как у них наибольшая плотность энергии по сравнению с доступными на практике альтернативами. Однако в настоящее время появились ниши, где масса и объём менее критичны, а ключевыми факторами становятся стоимость, безопасность и низкотемпературная работоспособность.

Натриевые аккумуляторы потенциально обладают этими преимуществами по сравнению с литиевыми.

Также натрий гораздо более распространенный и дешевый элемент, что тоже имеет немалое значение.

Уровень развития технологии

Вот, что мне удалось найти, относительно серийного выпуска натриевых аккумуляторов:

Представьте: вы показываете нейросети фотографию кота, и она уверенно говорит «кот». Отлично! Но почему она так решила? Увидела усы? Уши? Или, может быть, диван на заднем плане, потому что в обучающей выборке коты часто лежали на диванах?

Нейросети называют «чёрными ящиками» не просто так. Внутри типичной модели для распознавания изображений — миллионы параметров, организованных в десятки слоёв. Данные проходят через эту махину, и на выходе появляется ответ. Но что происходит между входом и выходом — загадка даже для создателей модели.

Это не просто академическое любопытство. Когда нейросеть решает, давать ли вам кредит, ставит медицинский диагноз или управляет автомобилем — хочется понимать, на что она опирается. Не выучила ли она какие-то странные закономерности? Не обманется ли на необычных данных?

Хорошая новость: способы заглянуть внутрь существуют. Один из самых наглядных — Activation Maximization, или метод максимальной активации. Его идея проста и красива: мы буквально спрашиваем у каждого нейрона, что он хочет увидеть больше всего. А потом смотрим на ответ.

В этой статье разберём, как работает этот метод, что можно увидеть с его помощью, и почему это полезно не только исследователям, но и практикующим инженерам.

Эта статья проведёт вас через классический проект по машинному обучению — анализ датасета Titanic. Мы разберём полный цикл работы: от первоначального знакомства с данными и их очистки до построения и валидации первых предсказательных моделей. Вы узнаете, как преобразовывать категориальные признаки, создавать новые переменные, бороться с пропущенными значениями и оценивать качество моделей через ключевые метрики. На примере Random Forest и логистической регрессии наглядно показываю, как разные алгоритмы решают одну задачу и почему выбор модели зависит от поставленной цели.

Привет всем! Меня зовут Лера, занимаюсь развитием строительной модели и электронной исполнительной документацией в Sminex.

Цифровые технологии на стройке призваны снижать сроки и затраты. Но при внедрении автоматизации в устоявшиеся повседневные процессы возникает риск отрыва технологичной теории от реальной практики. В статье поделимся своим опытом: как при помощи BIM-технологий мы разработали и внедрили строительную цифровую модель, добились прозрачности данных и сократили трудозатраты в 10 раз. 

Недавно я был на интересной лекции по созданию моделей личности с помощью сверхбольших промптов для LLM в библиотеке им. Фёдорова от лектория «Футурчай». Концепции, прозвучавшие на ней, оказались настолько интересными, что я решил познакомить с ними Хабр.

Представьте: в отчете о продажах появляется таблица. Формально - все на месте. Данные корректные, структура логичная, визуальный порядок соблюден. Но стоит открыть документ, как чтение превращается в маленький квест: взгляд блуждает, сравнивать показатели не очень удобно, главное не сразу считывается.

Почему так происходит? И главное - что именно в таблице мешает работать с ней быстро и уверенно?

Предлагаем сначала взглянуть на пример внимательно. Подумайте, какие элементы интерфейса вы бы улучшили в первую очередь.