Визуализация данных *

Сказ о том, как после долгого перерыва я "взял в руки шашки" (поучаствовал в ML-соревновании) и дотащил задачу на "таблички" до первого места на финальном "приватном" лидерборде с помощью простейшей подготовки фич и классической линейной регрессии с регуляризацией, внезапно обогнав при этом всех модных катбустеров, банально переобучившихся на "паблике".

В задаче нужно было предсказать, "доживёт" ли ёлка до определённой даты, учитывая время рубки, наличие дома кота, вес гирлянды, далеко ли от ёлки стоит обогреватель (и есть ли он вообще) и прочие важные и не очень сведения.

Smart Money Tool (SMT) — концепция из арсенала продвинутых трейдеров, основанная на анализе "умных денег" (крупных игроков). Основная идея: когда рынок делает ложный пробой уровня (свип) на одном инструменте, но не подтверждает его на коррелированном инструменте — это может сигнализировать о манипуляции и потенциальном развороте.

Концепция свипа (Sweep):

Цена временно пробивает значимый уровень (свинг), но закрывается обратно за этим уровнем. Это часто интерпретируется как сбор стоп-лоссов.

Корреляционный анализ:

SMT использует два коррелированных актива (например, BTC и ETH). Расхождение в их поведении может указывать на слабость движения

Break of Structure (слом структуры): Показывает, что движение имеет силу. Дальнейшее подтверждение — закрытие за пределы предыдущего свинга

Чаще всего приходилось искать SMT вручную, что довольно накладно по времени и нередко можно упустить smt банально из-за человеческого фактора. Поэтому для упрощения этой работы я написал pine script индикатор. Выглядеть на графике он будет следующим образом:

В этой статье — важные изменения для аналитиков, разработчиков и лидов разработки: новые возможности отчётности, обновления моделирования, улучшения для разработчиков и API, развитие Copilot и ИИ, а также объявления о прекращении поддержки отдельных функций. Power BI продолжает двигаться в сторону более умной, гибкой и масштабируемой аналитики — разбираемся, что именно изменилось и почему это важно.

Это вторая (и заключительная) часть цикла статей о нашей миграции с Zeppelin. О причинах и первом опыте перехода с Zeppelin я рассказал здесь. В данной статье я хочу большее внимание уделить второму виду Zeppelin notebook, которые срочно нуждались в переносе.
Конечно, отчеты для клиентов не были настолько "забагованы" как рассылки: большая часть проблем с Zeppelin крылась именно в cron-е, который временами работал как хотел (или в интерпретаторах, мы так и не смогли разобраться, но ошибка интерпретатора возникала только когда запускали через cron). В отчетах этого звена не было, поэтому их перенос был плавным и основан скорее на особенностях UI/UX дизайна.
Данная статья может быть полезна аналитикам, которые не знают, какой инструмент использовать для своих задач и думают, что писать графический интерфейс крайне сложно (спойлер, нет), а также для команд, которые устали от Zeppelin как UI-инструмента (и от Zeppelin в целом)

Я давно торгую на рынках криптовалют, металлов, форексе. И большинство трейдеров знает, что на финансовых рынках значительная часть инструментов движется не изолированно, а в составе коррелирующих групп. Валютные пары, индексы, криптоактивы и производные индексы часто демонстрируют согласованное поведение, поскольку отражают одну и ту же макроэкономическую или риск среду.

Среды таких активов я выделяю особые 'триады активов' - активы с максимальной корреляцией, где расхождение является прямым сигналом. Эти триады - почти общепризнанные тройки. Именно по этим триадам мы будем искать интересное расхождение - PSP. Оно является отличным подтверждением в торговле.

Для упрощения его поиска и работы с ним напишем Pine Script индикатор. Я разберу для вас логику работы psp, логику его использования в торговле, объясню полностью код индикатора и структуру pine script.

В сети 26 кофеен на 240k чеков в месяц всё выглядело достаточно хорошо (поток гостей, выручка растёт, но прибыль не соответствует ожиданиям). Рассказываю, как мы собрали ежедневную BI аналитику для управления сетью: от R-Keeper и ETL до витрин в ClickHouse и дашбордов в Yandex DataLens. По дороге упёрлись в типичную проблему: справочники, из-за которых отчёты неточны.

Всем, у кого есть любимая интересная работа, наверное хотелось рассказать о ней своим детям, увлечь их, показать, как это здорово и полезно! И пусть они не пойдут по нашим стопам, но хотя бы будут уважать и ценить то, чем увлечены родители. 

Может быть это мечты, иногда хочется попробовать рассказать в красочной и интересной форме о нашей работе своим детям.

Всем привет! На связи практика Business Intelligence GlowByte. Открываем год полезной информацией. 

В 2022 году мы опубликовали на Habr статью про выбор BI-платформы, публикация набрала более 24 000 просмотров. Тогда наш подход был простым: составили большую таблицу сравнения по множеству критериев, поставили баллы — и вуаля, выбирайте лидера.

Четыре года спустя понимаем: такой подход работал для своего времени, но сегодня устарел. В условиях большой неопределенности компании действительно искали универсальные решения "на все случаи жизни". Логика была понятной: выбираем один инструмент, который закроет максимум потребностей на годы вперед.

Но рынок BI созрел. Заказчики стали подходить к выбору осознаннее, исходя не из абстрактного функционала, а из конкретных бизнес-сценариев. И оказалось, что попытка найти "универсальную пилюлю" часто приводит к разочарованию.

Расскажу, как мы в GlowByte пересмотрели методику выбора BI и почему сценарный подход работает эффективнее.

Начнем данную статью с казалось бы простого вопроса: "Кто такие клиенты и зачем их считать?". Ответ на данный вопрос не такой простой и вообще философский! Каждая компания и человек в отдельности ответят на него по-своему.

В телеком компании вам скажут: "Клиент = абонент. Мы считаем их прирост, а также дни, в течение которых они платят нам абонентскую плату.". В небольшой парикмахерской вам, возможно ответят так: "Ну вот кто пришел стричься, тот и клиент. Считаем количество тех, кто постригся за отрезок времени.". Подсчет клиентов может даже пригодиться для оценки компании третьими лицами, здесь также используются свои методологии. И так далее... Думаю, мораль ясна, каждый определяет для себя сам, кто является клиентом и как их считать.

Но может быть существует более универсальный способ подсчета клиентов? В следующих разделах я постараюсь предоставить такой способ, пусть меня рассудят в комментариях.

Привет, меня зовут Григорий, я Senior UX Researcher в Атоме и занимаюсь основным интерфейсом автомобиля и разработкой прототипа для тестирований.
Наша сфера меняется очень быстро и просто быть в курсе – недостаточно. Если специалист уже «встал на крыло» и сформировал свой мыслительный шаблон, ему становится сложно воспринимать и применять новые подходы, а это тормозит дальнейший рост в профессии.

Мне такое не подходит. Чтобы не ржаветь и регулярно выглядывать за пределы привычного, ищу разную/профессиональную литературу, которая подбрасывает новые идеи.

Расскажу, что из последнего меня особенно зацепило.  

В предыдущей статье я разобрался с устройством формата файлов ECG кардиограммы цифрового портативного кардиографа «Кардиан-ПМ». Это было сделано с целью получения доступа к информации о кардиограмме с помощью какого-либо другого ПО. Идея пришла использовать формат EDF – популярный формат временных рядов с открытой спецификацией. Как оказалось, этот формат используют на практике также для хранения кардиограмм. Одна из популярных программ, где можно открыть этот формат, – EDFbrowser. Именно с этой программой я и предпочёл работать.

Сравнение натриевых и литиевых аккумуляторов

Сейчас литиевые аккумуляторы используются почти везде, так как у них наибольшая плотность энергии по сравнению с доступными на практике альтернативами. Однако в настоящее время появились ниши, где масса и объём менее критичны, а ключевыми факторами становятся стоимость, безопасность и низкотемпературная работоспособность.

Натриевые аккумуляторы потенциально обладают этими преимуществами по сравнению с литиевыми.

Также натрий гораздо более распространенный и дешевый элемент, что тоже имеет немалое значение.

Уровень развития технологии

Вот, что мне удалось найти, относительно серийного выпуска натриевых аккумуляторов:

Представьте: вы показываете нейросети фотографию кота, и она уверенно говорит «кот». Отлично! Но почему она так решила? Увидела усы? Уши? Или, может быть, диван на заднем плане, потому что в обучающей выборке коты часто лежали на диванах?

Нейросети называют «чёрными ящиками» не просто так. Внутри типичной модели для распознавания изображений — миллионы параметров, организованных в десятки слоёв. Данные проходят через эту махину, и на выходе появляется ответ. Но что происходит между входом и выходом — загадка даже для создателей модели.

Это не просто академическое любопытство. Когда нейросеть решает, давать ли вам кредит, ставит медицинский диагноз или управляет автомобилем — хочется понимать, на что она опирается. Не выучила ли она какие-то странные закономерности? Не обманется ли на необычных данных?

Хорошая новость: способы заглянуть внутрь существуют. Один из самых наглядных — Activation Maximization, или метод максимальной активации. Его идея проста и красива: мы буквально спрашиваем у каждого нейрона, что он хочет увидеть больше всего. А потом смотрим на ответ.

В этой статье разберём, как работает этот метод, что можно увидеть с его помощью, и почему это полезно не только исследователям, но и практикующим инженерам.

Эта статья проведёт вас через классический проект по машинному обучению — анализ датасета Titanic. Мы разберём полный цикл работы: от первоначального знакомства с данными и их очистки до построения и валидации первых предсказательных моделей. Вы узнаете, как преобразовывать категориальные признаки, создавать новые переменные, бороться с пропущенными значениями и оценивать качество моделей через ключевые метрики. На примере Random Forest и логистической регрессии наглядно показываю, как разные алгоритмы решают одну задачу и почему выбор модели зависит от поставленной цели.

Привет всем! Меня зовут Лера, занимаюсь развитием строительной модели и электронной исполнительной документацией в Sminex.

Цифровые технологии на стройке призваны снижать сроки и затраты. Но при внедрении автоматизации в устоявшиеся повседневные процессы возникает риск отрыва технологичной теории от реальной практики. В статье поделимся своим опытом: как при помощи BIM-технологий мы разработали и внедрили строительную цифровую модель, добились прозрачности данных и сократили трудозатраты в 10 раз. 

Недавно я был на интересной лекции по созданию моделей личности с помощью сверхбольших промптов для LLM в библиотеке им. Фёдорова от лектория «Футурчай». Концепции, прозвучавшие на ней, оказались настолько интересными, что я решил познакомить с ними Хабр.

Представьте: в отчете о продажах появляется таблица. Формально - все на месте. Данные корректные, структура логичная, визуальный порядок соблюден. Но стоит открыть документ, как чтение превращается в маленький квест: взгляд блуждает, сравнивать показатели не очень удобно, главное не сразу считывается.

Почему так происходит? И главное - что именно в таблице мешает работать с ней быстро и уверенно?

Предлагаем сначала взглянуть на пример внимательно. Подумайте, какие элементы интерфейса вы бы улучшили в первую очередь.

Есть такое направление в визуализации данных — называется Дата‑арт. То есть, когда данные пытаются визуализировать творчески, не с целью сделать их понятными, а с целью передать эмоции или привлечь внимание к эстетической красоте проекта на основе данных. 

И вот, изучая и классифицируя проекты в этой коллекции (их там несколько сотен), я обнаружила, что в дата‑арт направлении есть набор проектов, которые явно вдохновлены пейзажами — и я выделила их в отдельную группу. 

Привет, Хабр! С каждым годом ИИ способен решать более сложные задачи, одной из задач является понимание DAX, связанных предметных областей и генерация кода. Можно выделить несколько задач, которые не являются первостепенными, тем не менее актуальны для анализа или работы в Power BI, например, от простейших — создание клиента для выполнения DAX запросов в Power BI из произвольной среды (например, из .NET приложения) и импорт метаданных TOM модели, до более сложных задач — экспорта схемы данных и самих данных из Power BI в произвольную СУБД (понятно, что такая задача не всегда актуальна с точки зрения ETL, т.к. проще взять данные из исходных источников, а не из Power BI, но польза решения задачи «интуитивно понятна» пользователю) и задач генерации SQL запросов на основе DAX для заданной СУБД, причем результаты сгенерированного SQL должны совпадать с результатами DAX запросов.

Интересующимся применением ИИ на примере DAX из Power BI — добро пожаловать под кат :)

Рассказываю и наглядно показываю как делать понятные и красивые дашборды без лишнего шума, которые ответят на вопросы пользователей, а не создадут новые.