Облекаем данные в красивую оболочку
Меня зовут Андрей Рыжик, я разработчик BI в компании «Белый код». Это четвёртая статья из серии, в которой мы изучаем российские BI-системы с поддержкой ETL для клиентов из малого и среднего бизнеса с бюджетом 1,5-2 млн рублей. Сегодня разбираем Biplane24.
Всё началось с моего друга. Он занимался разработкой игр на Unity, и в какой-то момент подкинул мне идею — точнее, жалобу, которая быстро переросла в идею.
Огромное количество времени у него уходило не на саму разработку, а на редактирование JSON-файлов. Конфиги предметов, параметры врагов, таблицы балансировки, локализации — всё это JSON. И всё это нужно было либо править руками в текстовом редакторе, рискуя сломать структуру одной лишней запятой, либо писать очередной одноразовый скрипт-конвертер, который через неделю уже никто не помнит где лежит.
Введение
В последней моей статье: «Запоминаем иностранные слова по видео-словарю, упорядоченного по грамматическим категориям и переводам» ( https://habr.com/ru/articles/1021912/ ) была создана «видео-книга» ( https://my.mail.ru/mail/emmerald/video/_myvideo/25.html ), в которой были озвучены 500 французско-русских глаголов. При ее просмотре были выявлены следующие нюансы.
Во-первых, пауза между словами (три секунды), в общем случае, утомительна. Если переводов мало, то тишину, желательно, делать короче. На 500 слов ушло при этом чуть более 30 минут. Для всех имеющихся озвученных слов, это будет порядка трех часов, что довольно много.
Во-вторых, текст центрируется по экрану и если обращать внимание, на ключевые слова, то глаза должны «бегать» по всему экрану, что неудобно. Лучше выровнять веь текст по верхней границе.
В-третьих, нет смысла пытаться «объять необъятное», т.е., запоминать стразу все переводы, за один присест, коих может быть около двух десятков. На первых порах, достаточно обратить внимание, хотя бы только, на первое слово-перевод. Поэтому, желательно его выделить отдельно.
В-четвертых, транскрипция между ключевыми словами (французским глаголом и первым переводом) снижает концентрацию внимания. Её лучше вынести в первую строку, а французское слово и ближайший перевод разместить рядом, чтобы глаза могли обозревать их без движения.
Далее, опыт просмотра / прослушки данного видео показывает, что слова, их звучание и, в какой-то
мере, переводы запоминаются даже без желания их учить. Достаточно просто внимательного просмотра.
В этой статье мы поговорим о том, как работать с мировыми финансовыми данными через Yahoo Finance и как получать котировки с российских площадок — Московской биржи и Тинькофф Инвестиций.
Аббревиатурой от словосочетания Building Information Modeling (принятого в англоязычных странах термина) обозначается инновационный подход к проектированию строений. Его основную суть полностью передает перевод – информационное моделирование зданий. О патентах и свидетельствах на эти системы мы сегодня и поговорим.
P.S. Как вам этот тест для глаз?
Каждый год компании по всему миру тратят миллиарды долларов на внедрение BI-систем (Tableau, Power BI, Qlik, Looker). Аналитики Gartner и Forrester упорно твердят, что рынок растёт. Но есть цифра, о которой говорят немногие: до 70% проектов по внедрению бизнес-аналитики так и не выходят в окупаемость.
Почему? Ведь BI звучит как панацея: «Данные — это новая нефть», «Управление на основе KPI», «Дашборды первого лица». Проблема в том, что бизнес путает нефть с бензином, а бензин заливает не в тот бак. Разберем 5 фатальных ошибок, которые превращают BI в дорогую игрушку.
Мы покажем вам красоту Вселенной. От кварковой плазмы до сверхскопления Ланиакеи, на фоне которого наш дом, галактика Млечный путь кажется песчинкой. Пройдем от атомов и планет через слияния чёрных дыр и галактик до Космической Паутины и заглянем в далёкое будущее, увидев звёзды- чёрные карлики.
Я, автор , независимый исследователь, разработчик SCADA системы Gatherlog А так же автор комплекса по разработке Промышленных Контроллеров под названием 3o|||sheet..
Всем привет!
На одном из проектов я настраивал дашборд в Yandex DataLens, который объединяет данные о трафике из Яндекс Метрики с данными о заказах из CRM и позволяет анализировать доход в разрезе источников трафика.
В этой статье расскажу, как был выстроен процесс обработки данных и к какому результату в итоге пришёл.
Меня зовут Андрей Рыжик, я product owner BI-направления в компании «Белый код». Продолжаем серию обзоров российских BI-систем с поддержкой ETL для малого и среднего бизнеса. Ранее мы разбирали PolyAnalyst, Modus. Сегодня на очереди AW BI – система, которая позиционирует себя как «дружелюбная BI-платформа» с самой демократичной стоимостью на рынке.
Мы уже рассказывали, что такое OpenSearch как сервис в Selectel и как легко и быстро начать им пользоваться. Если коротко — это managed-решение, где кластер развертывается за несколько минут, а все заботы берет на себя провайдер: обслуживает кластеры, настраивает СУБД, обеспечивает отказоустойчивость, беспокоится о бэкапах и масштабировании, предоставляет поддержку.
Но дальше возникает вопрос — как с этим кластером работать? Как настроить мониторинг, визуализировать данные и метрики, работать с бэкапами, управлять пользователями и доступами? Можно, конечно, отправлять curl-запросы к API. Можно подключать сторонние инструменты, вроде Grafana. Но есть способ проще и удобнее — OpenSearch Dashboards.
Привет, Хабр! Меня зовут Сергей Кардапольцев, я технический писатель в Selectel. В этой статье расскажу, как можно упростить работу с кластером OpenSearch с помощью OpenSearch Dashboards.
Всем привет, меня зовут Никита и я CEO VSL-BI. Мы с командой занимаемся внедрением BI-аналитики и автоматизацией сбора данных в компаниях разного масштаба.
В большинстве случаев к нам приходят с задачами внедрения аналитики в специализированных системах вроде Microsoft Power BI, Yandex DataLens или Apache Superset. Но за последний год заметно выросло количество запросов именно на BI-конструктор внутри Битрикс24.
Поэтому решил разобрать его отдельно, чтобы было понятно, где он действительно полезен, а где начинает ломаться.
Привет, Хабр! Меня зовут Николай Пискунов, я руководитель направления Big Data и эксперт курса Cloud DevSecOps по безопасной разработке от Академии вАЙТИ Beeline Cloud. Сегодня расскажу о разработке системы, которая строит свечные графики для трейдинг-бота на Python. Это полноценный инструмент анализа, который помогает принимать торговые решения в реальном времени. Важная часть этой системы — быстрая связь с пользователем через бота в Телеграме.
Помните, как вы в очередной раз гуглили, как повернуть подписи осей в Matplotlib на 45 градусов? Или как на созвоне вас просили объяснить «вон ту аномальную точку» на красивом графике Seaborn, и вам приходилось судорожно лезть в Jupyter писать новые фильтры, потому что график — это просто статичная картинка? Знакомая боль.
А теперь представьте: вы пишете всего одну строчку кода, и график оживает прямо в браузере. Наводите курсор — появляются точные цифры. Выделяете область мышкой — график приближается. Кликаете по легенде — скрываются лишние данные. Всё это умеет Plotly.
Как только вы уходите от сырых транзакционных данных к предагрегированным витринам, ваша BI-система начинает врать. И чем сложнее бизнес-логика и больше сложных показателей, тем сильнее искажения.
Давайте разберем механику этой проблемы на фундаментальном уровне. Почему системы, в которые инвестированы миллионы, показывают фейк?
DORA-метрики легко обсуждать как что-то довольно очевидное: выбрал четыре показателя, подключил данные, построил графики — готово. На практике все интересное начинается в тот момент, когда пытаешься сделать это не в презентации, а в живой компании с сотнями сервисов, разными сценариями деплоя и командами, у каждой из которых свой способ довозить код до прода.
В Островке из этой задачи в итоге вырос отдельный сервис: он собирает события о релизах, связывает их с изменениями в GitLab, сопоставляет с инцидентами и отдаёт данные в Grafana. На MVP мы покрыли 90% проектов. После того как команды начали регулярно разбирать метрики и автоматизировать узкие места, критичных сбоев стало заметно меньше: в зависимости от месяца снижение доходило до 80% год к году.
Под катом — история о том, как мы к этому пришли. Откуда брали данные для DORA-метрик, как считали показатели при очень разных релизных процессах и почему самой сложной частью оказались не графики, а попытка собрать все это в одну рабочую модель.
Если бизнес-анализ — это искусство превращать потребность заказчика в приносящее ценность решение то его основа — не методологии и не инструменты, а 6 базовых понятий, заложенных в BABOK (Business Analysis Body of Knowledge).
Именно поэтому мы запускаем цикл статей — «Шесть основ бизнес-анализа». В данных статьях мы разберем каждое из 6 базовых понятий отдельно: дадим определение, разберем типовые ловушки, рабочие техники, примеры «из жизни» и то, как применять BABOK прагматично, а не «по учебнику».
Я — Станислав Харьков, руководитель управления бизнес-анализа компании «БКС Мир инвестиций», и на собственном опыте знаю, насколько критично не упустить ключевых участников на ранних этапах. Поэтому начнём с понятия, которое чаще всего «ломает» проекты ещё до формулирования требований: заинтересованные стороны (ЗСт) или стейкхолдер.
Меня зовут Сергей Усов. В Газпромбанке я в составе небольшой команды занимаюсь развитием и сопровождением корпоративной BI-системы на базе решения Sigla Vision (российский форк FineBI).
Мы хотим поделиться практическими наработками с сообществом пользователей Sigla Vision / FineBI — сделать работу с системой удобнее и облегчить жизнь администраторам. При этом часть наших подходов может пригодиться и тем ИТ-специалистам (разработчикам, дата-инженерам, аналитикам), которые сопровождают работу технических систем, имеющих в своем составе БД с репозиториями метаданных. Описанные решения являются общеинженерными и могут быть применены не только к корпоративным аналитическим системам.
Это первая статья из цикла, посвященного нашему опыту администрирования Sigla Vision.
Привет!
В этой статье хочу поделиться способом создания диаграмм последовательности, на которых пользователь может сам изменять степень детализации отображаемой информации.
Если хочет — может раскрыть больше деталей, если нужно наоборот — может скрыть избыточные.
А также, помимо самого способа создания, хочу рассказать, как получилось прийти именно к такому варианту динамических диаграмм последовательности.
Будет PlantUML, JavaScript, HTML и немного разочарования в ИИ :-)
P.S. Не смотрите на то, что читать статью якобы много-много минут. Текста там не много, все код виноват :-)
Стандартные алгоритмы даунсемплинга хорошо работают с линейными графиками. На scatter они теряют до 60% визуально значимых данных. Показываем, как двумерное прореживание решает задачу, которую одномерные методы фундаментально не могут.