Системный и бизнес-анализ

Sharpe 2.1 в pandas-бектесте, через три месяца реальной торговли упал до 0.3

Pandas-бектесты систематически завышают доходность на 30-70%. Одна строчка с shift(-1) и вы уже используете завтрашние данные для сегодняшних решений. Плюс survivor bias, плюс нереалистичные fills.

В статье разбираю источники look-ahead bias, сравниваю vectorized и event-driven подходы на данных MOEX (SBER, GAZP, LKOH за 2020-2024), мои замеры latency для Tinkoff API, и рассуждения о том, когда Python уже не вывозит и пора думать про C++

Есть такое направление в визуализации данных — называется Дата‑арт. То есть, когда данные пытаются визуализировать творчески, не с целью сделать их понятными, а с целью передать эмоции или привлечь внимание к эстетической красоте проекта на основе данных. 

И вот, изучая и классифицируя проекты в этой коллекции (их там несколько сотен), я обнаружила, что в дата‑арт направлении есть набор проектов, которые явно вдохновлены пейзажами — и я выделила их в отдельную группу. 

Я проанализировал эпизоды с упоминанием алкоголя в полном корпусе произведений Довлатова и посмотрел, как и для чего он использует алкоголь в рассказах.

Как документировать разработку ERP-платформы?

Меня зовут Александр Курашов, и я работаю бизнес-аналитиком и архитектором в компании NAUKA. Один из наших знаковых проектов – разработка Платформы, объединяющей различные продукты компании в единую экосистему решений.

Эта статья посвящена процессу бизнес-документирования платформенной разработки, составу аналитических артефактов и применяемому для этого инструментарию.

Недавно я участвовал в круглом столе на тему «аналитики против искусственного интеллекта». Это обсуждение вдохновило меня на более предметный разговор о том, почему нейронные сети — это не противник, а полезный инструмент, который реально экономит время. Меня зовут Владимир Бурмистров, я главный системный аналитик в IT-холдинге Т1. В отрасли я уже 18 лет — застал и времена адаптации под Internet Explorer 6, и приход нейросетей. И я могу уверенно сказать: благодаря нейросетям я ускоряю свою работу примерно на 30%. Как именно? Давайте разбираться по порядку.

В прошлой статье я закончил обзор open source решения для аналитики и, что важно для нас, решения для менеджера тегов - Matomo Tag Manager. В этой статье приступаем к разбору по косточкам самого решения. И начинаем с установки его на сервер. А я продолжаю выступать своего рода евангелистом Matomo Tag Manager в рунете, где он незаслуженно, по моему мнению, обойден стороной.

Всем привет! Я — Ольга Матушевич, преподаватель онлайн-магистратуры «Дата-аналитика для бизнеса», а в прошлом наставница на курсе «Аналитик данных» в Яндекс Практикуме. И сегодня я расскажу, чем Copilot может помочь аналитику при создании дашбордов в Power BI: как работающему в компании, только приступившей к использованию BI-системы, так и обладателю обширного legacy.

Привет, Хабр! С каждым годом ИИ способен решать более сложные задачи, одной из задач является понимание DAX, связанных предметных областей и генерация кода. Можно выделить несколько задач, которые не являются первостепенными, тем не менее актуальны для анализа или работы в Power BI, например, от простейших — создание клиента для выполнения DAX запросов в Power BI из произвольной среды (например, из .NET приложения) и импорт метаданных TOM модели, до более сложных задач — экспорта схемы данных и самих данных из Power BI в произвольную СУБД (понятно, что такая задача не всегда актуальна с точки зрения ETL, т.к. проще взять данные из исходных источников, а не из Power BI, но польза решения задачи «интуитивно понятна» пользователю) и задач генерации SQL запросов на основе DAX для заданной СУБД, причем результаты сгенерированного SQL должны совпадать с результатами DAX запросов.

Интересующимся применением ИИ на примере DAX из Power BI — добро пожаловать под кат :)

Рассказываю и наглядно показываю как делать понятные и красивые дашборды без лишнего шума, которые ответят на вопросы пользователей, а не создадут новые.

После релиза метрика почти всегда меняется. Иногда это реальный эффект изменения, иногда - сезонность, маркетинг, внешний фон или просто шум. Если AB теста не было, а решение все равно нужно принимать, остается вопрос: как аккуратно оценить влияние релиза по истории метрики и не обмануться простым сравнением до и после.

В статье разбираю практический подход causal impact для случая, когда у нас есть одна метрика во времени и понятная дата изменения. Строим контрфакт (counterfactual) - прогноз того, какой была бы метрика без релиза - и сравниваем его с фактом. На этой основе считаем эффект в абсолютных значениях, накопленный эффект и относительный вклад в процентах.

Отдельное внимание уделяю проверкам, без которых такой анализ может превратиться в тыкву: качество прогноза на периоде до изменения, учет зависимости по времени через block bootstrap, устойчивость к выбору окна и плацебо даты, которые помогают понять, выделяется ли реальный эффект на фоне ложных интервенций.

Материал ориентирован на продуктовые задачи: когда релиз уже сделан, данные есть, а надежной оценки эффекта нет. В следующей части перейдем к более частому сценарию, когда изменение затронуло не всех, и вместо одной линии метрики у нас появляется набор линий по группам (географии, сегменты, кластеры). Там разберем синтетический контроль и diff-in-diff и частые ошибки, которые встречаются в таких данных.

Самые интересные новости финансов и технологий в России и мире за неделю: последние новости об операции США в Венесуэле, исход миллиардеров из Калифорнии, Яндекс Банк не смог раздать кэшбек из-за сбоя, Брижит Макрон засудила хейтеров, умная ручка и ChatGPT Health от OpenAI, а также скандал с бикини-раздеванием от Grok.

Я работаю продуктовым аналитиком уже много лет и за это время видел, как рынок несколько раз менял ориентиры. Профессии становились «самыми востребованными», потом перегревались и теряли привлекательность. Если смотреть на происходящее без эмоций и громких обещаний, аналитика остаётся редким примером направления, где вход в профессию остаётся относительно доступным, а ценность специалиста для бизнеса ощущается довольно быстро.

Аналитика не выглядит эффектно со стороны. В ней нет визуального результата, как в дизайне, и нет ощущения инженерной сложности, как в разработке. Зато есть постоянная работа с реальностью продукта: с тем, что происходит с пользователями, деньгами и решениями. Пока компании принимают решения на основе данных, аналитики будут частью этого процесса.

Просматривая на Хабре поток «Параллельное программирование», не верится, что на дворе «образованный век». Все против этого. Особенно статьи типа «Три способа менять один объект из нескольких потоков. Больше нет».

Ныне любой, кому  поступило «поручение» провести ту или иную идею в массы, может городить любую чушь. А «народ» будет верить. Жечь свечи,  восклицать аллилуйя, бить поклоны, рукоплескать и, размазывая слезы, биться в экстазе от восторга, восхищения и прозрения.

Ну, а здесь на Хабре, ставить «плюсы». Каждый, конечно, имеет право на свою позицию. Но в чем-то хочется разобраться,  понять и, возможно, простить. Накопилось, наверное…

Упомянутая статья - «гром среди ясного неба»! Ни кто до этого не знал, что делать с одним объектом, а тут вдруг - прозрение! Буквально на раз или, что точнее, на три. Есть ровно три варианта, после чего «объекту» уже не скрыться от «потоков», у которых до него дотянуться руки. Ровно три! Меньше – да, «больше нет»!

Люди, вы пытаетесь вникнуть в смысл прочитанного?!   Спросите, где он? А вот это уже другой вопрос. На, который, к счастью, есть ответ… В научном познании мира.

Однако, процитирую отрывок из краеугольной, судя по реакции «народа»,  статьи...

Привет, Хабр! Продолжаю обозревать GitHub Actions на примере пет проекта для аналитика.

Статья будет полезна начинающим аналитикам в поисках хорошего проекта для своего портфолио. В этой части разбираю подход к выбору проекта и источника данных, к сбору и анализу данных и представлении результатов своей работы. 

О том как участники финансового рынка оценивают справедливую стоимость сложных деривативов на примере сделки валютно-процентный своп.

Дисклеймер: ниже будет описан личный опыт и точка зрения человека-исполнителя. Устройство всей процедуры разметки в статье не раскрывается. Все совпадения сущностей случайны. Названия компаний не упоминаются в целях соблюдения NDA. В статье не будут подниматься вопросы оплаты труда и разбираются только основные рабочие моменты.

 Всем добрый день!

Одно время я работал разметчиком данных на разные компании и довольно долго, примерно 5 лет. Так как компании были разные, то и размечать приходилось разное: сайты, картинки, звуки. Только с видео не довелось поработать. С одной стороны, эта работа довольно рутинная и однообразная. С другой стороны - нет. Потому что на разметку попадались разные документы с разной целью. Однако целью данной статьи не документы, а общие закономерности и подводные камни на этом нудном пути с точки зрения непосредственного исполнителя.

Разметка данных используется для обучения различных алгоритмов, чаще всего на основе нейросетей. Она применяется разных отраслях, включая такие сложные, как медицина. Без разметки невозможно обучение моделей, так как нет явной целевой переменной и от качества разметки напрямую зависит качество модели. Я имею опыт работы Data Scientist-ом и даже диплом получил, поэтому понимаю, насколько важна разметка. Более того, сейчас, работая с медицинскими датасетами, я всё чаще задумываюсь: а насколько вообще можно доверять той или иной разметке, даже если её ставит врач?

Итак, приступим к теме нашего разговора.

Реляционная модель обычно ассоциируется с аккуратными строками и столбцами, но на практике ей регулярно пытаются скормить то, для чего она будто бы не предназначена. В этой статье — эксперимент на грани здравого смысла: разложить фильм на пиксели, превратить кадры в строки и посмотреть, что получится, если к видео применить привычный SQL. Без обещаний пользы и универсальности — зато с честным разбором того, где такой подход неожиданно работает, а где начинает сопротивляться сама природа данных.

Заходишь на Хабр.Карьеру, открываешь вакансии системных аналитиков, а в требованиях всё как обычно: построение информационных систем, понимание архитектуры, ТЗ, BPMN, базовый SQL. Нигде ни слова о знании GPT или умении промптить. Формально профессия как будто не изменилась. 

Тем временем в свежем отчёте OpenAI о корпоративном применении ИИ опубликовали статистику: использование ChatGPT в корпоративной среде за год выросло в 8 раз, а объём запросов от одного человека — в среднем на 30%.

Мы решили выяснить, что происходит в полях, и поговорили с двумя коллегами по цеху: системным архитектором из финтех-продукта и аналитиком с опытом работы и в госсекторе, и в корпоративных продуктах. Спросили их о самом важном: какие задачи быстрее делать с ИИ, где он пока бесполезен и что вообще стоит прокачивать аналитику, чтобы не выпасть из профессии, пока всех грозятся заменить моделями.

Отношение к ИИ, как к помощнику, у многих людей напоминает отношение суровых сибирских лесорубов к японской лесопилке из старого анекдота. Лесорубы совали в неё всё более толстые брёвна — и машина со всем справлялась. Тогда в неё засунули железный лом. Этого лесопилка уже не пережила. А лесорубы сделали вывод: ничего-то эта заморская техника не может.

С ИИ часто происходит то же самое. Либо «сделай всё и сразу», либо «ну нет, слабоват ты пока для серьёзных задач». А что если ИИ способен решить вашу задачу пусть не полностью, но процентов так на 80–90? И вы сами в этой сфере тоже несовершенны? Но области ваших ошибок с ИИ не совпадают! Что если, грамотно объединив с ним усилия, можно получить результат, близкий к 100% успеха?

Примерно так, как в фильме Moneyball (Человек, который изменил всё). Там три узкоспециализированных (а потому по отдельности посредственных) игрока, играя слаженно, смогли превзойти на поле одного игрока-суперзвезду. Который, разумеется, стоил в разы дороже их троих вместе взятых.

Именно такую технологию я и хочу передать в этой статье — эффективное использование пока ещё несовершенного ИИ-помощника. На примере создания схем бизнес-процессов. Пример выбран не случайно: на получившихся схемах очень наглядно видно наше с ИИ несовершенство по отдельности — и качественный результат, достигнутый совместно.

Идея написать эту статью возникла у меня не спонтанно. Проект цифрового рубля привлёк моё внимание ещё в тот период, когда я работал в Федеральной налоговой службе. Теперь, будучи человеком свободным от обязательств госслужащего я решил поглубже разобраться в этой теме и высказать свое мнение и видение того как Цифровой рубль способен трансформировать всю систему денежных расчетов.

В статье я опишу как цифровой рубль встроен в существующую экономическую и управленческую модель, какие задачи он решает для государства и какие последствия может иметь для бизнеса и граждан, в том числе с точки зрения контроля финансовых потоков и через фискальные механизмы.

Я предлагаю рассматривать цифровой рубль не как абстрактную валюту будущего, а как инфраструктурное решение, способное изменить логику платёжных отношений и баланс ролей в финансовой системе.