Обновить

Системный и бизнес-анализ

Сначала показывать
Порог рейтинга
Уровень сложности

Как в МТС Premium научились искать ошибки в распределенных данных с помощью собственного фреймворка

Уровень сложностиПростой
Время на прочтение15 мин
Охват и читатели6.4K

Качество данных (DQ) связано с технической зрелостью продукта, но не сводится к ней. В большой системе проблема редко ограничивается одной таблицей или ошибкой. Запись может быть технически корректной, но, например, появиться в базе дважды. Или другой пример: статус может быть допустимым для конкретной базы, но расходиться со статусом подписки в соседнем продукте. Итоговая бизнес-метрика при этом может выглядеть вполне правдоподобно, хотя ошибка уже возникла, причем давно.

Привет, жители Хабра! Я Ольга Жучкова, один из главных администраторов данных MWS. Я отвечаю за внедрение практик DG в кластере и выступаю амбассадором направления: помогаю продуктовым командам внедрять практики работы с данными и показываю, как эта работа улучшает продукт. В моем кластере работают более тысячи сотрудников. В каждом из этих продуктов, где есть БД, хранятся уникальные или критичные данные. А значит, есть свой администратор данных продукта, с которым я взаимодействую. На примере МТС Premium расскажу, как мы выстроили систему проверок качества распределенных данных — от локальных ошибок в базе до сквозных процессов и бизнес-метрик.

Читать далее

S3, Parquet, ClickHouse и Airflow: архитектура аналитического контура «Фалькон Тех»

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели3.5K

В видеоаналитике важно не только распознать объект, но и правильно связать его с контекстом: временем, местом, камерой и результатом обработки. Если данные рассинхронизированы, даже точная модель машинного зрения может привести к ошибочному выводу. Рассказываем, как мы выстроили архитектуру данных, которая помогает сохранять целостность событий — от камеры до аналитического отчёта.

Читать далее

POS, P&L и маржинальность — какова цена непонимания нюансов

Уровень сложностиПростой
Время на прочтение20 мин
Охват и читатели9.4K

Продолжение серии «Автоматизация для новичков на примере малых предприятий»

В прошлой главе я спас «Непревзойдённую шаверму» от биологической опасности порождённой недочётом в WMS. Мы внедрили учёт партий, разобрались, почему FIFO — это не только про модемы, а FEFO лучше съесть пораньше...

Сегодня же мы поговорим о маржинальности и других важных терминах, знание которых спасёт вас от убытка в первый же год.

Смачно откусить...

Я обошёл 17 тысяч сайтов рунета одним обходчиком. Вот что в них внутри

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели7.6K

Если прочитать главные страницы 17 642 сайтов одним и тем же кодом и у каждой сохранить протокол, кодировку, платформу и дату регистрации домена, получается так: 93% сайтов на HTTPS, 2,7% до сих пор в windows-1251 и koi8-r, 39% доменов старше 2010 года, а среди сайтов с определимой платформой Битрикс вдвое обгоняет WordPress.

Это побочный продукт каталога сайтов, который я делаю один. Обходчик читает главную ради описания карточки, а технический паспорт снимается с того же ответа, без единого лишнего запроса к чужому серверу. В статье две части: как устроен обход и на какие грабли наступаешь именно в рунете, и сами цифры. Цифры заморожены на 23 сентября 2026 года и лежат на отдельной странице: срез за III квартал 2026. Живая версия пересчитывается раз в час на /stats.

Читать далее

ИИ не отменяет hard skills: что аналитикам предложат на A&PM EVENT 2026

Уровень сложностиПростой
Время на прочтение3 мин
Охват и читатели7K

Проверить результат работы ИИ, найти причину срывов сроков, заметить пропущенный сценарий в требованиях - для этих задач нужны разные инструменты. Как их выбирать и осваивать на практике, рассказали модераторы двух секций INFOSTART A&PM EVENT 2026 Денис Богданов и Мария Серегина. Конференция пройдет 12–14 ноября в Санкт-Петербурге.

Секция «Инструментарий аналитика», которую модерирует Денис Богданов, посвящена расширению профессионального набора методов и подходов. Секция Марии Серегиной «Прикладные компетенции аналитика» делает акцент на их применении: в программе много мастер-классов, воркшопов и игр, где участникам предстоит самостоятельно решать задачи...

Читать далее

Дерево, Лес или DAG? Как мы строили модель данных для цифрового офиса сотрудника

Время на прочтение10 мин
Охват и читатели8.1K

Предметное поле банковского приложения для сотрудников: как его визуализировать — как лес, дерево или граф? Я Валерий Разномазов, тимлид команды системных аналитиков проекта «Цифровой офис сотрудника», в рамках которого мы создаем приложение для сотрудников Россельхозбанка. В этой статье я рассказываю, как мы строили модель данных для приложения «Цифровой офис сотрудника» в РСХБ и почему отказались от классического «дерева» в пользу ориентированного ациклического графа (Directed Acyclic Graph, DAG).

Дерево, Лес или DAG?

Пять тысяч строк одного списка: собираю франчайзинговую сеть 1С по открытым данным и сверяю с ЕГРЮЛ

Уровень сложностиСредний
Время на прочтение8 мин
Охват и читатели5.9K

У фирмы «1С» есть открытый список 1С-франчайзи: страница, где можно выбрать регион и увидеть всех, кто внедряет «1С:Предприятие» в вашем городе. Это, пожалуй, самая большая франчайзинговая сеть в российском IT, и нечастый случай, когда франчайзер сам выкладывает всю сеть одной страницей. Я хотел простого: собрать этот список целиком, посчитать, как сеть разложена по карте, и привязать каждую строку к юрлицу в ЕГРЮЛ.

Простого не вышло. Ниже - как устроен источник, что в нём сломано и сколько строк в итоге удаётся честно связать с реестром. Код на Python, короткими кусками, всё снято 12 октября 2026 года.

Читать далее

Больше, чем просто ИТ-среда для обучения. Как работает Корпоративный университет КОРУСа?

Время на прочтение11 мин
Охват и читатели6.7K

В Корпоративном университете КОРУСа сотрудники выпускают работающие приложения, собранные с помощью ИИ, тренируют переговоры с цифровым оппонентом, учатся на менторинге друг у друга разным навыкам — от бюджетирования до тест-дизайна, и это далеко не все.

В этой статье узнаешь о главных инициативах команды Корпоративного университета и образовательных возможностях, доступных каждому корусянину.

Читать далее

Конверсия упала на 14% за ночь. Найдите причину за 20 минут

Уровень сложностиСредний
Время на прочтение12 мин
Охват и читатели10K

Конверсия интернет-магазина за ночь упала на 14%, хотя оплаченных заказов стало больше. Под подозрением — релиз iOS и посевы в Telegram. Разбираем, как за 20 минут проверить метрику, выявить сбой трекинга и разобраться в реальных причинах просадки.

Читать далее

Атаки на дата‑центры «Яндекса»: что известно, как это влияет на бизнес и чего ждать инвесторам

Время на прочтение10 мин
Охват и читатели19K

Серия атак на инфраструктуру «Яндекса» привела к полной или частичной остановке работы нескольких его ключевых дата-центров. В ночь на 8 октября пожар вспыхнул в дата-центре компании в Сасове Рязанской области, 9 октября полностью вышли из строя ряд модулей дата-центра в Калуге, а в ночь на 11 октября была полностью остановлена работа ЦОД во Владимире.

Как следствие, за последние пять торговых сессий акции «Яндекса» растеряли почти 9% своей стоимости, а сегодня в моменте опускались до отметки в 3255 рублей. Подобная коррекция отражает переоценку инвесторами системных рисков, поскольку физическая безопасность дата-центров становится фундаментальным фактором стоимости. Инвесторы закладывают в цену не только прямые затраты на восстановление, но и потенциальные долгосрочные издержки на перестройку архитектуры безопасности, что неизбежно давит на маржинальность.

Насколько серьёзные масштабы проблемы у компании? Как это отразится на финрезультатах? Какие риски существуют в дальнейшем? Что будет с акциями?

Читать далее

Описательный анализ и где он обитает

Уровень сложностиСредний
Время на прочтение13 мин
Охват и читатели7.1K

Просто стало интересно — что такое описательный анализ. Математический анализ, функциональный анализ знаю. А описательный?

Наверно такое определение подойдет: Описательный анализ — это последовательность шагов, которая превращает сырые данные в понимание процесса. Маркетологи наверно будут говорить, что это не анализ, а аналитика, ну это их проблемы.

Как теоретическую основу я использовал идеи из следующих источников:

Process Mining — Ван дер Аалст, «Process Mining: Data Science in Action (2016). Методология извлечения знаний о процессе из логов событий.»

EDA (Exploratory Data Analysis) — Тьюки, 1977. Принцип: сначала смотреть на данные, потом строить модели.

Lean Six Sigma — DMAIC (Define, Measure, Analyze, Improve, Control). Стандартная методология улучшения процессов.

Я не применяю всех методов, описываемых в Process Mining: Data Science in Action. Для данного анализа достаточно понимать, что наука о данных — это, в частности, превращение данных в реальную ценность.

В этой статье ценность — понимание процесса. Мы не строим прогнозы, не используем машинное обучение. Мы делаем описательный анализ: превращаем сырые логи в картину того, как процесс работает на самом деле.

В статье неявно используется дискретная математика, теория графов, а математическая статистика не потребовалась. Еще: для меня реальные значения более информативны, чем картинки, но для любителей несколько диаграмм я все ж добавил. В тексте много цифр, я старался показать весь процесс, но для понимания результатов можно смотреть только выводы в конце каждого шага

Читать далее

ИИ написал код, модель нашла сигнал. Почему на бирже это не принесло денег?

Уровень сложностиПростой
Время на прочтение9 мин
Охват и читатели3.2K

На конференцию «Биржевой Алгоритм 2026» я летел из Перми в Москву рано утром прямо в день конференции 9 октября. Когда прошёл все досмотровые формальности в аэропорту и уже ждал посадку, то через громкоговоритель объявили, что авиакомпания Победа отменила все рейсы Пермь‑Москва на сегодня, хотя посадка на их ближайший рейс в Москву должна была начаться минут через 20. Но у меня был другой перевозчик Аэрофлот — так что моя посадка состоялась, я улетел и смог принять участие в конференции.

Обратная дорога на следующий день оказалась сложнее. Самолёт Sukhoi Superjet несколько раз заходил на посадку в Перми, круга 4 сделал, а в последний заход даже на высоту пятиэтажки опустился и я уже подумал что сядем, но нет — стал набирать высоту и мы улетели в Екатеринбург, несколько пассажиров причём запаниковали и сошли в Екатеринбурге. Потом ещё приходила собака‑кинолог после их схода. Затем самолёт заправили и рейс вернулся в Пермь, а прибытие сдвинулось примерно часов на пять.

Так вот — даже план полёта не гарантирует, что самолёт сядет в нужном месте и в нужное время. И с торговыми стратегиями то же самое: на истории они выглядят убедительно, а в реальности сталкиваются с тем, чего в модели не было.

Это был небольшой переход от реальной жизни к алгостратегиям.

Конференция по алгоритмам и ML

Анимированная диаграмма последовательности: от кода Mermaid до видео и сайта с озвучкой

Уровень сложностиПростой
Время на прочтение6 мин
Охват и читатели4.6K

Я сделал редактор, в котором диаграмма последовательности превращается в презентацию с голосом диктора. Диаграмму можно писать кодом Mermaid или собирать мышью, а потом выгрузить как видео или как сайт на GitHub Pages. Попробовать можно здесь.

Читать далее

Ближайшие события

Почему «размерные двойники» Lamoda не сработали: UX‑разбор выбора размера по отзывам

Уровень сложностиСредний
Время на прочтение5 мин
Охват и читатели7.2K

Lamoda пыталась сортировать отзывы покупателей с похожими параметрами тела. Идея звучит логично — но не дала эффекта ни на покупки, ни на возвраты. Разбираемся, почему «размерный двойник» не решил главную задачу пользователя и что можно сделать

Читать далее

AI за день изменил всю математику, а также чумной вопрос в России: главное за неделю

Время на прочтение12 мин
Охват и читатели97K

Самые интересные новости финансов и технологий в России и мире за неделю: Маск собирается занять $40 млрд на датацентры, госдолг Франции стал слишком шатким, выводить деньги из России становится всё менее удобно, AI-компании репетируют первую большую катастрофу по вине ИИ, Anthropic официально запрещает травить Claude, а с холодных кошельков Ledger украли $80+ млн. 

Читать далее

Мы перестали смотреть на дашборды расходов и добавили стоимость прямо в интерфейс Databricks

Уровень сложностиПростой
Время на прочтение2 мин
Охват и читатели8.1K

А что если вместо дашборда по затратам Databricks добавить их прямо в интерфейс. С этой идеи начался наш мини проект, который решал сначала нашу локальную проблему, а теперь доступен для всех.

Читать далее

Как бизнесу сэкономить ресурсы на методологиях, которые не работают «из коробки» • ЦКП и статистики

Уровень сложностиСредний
Время на прочтение37 мин
Охват и читатели7.8K

Разбор того, как построить систему оценки эффективности, которая контролирует себя сама, и почему заимствованную теорию необходимо переосмыслять относительно обстоятельств своего бизнеса, рынка и культуры.

Российские компании охотно берут готовые управленческие методологии, будь то KPI, OKR, ЦКП и статистики, Lean или Agile. Чаще всего их внедряют как свод правил, который достаточно аккуратно повторить, и гораздо реже как теорию, которую сначала нужно понять, проверить на своих условиях и доработать. Разница между этими подходами решает, получит ли компания работающий инструмент или дорогую имитацию.

В статье я разбираю обезличенный случай внедрения системы «ценного конечного продукта и статистик» в крупной организации. На нём хорошо видно, как методика, перенесённая без адаптации, превращает систему, которая должна была дать прозрачность, в ещё один источник цифр, которым никто не верит. Я рассказываю, как было устроено исследование, какой замкнутый круг порчи данных оно обнаружило и какую модель системы я предложил в ответ. Модель состоит из основы и шести уровней контроля, а кроме неё в статье есть принципы защиты от подгонки показателей под премию, порядок внедрения и пошаговый способ адаптировать любую методологию под свою компанию.

Конечно же, не забыл сопровождать текст вставками цитат разных авторитетных (возможно, для кого-то) западных специалистов, на случай, если моих доводов будет недостаточно.

Читать далее

Заказчик изменил требование посреди разработки. Как понять, что придётся переделывать

Уровень сложностиСредний
Время на прочтение8 мин
Охват и читатели10K

Заказчик добавил новое условие, когда разработчики уже пишут код, а QA готовит тесты. Теперь нужно понять, какие части системы затронет изменение, сколько работы придётся переделать и можно ли сохранить срок релиза. На примере согласования заявок разберём, как провести анализ влияния изменений и подготовить оценку для обсуждения с командой.

Оценить изменения

Двойной ввод в 1С: дорого не время, а ошибки и задержка. Как измерить это в своей базе

Время на прочтение5 мин
Охват и читатели6.4K

Когда говорят о ручном переносе данных в 1С — заказов с сайта, сделок из CRM, оплат из своей программы, — обычно считают время: столько-то документов в день на столько-то минут. Это честная, но самая маленькая часть счёта. Время видно. Ошибки и задержка — нет, потому что всплывают они в другом отделе и в другой день.

Я проектирую интеграции 1С с внешними системами и до этого двенадцать лет работал в закупках — тем самым пользователем, который принимает решения по данным из 1С. В этой статье — инженерный взгляд на двойной ввод: какие классы ошибок он порождает, почему задержка — это проблема согласованности данных, и как оценить и то и другое запросами к собственной базе, а не на глаз.

Читать далее

Аналитик и ИИ: три инструмента, которые превращают хаос в требования

Время на прочтение8 мин
Охват и читатели5.4K

Мы работаем на крупном проекте, где присутствует десятки интеграций, сотни бизнес-сценариев, документация в Confluence, а теперь ещё и описания бизнес-сценариев с помощью ИИ прямо в репозиториях. Это здорово выручает для погружения в проект, но всё равно не покрывает всю картину при работе над конкретной доработкой. Поэтому в команде аналитиков мы начали заводить собственных ИИ-агентов: собираем в папку нужные репозитории из Git, БФТ от заказчика, заметки со встреч, и вместе с агентом проектируем и анализируем.

Дальше в статье мы разберём полный конвейер: как готовим данные для ИИ-агента, передаём ему контекст и затем превращаем результат анализа в готовое ЧТЗ. Без нормальной подготовки на входе даже самый умный агент выдаст ерунду, а Markdown-результат на выходе ещё нужно оформить в корпоративный .docx.

Читать далее