При проектировании систем, обязательным этапом является расчет нагрузки и стоимости на вашу IT-Систему. Давайте разберемся что это за этап и почему он так важен. А также вместе посчитаем основные показатели нагрузки и договоримся о стоимости решения.
Привет, Хабр!
Сегодня мы рассмотрим, как спасаться от «эффекта соседа», рандомизируя не пользователей, а их кластеры в A/B тестах.
У классического AB-теста есть аксиома SUTVA: мол, результат конкретного юзера зависит только от его собственной ветки «treatment / control». Реальность улыбается и кидает в лицо соцсетью, где лайк друга поднимает и твою вовлечённость, курьером, который обгоняет коллег и заражает их скоростью, и cпасибками «приведи друга — получи бонус». Итог — наблюдения больше не независимы.
Внутрикамерный жаргон это называет network interference. Чем плотнее граф связей, тем сильнее лечение «просачивается» за контрольные границы.
Сколько надо заплатить налогов в российский бюджет, если ты сначала купил, а потом продал USDT? Здравый смысл подсказывает что-то вроде «ну, примерно 13–15% НДФЛ от посчитанной прибыли в рублях, если она вообще есть». Но если у вас завалялся ИП в РФ, то налоговой может больше понравиться вариант «6% от всей суммы проданных стейблкоинов, без учета расходов». В этой статье мы разберем как раз такой кейс, который произошел с криптаном из Ростова.
Современные решения в области бизнес-аналитики (BI) и искусственного интеллекта (AI) позволяют агрокомпаниям перейти от формальной отчетности к управлению, основанному на данных. Привет, Хабр! Я - Галина Галкина, работаю в департаменте аналитических систем компании R-Style Softlab (группа компаний Россельхозбанка). В этой статье предлагаю рассмотреть, как цифровые инструменты помогают оптимизировать процессы в животноводстве и птицеводстве.
Привет, Хабр.
Меня зовут Станислав Нижник. Я ведущий системный аналитик в MedTech-компании СберЗдоровье.
В этой статье я расскажу, как мы запустили «Книжный клуб» для системных аналитиков внутри нашей компании, почему мы не читаем на нем книги, как он менялся со временем, какие сложности мы решали. Ну и о том, зачем вообще мы создали «Книжный клуб».
В проектах по разработке ML-моделей я регулярно сталкиваюсь с тем, что значительная часть времени уходит не на саму модель, а на приведение данных в нужный формат: очистку, трансформацию, агрегацию.
Этот этап требует не только времени, но и вычислительных ресурсов, особенно когда речь идет о больших объемах информации. В этой статье я расскажу о своем небольшом исследовании DuckDB — инструменте, который может значительно упростить и ускорить работу с данными.
Сегодня поговорим о sequence-диаграммах (диаграммы последовательности) – одном из способов моделирования взаимодействий между объектами в системе. В этой статье мы рассмотрим преимущества использования sequence-диаграмм, типичные ошибки при их создании, а также пример их проектирования. Ключевая идея – показать мыслительный процесс, а не просто шаблонное описание. Статья будет полезна прежде всего системным аналитикам, а также тем, кто участвует в проектировании и разработке программного обеспечения.
Привет, Хабр! Давайте поговорим сегодня о том, без чего современный бизнес уже практически не может обойтись — о BI-системах.
Бизнес-аналитика (BI) — это стратегия работы с данными, которая помогает компаниям понимать, что происходит в бизнесе, почему и как далеко всё может зайти. BI объединяет инструменты отчётности, визуализации, хранения, прогнозирования и автоматизированного анализа. Всё это нужно, чтобы не строить бизнес «на глазок», а опираться на реальные цифры.
BI переводит сложные процессы анализа в простой сценарий: открыл дашборд — увидел суть.
Рассказываем, когда бизнесу пора внедрять BI и на какие фичи обратить внимание при выборе решения.
Спустя месяц после запуска своего pet-проекта прошла волна первых активных регистраций. Теперь встал вопрос отслеживания их вовлеченности. С базовыми метриками все понятно, а как реализовать технически? Делюсь своим маленьким скромным кейсом.
Генпрокуратура РФ подала в суд иск об обращении в доход государства компании «Южуралзолото» миллиардера Константина Струкова. Разбираемся, что с интеллектуальной собственностью и IT-разработками этого предприятия.
Спойлер: всё очень плохо.
Задача нахождения неточных дубликатов текстовых строк - удивительно часто встречается на практике.
Нахождение неточных дубликатов позволяет лучше понять структуру списка, повысить его качество (удаление дубликатов), провести техническую кластеризацию (выделить группы похожих). Всё это видно на графе выше.
Но приключения начинаются, когда список становится размером несколько миллионов строк. В статье разберем что с этим можно сделать.
Продолжая тему косяков, с которыми могут столкнуться представители различных профессий, давайте поговорим о тех проблемах, который бывают у бизнес-аналитиков.
Хотя роль бизнес‑аналитика имеет решающее значение в любой организации, она не лишена подводных камней. Даже самые опытные специалисты могут допускать ошибки, которые снижают их эффективность в этой быстро развивающейся области. Независимо от того, новичок вы в этой области или имеете за плечами многолетний опыт, важно выявить и исправить эти распространенные ошибки. Итак, приготовьтесь к тому, что мы рассмотрим 10 главных ошибок бизнес‑аналитиков, которые могут помешать вам достичь успеха! От игнорирования ключевых задач до чрезмерной зависимости от документации — мы разберем каждую ошибку и предложим практические решения, которые помогут вам избежать ее, как опытный профессионал. Давайте погрузимся в работу!
Сегодня для того, чтобы данные действительно работали на бизнес, недостаточно просто собрать и обработать их. Необходимо превратить их в понятные и удобные решения – своего рода аналитические продукты, которые приносят реальную пользу. Проще говоря, аналитический продукт (он же data product) – это автоматизированная цепочка действий над данными, результатом которой является полезная информация или рекомендация для решения конкретной бизнес-задачи. Появление таких продуктов стало возможным благодаря построению централизованной аналитической платформы с полной архитектурой данных от интеграции до представления. Иными словами, чтобы данные приносили пользу, они должны пройти путь от извлечения из источников до представления в понятной форме, охватывая этапы интеграции, обработки, представления и управления данными.
Наша «база» — единая аналитическая платформа, реализованная по принципам, применяемым в зрелых data-driven компаниях. В её основе – современный техстек, включающий стриминговую шину данных Apache Kafka на слое интеграции (Stage), высокопроизводительное хранилище ClickHouse на уровнях ODS/DWH/Data Mart, оркестратор пайплайнов Apache Airflow (с использованием dbt) для ETL/ELT и контроля качества данных, систему метаданных OpenMetadata для управления информацией о данных, BI-платформу Yandex DataLens для визуализации, а также собственный REST API-слой для интеграции с внешними системами. Такой подход обеспечивает масштабируемость и воспроизводимость: наша база данных поглощает до сотен миллионов записей в сутки и почти мгновенно выдаёт результаты аналитических запросов благодаря ClickHouse. Все инструменты связаны в единую архитектуру, где потоки событий из источников сразу попадают в Kafka, оттуда – в ClickHouse, после чего данные доступны для построения витрин, дашбордов, алертов и API-интеграций в реальном времени.
Статья для тех, кто хочет выжать максимум из 1С с ограниченным бюджетом.
Вводная часть
«Как можно автоматизировать продажи, не вкладывая сотни тысяч рублей? У нас маленький штат и нет своей ИТ-команды».
Ребалансировка инвестиционного портфеля позволяет контролировать риск и не давать ему отклоняться от заданных параметров. Кроме того, при правильном подходе ребалансировка приносит "избыточную доходность".
Привет! Это команда курса «Аналитик данных» в Яндекс Практикуме. Собрали подборку полезных ресурсов для тех, кто только начинает осваивать визуализацию данных или хочет расширить арсенал инструментов и источников вдохновения. Здесь вы найдёте книги, статьи, онлайн-ресурсы и телеграм-каналы, которые помогут разобраться, как правильно, наглядно и красиво представлять данные.
Исключения являются частью любого процесса. Разработчики, создающие бизнес-процессы, должны уметь обрабатывать исключения в бизнес-кейсе, чтобы гарантировать, что сам процесс устойчив и может продолжаться после возникновения сбоев. Логика обработки исключений различается в зависимости от вашей задачи и инструментов, которые у вас есть в распоряжении. В этой заметке я попытался определить различные методы обработки исключений, используя язык паттернов. Каждый паттерн следует определённой структуре, называемой Контекст (общая ситуация, в которой проблема повторяется), Проблема (формулировка), Условия (условия, при которых можно рекомендовать предложенные решения) и Решение. Итак, давайте приступим.
Привет, Хабр!
Как пилить монолит на микрофронты, углубиться в суть синхронности и асинхронности, обсудить отсутствия документации и её влияния на накопление технического долга – все это в рамках System Analyst Meetup от ГК «Юзтех» и компании «Синимекс».
Бесконечные согласования ради галочки могут испортить любой процесс. Когда юристы получают требования, которые их не касаются, бизнес-аналитики ходят по кругу с вопросами вроде «Я меняю процесс сбора согласия, с кем мне это утвердить?», а новые сотрудники теряются в ролях - всё это негативно влияет хоть на аналитику, хоть на продакшн.
Нам и нашему банку нужно, чтобы все внутренние процессы были отлажены практически до идеала. Указанные выше «согласования, которые есть, чтобы быть» такому часовому механизму не подходят.
А потому за две недели мы собрали чек-листы, за месяц — автоматизированную форму, а следом — плейбук, который теперь читают даже на онбординге.
Flowable Async Executor (также известный как Job Executor) — это ключевой компонент Flowable. По сути, это многократно используемый, автономный компонент, работающий внутри различных движков Flowable и обеспечивающий асинхронное выполнение логики.