Обновить

Системный и бизнес-анализ

Сначала показывать
Порог рейтинга
Уровень сложности

Сравнение двух Excel онлайн в оперативной памяти. Добавлен Экспорт

Уровень сложностиПростой
Время на прочтение2 мин
Охват и читатели11K

После публикации первой части и практического опыта, сделал небольшие доработки в свой онлайн инструмент для сравнения двух Excel , также можно сравнить Excel и CSV файлы без преобразований.

Начну с небольшого вступления, почему я начал делать данный инструмент. Я работаю инженером данных и довольно многое автоматизировал в своей работе. В последнее время я занимаюсь миграцией различных скриптов из SAS в Databricks. Для сравнения таблиц есть несколько готовых инструментов типа datacompy, а также свои наработки. Там всё просто, можно преобразовать любые форматы и сравнить. Но вот появилась необходимость сравнить Excel, как результат работы скрипта и CSV выгруженный из Databricks. Есть несколько способов сделать это:

Читать далее

StarRocks 3.5: Snapshot, Load Spill, партиции, MV, транзакции, безопасность

Уровень сложностиСложный
Время на прочтение5 мин
Охват и читатели6.1K

StarRocks 3.5 приносит точечные улучшения по надёжности, производительности и безопасности: кластерные Snapshot для DR в архитектуре shared-data (разделение хранения и вычислений), оптимизацию пакетной загрузки (Load Spill) для сокращения мелких файлов и пропуска Compaction, более гибкое управление жизненным циклом партиций (слияние по времени и автоматический TTL), многооператорные транзакции для ETL, ускорение запросов по озеру данных через автоматические глобальные словари, а также поддержку OAuth 2.0 и JWT.

Читать далее

Разработка DWH с нуля – особенности архитектуры

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели18K

Проект по построению DWH с нуля был запущен по инициативе Заказчика в рамках крупной трансформации управленческой отчетности и аналитики. 

В статье расскажу, как мы выстроили архитектуру DWH, какие подходы использовали на каждом уровне, с какими подводными камнями столкнулись и как обеспечили стабильную поставку данных для аналитики.

Читать далее

Как делать грамотный бэктест и анализ торговой стратегии: метрики, сигналы, сделки и выводы в алготрейдинге

Уровень сложностиСредний
Время на прочтение8 мин
Охват и читатели13K

В этой статье я покажу, как протестировать стратегию по реальным историческим данным, сохранить сигналы, симулировать сделки, рассчитать метрики — и понять, стоит ли стратегия того, чтобы торговать ей на бирже.

Все примеры — на Python. В предыдущей статье я показывал написание бота и бектест кода, который просто выдаёт сухие сделки и реализованную прибыль в %. Однако существует много разных параметров и переменных стратегии, без которых ее использование обычно убыточно.

Читать далее

От GreenPlum к Mirrorship: Кейс трансформации Bank of Hangzhou Consumer Finance на основе архитектуры Lakehouse

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели7.2K

Bank of Hangzhou Consumer Finance, являясь лицензированной организацией потребительского финансирования, всегда сохраняла сильный дух технологических инноваций, занимая второе место в отрасли по количеству патентов. Столкнувшись с вызовами, связанными с быстрым ростом бизнеса, компания начала трансформацию своей инфраструктуры данных, кульминацией которой стало создание платформы GLH Lakehouse на базе Mirrorship.

Читать далее

Разговорный UML: как говорить с командой на одном языке

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели14K

Привет! На связи Кнышенко Марина, системный аналитик Рунити. В этой статье мы попробуем сделать из UML универсальное средство общения, чтобы диаграммы помогали наладить диалог между командой и не лежали в архиве в качестве средства устрашения. Статья будет интересна системным аналитикам, которые ищут универсальные инструменты для работы и хотят настроить коннект с командой. 

UML — унифицированный язык моделирования… На втором слове коллеги заснули. На практике из академического определения можно запомнить, что UML — это язык. Язык необходим для передачи мыслей от одного человека к другому. Точно также на языке UML можно составить синтаксически верное описание системы, пустив в дело весь доступный арсенал «стрелочек» и «квадратов», но эти многоэтажные диаграммы так никто и не поймет.

Читать далее

ИИ ускоряет работу, но замедляет проект?

Уровень сложностиПростой
Время на прочтение8 мин
Охват и читатели12K

Я — разработчик на C++, и да, я использую нейросети: спрашиваю у них про тонкости стандарта, нахожу нужные функции в библиотеках без документации, прошу сгенерировать простую функцию и даже — проверить мой код. Всё это быстро и удобно. Ощущение, будто работаешь на околосветовой скорости. Пришла уверенность, что вот оно, настоящее программирование, состояние потока, ощущение полёта! Но потом я заметила странную вещь: тикеты стали закрываться чаще, а релизы — наоборот, выходили медленнее.

Это как вырваться вперёд в командной гонке: ты едешь впереди, а ветер и рассинхронизация тормозят и путают остальных. В итоге — твой отрыв не помогает, а сбивает темп всей команды.

Меня это обескуражило. Я решила разобраться, почему ощущение продуктивности разработчика так отличается от реальных результатов команды, как связаны ИИ-инструменты с метриками времени и качества, а также почему высокая продуктивность требует чего-то большего, чем быстрого написания кода.

Читать далее

Определение требований к ПО

Уровень сложностиПростой
Время на прочтение5 мин
Охват и читатели10K

В статье представлено описание определения требований к ПО по Карлу Вигерсу. В статье законспектированы особенности интерпретации требований, уровни и типы требований, три уровня требований, требования к продукту и требования к проекту.

Читать далее

Оптимизация снабжения и закупок: как обработка для 1С:ERP возвращает порядок в работу

Уровень сложностиСредний
Время на прочтение5 мин
Охват и читатели7.4K

«Разрозненность отделов снабжения и закупок – это не просто бюрократия, а прямая угроза эффективности бизнеса, – рассказывает Дина, cистемный аналитик 1С в Programming Store. – Пока одни сотрудники формируют потребности в Excel, другие вручную обрабатывают заказы, теряя время на согласование, исправление ошибок и поиск актуальных данных. Результат? Задержки, избыточные заказы и недовольство смежных подразделений. Как решить эту проблему, расскажу в статье»

Читать далее

Лучшие статьи Хабра в июле 2025 года

Уровень сложностиПростой
Время на прочтение11 мин
Охват и читатели13K

С возвращением в ежемесячный дайджест Хабра! Прошло несколько месяцев с последнего выпуска, и я захотел узнать изменилось ли что-нибудь за это время на платформе?

Посмотрим, какие темы стали трендовыми в июле 2025, как поменялись интересы аудитории и кто из авторов оказался в центре внимания.

Этот выпуск особенный: с марта прошло четыре месяца, и важно понять - стал ли Хабр более техническим, более «историко-социальным» или окончательно ушёл в сторону лайфстайл-контента?

Внутри:

✅ Методология и критерии
✅ Топ по просмотрам, комментариям, закладкам и рейтингу
✅ Скрытые жемчужины
✅ Лучшие авторы месяца
✅ И аналитика главных трендов месяца.

Инфоцыгане тут?

Как я написал алгоритмического бота на Python для торговли по индикаторам на Bybit

Уровень сложностиСредний
Время на прочтение12 мин
Охват и читатели60K

Полный разбор создания алгоритмического трейдинг-бота с использованием индикатора Bollinger Bands, кластерных сигналов и API Bybit. 1700% прибыли за год использования.

Читать далее

Почему не стоит заменять пустые значения на 0 в Power BI

Уровень сложностиСредний
Время на прочтение5 мин
Охват и читатели6K

Если вы когда‑либо занимались построением отчётов в Power BI, то наверняка сталкивались с просьбой «заменить пустые значения на ноль — чтобы было красиво». Кажется, мелочь. Но на самом деле это решение может незаметно убить производительность модели, превратить быстрый отчёт в тормозящий интерфейс, а оптимизатор — в беспомощного наблюдателя. В этой статье — разбор того, что происходит под капотом VertiPaq, как DAX на самом деле обрабатывает BLANK, и почему иногда лучше оставить пустое значение пустым.

Читать далее

ClickHouse не тормозит, но теряет данные. Часть 2 — от буферных таблиц к Kafka Engine

Время на прочтение6 мин
Охват и читатели12K

ClickHouse не тормозит, но теряет данные. Набор простых действий с объяснениями, позволяющий избежать потери данных.

Читать далее

Ближайшие события

Разбор задачи с реального собеседования: e-commerce, брокер и резервы склада

Уровень сложностиСредний
Время на прочтение3 мин
Охват и читатели5.9K

Условия задачи

Сценарий:  

У нас есть e-commerce платформа, состоящая из:

веб-приложения,

брокера сообщений,

бэкенда.

Клиенты могут заказывать товары, а складская система проверяет наличие товаров на складе.  

Каждый раз, когда клиент делает заказ, система отправляет запрос через брокер для проверки доступности товара на складе и блокирует его на время обработки заказа.

Проблема:  

Клиенты могут:

добавлять несколько товаров в корзину одновременно,

отправлять несколько заказов.

Это приводит к тому, что резервируется больше товара, чем есть на складе.  

Из-за этого возможны ситуации, когда товар отображается как доступный, но при попытке завершить заказ оказывается, что он уже заблокирован другим клиентом.

Необходимо:

Выявить процессы, которые происходят,  

На основе этих процессов отобразить схему (sequence diagram) взаимодействия,  

Предложить 2 способа оптимизации, чтобы избавиться от текущих проблем. 

Переходим к решению ⬇️

Читать далее

Как в Авито разработали метрику для поиска распространённых проблем крупных пользователей

Уровень сложностиСредний
Время на прочтение9 мин
Охват и читатели25K

Привет! Меня зовут Яша Финкельберг, я senior аналитик в Авито. Здесь мы постоянно следим за удовлетворённостью продавцов и покупателей площадки и ищем способы улучшать их взаимодействие с Авито. Чтобы находить более детальные драйверы, сегментировать запросы и ставить предсказуемые цели в работе с обращениями, мы решили разработать собственную метрику для работы с опытом пользователей — weighted contact rate (wCR). В статье я расскажу, почему мы решили дополнить существующие метрики нашей, и дам пайплайн разработки, по которому уже вы сможете внедрить что-то подобное у себя в компании. Текст будет полезен аналитикам крупных компаний.

Читать далее

«Чёрное зеркало» в реальности: как мы сделали приложение будущего

Уровень сложностиПростой
Время на прочтение13 мин
Охват и читатели12K

Недавно наш клиент сказал: «Нужен новый дизайн ещё вчера» (классика). И нам удалось разработать всё за рекордные 2,5 месяца и не просто выжить помочь бизнесу привлечь инвестиции.

Вместе со Светой, аналитиком Surf, расскажем, как мы это провернули. С примерами, фейлами, выводами и щепоткой боли аналитиков.

Читать дальше

Скрейпинг Temu в 2025: реальный кейс с антиботом, ротацией и прокси

Уровень сложностиСредний
Время на прочтение4 мин
Охват и читатели5.7K

Разбираем полный цикл построения надёжного скрейпера для Temu: от выбора стека и прокси до обхода JavaScript‑челленджей и сбора тысяч карточек товаров без единого 403.

Читать далее

Yandex GPT + Excel: Автоматизация анализа данных через Python

Уровень сложностиПростой
Время на прочтение4 мин
Охват и читатели21K

Большие данные в Excel — большая головная боль

Представьте: перед вами тысячи строк в Excel с опечатками и разными форматами. VBA и Python помогают, но... что если есть способ быстрее? Я нашел решение, которое экономит часы ручной работы.

Читать далее

«Отказываться нельзя использовать» — как мы расставили ключевые запятые, исходя из опыта работы с low-code платформой

Уровень сложностиПростой
Время на прочтение6 мин
Охват и читатели7K

Привет! В департаменте корпоративных систем ЛАНИТ, где я работаю аналитиком, одно из направлений — разработка ИТ-решений и бизнес-приложений на базе систем визуального программирования. Последние два года мы реализовывали проекты с использованием low-code платформы BPMSoft. Хочу поделиться нашим опытом в этой статье.

Читать далее

Как мы в ПСБ проводим кросс-ревью: чек-лист и прочая кухня

Уровень сложностиПростой
Время на прочтение6 мин
Охват и читатели6.3K

Звезда Смерти казалась неуязвимой, но маленькая вентиляционная шахта и один чёткий выстрел повстанцев привели к тому, что она была полностью разрушена. Этого можно было избежать, если бы при разработке даже не самой космической станции, а технического задания при её создании применялось кросс-ревью. 

Всем привет! Я Алексей Толбин, главный системный аналитик в ПСБ, эту статью я написал вместе со своими коллегами — Никитой Резаевым, ведущим системным аналитиком, и Оксаной Резван, управляющим экспертом. 

Все большие проекты начинаются с ТЗ. Оно задаёт вектор развития и ошибки, допущенные на этапе его проработки, могут привести к последствиям, которые в дальнейшем будет тяжело, а в некоторых случаях и невозможно исправить.

В этой статье мы поделимся чек-листом по проведению кросс-ревью, который мы собрали опытным путём. Эти практики помогают нам улучшить процесс ревью, постановку ТЗ и в целом избегать больших ошибок при разработке. Надеюсь, будет полезно. 

Читать далее