Анализ и проектирование систем *

Меня зовут Артем Москальков, я — ведущий инженер данных в Магнит OMNI. В статье я расскажу о том, как мы оптимизировали производительность кластера в ClickHouse.

Частые мелкие вставки данных через Kafka Sink-коннектор серьёзно замедляли работу ClickHouse из-за огромного числа отдельных запросов. Путём настройки параметров потребителя Kafka и включения объединения партиций удалось сгруппировать записи в крупные блоки, что резко снизило нагрузку на базу и многократно увеличило её пропускную способность.

В крупных компаниях с множеством платформ, например, интерфейсом интернет-магазина и системой обработки данных, часто требуется настроить доступ между системами через единый вход (SSO). Эта статья рассматривает задачу: обеспечить доступ из фронт-системы (reports-frontend) к API отчётов (reports-api) через Keycloak, чтобы JWT-токен содержал роль report_user. В контексте e-commerce это можно представить как интерфейс магазина, где менеджеры запрашивают отчёты о продажах, а Keycloak управляет аутентификацией.

Кому будет полезно?

Аналитики: Узнаете, как составлять заявки (например, в Jira) на настройку Keycloak, координировать с командами и проверять JWT в DevTools, чтобы избежать ошибок, таких как отсутствие роли в токене.

Разработчики: Познакомитесь с примером кода для React-фронтенда и Node.js-бэкенда, реализующим OIDC и PKCE.

Архитекторы: Поймёте, как Keycloak поддерживает SSO, масштабируемость (через PostgreSQL или Active Directory) и безопасность (PKCE, HTTPS).

Что внутри?

Теория: Объясняем SSO, OpenID Connect (OIDC), компоненты Keycloak (realms, хранилища, PKCE) и как JWT с ролью report_user обеспечивает доступ.

Практика: Показываем проект с React (reports-frontend), Node.js (reports-api) и Keycloak, запущенный через Docker Compose. Код включает realm-export.json, App.tsx, server.js, ReportPage.tsx.

Аналитика: Рассказываем, как аналитик формирует заявки на настройку Keycloak и координирует работу с админами, разработчиками и DevOps.

Я сделал расширение для хрома, чтобы документировать сваггер спецификации. Полезно для ситуаций, когда код уже написан и используется, а на описание API не хватает ресурсов. По задумке должно экономить тонны тупого монотонного ручного труда. Попробовать воспользоваться можно здесь. Код лежит здесь.

Вторая часть посвящена проблеме адекватности обоих двойников и путей её решения. Именно неадекватность модели – это основная преграда, о которую спотыкаются практически всё, выдаваемое сегодня за «Цифрового двойника».   

В первой части [DT1] были рассмотрены проблемы современного «Цифрового двойника» \ Digital Twin (ЦД \ DT) и общие подходы к его идентификации, в первую очередь, его «Трехкомпонентный состав DT» («три кита» двойника): реальный объект (физический двойник, «физик», Physical Twin, PT), его модель (собственно сам DT) и обратная связь – как передача эксплуатационных данных объекта в контекст его модели (в идеале двухсторонний обмен). В идеале должен быть не только двухсторонний обмен по эксплуатационным данным, но и обмен по состоянию самой структуры объектов (синхронизация структуры), что будет подтверждать актуальность используемой модели (структурную адекватность обоих двойников). 

В большинстве случаев предлагаемые «примеры DT» представляют собой незамысловатый ребрендинг привычных (обычных) систем, т.е. скорее являются Pseudo Digital Twin \ Digital Impostor, а не Digital Twin, при этом даже имея все три компонента DT могут содержать модель не адекватную своему физическому близнецу («as-is» vs «as-really-is").

Кроме маскирования под DT обычных SCADA - систем и CASE \ BPMS типа ARIS (см. первую часть [DT1]), включая Enterprise Architecture (EA, архитектура предприятия как цифровой двойник предприятия), красивую вывеску «DT» прикручивают к системам:

- ERP, например, dia$par,

Недавно под одной из моих статей на Habr разгорелся спор («Как малому бизнесу автоматизировать продажи с минимальными вложениями на базе 1С»). Один читатель отметил, что за решение типовой задачи по 1С франчайзи запросил 4000 рублей в час, тогда как в другой облачной системе аналогичное действие обошлось бы в 500 рублей. Другой участник дискуссии возразил свое мнение касательно озвученной проблеме:
“Вы действительно считаете, что если задача решается за 5 минут, она должна стоить 333 рубля? Это как у врача: зашёл, получил диагноз за минуту, но платишь всё равно за приём”.

Этот пример оказался показательной иллюстрацией куда более широкой и глубокой темы: Должна ли стоимость ИТ‑услуг определяться временем, трудоёмкостью, квалификацией или ценностью результата?

Всем привет! Наверняка у вас были ситуации, когда нужно быстро найти что-то в длинном документе-договоре, инструкции или отчёте. Сегодня я покажу, как сделать своего помощника, который будет отвечать на такие вопросы автоматически. Соберем RAG с нуля: загрузим документы, "нарежем" их на куски, проиндексируем в векторной базе данных Qdrant и подключим LLaMA.

Если вы увидели незнакомые слова — не пугайтесь, далее я расскажу об этом подробно.

Как говорил один великий: нет такой вещи как плохая реклама (PR). Любая реклама хорошо, хуже только отсутствие рекламы.

Попробую быть кратким ... Можно начать с оригинальной статьи, и некоторые, детальные комментарии, и уже потом этот текст (хотя… можно и не тратить время) ...

То, что эта статья чистый черный Пиар – вне всяких сомнений. И то, что автор пытается любой ценой очернить ...

В этой статье я хочу показать, что из себя представляет System Design. На примере простого и очень популярного на собеседованиях сервиса «Сокращатель ссылок», мы рассмотрим стадии System Design и в конце у нас будет готова схема системы со всеми расчетами.

Маркетинг при продажах крупным корпорациям это не классические продажи B2B, это целая спецоперация и пропаганда. А еще использование мягкой силы на государственном уровне. Не верите? Тогда читайте непридуманные истории.

Большинство компаний так или иначе заявляют о себе в интернете — делают сайты, ведут соцсети, покупают рекламу и размещаются у блогеров. Все это требует вложений и иногда — немаленьких, поэтому бизнесу нужен инструмент, который позволял бы отслеживать, насколько эффективно расходуются деньги и какие каналы приводят больше всего людей. Веб-аналитика — это именно такой инструмент. 

Веб-аналитика — это способ понять, как пользователи взаимодействуют с сайтом, откуда они пришли и что делали. Она помогает отследить путь от первого посещения до целевого действия и оценить эффективность разных маркетинговых активностей. 

В этой статье мы расскажем про основы, которые надо знать, чтобы начать эффективно выстраивать веб-аналитику в своей компании: источники данных, способы сбора, метрики и особенности разных каналов привлечения клиентов. 

В эпоху цифровизации промышленности всё больше компаний понимают: стандартизация программного обеспечения — это не просто формальность, а мощный инструмент для управления рисками, сокращения затрат и повышения стабильности работы производства.

Сегодня автоматизированные системы управления технологическими процессами (АСУ ТП) становятся всё более «программно-ориентированными». Если раньше основным считались контроллеры и оборудование, то сейчас главная ценность — это софт: логика процессов, алгоритмы управления, интерфейсы операторов и интеграция с другими уровнями автоматизации.

В этой статье расскажу, как стандартизация программного обеспечения помогает эффективнее обслуживать АСУ ТП и какие реальные выгоды она приносит предприятиям.

Всем привет! Продолжаем делиться тем как мы разрабатываем наш инструмент моделирования. К предыдущей статье было много вопросов о том можно ли модели хранить и редактировать в текстовом виде, как насчёт architecture as code, code first и т. д. Мне хотелось бы написать, что мы добавили эту фичу в текущем релизе, но нет, пока есть только такая демка с исходниками. И в этой статье я расскажу как она сделана, как запилить свой предметно‑ориентированный язык (DSL) и текстовый редактор для него.

Всем привет! Я Женя Белодед, ex-арт-директор в Студии Райт. К нам пришел клиент — CSI, разработчик IT-решений для автоматизации ритейла. Его запрос — обновить интерфейс касс самообслуживания CSI K, которыми будут пользоваться покупатели в 90 торговых сетях России и СНГ.

Сегодня о важности проектирования в контексте и о том, как окружение интерфейса и его эргономика все меняют. Спойлер: без факапов не обошлось, но они сделали нас сильнее! Погнали!

Привет, Хабр! На связи Олег Оболенский, я руководитель направления проектирования и разработки VK Tech. В компании я отвечаю за разработку корпоративного ПО, а мои команды также оказывают комплекс профессиональных услуг по адаптации наших решений к бизнес-требованиям заказчиков. Мы реализуем облачные и гибридные проекты любой сложности и масштаба, переносим данные, поддерживаем наши сервисы, помогаем оптимизировать затраты на ИТ, управлять виртуальной инфраструктурой. Из каждого сложного внедрения мы стараемся выносить пользу, чтобы обогащать продукты новыми возможностями. Кейс, про который мы сегодня расскажем, будет на стыке работ сразу нескольких подразделений.

Как получить прозрачность в бизнес-процессах, если архитектура строится на микросервисах и событийных потоках? В своей статье Бернд Рюкер, сооснователь Camunda, делится практическими подходами к отслеживанию и управлению процессами в распределённых системах. Он объясняет, как переход от простого мониторинга событий к полноценной оркестрации помогает лучше понимать происходящее, своевременно реагировать на инциденты и сохранять контроль над сложными бизнес-операциями. В статье разбираются плюсы и минусы различных подходов — от Elastic-подобного мониторинга до использования движков рабочих процессов, а также рассматривается важность баланса между оркестрацией и хореографией.

Автор оригинальной статьи: Daniel Terhorst-North 

Вы можете накормить волков и сохранить овец, если сделаете все правильно.

Многие организации живут в постоянном напряжении между двумя путями разработки: быстрым, но «грязным», и надежным, но медленным. Одни торопятся, оправдывая технический долг «прагматизмом», другие осторожничают, опасаясь ошибок и занимаясь оверинженерингом. Я предлагаю третий путь — «лучшую простую систему на сегодня» (Best Simple System for Now, BSSN), которая сочетает преимущества обоих подходов и не заставляет идти на компромиссы.

Суворов Александр Васильевич сказал: «Каждый солдат должен знать свой маневр». Эти слова идеально подходят и для корпоративного управления. Чтобы побеждать в конкурентной борьбе, важно не просто следовать строгим приказам и схемам, а давать сотрудникам возможность действовать гибко и самостоятельно, понимая свои задачи и условия их выполнения.

В этом контексте традиционные инструменты, такие как BPMN, начинают терять свою привлекательность, уступая место более продвинутым технологиям, таким как DMN.

В этой статье мы рассмотрим, что такое GraphQL и для чего он был создан. Разберёмся, какие задачи сложно решить в REST API, и какую альтернативу предлагает GraphQL.

Привет! Меня зовут Николай Смирнов, я ML-инженер в команде поиска Яндекс Лавки. В этой статье я расскажу немного о закулисье: 

— Как наша команда шаг за шагом строила поисковый сервис, начиная с алгоритма Ахо — Корасик, SaaS-решений и Маркета, и дошла до собственной архитектуры на C++ с userver и многослойным «бургером» из ML-моделей. 

— Зачем поиску Лавки понадобилось сразу несколько технологий — BM25, DSSM, BERT и CatBoost — и чем полезна каждая из них. 

— Как наш поиск собирает данные о вас и о товарах и почему ML-модели приходится дообучать. 

А ещё вместе «сломаем» прод — посмотрим, что произойдёт, если выключить какую-нибудь из моделей, и почему даже самые продвинутые нейросети не являются серебряной пулей.

В общем, будет немного истории, самое интересное из архитектуры, инженерные находки и живые примеры того, как поиск в Лавке принимает решения. Если интересно, как на самом деле работает поиск, — погнали!

Всем привет! Меня зовут Диана. Я ведущий аналитик в ИТ-компании Simbirsoft и работают в бизнес-анализе уже более 9 лет. Начинала как аналитик процессов (специалист процессного управления, специалист организационного развития — единого наименования этой должности не существует). У меня накопился опыт работы над проектами в разных отраслях и компаниях. Хочу поделиться, как применение методологий для улучшения процессов помогают компания достичь их конечной цели — масштабировать бизнес, оптимизировать деятельность и повышать результативность работы. 

В предыдущей части статьи я рассказала, насколько актуально бизнес-аналитику понимать СМК (Система менеджмента качества) и, в частности, процессное управление, а также методологии LEAN (бережливое производство) и ТОС (теория ограничения систем). На практическом примере показала, как с помощью моделей и анализа процессов можно навести в них порядок, выстроить систему метрик и начать их отслеживать. И, если в первой части речь шла о фиксации и анализе процессов в их текущем состоянии, то в этой части я бы хотела акцентировать внимание на этапе их улучшения.

Существует большое количество методологий и концепций, направленных на улучшение деятельности. В своей статье хочу остановиться на двух самых известных: