Анализ и проектирование систем *

Для чего нужны архитектурные схемы

Один из наших стартапных продуктов дозрел до того, чтобы для него подготовили архитектурную схему. По результату я даже удивился, насколько всё стало разухабисто.

Для чего конкретно нам нужна архитектурная схема? Конечно, кроме того, что это просто красиво.

Онбординг. Технический онбординг мы начинаем с архитектурной схемы. Это позволяет новому сотруднику посмотреть на систему с высоты птичьего полета, начать ориентироваться, кто на ком стоял. Тут же можно бегло рассказать о каждом компоненте, внешних зависимостях и способах их взаимодействия. Причём это работает не только с разработчиками.

Обсуждение работ со смежными командами. Обычно разрабатываемая система работает не в соло. И есть соседние сервисы, с которыми нужно интегрироваться. Первичные обсуждения всегда удобно делать с наглядной картинкой.

Обсуждение и планирование больших фичей. Когда планируется разработка чего-то сложного, затрагивающего многие компоненты/сервисы. Опять же, можно собраться с командой разработки, аналитиками, обсудить и зафиксировать первичные договорённости. Эта же картинка будет полезна, когда перед стартом разработки будет презентоваться окончательное решение.

Напоминалка о сложности. Да, для этого также нужна архитектурная схема, просто чтобы помнить о комплексности, о потребности в людях на хозяйстве, о невозможности реализовать фичу в маленькие сроки, о наличии вооот такого сервиса, о котором уже никто и не помнит.

Как документировать архитектуру?

Пишем эффективные аналитические запросы: первая лекция курса в МГТУ им. Баумана

Делимся лекциями курса «Deep dive into SQL and DWH» от Павла Ковалёва, дата-архитектора Сравни.

Первая лекция прошла 7 ноября — предлагаем посмотреть её видеозапись.

Внутри лекции:

• Обзор основных понятий курса (OLTP и OLAP, хранилище данных, его базовые слои, архитектуры обработки данных и т.д.)

• Устройство DWH — на примере компании Сравни

• Основы оптимизации аналитических SQL-запросов

• Как решать проблемы с неэффективными запросами: практические кейсы

Посмотреть запись можно здесь:

✅YouTube

✅RUTUBE

✅VK

Следующая лекция курса, посвященная архитектурному обзору инструментов для построения DWH, пройдёт уже в ближайший четверг, 14 ноября, с 17:25 до 19:00. Присоединяйтесь в онлайне!

***

Больше информации о наших лекциях, митапах, статьях и других полезных материалах про ИТ, в тг-канале Sravni Tech.

Как документировать архитектуру

В архитектуру входят сервисы, базы данных, брокеры сообщений, внешние интеграции и хорошо бы понимать, кто на ком стоял и кто с кем взаимодействует.

Замечательная статья, охватывающая многие аспекты документирования. Начинает автор с главного, объясняя, зачем нужно документировать архитектуру.

В качестве структурного шаблона для документирования предлагается использовать arc42. Для визуализации — C4 model. Кстати, C4 оказалась вполне удобной, и мы активно применяем её у себя.

Из приятного — для arc42 и C4 автор приводит ссылки на хорошие примеры реализации.

В конце автор рассказывает, как можно всё описанное организовать, применяя подход — documentation as code, а так же приводит полезные тулзы для этого.

Валера Бабушкин в новом Sravni Podcast: «Выйдет GPT-5, и я стану плотником!»

Поговорили с Валерой Бабушкиным — экспертом в области ML и анализа данных, автором книги о проектировании ML-систем. 

Обсудили будущее машинного обучения, сложности с поиском хороших инженеров и менеджеров, несовершенство собеседований и специфику работы в big tech. А ещё разыгрываем книгу Валеры — смотрите выпуск до конца и участвуйте в конкурсе!

Также в этом выпуске:

• Неизвестный бэкграунд Валеры: чем занимался ранее?

• Компетенции и карьерный путь ML-специалистов

• Как успешно управлять командами в ИТ

• Кто самый крутой в ML прямо сейчас — среди отдельных специалистов и компаний

Посмотреть или послушать подкаст можно здесь:

• YouTube

• RUTUBE

• VK

• Яндекс Музыка

Оперативно узнавать о наших новых подкастах, докладах, лекциях и других полезных ИТ-материалах, можно в тг-канале Sravni Tech.

Визуализация данных для аналитиков

Аналитики часто сталкиваются с необходимостью представлять сложные данные в простой и понятной форме. Визуальные инструменты, такие как дашборды, диаграммы и нотации, помогают систематизировать информацию, улучшая процессы принятия решений. Эта подборка объяснит ключевые принципы визуализации и способы их использования в бизнесе.

Визуализация данных — применение в работе, основные принципы, способы и инструменты для использования.

Дашборды — что это, какие бывают и как их строить.

UML — язык моделирования для создания схем.

ER‑диаграммы — пригодятся системным аналитикам, чтобы определить, с какими данными предстоит работать и как они связаны между собой перед разработкой ПО.

BPMN 2.0 — инструмент для создания моделей бизнес-процессов.

Диаграммы последовательности — способ управления процессами для аналитиков.

Приглашаем на Alfa Analyze IT Meetup. В программе: генерация документации, LLM и уязвимости

5 ноября в 18:30 проведём третий на тему искусственного интеллекта. Расскажем и покажем, как применять его в работе, а ещё обсудим, какие потенциальные угрозы могут нести большие языковые модели. После докладов оставим время на афтерпати и нетворкинг. 

В программе:

№1. Генерация документации на API-сервис рядом с кодом

Как ИИ-агенты могут облегчить формирование системной документации на микросервисы.

Спикер: Иван Шелапутов, руководитель направления

№2. LLM для системных аналитиков на практике

Онлайн-демонстрация работы системного аналитика с ChatGPT на реальной задаче.

Спикер: Андрей Кнутсон, старший системный аналитик.

№3. Уязвимости приложений с LLM

Обсудим, как большие языковые модели, став мощным инструментом для бизнеса, одновременно становятся новой целью для злоумышленников и представляют потенциальные угрозы, о которых важно знать каждому аналитику.

Спикер: Артем Гринько, главный технический лидер разработки

Зарегистрироваться на митап по можно по ссылке ❤️

Зарплаты аналитиков по городам

Привет. Меня зовут Настя, я занимаюсь контентом Хабр Карьеры. Недавно мы посмотрели, сколько зарабатывали аналитики в первой половине этого года. 

Важно: мы берем данные не из вакансий или резюме, а из калькулятора зарплат — там можно отслеживать, сколько зарабатывают разные специалисты прямо сейчас.

Теперь к зарплатам аналитиков по городам:

Самый высокий рост показали оклады аналитиков из Екатеринбурга (+51%) — до 169 тыс. руб. На втором месте зарплаты в Нижнем Новгороде (+45%) — до 150 тыс. руб. На третьем — рост зарплаты аналитиков из Санкт-Петербурга (+32%), до 185 тыс. руб. 

В целом, медианная зарплата аналитиков выросла во всех городах, кроме Челябинска — там она снизилась на 2%, до 140 тыс. руб.

Если вы не согласны с цифрами, пожалуйста, укажите, сколько вы зарабатываете в своей специализации, чтобы в следующий раз данные были точнее. Заодно оцените, ниже или выше рынка сейчас ваш оклад.

В полном тексте исследования больше данных о зарплатах аналитиков, а если хотите посмотреть, сколько зарабатывают в других специализациях, вы можете отфильтровать калькулятор зарплат по своему запросу.

СУБД для аналитиков

В этой подборке мы рассмотрим назначение баз данных, их разные типы, особенности и инструменты для работы с ними. Это поможет выбрать подходящее решение для вашей задачи. Ловите статьи по ссылкам:

Как СУБД помогают аналитикам и маркетологам — найти, сохранить и защитить данные.

DBeaver — помощник аналитика данных. Как пользоваться программой.

PostgreSQL — почему её стоит выбрать для работы с данными и как установить.

Redis — ещё одна СУБД. Как с ней работать, где применять, преимущества и недостатки.

MongoDB — база для хранения неструктурированных данных.

Вебинар: «Быстрая работа с документами с технологией IDP. Профит в кадровых процессах, работе с первичными документами, корреспонденцией и договорами»

Кто проводит: эксперты компаний «Первая Форма» и Dbrain

Кому полезно: техническим директорам, бизнес-аналитикам, директорам по ИТ и инновациям, а также сотрудникам компаний, где в бизнес-процессах много бумажной работы.

Почему это важно:

Ручная обработка документов отнимает много времени и ресурсов компании. Это приводит к снижению эффективности работы, увеличению количества ошибок и задержкам в бизнес-процессах. Автоматизация работы с документами с помощью технологии умного распознавания (IDP) в BPM-системе позволяет значительно сократить время на рутинные операции и повысить эффективность работы всей организации.

Чему научатся участники:

• Узнают, как автоматизировать категоризацию первичных документов.

• Рассмотрят процесс автосоздания задач на основе входящей корреспонденции.

• Изучат, каким способом можно заполнять анкеты сотрудников без ручного ввода.

• Познакомятся с возможностями упрощённого поиска по электронному архиву.

Как попасть:

Участие бесплатное, по предварительной регистрации. Вебинар состоится 31 октября в 11:00.

Спикеры вебинара:

• Хайрова Дарья, тимлид партнёрского направления «Первой Формы»

• Александр Ляхович, менеджер по развитию бизнеса в Dbrain

Присоединяйтесь, рассмотрим, как технология IDP может трансформировать работу с документами в вашей компании. 

Предлагаем решить математическую задачу из двух частей. Первая — вполне реальная, вторая — фантастическая. Но просим вас к обеим отнестись серьёзно!

1. В город N приехал столичный чиновник. На собрании в 9:00 он по секрету рассказал важную новость двум местным сотрудникам. В течение часа каждый из них по секрету рассказал эту новость ещё троим жителям этого города. В течение следующего часа — каждый из этих новоузнавших передал эту новость ещё троим новым и т.д.

Сколько жителей города N будут по секрету знать важную новость в 21:00 этого дня?

2. Помимо секретов чиновник привёз в командировку коробку с печеньками. Они были настолько вкусные, что в первый день он съел аж 8 штук. Ему хотелось растянуть печенье до конца командировки, поэтому он решил держать себя в руках и есть каждый следующий день в полтора раза меньше печенек, чем в предыдущий (кусочки печенек тоже считаются).

Проблема в том, что чиновник попал в пространственно-временную аномалию и застрял в городе N навечно! Но это был очень последовательный чиновник — он продолжал выполнять своё обещание и каждый день ел всё меньше и меньше печенек.

Можно ли узнать, сколько всего печенек он съест за время своего бесконечного пребывания в городе N? Если да, то хватит ли ему коробки с 50 печеньками?Поделитесь размышлениями ответами в комментариях.

→ Больше подобных задач в бесплатном тренажере «Основы математики для цифровых профессий».

Используем PlantUML не по назначению: рисуем маппинг данных с помощью диаграммы класса

Когда у вас docs as code, хочется, чтобы все было прямо по «докс экс кодовски», в частности, чтобы диаграммы и схемы тоже рисовались кодом.

Ниже — пример того, как можно изображать маппинг данных с помощью диаграммы классов. Достаточно использовать несколько ухищрений и «костылей», чтобы получать довольно неплохие результаты.

Вот так выглядит код (если нужны пояснения, обращайтесь):

@startuml

hide circle
left to right direction

class Structure_1 {
  field_1
  --
  field_2
  --
  field_3
}

class Structure_2 {
  field_1
  --
  field_2
  --
  field_3
}

package transform <<Rectangle>> #yellow {
  
}

package "addition data" <<Rectangle>> #purple {
  
}

package "data transform" <<Rectangle>> #blue {
  
}

Structure_1::1 -down[#white]-> transform
Structure_1::1 -down-> transform
Structure_1::1 -down[#white]-> transform

transform -down-> Structure_2::1

Structure_1::2 -> Structure_2::2

Structure_1::3 -down-> "data transform"

"data transform" -down-> Structure_2::3

"addition data" -down-> 

А так — результат (маппинг данных):

Какие нюансы нужно учесть:

1. Активно «играйте» связями: они помогают двигать объекты на диаграмме.

2. Используйте невидимые элементы и связи.

Сначала это кажется сложно. Но позже, когда освоишь ухищрения и «костыли», рисовать настоящие шедевры. И тогда у час будет полнейший docs as code.

Похожее можно рисовать и в graphviz, но там синтаксис потяжелее будет. Как? Могу показать.

Все думал как представить модель IDEF0 так чтобы человеку была видна вся модель УФМТП. Если просто PDF прикладывать, не все додумываются скачать. Думаю в таком виде будет более понятен масштаб.

Что скажете?

Про использование этой модели можете почитать тут Концепция IDEF0

Сергей Ким, руководитель команды разработки WMS и активный пользователь Яндекс Лавки, рассказал, про внутренний мир Лавок. 

Обсудили: 

• как Яндекс управляет лавками, узнаёт о товарных остатках и рассчитывает время курьеров, чтобы вовремя доставлять все заказы; 

• о чём можно узнать с помощью проактивных пушей изменений и периодического пула всего сразу;

• как перекладывать JSON с минимальным лагом. 

Если у вас есть задача запилить свой даркстор, доклад будет хорошим дипдайвом в то, как реплицировать изменения самым неочевидным способом. 

Сентябрь в самом разгаре! Последние теплые дни четвертого месяца лета. То самое время, когда на улице жарко, а в цифровом пространстве всё просто кипит! Сегодня небольшой информационный пост о том, где можно сейчас бесплатно поучиться премудростям BI.

1. Пиксы запустили Цифровой триатлон. Каждую неделю идет трек по одной из платформ. На этой неделе экватор по PIX BI. Много экспертов, много мнений, весь контент очень сильно связан с ex Qlik тусовкой. Клиенты, эксперты, организаторы - все когда то занимались, внедряли, обучали Qlik. Такое импортозамещение даже получается. https://triathlon.pix.ru Информацию кидают в группу в телеге: https://t.me/BI_PIX_Chat Плюс компания анонсировала БЕСПЛАТНУЮ персональную редакцию своей платформы. Надеемся это не разводняк! 

2. Коллеги из Глобайт привезли Азиатский вариант марафона. Ретрит по теме Fine Bi. Вся информационная поддержка идет в группе https://t.me/FineBIChat в разбивке по темам. Много интересного, новые фичи, опыт клиентов. Классика марафонов от Дата Йога.

3. AW запустили на наш взгляд тяжелую, но очень интересную историю для конкретной группы продвинутых аналитиков. Все подробности в группе https://t.me/awcommunity такой марафон, который перетекает в хакатон и заканчивается собственной конференцией в Москве. 

Отличная возможность попробовать три разных блюда, не выходя из дома! Вперед к новым знаниям!

Excel для аналитиков данных

Как бы все ни говорили о Python для анализа данных, в каждой компании был и будет Excel. Его используют для финансовой аналитики, планировании стратегий компаний, создания отчётов.

Делимся подборкой статей, которые помогут быстрее и эффективнее работать с выборкой данных в Excel.

Как работать с формулами и решать нестандартные рабочие задачи в два клика — пригодится и для отчёта в 20 строк, и для анализа больших объёмов данных.

Как создать и настроить диаграммы — для чего нужны, какие бывают, как их построить и отредактировать.

Как создать интерактивный дашборд — визуализируем данные, делаем красивые графики с ростом. Или падением.

Как настраивать фильтры — используем силу расширенных фильтров для сложных случаев.

Как сделать ВПР в Excel: пошаговая инструкция — ВПР помогает сопоставлять данные из одной таблицы с данными из другой и копировать их в нужном порядке

Как сделать сводные таблицы: пошаговая инструкция  — такие таблицы способны собрать значения из разных частей таблиц и провести с ними расчёты. Разбираемся как их создавать и использовать.

Как настроить Power Query и преобразовывать данные с его помощью Рассказываем, как объединять данные из разных источников, формировать отчёты и редактировать их с этой надстройкой.

→ Ещё больше знаний для новичков — в бесплатном курсе «Основы Excel для работы»

Вебинар: «Как автоматизировать закупки и управление запасами, чтобы сократить издержки и увеличить прибыль компании»

Кто проводит: эксперты компаний «Первая Форма» и InventorSoft

Кому полезно: руководителям отделов закупок и снабжения, руководителям IT‑отделов, финансовым и операционным директорам, бизнес‑аналитикам и логистам, менеджерам по закупкам, категорийным менеджерам.

Почему это важно:

До 70% всех расходов предприятия может приходиться только на закупки. Причины этого — перегрузка закупочного отдела «операционкой», сложности с прогнозированием и расчётом оптимального заказа, непрозрачный выбор поставщиков.

Кроме того, процесс может тормозить ручное проведение операций и использование разрозненных решений для сопутствующих процессов. Автоматизация помогает решить эти проблемы, сократить издержки и увеличить прибыль компании.

Чему научатся участники:

• Узнают о лучших практиках автоматизации закупочной и «околозакупочной» деятельности.

• Познакомятся с реальными кейсами автоматизации закупочных процедур в крупных российских компаниях, таких как «Спортмастер».

• Изучат финансовый подход в управлении запасами.

•  Увидят интерактивный расчет оптимального заказа (ROP и ROQ калькулятор). 

  Подробнее о программе ➡️

Как попасть:

Участие бесплатное, по предварительной регистрации. Вебинар состоится 18 октября в 11:00.

Друзья, открываем набор на новую программу «Системный аналитик. Уровень Middle»! Вы научитесь разрабатывать требования, моделировать бизнес-процессы, составлять документацию, анализировать данные, взаимодействовать с заказчиками и командой разработки. По окончании обучения вы получите диплом о профессиональной переподготовке государственного образца.

Преимущества обучения:

➕ Актуальность: программа разработана в 2024 году.

➕ Много практики: разборы бизнес-кейсов, решение реальных задач, шаблоны для работы.

➕ Тренеры: обучение ведут авторизованные и аттестованные специалисты с опытом в коммерческой разработке.

➕ Формат: самостоятельное изучение теории и практика в онлайн-формате с тренером.

Программа подойдёт:

🧑‍🎤 Junior-аналитикам, интернам

👨‍🎓 Разработчикам и тестировщикам

🥷 DevOps-инженерам, IT-консультантам

Чтобы узнать, подойдёт ли вам программа, можно для начала пройти бесплатный мини-курс.

Старт программы 3 октября.

👉Подать заявку на программу «Системный аналитик. Уровень Middle»👈

Backend-Driven UI и конструкторы — благо или зло?

Об этом — в новом выпуске подкаста «Свободный слот». Бизнес обычно в восторге от BDUI: высокий Time to Market, новые фичи без обновлений приложений, UI для нескольких платформ. А вот инженерам не всегда нравится пользоваться конструкторными решениями.

Вместе с Леонидом Ральниковым, разработчиком BDUI-фреймворка DivKit из Яндекса, мы говорим о том, какие плюсы и минусы есть у конструкторов, как это влияет на компанию и что нас ждет в будущем. Можно ли отдать вёрстку продакту? Не теряют ли инженеры базу, верстая экраны через конструкторы? Как тестировать приложения с BDUI?

А что вы думаете о BDUI? Делитесь мнением в комментариях.

Слушайте «Свободный слот» на разных платформах:

Apple Podcasts
ВК Подкасты
Яндекс Музыка

Луковая архитектура, и как не заплакать в процессе погружения. Запись митапа

Суть лукового архитектурного подхода (Onion Architecture) — в разделении системы на несколько слоёв, каждый из которых выполняет свою функцию. Такой подход помогает сделать код более чистым и читаемым, обеспечивает удобное разделение бизнес-логики, домена приложения и инфраструктуры.

На внутреннем митапе рассказали, как устроена луковая архитектура, границах применимости и о том, как с пользой начать использовать её в разработке. Затронули теорию и практику: рассмотрели специфику луковой архитектуры на примере конкретного pet-проекта. 

Коснулись CQS-CQRS дизайн-паттерна, рассмотрели пайплайн MediatR, реализацию валидаций с FluentValidation, маппинг через AutoMapper, и как организовать сущности доменного слоя. 

Остановились на первых двух слоях — Domain.Core и Application. Об устройстве других слоев (Infrastructure и Web API) поговорим на будущих митапах.

Посмотреть запись митапа можно на YouTube или RUTUBE.

P.S. Это запись внутреннего митапа ИТ-команды Сравни — публикуем эпизоды без NDA, но (надеемся) с пользой для внешнего сообщества.

***

Узнавать о выходе наших новых материалов (митапов, лекций, статей), помимо Хабра, можно в тг-канале инженерного сообщества Сравни. 

Weekend Offer для Java-разработчиков, системных аналитиков и QA-инженеров (backend)

24—25 августа проведем Weekend Offer в Нефинансовые сервисы Т-Банка сразу для трех профессий: Java-разработчиков, системных аналитиков и QA-инженеров (backend). Это самый быстрый путь к офферу: вы сможете пройти все этапы интервью за выходные.

Нефинансовые сервисы — целая экосистема лайфстайл-продуктов в банке: от подписок и билетов в кино до онлайн-бронирования отелей. Вкратце — все то, что делает жизнь клиентов проще и счастливее. В начале Weekend Offer проведем велком-встречу с экспертом и расскажем больше о том, как работают сервисы.

Мы ждем:

— Java-разработчиков, которые владеют навыками в любой из технологий: Spring, Quarkus, Micronaut, Ktor или Vert.x.

— Системных аналитиков, которые работали с REST/gRPC/graphQL и брокерами сообщений — Kafka/RabbitMQ.

— QA-инженеров с опытом работы в тестировании бэкенда и автоматизации тестирования с использованием Java, Kotlin или JS.

Если у вас есть опыт от 3 лет — приходите и создавайте прорывные сервисы вместе с нами. Заявку можно оставить до 21 августа на сайте.