Системный и бизнес-анализ

💠 PlantUML: полезные материалы

Подборка для тех, кто давно хотел начать применять PlantUML, но никак не доходили руки. К счастью, это не займёт много времени.

PlantUML (https://plantuml.com/ru/) — это крайне полезный инструмент для аналитика, который превращает псевдокод в диаграммы. Это значительно быстрее и удобнее, чем вечно тыкаться со стрелочками и ручным выравниванием в draw.io или Visio.

Синтаксис очень простой, пугаться кода не нужно. По примерам становится всё понятно.

✏️ Редакторы и расширения
Для начала выберете место, где вам будет удобнее писать диаграмму: это может быть

💻 Онлайн:
1️⃣ https://plantuml-editor.kkeisuke.com/
2️⃣ https://www.planttext.com/
3️⃣ https://plantuml.com/ru/running

👣 Расширения, для:
1️⃣ Notepad++ (https://github.com/Fruchtzwerg94/PlantUmlViewer)
2️⃣IDEA (https://plugins.jetbrains.com/plugin/7017-plantuml-integration/),
3️⃣ PyCharm (https://plugins.jetbrains.com/plugin/7017-plantuml-integration),
4️⃣ VScode (https://marketplace.visualstudio.com/items?itemName=jebbs.plantuml)

😎 Все расширения можно посмотреть по ссылке: https://plantuml.com/ru/running

📝 Документация
1️⃣ Официальная документация (https://plantuml.com/ru/) (почти всё на русском)
2️⃣ Гайд на русском в pdf (https://plantuml.com/ru/guide)

🖥 Полезные репозитории:
1️⃣ Unofficial PlantUML Standard Library Repositories (https://github.com/plantuml-stdlib)

🎓 Бесплатный курс, по PlantUML
1️⃣ https://stepik.org/course/Plantuml-Основы-212663/

📹 Видео
1️⃣PlantUML с нуля до гуру: учимся «кодить» sequence-диаграммы (https://www.youtube.com/watch?v=ScbZL5RX84E) — доклад Никиты Харичкина с Flow 2022 (скачать презентацию (https://t.me/Analyst_Boost/37))
2️⃣PlantUML на всю катушку: Автоматизация и лайфхаки для диаграмм последовательности (https://www.youtube.com/watch?v=RYEJEIF7htE) — доклад всё того же Никиты, но с Analyst Days #14 (скачать презентацию (https://t.me/plant_uml/108))
3️⃣ Бери и делай PlantUML, VS Code и Git 2 (https://www.youtube.com/watch?v=mdzRsewZtnY)

☺️ Канал про PlantUML
1️⃣https://t.me/plant_uml

📰 Статьи
1️⃣ Диаграммы без боли и страданий: PlantUML (https://habr.com/ru/companies/alfa/articles/740518/) — хороший гайд с примерами
2️⃣Пишу диаграммы последовательностей текстом (кодом). Вы тоже можете (https://habr.com/ru/companies/rostelecom/articles/701970/) — тут только про sequence
3️⃣PlantUML — все, что нужно бизнес-аналитику для создания диаграмм в программной документации (https://habr.com/ru/articles/416077/)
4️⃣Как рисовать Sequence без боли и страданий в PlantUML (https://habr.com/ru/companies/X5Tech/articles/821687/)

----

Подписывайтесь на @sa_chulan

🎓 Пройдите квиз и узнайте, какое направление Data Science вам подходит.

В онлайн-магистратуре «Науки о данных» доступны три профильных направления.
Чтобы выбрать подходящий трек, пройдите мини-квиз — он учитывает ваши интересы и бэкграунд.

🔹 ML Engineer
Создает и внедряет модели для обработки данных, изображений, видео и текстов — от прогнозирования оттока до диагностики по снимкам и разработки чат-ботов поддержки клиентов.

🔹 Data Analyst
Проектирует модели для анализа данных: сбор, очистка, визуализация, интерпретация данных. Например, создает дашборд для анализа продаж.

🔹 Data Engineer
Строит инфраструктуру для работы с большими данными: создает каналы и пайплайны для сбора, обработки и хранения данных.

💡 Профильные треки — это возможность получить дополнительные навыки и углубиться в одну из ключевых сфер работы с данными.

👉 Пройти кви: https://t.me/mipt_ds_spec_bot

Architecture Meetup #2

Приглашаем на Architecture Meetup #2 — 21 мая в 18:30. Обсудим, почему процесс проектирования настолько сложен, как компании внедряют архитектурные репозитории, зачем нужна собственная система RSMА, а также к чему приводит использование архитектурных паттернов.

В программе:

• Опыт внедрения архитектурных репозиториев в разных компаниях: что получилось, какие сложности возникают, сравнение разных подходов и несколько советов, как выбрать и внедрить архитектурный репозиторий.

• Рассказа о том, как полностью изменился процесс создания архитектурных решений в банке — от ручного рисования разноцветных «детских» схем в Visio до масштабируемой автоматизации, которой пользуются сотни сотрудников, и зачем понадобилось изобретение собственного монстра Франкенштейна — системы RSM.

• Обсудим, почему процесс проектирования ИТ-решений сложно представить в виде фиксированного набора задач, как адаптировать процесс проектирования к разным типам изменений.

• Как прийти совсем не к тому результату, который ожидался, даже следуя паттернам и принимая на первый взгляд правильные решения.

Где: Офис Альфа-Банка по адресу Москва, Андропова пр-т., 18 к.3, в трёх минутах пешком от метро «Технопарк».

Присоединяйтесь онлайн и офлайн — зарегистрироваться можно по ссылке.

🤯 Нейросети заменят нас еще быстрее

Если боитесь потерять работу из-за ИИ, бойтесь еще сильнее. Исследователи рассказали, что AI-технологии стали развиваться практически в 2 раза быстрее.

Если в период с 2019 по 2025 способности моделей росли каждые 7 месяцев (считалась длительность задач, которые агенты выполняли верно в 50% случаев), то в 2025 году время обучения сократилось до 4 месяцев.

В итоге сейчас модели (конкретно модель o3) может больше, чем в 50% случаев верно решить задачу, на решение которой люди тратят около 1,5 часов.

Раньше исследователи делали такие прогнозы:

В 2026 году нейронки смогут решать 2-часовые задачи. В 2027 — 1 рабочий день (8 часов). В 2028 — 1 рабочая неделя (40 часов). В 2029 — 1 рабочий месяц (167 часов) (И это все за один подход!)

Звучит и так ничего себе, но теперь предсказания сдвинулись: если тенденция к ускорению AI сохранится, то в 2027 году операторы смогут выполнять задания продолжительностью в месяц.

Я до сих пор не могу это представить. Все развивается настолько быстро, что, кажется, пора это искусственно замедлять. Иначе мы можем быть не готовы к такому сверхпрогрессу и когда он настанет, не будем знать, что делать.

Компания Anthropic прогнозирует, что к 2026 году ИИ-агенты смогут выполнять задачи в корпоративных сетях наравне с людьми. 😱

Министр финансов РФ Антон Силуанов посоветовал литературные произведения из российской классики для знакомства с финансами:

«Читайте нашу российскую классику. Это Гоголь – «Ревизор», «Мёртвые души», это Чехов – «Вишнёвый сад». Вы там много найдете о финансах, хорошей и полезной информации».

Как автоматизировать распознавание текста с изображений?

В открытых источниках часто встречаются изображения с ценным текстом — скриншоты рабочих столов и приложений, фотографии таблиц, чеков, рукописных заметок и т.д. Сбор обычного текста автоматизировать легко, но с текстом на картинках начинаются сложности.

Раньше в моём арсенале был только pytesseract (Python-библиотека для распознавания текста). Она работала, но с серьёзными ограничениями:
➖Плохо справлялась с разными шрифтами
➖Теряла точность на низкокачественных изображениях
➖Путала языки, если текст был мультиязычным

Сейчас появились LLM-модели, которые справляются с этой задачей гораздо лучше, но если у вас нет мощного железа, запустить их локально не получится.

В профильных каналах регулярно пишут: «Вышла модель Х, которая показывает отличные результаты. OSINT-еры больше не нужны!», но никто не дает гайдов, как с этими моделями работать. Сегодня я это исправлю.

Обзор моделей для OCR
Прошерстив не один десяток источников, я выделил две наиболее популярные на текущий момент модели:
1️⃣ GPT-4 mini — высокая точность, но платная.
2️⃣ Google Gemini 2.0 Flash — высокая точность + бесплатный лимит.

Выбор без раздумий пал на Gemini. На момент публикации бесплатные лимиты от Google следующие:
✔️ 15 запросов в минуту
✔️ 1 млн токенов в минуту (ввод + вывод)
✔️ 1 500 запросов в сутки

Как взаимодействовать с Gemini?
1️⃣ Получаем API-ключ в Google AI Studio
2️⃣ Через API отправляем изображение в base64 + промпт
3️⃣ Получаем распознанный текст в ответе

Но есть важный нюанс: сервис не работает с российскими IP

Что делать, если Gemini недоступна?
Если у вас по какой-то причине нет возможности получить доступ к серверам Google AI Studio, то можно воспользоваться сервисами, которые предоставляют доступ к различным open-source моделям. Например, DeepInfra.
Плюсы:
✔️ Нет блокировок по геолокации
✔️ Гибкая тарификация
Минусы:
✖️ Нет бесплатного тарифа

Примеры скриптов выложил на github (https://github.com/vmtest439/britalb_ocr)

Если вам понравился пост и вы хотите читать больше подобного контента, то можете подписаться на мой авторский Telegram-канал BritLab!

Среднее, которое вам выгодно!

Вы задумывались, например, почему иногда используют арифметическое среднее , а иногда - медиану?

Сначала про термин. Медиана - 50 процентиль или число, которое разделяет весь набор исследуемых значений таким образом, что ровно половина находится слева от этого числа, а другая половина - справа. То есть это такая геометрическая середина отрезка, по которому распределены все исследуемые значения.

Такой подход дает вам относительно "справедливое" значение - среднее, как середина между всеми возможными вариантами. Главное отличие медианы от арифметического среднего в том, что она совершенно не реагирует на отдельные экстремально большие или маленькие значения до тех пор, пока этих значений не будет около половины от всех. А вот арифметическое среднее каждый такой выброс будет "утаскивать" в свою сторону.

Рассмотрим на примере статистики заработных плат.

* В одной стране средняя зарплата была 750 монет. В то же время медиана проходит на уровне 500 единиц. То есть в то время, как в среднем сотрудник получал почти 750, на самом деле больше половины не получали даже 500.

* Значит в другой половине сотрудников были достаточно большие зарплаты, которые и "утащили" арифметическое среднее настолько далеко от медианы.

* Таким образом, ориентируясь на среднюю зарплату по стране с большой долей вероятности вы получали бы зарплату меньше среднего, а не больше.

Вариантов подсчета среднего значения - множество, под каждый конкретный вопрос исследователя. Это и геометрическое, и гармоническое, арифметическое, медиана.

Если вы применяете или вам показывают только один подход - вполне вероятно, что где-то скрывается неудобная правда.

Как я снова отравилась из-за океана — и при чём тут аналитика данных

1. Температура, тошнота, диарея — это происходит со мной каждый раз после серфинга в дождливый сезон, когда в море сливается всё, что угодно — от мусора до банальных 💩.

2. В северной части Тихого океана, на полпути между Гавайями и Калифорнией, вращается 100 000 тонн пластикового мусора. Добро пожаловать в Большое мусорное пятно — область, втрое больше Франции. Оно выглядит так же катастрофично, как и звучит: сверху напоминает гигантский пластиковый суп.

И это лишь 2 примера, подтверждающие: мусор в океане — это глобальный кризис, а не локальная история. Скоро мы вообще не зайдём в океан?

➡ Ежегодно в океаны, реки и озёра попадает 19–23 млн тонн пластика — как если бы каждую минуту в воду сбрасывали 2 000 мусоровозов.

➡ На поверхности океанов плавает около 170 трлн пластиковых частиц, а на дне может быть в 10 000 раз больше.

➡ Ежегодно из-за мусора в океане погибают 100 миллионов морских животных. Страдают и морские растения, которые участвуют в производстве 70% кислорода.

➡ В исследовании микропластик нашли в 99% морепродуктов. Это вызывает тревогу из-за возможного влияния на пищеварительную, эндокринную и другие системы организма.

Все ссылки на исследования опубликовала тут.

Чем помогает аналитика в этой проблеме?

В мире есть некоммерческие и частные организации, борющиеся с загрязнением. Например, The Ocean Cleanup очищает океаны от пластика с помощью инновационных технологий.

1. Определяют источники загрязнения, чтобы “поймать проблему на старте”

💡 80% пластика попадает в океан через ~1000 рек.

Чтобы найти эти «артерии загрязнения», анализируют спутниковые данные, гидрологические карты, поведение мусора в воде, данные о населении и инфраструктуре. Это позволяет не просто «ловить мусор в океане», а перехватывать его у истока — в реках.

2. Предсказывают, куда поплывёт мусор, чтобы точнее планировать очистку

— Камеры на мостах фиксируют мусор в реках
— GPS-буи и радары отслеживают его путь в океане
— ИИ-модели показывают, где и когда он соберётся в “мусорные вихри”

Это помогает запускать очистку точно там и тогда, где она даст максимальный эффект.

3. Визуализация, которая не оставляет равнодушным

Цифры — это важно, но именно визуализация заставляет почувствовать масштаб. Данные превращают в наглядные дашборды, которые:
— Показывают, где океан «захлёбывается» от пластика
— Делают проблему видимой и понятной
— Помогают влиять на решения политиков и доноров

Дашборды по загрязнению пластиком можно посмотреть тут.

4. Прогнозы на будущее и машинное обучение

Чтобы не просто тушить пожары, а предотвращать их, аналитики обучают модели, которые помогают заглянуть вперёд:
— Что будет с океаном, если мы продолжим жить «как обычно»?
— А что изменится, если сократим пластик хотя бы на 20%?
— Где появятся новые точки бедствия через 5 лет?

Такие организации нанимают аналитиков данных и стажёров — есть вакансии по визуализации, машинному обучению, компьютерному зрению, анализу временных рядов (ссылки на вакансии опубликовала тут).

Или можно стать гражданским учёным и внести свой вклад, документируя пластиковое загрязнение с помощью специальных приложений (Ocean Cleanup Survey App или Debris Tracker).