Системный и бизнес-анализ

Alfa Analyze IT Meetup #4

19 июня наше SA-сообщество проведёт четвёртый Alfa Analyze IT Meetup — поговорим о том, как оценивать навыки по матрицам компетенций, принимать решения о повышении и адаптироваться к изменениям от ИИ.

Вы поймёте, как тимлиды ищут таланты внутри команд и выстраивают карьерные треки, а также получите готовые инструменты для оценки и развития аналитиков.

В программе:

• процесс ассессмента для аналитиков в Альфа-Банке,

• выстраивание и развитие матрицы компетенций системного аналитика Газпромбанк.Тех в эпоху цифровой трансформации,

• развитие системных аналитиков в X5 Tech: от внутреннего поиска до повышения с опорой на матрицу компетенций,

• архитектура DWH в Яндекс Go: технологии, подходы, матрица компетенций.

Присоединяйтесь онлайн и офлайн — зарегистрироваться можно по ссылке.

Где: Офис Альфа-Банка по адресу Москва, Андропова пр-т., 18 к.3, в трёх минутах пешком от метро «Технопарк».

BI-система помогает аптечным сетям управлять продажами быстро и эффективно

Если вы хотите оперативно принимать решения, опираясь на точные данные, приглашаем вас на вебинар-демонстрацию решения по BI-аналитике специально для аптечных сетей.

• Дата: 24 июня

• Время: 12:00 мск

• Бонус для участников: скидка 10% на проведение предпроектного обследования

С помощью BI-аналитики можно собирать и визуализировать ключевые показатели работы аптечной сети: от продаж до эффективности персонала. Вы получите полную картину в виде понятных графиков и диаграмм. А главное, сможете быстро скорректировать стратегию работы, особенно во время сезонных пиковых нагрузок.

Этим инструментом уже пользуются некоторые аптеки. В одном из недавних кейсов рассказывала, как крупная сеть, включающая более 250 точек, получила возможность анализировать остатки и продажи. Например, система показывает, как долго товары лежат без движения, а также предрассчитывает, на сколько хватит запасов. 

На вебинаре руководитель проектного отдела Анна Светличная расскажет:

• какое решение поможет управлять аптечной сетью на основе данных,

• почему бизнес-аналитика становится стандартом в аптечном ритейле,

• как с помощью BI можно находить точки роста и управлять показателями в реальном времени.

Также проведем демонстрацию продукта на примере данных аптечных сетей и ответим на ваши вопросы.

Регистрируйтесь по ссылке

PlantUML | Шаблон для описания таблиц БД

Делюсь с Вами разработанным мною шаблоном, для описания таблицы БД в PlantUML, c элементами автоматизации, описание которых указанно в комментариях.

Всем привет!
Делюсь с Вами разработанным мною шаблоном, для описания таблицы БД в PlantUML, c элементами автоматизации, описание которых указанно в комментариях.

Протестировать можете тут, а сам код шаблона указан ниже:

 ' Шаблон описания таблицы БД (в PlantUML)
@startuml

skinparam {
' Параметры для управления нижним колонтитулом
    FooterFontColor #blue
    FooterFontSize 12
' Параметры для управления легендой
    LegendBackgroundColor #lightblue
    LegendBorderThickness 0
}

' Переменные для ускорения описания таблицы
' - PRIMARY KEY можно указывать как: "$PK"
    !$PK="  <size:11><#DarkKhaki:key:></size> (PK)  "
' - FOREIGN KEY можно указывать как: "$FK"
    !$FK="  <size:11><#DeepPink:key:></size> (FK)  "
' - NOT NULL (N-N) можно указывать как: "$NN"
    !$NN="  <#LightGreen> **N-N**  "
' - NULL можно указывать как: "$N"
    !$N = "  <#LightCoral> **NULL**  "


' Переменные для ускорения добавления информации о таблице
' - Наименование таблицы БД (латинское)  
    !$table_name="Наимнование_таблицы_БД"
' - Краткое описание таблицы (на русском) 
    !$description="Краткое описание таблицы (на русском)"
' - Ссылка на описание таблицы (на русском)
    !$doc_url="Ссылка"

' Контакты, отображаемые в нижнем колонтитуле
    !$autor ="Зимин Антон"
    !$email ="antzim_in@ya.ru"
    !$telegram="antzim_in"

' Заголовок документа, формируется автоматически из заполненных выше параметров (при необходимости можно удалить)
    title $table_name | $description

' Легенда (может быть заполнена любыми необходимыми данными)
' - "right" говорит о том, что легенда будет расположена справа 
legend right
**Легенда:**
| Версия документа: | 1.0.0 |
end legend



' Описание таблицы
' - заголовок таблицы, с кликабельной ссылкой (если выгружать в SVG) формируется автоматически
class "[[$doc_url $table_name]] ($description)" as $table_name << (T,#FF5722) >>{

|=   PK,FK  |=   Поле   |=   Тип   |=   Обязательность   |=   Значение\n по умолчанию   |=   Описание   |
| $PK | id | serial | $NN | | Идентификатор записи в таблице |
| $FK | subscriber_id | integer | $NN | | Идентификатор записи в таблице subscriber |
|     | electronic_address | varchar(255) | $N | | Электронный адрес \n клиента |
|     | created_at | timestampz | $NN | now() | Дата и время создания записи в БД |
|     | updated_at | timestampz | $NN | now() | Дата и время обновления записи в БД |
}

' Нижний колонтитул (формируется автоматически из введенных параметров)
footer © $autor | tg: [[https://t.me/$telegram @$telegram]] | email: $email
@enduml

Буду рад Вашим комментариям, отзывам, а если еще и поднимите карму то буду крайне благодарен.

Всем спасибо.
----

Пообщаться со мной можно в telegram: @antzim_in
P.S. Также, если Вам интересно, я веду telegram канал @sa_chulan и буду очень рад Вашей подписке.

Почему не нужно использовать LLM для написания текстов?

Задумался об этом после попытки отформатировать пост из перегруженных сложносочинённых предложений под популярную сеть для поиска работы. LLM перестаралась на мой взгляд, и не только превратила текст из 10 строчек в 30 строчек буллет поинтов, украшенных восклицаниями и смайликами, но и упростило аналитику вопроса применения рассматриваемой методологии до набора лозунгов и призывов с однозначным выводом. Изначально в посте был вопрос к читателям, и если и был какой то призыв, то призыв усомниться, и оспорить утверждение, чем призыв к действию по покупке.

В результате я забраковал пост от LLM и оставил свой текст, ожидаемо не популярный среди широкой аудитории, но нашедший читателей среди людей, которых я ценю и знаю как профессионалов, что для меня гораздо более ценно.

Я не исключаю что пост может быть и был бы более популярным, и получил бы больше лайков и может быть даже и клиентов с оферами. Но дело в том, что если мы продвигаем себя, мы хотим продвигать себя для аудитории способной воспринимать нас, а не посты от LLM, чем все большее количество статей и являются.

Доверяя LLM адаптацию текстов вы совершаете самоубийство себя как творческой единицы, добровольно уничтожая свое творчество и подменяя его тем, что вами не является.

Зачем мне читать опубликованный совместно с LLM текст, если я могу запросить его в любой момент у LLM под мои нужды?

Вопрос дискуссионный, комментарии приверженцев другой точки зрения любопытны.

Не удержусь и разбавлю картинкой из той соцсети, в которой публиковался:

АНБ США рассекретила внутреннее исследование 1988 года под названием: «Пятьдесят лет математического криптоанализа (1937-1987)».

Управляемые сервисы на базе YTsaurus и Apache Spark, новые возможности DataLens и Yandex Cloud AI Studio — о чём говорили на Data&ML2Business

Собрали самые интересные анонсы с Data&ML2Business, ежегодной конференции Yandex Cloud о практическом применении технологий. Вот что прозвучало на главном докладе 28 мая.

Трек Data

Ранний доступ к Yandex Managed Service for YTsaurus. Платформа Яндекса для хранения и обработки больших данных YTsaurus уже два года в опенсорсе, а с этого дня доступ к ней открывается ещё в двух форматах: в облаке и в инфраструктуре заказчика (on‑premise).

Для тестирования работы в этих форматах необходимо подать заявку.

Доступ к сервису Yandex Managed Service for Spark. Новый управляемый сервис на базе опенсорс-решения поможет с загрузкой и обработкой данных, а также задачами машинного обучения в облаке. Протестировать его в режиме Preview можно здесь.

Кроме этого, в публичный доступ вышел сервис управления распределённым аналитическим массивно‑параллельным движком обработки больших данных Trino в облачной инфраструктуре.

Обновления Yandex DataLens. Что появилось в сервисе BI‑аналитики:

• DataLens Gallery — публичная витрина готовых примеров дашбордов. Теперь любой пользователь может открыть галерею, выбрать нужную отрасль или предметную область и изучить готовые дашборды и модели данных, а также стать автором галереи. При согласии автора дашборд из галереи можно развернуть у себя в качестве примера или стартового дашборда.

• DataLens Editor — редактор для кастомизации графиков и таблиц с помощью JavaScript. Пользователи смогут создавать продвинутые визуализации и удобно интегрировать данные из нескольких источников (включая внешние API).

• Собственная программа сертификации Yandex DataLens Certified Analyst. С её помощью специалисты могут официально подтвердить свои навыки работы с DataLens. На экзамене проверяются знания и навыки работы с чартами и датасетами, вычисляемыми полями и параметрами, внешними источниками данных, построения дашбордов и выдачи доступов.

Также на конференции рассказали про OLAP-движок для YDB. Теперь СУБД подходит для самых высоконагруженных сценариев. В последней версии YDB появился неточный векторный поиск, позволяющий использовать YDB для специализированных задач, связанных с ИИ.

Трек ML

Обновления RAG‑пайплайна в AI Assistant API. Доступный на платформе Yandex Cloud AI Studio инструмент для создания умных ассистентов дополнился новым графическим UI — теперь создать виртуального помощника можно не только через API или SDK. Возможности поиска данных по базам знаний также расширились: доступны поддержка новых типов данных (таблицы и pdf‑файлы), дообучение эмбедингов, обогащение чанков метаданными, получение метаданных ответа, а также использование дообученной модели. Также на платформе появился рефразер — отдельная модель, которая может перефразировать запросы пользователя.

Доступ к Yandex Cloud AI Studio on‑premise. AI‑платформа Yandex Cloud внесена в реестр отечественного ПО, что позволяет интегрировать решения как в облаке, так и в своей инфраструктуре.

Эксперты обсудили и уже состоявшиеся запуски: 

• Инструменты работы с OpenAI Compatible API в облаке. API для языковых моделей в Yandex Cloud AI Studio совместим с OpenAI API. Благодаря этому модели YandexGPT проще интегрировать с популярными решениями для работы с ML, например, AutoGPT или LangChain. В совместимом с OpenAI API поддерживаются Function Calling, работа с эмбеддингами и Structured Output.

• Смысловые теги Yandex SpeechSense — инструмент умного тегирования и поиска для анализа диалогов в колл‑центрах, доступный отдельно по клиенту и оператору.

• Доступ к VLM и LLM в режиме Batch Processing и co‑pilot сервис для операторов Yandex Neurosupport — о которых мы рассказывали на Хабре.

На конференции более 20 спикеров представили 15 докладов по направлениям Data и ML. Подключайтесь к трансляции на странице мероприятия или смотрите в записи, чтобы познакомиться с опытом внедрения технологий.

Таблица соответствия кодов всех регионов России

Коды регионов зашифрованы повсеместно: в документах, автомобильных номерах, телефонах, адресах. Например, обычно первые две цифры в серии паспорта соответствуют коду ОКАТО. Но есть исключения: так, в паспортах Ямало-Ненецкого АО и ряда других регионов вместо него используется другой индекс.  

Мы подготовили таблицу соответствия кодов по всем регионам России — посмотреть и скачать ее можно здесь.

В таблице отражена связь между:

• кодами ФНС,

• кодами подразделений, выдающих паспорта,

• кодами в серии паспорта,

• первыми автомобильными кодами,

• кодами Росстата.

На что обратить внимание

1. Автомобильные коды быстро меняются, и во многих регионах сразу несколько кодов. В таблице приведены только первые.

2. Телефоны и почтовые индексы тоже начинаются на свой код региона. Причем один код может использоваться в разных регионах, а в одном регионе может использоваться несколько кодов. 

3. В серии паспорта могут встречаться два универсальных кода — 09 и 39 — они не привязаны к конкретным регионам России.

4. В классификаторах Росстата ОКАТО и ОКТМО группы субъектов идут в следующем порядке:

   • края, 

   • области, 

   • автономные округа, 

   • республики,

   • автономные области.

5. Внутри групп субъекты РФ упорядочены по алфавиту. Но это правило верно не всегда: со временем регионы переименовываются, меняется их статус и появляются новые, а менять каждый раз код было бы неудобно. Поэтому:

   • Камчатский край до 2007 года был областью — в списке регионов он среди областей с кодом 30. Аналогичная ситуация у Пермского края;

   • Республика Алтай в этом порядке считается начинающейся на Р, а не на А, как Адыгея;

   • Часть автономных округов по ОКАТО/ОКТМО относится к другим субъектам.

6. Интересно, что в 65-й статье Конституции РФ субъекты перечислены в ином порядке: республики, края, области, города федерального значения, автономные области и автономные округа.

8 инструментов аналитики, которые я реально использую каждый день как предприниматель

От автора телеграм канала Аналитика и Growth mindset. 

Я начинала как аналитик, сейчас — предприниматель. Но подход не изменился: принимаю решения только на основе данных, а не интуиции.

Вот основные инструменты, которые я использую практически каждый день:

1. Julius AI — ИИ-ассистент для анализа данных

Для аналитики данных, маркетинговой, финансовой аналитики, data science и научных исследований.

• Поддерживает разные форматы данных, в том числе PostgreSQL

• Использует разные языковые модели в работе

• В отличие от ChatGPT Data Analysis, даёт более точные ответы

Использую: для быстрой повседневной аналитики и визуализации.

Бесплатно, ограниченный доступ.

2. Google Analytics — классика веб-аналитики

Базовый, но мощный инструмент. 

Использую для анализа откуда приходит трафик, кто моя аудитория, как люди двигаются по воронке.

Бесплатно.

3. Ahrefs Web Analytics — альтернатива Google Analytics

Быстрая и простая веб-аналитика по сайту, особенно в live-режиме. Но возможностей меньше, чем в Google Analytics.

Использую для повседневного быстрого отслеживания, сверяю данные с GA.

Бесплатно.

4. Mida — эксперименты за 10 минут

Для запуска простых экспериментов без кода.

• Подключается быстро с помощью пикселя

• Интегрируется с GA, Amplitude, Mixpanel и др.

• Не тормозит сайт

• Есть сертификат ISO 27001 — подтверждает, что компания серьёзно относится к защите данных

Тестирую тексты, кнопки и структуру лендингов.

Бесплатно, ограниченный доступ.

5. Similarweb — анализ конкурентов

Анализирую трафик конкурентов на сайте: откуда трафик, какие каналы дают результаты, географию, демографию и др.

Бесплатно, ограниченный доступ. В платной версии — углублённый анализ трафика и исследования рынка. Подумываю купить.

6. Semrush — SEO и анализ конкурентов

В некоторых моментах пересекается с Similarweb.

Использую в основном для SEO-анализа. Хочу попробовать инструмент для анализа соцсетей конкурентов.

Бесплатно, ограниченный доступ.

7. PostgreSQL — база для всего

Надёжная, масштабируемая база данных.

Использую как основную БД: собираю и храню данные по проектам. Рекомендована для Django, который я использую в разработке.

Бесплатно.

8. Channel Analyzer — мой продукт для анализа Telegram-каналов

У меня несколько телеграм-каналов, вот 2 из них: канал для аналитиков данных и всех, кто интересуется аналитикой данных и канал по развитию телеграм каналов. 

Так как в начале я сталкивалась с различными проблемами в развитии телеграм-каналов, я решила создать инструмент, который поможет владельцам телеграм каналов "растить" их канал.

Channel Analyzer анализирует любой Telegram-канал и даёт полезные инсайты:

• как улучшить монетизацию

• где провисает контент

• как продвигать быстрее и эффективнее

Спросил сегодня у сына, используют ли они на работе искусственный интеллект. "Даже естественный не используют", -- ответил он.

Хранилище для данных или катастрофа на миллион строк? Видео-гайд по оптимизации запросов в Greenplum

Немного про нашу data-реальность в Сравни: мы используем Greenplum как аналитическую платформу для обработки терабайтов данных — пользовательских, продуктовых и маркетинговых. Это не просто хранилище, но один из основополагающих инструментов для команды DWH и аналитиков. 

О применении Greenplum на практике наш дата-инженер Владимир Шустиков выпустил трилогию обучающих видео. С их помощью можно ознакомиться с азами самой БД и узнать, как дата-инженеры Сравни переписывают запросы для более высокой эффективности.

Если интересуетесь в целом Greenplum и вопросом оптимизации запросов в частности — вот все три выпуска гайда!

1. Greenplum. Что такое и как работает?

Видео о сути и архитектуре GP, основных понятиях и возможностях (реплицирование сегментов, дистрибуция, партицирование, индексы, загрузка и выгрузка данных, оптимизация запросов).

2. Простая оптимизация запросов в GreenPlum (+ кейсы)

Автор отвечает на вопрос, как именно стоит оптимизировать запросы в GP и на что обращать внимание.

3. Кейс оптимизации запроса в GreenPlum 

Автор разбирает реальный кейс из практики Сравни, в котором применяются подходы и техники из видео №2.

Предыдущий видео-цикл Владимира, о самых распространенных вопросах на собеседованиях по SQL (с ответами!), доступен в этом посте.

Также ранее мы провели курс лекций в Бауманке: рассказали о техниках оптимизации аналитических SQL-запросов. Видео — здесь.

✅ТГ-канал инженерного сообщества Sravni Tech

Инновационный центр «Безопасный транспорт» победил в нескольких номинациях 3-й Национальной премии «Умный город».

Наши специалисты заняли:
🔹 1-е место в номинации «Умный муниципалитет» за проект АИС «Мониторинг аварийности». Система анализирует причины и локации ДТП.
🔹 2-е место в номинации «Мобильный город» за проект «Предмоделирование». Система примерно за 25 мин. автоматически рассчитывает прогноз, как строительство повлияет на транспортную загруженность участка, и предлагает наиболее удобные варианты.

Это важное признание наших усилий и работы над созданием более комфортной и безопасной городской среды.

Большое спасибо нашей команде! Мы продолжим развивать и внедрять инновационные решения, которые делают наш город лучше.

Готовимся к собеседованию на системного аналитика: как презентовать свой опыт и прокачать soft skills

Привет, Хабр! С вами Диана, системный аналитик из АШАН ТЕХ. Хочу рассказать, как готовилась к собеседованиям, когда у меня ещё не было коммерческого опыта. Теперь точно знаю: даже учебные кейсы могут «выстрелить», если правильно их подать.

1. Резюме и портфолио — когда вы на старте

У меня были только учебные проекты. Я включила их в портфолио — описала задачи, инструменты, результат. Это дало опору на старте.

Чтобы кейс смотрелся осмысленно, а не как "училась просто потому что", я оформляла его по простой схеме: действия, инструменты, результат.

• Что делала: описание требований, UML-диаграммы, моделирование бизнес-процессов.

• Что использовала: Anki, Miro, Draw.io (как именно — писала в предыдущих постах).

• Результат: даже краткий, но подчёркивающий, что задачу довела до конца.

Пет-проекты тоже работают. Если автоматизировали домашний учёт — это уже кейс.

2. Вопросы к которым стоит готовиться

На собеседованиях спрашивают не только теорию. Но если нет реального опыта, её стоит знать на зубок. И готовиться как к экзамену.

Что спрашивали у меня:

• Технические: чем отличаются функциональные и нефункциональные требования? Какие UML-диаграммы важны? Виды архитектуры? Какие таблицы стоит использовать для создания API-контракта и почему?

• Поведенческие: что делать, если клиент даёт противоречивые запросы? Как вести диалог с разработчиками, если сроки жмут?

Я проговаривала ответы мысленно и с друзьями — устраивали мини-интервью. Это помогло говорить уверенно.
Однажды рассказала на интервью историю с хакатона: мы три часа спорили о цвете кнопки, потом ещё два — о её тексте. Лёд сразу растаял.

3. Подготовка: книги, STAR и репетиции

• Литература: книги Вигерса, BABOK, конференции, посты с кейсами.

• Метод STAR: даже учебный проект можно подать как рабочую задачу. Главное — показать подход: ситуация, цель, действия, результат.

• Репетиции: я прогоняла интервью с друзьями, записывала ответы на диктофон, отвечала на вопросы с YouTube. Чем больше говоришь, тем проще на реальном интервью.

4. Факап с «невидимыми» собеседниками

Один раз камеры были выключены у всех. Ни одного лица. Несколько раз перебивали друг друга. Я начала тараторить и сбиваться. Оффера не получила, но усвоила важный урок: если не видишь отклика — создай его сама. Спрашивай: «Всё ли понятно? Уточнить пример?» Даже «в пустоту» можно говорить живо.

5. Как не потерять настрой

• Параллельные отклики — это стратегия. Я откликнулась в АШАН ТЕХ просто по ностальгии — в студенчестве бегали туда за круассанами. Мой опыт едва дотягивал до требований (там искали от 2 лет). Но резюме зацепило, пригласили, на собесе нашли общий вайб. Никогда не угадаешь, что сработает.

• Отказы — это данные. Спрашивайте у рекрутеров, чего не хватило. Иногда ответ — точка роста. Плюс: записывайте интервью — даже без фидбэка можно услышать, где проседаете.

• Окружение важно. Делитесь сомнениями с друзьями. Со стороны часто видно, что вы уже растёте, даже если сами не замечаете.

Итог

Даже без коммерческого опыта можно проявить себя. Учебные проекты, пет-проекты, уверенное общение и умение решать задачи — всё это считывается.

Собеседование аналитика — не только про теорию требований. Это про мышление, диалог и гибкость.
Сначала страшно. Потом интересно. Потом — оффер.

• А какой у вас был самый необычный вопрос на интервью?

• Что делаете, если собеседник «прячется» за выключенной камерой?

«Как нефть, только важнее»: как выстроить культуру работы с данными

В рамках конференции ArenaDAY, посвящённой передовым технологиям и трансформации бизнес-процессов, Chief Data Officer ОТП Банка Николай Шевцов выступил с докладом «От data-команд к data-компании: как сформировать культуру работы с данными».

На примере ОТП Банка он представил пошаговый подход к выстраиванию data-культуры в крупной организации — от локальных инициатив внутри ИТ-подразделений до интеграции данных в повседневные бизнес-процессы.

«Весь процесс работы с данными напоминает нефтепереработку: сырые данные — это нефтеносная жидкость, которую сначала нужно добыть (собрать), затем очистить (data governance) и переработать в полезные продукты — отчёты, аналитику, модели. Но главное отличие в том, что данные — не просто актив, а неотъемлемая часть нашей жизни, как одежда или предметы быта. Чтобы быть эффективными, мы должны научиться работать с ними так же естественно, как дышать», — отметил Николай Шевцов.

В центре внимания доклада — зрелость компании по отношению к данным, доверие к информации и способность организаций принимать решения на её основе. Николай представил собственную систему замера уровня data-культуры и рассказал о ключевых ролях, необходимых для её развития: от Data-чемпионов в командах до топ-менеджмента, задающего вектор и распределяющего ресурсы.

По мнению эксперта, эффективная трансформация невозможна без постоянного обучения, пилотных запусков и механики «быстрых побед» — так создаётся среда, где данные становятся не просто инструментом, а частью корпоративной ДНК.

ОТП Банк последовательно внедряет подход data as a culture и делится практиками, которые позволяют строить устойчивые решения в условиях высокой неопределённости.

💠 PlantUML: полезные материалы

Подборка для тех, кто давно хотел начать применять PlantUML, но никак не доходили руки. К счастью, это не займёт много времени.

PlantUML (https://plantuml.com/ru/) — это крайне полезный инструмент для аналитика, который превращает псевдокод в диаграммы. Это значительно быстрее и удобнее, чем вечно тыкаться со стрелочками и ручным выравниванием в draw.io или Visio.

Синтаксис очень простой, пугаться кода не нужно. По примерам становится всё понятно.

✏️ Редакторы и расширения
Для начала выберете место, где вам будет удобнее писать диаграмму: это может быть

💻 Онлайн:
1️⃣ https://plantuml-editor.kkeisuke.com/
2️⃣ https://www.planttext.com/
3️⃣ https://plantuml.com/ru/running

👣 Расширения, для:
1️⃣ Notepad++ (https://github.com/Fruchtzwerg94/PlantUmlViewer)
2️⃣IDEA (https://plugins.jetbrains.com/plugin/7017-plantuml-integration/),
3️⃣ PyCharm (https://plugins.jetbrains.com/plugin/7017-plantuml-integration),
4️⃣ VScode (https://marketplace.visualstudio.com/items?itemName=jebbs.plantuml)

😎 Все расширения можно посмотреть по ссылке: https://plantuml.com/ru/running

📝 Документация
1️⃣ Официальная документация (https://plantuml.com/ru/) (почти всё на русском)
2️⃣ Гайд на русском в pdf (https://plantuml.com/ru/guide)

🖥 Полезные репозитории:
1️⃣ Unofficial PlantUML Standard Library Repositories (https://github.com/plantuml-stdlib)

🎓 Бесплатный курс, по PlantUML
1️⃣ https://stepik.org/course/Plantuml-Основы-212663/

📹 Видео
1️⃣PlantUML с нуля до гуру: учимся «кодить» sequence-диаграммы (https://www.youtube.com/watch?v=ScbZL5RX84E) — доклад Никиты Харичкина с Flow 2022 (скачать презентацию (https://t.me/Analyst_Boost/37))
2️⃣PlantUML на всю катушку: Автоматизация и лайфхаки для диаграмм последовательности (https://www.youtube.com/watch?v=RYEJEIF7htE) — доклад всё того же Никиты, но с Analyst Days #14 (скачать презентацию (https://t.me/plant_uml/108))
3️⃣ Бери и делай PlantUML, VS Code и Git 2 (https://www.youtube.com/watch?v=mdzRsewZtnY)

☺️ Канал про PlantUML
1️⃣https://t.me/plant_uml

📰 Статьи
1️⃣ Диаграммы без боли и страданий: PlantUML (https://habr.com/ru/companies/alfa/articles/740518/) — хороший гайд с примерами
2️⃣Пишу диаграммы последовательностей текстом (кодом). Вы тоже можете (https://habr.com/ru/companies/rostelecom/articles/701970/) — тут только про sequence
3️⃣PlantUML — все, что нужно бизнес-аналитику для создания диаграмм в программной документации (https://habr.com/ru/articles/416077/)
4️⃣Как рисовать Sequence без боли и страданий в PlantUML (https://habr.com/ru/companies/X5Tech/articles/821687/)

----

Подписывайтесь на @sa_chulan

🎓 Пройдите квиз и узнайте, какое направление Data Science вам подходит.

В онлайн-магистратуре «Науки о данных» доступны три профильных направления.
Чтобы выбрать подходящий трек, пройдите мини-квиз — он учитывает ваши интересы и бэкграунд.

🔹 ML Engineer
Создает и внедряет модели для обработки данных, изображений, видео и текстов — от прогнозирования оттока до диагностики по снимкам и разработки чат-ботов поддержки клиентов.

🔹 Data Analyst
Проектирует модели для анализа данных: сбор, очистка, визуализация, интерпретация данных. Например, создает дашборд для анализа продаж.

🔹 Data Engineer
Строит инфраструктуру для работы с большими данными: создает каналы и пайплайны для сбора, обработки и хранения данных.

💡 Профильные треки — это возможность получить дополнительные навыки и углубиться в одну из ключевых сфер работы с данными.

👉 Пройти кви: https://t.me/mipt_ds_spec_bot

Architecture Meetup #2

Приглашаем на Architecture Meetup #2 — 21 мая в 18:30. Обсудим, почему процесс проектирования настолько сложен, как компании внедряют архитектурные репозитории, зачем нужна собственная система RSMА, а также к чему приводит использование архитектурных паттернов.

В программе:

• Опыт внедрения архитектурных репозиториев в разных компаниях: что получилось, какие сложности возникают, сравнение разных подходов и несколько советов, как выбрать и внедрить архитектурный репозиторий.

• Рассказа о том, как полностью изменился процесс создания архитектурных решений в банке — от ручного рисования разноцветных «детских» схем в Visio до масштабируемой автоматизации, которой пользуются сотни сотрудников, и зачем понадобилось изобретение собственного монстра Франкенштейна — системы RSM.

• Обсудим, почему процесс проектирования ИТ-решений сложно представить в виде фиксированного набора задач, как адаптировать процесс проектирования к разным типам изменений.

• Как прийти совсем не к тому результату, который ожидался, даже следуя паттернам и принимая на первый взгляд правильные решения.

Где: Офис Альфа-Банка по адресу Москва, Андропова пр-т., 18 к.3, в трёх минутах пешком от метро «Технопарк».

Присоединяйтесь онлайн и офлайн — зарегистрироваться можно по ссылке.

🤯 Нейросети заменят нас еще быстрее

Если боитесь потерять работу из-за ИИ, бойтесь еще сильнее. Исследователи рассказали, что AI-технологии стали развиваться практически в 2 раза быстрее.

Если в период с 2019 по 2025 способности моделей росли каждые 7 месяцев (считалась длительность задач, которые агенты выполняли верно в 50% случаев), то в 2025 году время обучения сократилось до 4 месяцев.

В итоге сейчас модели (конкретно модель o3) может больше, чем в 50% случаев верно решить задачу, на решение которой люди тратят около 1,5 часов.

Раньше исследователи делали такие прогнозы:

В 2026 году нейронки смогут решать 2-часовые задачи. В 2027 — 1 рабочий день (8 часов). В 2028 — 1 рабочая неделя (40 часов). В 2029 — 1 рабочий месяц (167 часов) (И это все за один подход!)

Звучит и так ничего себе, но теперь предсказания сдвинулись: если тенденция к ускорению AI сохранится, то в 2027 году операторы смогут выполнять задания продолжительностью в месяц.

Я до сих пор не могу это представить. Все развивается настолько быстро, что, кажется, пора это искусственно замедлять. Иначе мы можем быть не готовы к такому сверхпрогрессу и когда он настанет, не будем знать, что делать.

Компания Anthropic прогнозирует, что к 2026 году ИИ-агенты смогут выполнять задачи в корпоративных сетях наравне с людьми. 😱

Министр финансов РФ Антон Силуанов посоветовал литературные произведения из российской классики для знакомства с финансами:

«Читайте нашу российскую классику. Это Гоголь – «Ревизор», «Мёртвые души», это Чехов – «Вишнёвый сад». Вы там много найдете о финансах, хорошей и полезной информации».

Как автоматизировать распознавание текста с изображений?

В открытых источниках часто встречаются изображения с ценным текстом — скриншоты рабочих столов и приложений, фотографии таблиц, чеков, рукописных заметок и т.д. Сбор обычного текста автоматизировать легко, но с текстом на картинках начинаются сложности.

Раньше в моём арсенале был только pytesseract (Python-библиотека для распознавания текста). Она работала, но с серьёзными ограничениями:
➖Плохо справлялась с разными шрифтами
➖Теряла точность на низкокачественных изображениях
➖Путала языки, если текст был мультиязычным

Сейчас появились LLM-модели, которые справляются с этой задачей гораздо лучше, но если у вас нет мощного железа, запустить их локально не получится.

В профильных каналах регулярно пишут: «Вышла модель Х, которая показывает отличные результаты. OSINT-еры больше не нужны!», но никто не дает гайдов, как с этими моделями работать. Сегодня я это исправлю.

Обзор моделей для OCR
Прошерстив не один десяток источников, я выделил две наиболее популярные на текущий момент модели:
1️⃣ GPT-4 mini — высокая точность, но платная.
2️⃣ Google Gemini 2.0 Flash — высокая точность + бесплатный лимит.

Выбор без раздумий пал на Gemini. На момент публикации бесплатные лимиты от Google следующие:
✔️ 15 запросов в минуту
✔️ 1 млн токенов в минуту (ввод + вывод)
✔️ 1 500 запросов в сутки

Как взаимодействовать с Gemini?
1️⃣ Получаем API-ключ в Google AI Studio
2️⃣ Через API отправляем изображение в base64 + промпт
3️⃣ Получаем распознанный текст в ответе

Но есть важный нюанс: сервис не работает с российскими IP

Что делать, если Gemini недоступна?
Если у вас по какой-то причине нет возможности получить доступ к серверам Google AI Studio, то можно воспользоваться сервисами, которые предоставляют доступ к различным open-source моделям. Например, DeepInfra.
Плюсы:
✔️ Нет блокировок по геолокации
✔️ Гибкая тарификация
Минусы:
✖️ Нет бесплатного тарифа

Примеры скриптов выложил на github (https://github.com/vmtest439/britalb_ocr)

Если вам понравился пост и вы хотите читать больше подобного контента, то можете подписаться на мой авторский Telegram-канал BritLab!

Среднее, которое вам выгодно!

Вы задумывались, например, почему иногда используют арифметическое среднее , а иногда - медиану?

Сначала про термин. Медиана - 50 процентиль или число, которое разделяет весь набор исследуемых значений таким образом, что ровно половина находится слева от этого числа, а другая половина - справа. То есть это такая геометрическая середина отрезка, по которому распределены все исследуемые значения.

Такой подход дает вам относительно "справедливое" значение - среднее, как середина между всеми возможными вариантами. Главное отличие медианы от арифметического среднего в том, что она совершенно не реагирует на отдельные экстремально большие или маленькие значения до тех пор, пока этих значений не будет около половины от всех. А вот арифметическое среднее каждый такой выброс будет "утаскивать" в свою сторону.

Рассмотрим на примере статистики заработных плат.

* В одной стране средняя зарплата была 750 монет. В то же время медиана проходит на уровне 500 единиц. То есть в то время, как в среднем сотрудник получал почти 750, на самом деле больше половины не получали даже 500.

* Значит в другой половине сотрудников были достаточно большие зарплаты, которые и "утащили" арифметическое среднее настолько далеко от медианы.

* Таким образом, ориентируясь на среднюю зарплату по стране с большой долей вероятности вы получали бы зарплату меньше среднего, а не больше.

Вариантов подсчета среднего значения - множество, под каждый конкретный вопрос исследователя. Это и геометрическое, и гармоническое, арифметическое, медиана.

Если вы применяете или вам показывают только один подход - вполне вероятно, что где-то скрывается неудобная правда.