Анализ и проектирование систем *

Приглашаем на Alfa Analyze IT Meetup. В программе: генерация документации, LLM и уязвимости

5 ноября в 18:30 проведём третий на тему искусственного интеллекта. Расскажем и покажем, как применять его в работе, а ещё обсудим, какие потенциальные угрозы могут нести большие языковые модели. После докладов оставим время на афтерпати и нетворкинг. 

В программе:

№1. Генерация документации на API-сервис рядом с кодом

Как ИИ-агенты могут облегчить формирование системной документации на микросервисы.

Спикер: Иван Шелапутов, руководитель направления

№2. LLM для системных аналитиков на практике

Онлайн-демонстрация работы системного аналитика с ChatGPT на реальной задаче.

Спикер: Андрей Кнутсон, старший системный аналитик.

№3. Уязвимости приложений с LLM

Обсудим, как большие языковые модели, став мощным инструментом для бизнеса, одновременно становятся новой целью для злоумышленников и представляют потенциальные угрозы, о которых важно знать каждому аналитику.

Спикер: Артем Гринько, главный технический лидер разработки

Зарегистрироваться на митап по можно по ссылке ❤️

Зарплаты аналитиков по городам

Привет. Меня зовут Настя, я занимаюсь контентом Хабр Карьеры. Недавно мы посмотрели, сколько зарабатывали аналитики в первой половине этого года. 

Важно: мы берем данные не из вакансий или резюме, а из калькулятора зарплат — там можно отслеживать, сколько зарабатывают разные специалисты прямо сейчас.

Теперь к зарплатам аналитиков по городам:

Самый высокий рост показали оклады аналитиков из Екатеринбурга (+51%) — до 169 тыс. руб. На втором месте зарплаты в Нижнем Новгороде (+45%) — до 150 тыс. руб. На третьем — рост зарплаты аналитиков из Санкт-Петербурга (+32%), до 185 тыс. руб. 

В целом, медианная зарплата аналитиков выросла во всех городах, кроме Челябинска — там она снизилась на 2%, до 140 тыс. руб.

Если вы не согласны с цифрами, пожалуйста, укажите, сколько вы зарабатываете в своей специализации, чтобы в следующий раз данные были точнее. Заодно оцените, ниже или выше рынка сейчас ваш оклад.

В полном тексте исследования больше данных о зарплатах аналитиков, а если хотите посмотреть, сколько зарабатывают в других специализациях, вы можете отфильтровать калькулятор зарплат по своему запросу.

СУБД для аналитиков

В этой подборке мы рассмотрим назначение баз данных, их разные типы, особенности и инструменты для работы с ними. Это поможет выбрать подходящее решение для вашей задачи. Ловите статьи по ссылкам:

Как СУБД помогают аналитикам и маркетологам — найти, сохранить и защитить данные.

DBeaver — помощник аналитика данных. Как пользоваться программой.

PostgreSQL — почему её стоит выбрать для работы с данными и как установить.

Redis — ещё одна СУБД. Как с ней работать, где применять, преимущества и недостатки.

MongoDB — база для хранения неструктурированных данных.

Вебинар: «Быстрая работа с документами с технологией IDP. Профит в кадровых процессах, работе с первичными документами, корреспонденцией и договорами»

Кто проводит: эксперты компаний «Первая Форма» и Dbrain

Кому полезно: техническим директорам, бизнес-аналитикам, директорам по ИТ и инновациям, а также сотрудникам компаний, где в бизнес-процессах много бумажной работы.

Почему это важно:

Ручная обработка документов отнимает много времени и ресурсов компании. Это приводит к снижению эффективности работы, увеличению количества ошибок и задержкам в бизнес-процессах. Автоматизация работы с документами с помощью технологии умного распознавания (IDP) в BPM-системе позволяет значительно сократить время на рутинные операции и повысить эффективность работы всей организации.

Чему научатся участники:

• Узнают, как автоматизировать категоризацию первичных документов.

• Рассмотрят процесс автосоздания задач на основе входящей корреспонденции.

• Изучат, каким способом можно заполнять анкеты сотрудников без ручного ввода.

• Познакомятся с возможностями упрощённого поиска по электронному архиву.

Как попасть:

Участие бесплатное, по предварительной регистрации. Вебинар состоится 31 октября в 11:00.

Спикеры вебинара:

• Хайрова Дарья, тимлид партнёрского направления «Первой Формы»

• Александр Ляхович, менеджер по развитию бизнеса в Dbrain

Присоединяйтесь, рассмотрим, как технология IDP может трансформировать работу с документами в вашей компании. 

Предлагаем решить математическую задачу из двух частей. Первая — вполне реальная, вторая — фантастическая. Но просим вас к обеим отнестись серьёзно!

1. В город N приехал столичный чиновник. На собрании в 9:00 он по секрету рассказал важную новость двум местным сотрудникам. В течение часа каждый из них по секрету рассказал эту новость ещё троим жителям этого города. В течение следующего часа — каждый из этих новоузнавших передал эту новость ещё троим новым и т.д.

Сколько жителей города N будут по секрету знать важную новость в 21:00 этого дня?

2. Помимо секретов чиновник привёз в командировку коробку с печеньками. Они были настолько вкусные, что в первый день он съел аж 8 штук. Ему хотелось растянуть печенье до конца командировки, поэтому он решил держать себя в руках и есть каждый следующий день в полтора раза меньше печенек, чем в предыдущий (кусочки печенек тоже считаются).

Проблема в том, что чиновник попал в пространственно-временную аномалию и застрял в городе N навечно! Но это был очень последовательный чиновник — он продолжал выполнять своё обещание и каждый день ел всё меньше и меньше печенек.

Можно ли узнать, сколько всего печенек он съест за время своего бесконечного пребывания в городе N? Если да, то хватит ли ему коробки с 50 печеньками?Поделитесь размышлениями ответами в комментариях.

→ Больше подобных задач в бесплатном тренажере «Основы математики для цифровых профессий».

Используем PlantUML не по назначению: рисуем маппинг данных с помощью диаграммы класса

Когда у вас docs as code, хочется, чтобы все было прямо по «докс экс кодовски», в частности, чтобы диаграммы и схемы тоже рисовались кодом.

Ниже — пример того, как можно изображать маппинг данных с помощью диаграммы классов. Достаточно использовать несколько ухищрений и «костылей», чтобы получать довольно неплохие результаты.

Вот так выглядит код (если нужны пояснения, обращайтесь):

@startuml

hide circle
left to right direction

class Structure_1 {
  field_1
  --
  field_2
  --
  field_3
}

class Structure_2 {
  field_1
  --
  field_2
  --
  field_3
}

package transform <<Rectangle>> #yellow {
  
}

package "addition data" <<Rectangle>> #purple {
  
}

package "data transform" <<Rectangle>> #blue {
  
}

Structure_1::1 -down[#white]-> transform
Structure_1::1 -down-> transform
Structure_1::1 -down[#white]-> transform

transform -down-> Structure_2::1

Structure_1::2 -> Structure_2::2

Structure_1::3 -down-> "data transform"

"data transform" -down-> Structure_2::3

"addition data" -down-> 

А так — результат (маппинг данных):

Какие нюансы нужно учесть:

1. Активно «играйте» связями: они помогают двигать объекты на диаграмме.

2. Используйте невидимые элементы и связи.

Сначала это кажется сложно. Но позже, когда освоишь ухищрения и «костыли», рисовать настоящие шедевры. И тогда у час будет полнейший docs as code.

Похожее можно рисовать и в graphviz, но там синтаксис потяжелее будет. Как? Могу показать.

Все думал как представить модель IDEF0 так чтобы человеку была видна вся модель УФМТП. Если просто PDF прикладывать, не все додумываются скачать. Думаю в таком виде будет более понятен масштаб.

Что скажете?

Про использование этой модели можете почитать тут Концепция IDEF0

Сергей Ким, руководитель команды разработки WMS и активный пользователь Яндекс Лавки, рассказал, про внутренний мир Лавок. 

Обсудили: 

• как Яндекс управляет лавками, узнаёт о товарных остатках и рассчитывает время курьеров, чтобы вовремя доставлять все заказы; 

• о чём можно узнать с помощью проактивных пушей изменений и периодического пула всего сразу;

• как перекладывать JSON с минимальным лагом. 

Если у вас есть задача запилить свой даркстор, доклад будет хорошим дипдайвом в то, как реплицировать изменения самым неочевидным способом. 

Сентябрь в самом разгаре! Последние теплые дни четвертого месяца лета. То самое время, когда на улице жарко, а в цифровом пространстве всё просто кипит! Сегодня небольшой информационный пост о том, где можно сейчас бесплатно поучиться премудростям BI.

1. Пиксы запустили Цифровой триатлон. Каждую неделю идет трек по одной из платформ. На этой неделе экватор по PIX BI. Много экспертов, много мнений, весь контент очень сильно связан с ex Qlik тусовкой. Клиенты, эксперты, организаторы - все когда то занимались, внедряли, обучали Qlik. Такое импортозамещение даже получается. https://triathlon.pix.ru Информацию кидают в группу в телеге: https://t.me/BI_PIX_Chat Плюс компания анонсировала БЕСПЛАТНУЮ персональную редакцию своей платформы. Надеемся это не разводняк! 

2. Коллеги из Глобайт привезли Азиатский вариант марафона. Ретрит по теме Fine Bi. Вся информационная поддержка идет в группе https://t.me/FineBIChat в разбивке по темам. Много интересного, новые фичи, опыт клиентов. Классика марафонов от Дата Йога.

3. AW запустили на наш взгляд тяжелую, но очень интересную историю для конкретной группы продвинутых аналитиков. Все подробности в группе https://t.me/awcommunity такой марафон, который перетекает в хакатон и заканчивается собственной конференцией в Москве. 

Отличная возможность попробовать три разных блюда, не выходя из дома! Вперед к новым знаниям!

Excel для аналитиков данных

Как бы все ни говорили о Python для анализа данных, в каждой компании был и будет Excel. Его используют для финансовой аналитики, планировании стратегий компаний, создания отчётов.

Делимся подборкой статей, которые помогут быстрее и эффективнее работать с выборкой данных в Excel.

Как работать с формулами и решать нестандартные рабочие задачи в два клика — пригодится и для отчёта в 20 строк, и для анализа больших объёмов данных.

Как создать и настроить диаграммы — для чего нужны, какие бывают, как их построить и отредактировать.

Как создать интерактивный дашборд — визуализируем данные, делаем красивые графики с ростом. Или падением.

Как настраивать фильтры — используем силу расширенных фильтров для сложных случаев.

Как сделать ВПР в Excel: пошаговая инструкция — ВПР помогает сопоставлять данные из одной таблицы с данными из другой и копировать их в нужном порядке

Как сделать сводные таблицы: пошаговая инструкция  — такие таблицы способны собрать значения из разных частей таблиц и провести с ними расчёты. Разбираемся как их создавать и использовать.

Как настроить Power Query и преобразовывать данные с его помощью Рассказываем, как объединять данные из разных источников, формировать отчёты и редактировать их с этой надстройкой.

→ Ещё больше знаний для новичков — в бесплатном курсе «Основы Excel для работы»

Вебинар: «Как автоматизировать закупки и управление запасами, чтобы сократить издержки и увеличить прибыль компании»

Кто проводит: эксперты компаний «Первая Форма» и InventorSoft

Кому полезно: руководителям отделов закупок и снабжения, руководителям IT‑отделов, финансовым и операционным директорам, бизнес‑аналитикам и логистам, менеджерам по закупкам, категорийным менеджерам.

Почему это важно:

До 70% всех расходов предприятия может приходиться только на закупки. Причины этого — перегрузка закупочного отдела «операционкой», сложности с прогнозированием и расчётом оптимального заказа, непрозрачный выбор поставщиков.

Кроме того, процесс может тормозить ручное проведение операций и использование разрозненных решений для сопутствующих процессов. Автоматизация помогает решить эти проблемы, сократить издержки и увеличить прибыль компании.

Чему научатся участники:

• Узнают о лучших практиках автоматизации закупочной и «околозакупочной» деятельности.

• Познакомятся с реальными кейсами автоматизации закупочных процедур в крупных российских компаниях, таких как «Спортмастер».

• Изучат финансовый подход в управлении запасами.

•  Увидят интерактивный расчет оптимального заказа (ROP и ROQ калькулятор). 

  Подробнее о программе ➡️

Как попасть:

Участие бесплатное, по предварительной регистрации. Вебинар состоится 18 октября в 11:00.

Друзья, открываем набор на новую программу «Системный аналитик. Уровень Middle»! Вы научитесь разрабатывать требования, моделировать бизнес-процессы, составлять документацию, анализировать данные, взаимодействовать с заказчиками и командой разработки. По окончании обучения вы получите диплом о профессиональной переподготовке государственного образца.

Преимущества обучения:

➕ Актуальность: программа разработана в 2024 году.

➕ Много практики: разборы бизнес-кейсов, решение реальных задач, шаблоны для работы.

➕ Тренеры: обучение ведут авторизованные и аттестованные специалисты с опытом в коммерческой разработке.

➕ Формат: самостоятельное изучение теории и практика в онлайн-формате с тренером.

Программа подойдёт:

🧑‍🎤 Junior-аналитикам, интернам

👨‍🎓 Разработчикам и тестировщикам

🥷 DevOps-инженерам, IT-консультантам

Чтобы узнать, подойдёт ли вам программа, можно для начала пройти бесплатный мини-курс.

Старт программы 3 октября.

👉Подать заявку на программу «Системный аналитик. Уровень Middle»👈

Backend-Driven UI и конструкторы — благо или зло?

Об этом — в новом выпуске подкаста «Свободный слот». Бизнес обычно в восторге от BDUI: высокий Time to Market, новые фичи без обновлений приложений, UI для нескольких платформ. А вот инженерам не всегда нравится пользоваться конструкторными решениями.

Вместе с Леонидом Ральниковым, разработчиком BDUI-фреймворка DivKit из Яндекса, мы говорим о том, какие плюсы и минусы есть у конструкторов, как это влияет на компанию и что нас ждет в будущем. Можно ли отдать вёрстку продакту? Не теряют ли инженеры базу, верстая экраны через конструкторы? Как тестировать приложения с BDUI?

А что вы думаете о BDUI? Делитесь мнением в комментариях.

Слушайте «Свободный слот» на разных платформах:

Apple Podcasts
ВК Подкасты
Яндекс Музыка

Луковая архитектура, и как не заплакать в процессе погружения. Запись митапа

Суть лукового архитектурного подхода (Onion Architecture) — в разделении системы на несколько слоёв, каждый из которых выполняет свою функцию. Такой подход помогает сделать код более чистым и читаемым, обеспечивает удобное разделение бизнес-логики, домена приложения и инфраструктуры.

На внутреннем митапе рассказали, как устроена луковая архитектура, границах применимости и о том, как с пользой начать использовать её в разработке. Затронули теорию и практику: рассмотрели специфику луковой архитектуры на примере конкретного pet-проекта. 

Коснулись CQS-CQRS дизайн-паттерна, рассмотрели пайплайн MediatR, реализацию валидаций с FluentValidation, маппинг через AutoMapper, и как организовать сущности доменного слоя. 

Остановились на первых двух слоях — Domain.Core и Application. Об устройстве других слоев (Infrastructure и Web API) поговорим на будущих митапах.

Посмотреть запись митапа можно на YouTube или RUTUBE.

P.S. Это запись внутреннего митапа ИТ-команды Сравни — публикуем эпизоды без NDA, но (надеемся) с пользой для внешнего сообщества.

***

Узнавать о выходе наших новых материалов (митапов, лекций, статей), помимо Хабра, можно в тг-канале инженерного сообщества Сравни. 

Weekend Offer для Java-разработчиков, системных аналитиков и QA-инженеров (backend)

24—25 августа проведем Weekend Offer в Нефинансовые сервисы Т-Банка сразу для трех профессий: Java-разработчиков, системных аналитиков и QA-инженеров (backend). Это самый быстрый путь к офферу: вы сможете пройти все этапы интервью за выходные.

Нефинансовые сервисы — целая экосистема лайфстайл-продуктов в банке: от подписок и билетов в кино до онлайн-бронирования отелей. Вкратце — все то, что делает жизнь клиентов проще и счастливее. В начале Weekend Offer проведем велком-встречу с экспертом и расскажем больше о том, как работают сервисы.

Мы ждем:

— Java-разработчиков, которые владеют навыками в любой из технологий: Spring, Quarkus, Micronaut, Ktor или Vert.x.

— Системных аналитиков, которые работали с REST/gRPC/graphQL и брокерами сообщений — Kafka/RabbitMQ.

— QA-инженеров с опытом работы в тестировании бэкенда и автоматизации тестирования с использованием Java, Kotlin или JS.

Если у вас есть опыт от 3 лет — приходите и создавайте прорывные сервисы вместе с нами. Заявку можно оставить до 21 августа на сайте.

юбиквотус...

Коллеги, я понимаю прекрасно ценность английских терминов за их краткость... особенно не только когда слово просто короче, а когда оно заменяет целое сложное словосочетание или определение...

И, да, Эрик Эванс крутой чувак...
Но он не придумал с точки зрения английского языка ничего нового - Ubiquitous - это всего-лишь "вездесущий" (*с одной С:)), или, если переводить ближе к изначальному замыслу в контексте его подхода - то "всеобщий" (т.е. применимый везде, понятный всем - существующий в сознании всех участников проекта)...

От того, что на конференциях/вебинарах/на работе вместо "всеобщий язык" (ну, ладно - пусть даже "вездесущий язык") люди гордо говорят "юбикуитос лэнгуидж" (а на одном вебинаре - как в сказано в начале поста - "юбиквотус") становится только хуже, потому что:

• люди, которые не в теме и так сложной темы DDD, начинают "подвисать", их мозг пытается на ходу перевести это на привычные понятия... а говорящий продолжает бежать дальше, причем, зачастую, гордо думая, что он заставил окружающих загрузить мозг сложной информацией

• говорящий часто сам до конца (до глубины) не понимает, о чем речь, он не чувствует термин

А ведь у Эванса речь идет о простых вещах, что сначала нужно договориться об общих и понятиях.
И как здесь не вспомнить Эриха Фромма, который высказывал мысль, что современная наука настолько специализировалась по областям, что они перестали понимать друг друга и создание какой-либо общей теории затруднительно.

P.S.: на картинке UL как его понял ИИ

Мастер-класс: «Как оптимизировать операционную деятельность компании на базе low-code BPM-системы»

Кто проводит: Бауманский учебный центр «Специалист»

Почему это важно:

Компании во всех отраслях сталкиваются со сложностями в управлении IT-процессами. Чаще всего эта ситуация имеет две причины: сложился произвольный набор программных решений, оставшихся в наследство от разных IT-директоров или лоскутной цифровизации, или же бизнес не видит отдачи от вложенных в IT-направление ресурсов. Затраты на сотрудников растут, а выгода получается минимальной.

Поэтому российские компании все чаще используют в качестве единой информационной системы low-code BPM-решения. ПО такого класса позволяет быстро оцифровывать любые процессы без привлечения программистов. Такие системы уже используют «Спортмастер», «ВкусВилл», «Академия РосАтома», «Сколково».

Чему научатся участники:

• узнают, как устроена панель администратора, где настраиваются бизнес-процессы;

• какие знания нужны для работы с low-code конструктором;

• какие бизнес-процессы можно оцифровать в одной системе;

• как интегрировать BPM-систему с другими источниками корпоративных данных.

Вам будет интересно и полезно, если вы:

Бизнес-аналитик, системный аналитик, руководитель предприятия, руководитель службы компьютерного обеспечения.

Как попасть:

Участие бесплатное, по предварительной записи.

Волшебник Изумрудного города, или Как тестировать MVP сложного продукта

Расскажем об интересном методе тестирования продуктов. Он называется — «Волшебник страны Оз».

Если вы помните, волшебник в одноименной сказке оказался фокусником. Такую же роль для респондента при этом подходе выполняет исследователь.

Например, компания разрабатывает голосовое управление для онлайн-кинотеатра, но в приложении такого функционала пока нет. Приглашают пользователя для теста. Он говорит: «Хочу посмотреть сериал "Друзья"».

За респондентом скрыто наблюдает еще один человек, Он-то в действительности и управляет ТВ. Когда пользователь дает какую-то команду — это он из-за ширмы выполняет ее пультом. Респондент об этом не знает.

Обычно этот метод используют для продуктов, в которых сложный функционал. Интегрировать такой в MVP дорого и накладно. Это может быть то же самое голосовое управление, AI-поиск, VR/AR.

Метод также может быть открытым, закрытым и смешанным.

✓ Открытый — когда у исследователя нет готовых реакций/ответов.

✓ Закрытый — когда они уже четко проработаны.

Минус открытого метода — высокая степень импровизации, а закрытого — что вы могли не предусмотреть все варианты ответа.

Поэтому иногда используют микс, когда у вас уже есть варианты ответов на действия пользователя, но если вам задают что-то выходящее за рамки, вы можете импровизировать.

Больше о тестировании MVP и UX-исследованиях читайте в нашем Телеграмм-канале.

Как загрузить csv-файл в базу данных. Четыре разных способа

В новой, но уже такой родной рубрике «Базировано» мы рассказываем о базовых вещах, которые должны уметь ИТ-специалисты. В этот раз системный аналитик «Технократии» Руслан Степанов рассказывает о разных способах загрузки csv-файла в базу данных.

Надеемся, что YouTube поправится, и вы сможете познакомиться с тайными знаниями аналитиков «Технократии».

Пришли с новостями: мы полностью обновили программу курса «Аналитик данных» по отзывам студентов и актуальным требованиям работодателей. Изменений много, расскажем о самом важном:

1. Погружение в профессию сделали более плавным — начнаем с простых инструментов, сложность нарастает постепенно. Теперь совмещать работу с учёбой станет проще.

2. Ещё больше практики: квиз или тренжер в каждом уроке; кейс-проекты после всех спринтов и большие проекты после каждого модуля. Добавили форматы воркшопов с упором на групповую работу: лайв-кодинг, разбор кейсов, симуляция решения задач в команде. Будут проекты реальных заказчиков и дополнительная практика на кейсах компаний.

3. Дополнительная специализация в расширенной версии: выберете между продктовым и BI-аналитиком.

4. Основы линейной алгебры, машинное обучение, алгоритмы — 3 темы в расширенной версии курса, чтобы решать более сложные задачи.

Практикующие эксперты с разным опытом, отдельный модуль по работе с нейросетями и помощь с трудоустройством — всё это тоже будет!
→ Подробнее о курсе