Спросил сегодня у сына, используют ли они на работе искусственный интеллект. "Даже естественный не используют", -- ответил он.
Хранилище для данных или катастрофа на миллион строк? Видео-гайд по оптимизации запросов в Greenplum
Немного про нашу data-реальность в Сравни: мы используем Greenplum как аналитическую платформу для обработки терабайтов данных — пользовательских, продуктовых и маркетинговых. Это не просто хранилище, но один из основополагающих инструментов для команды DWH и аналитиков.
О применении Greenplum на практике наш дата-инженер Владимир Шустиков выпустил трилогию обучающих видео. С их помощью можно ознакомиться с азами самой БД и узнать, как дата-инженеры Сравни переписывают запросы для более высокой эффективности.
Если интересуетесь в целом Greenplum и вопросом оптимизации запросов в частности — вот все три выпуска гайда!
1. Greenplum. Что такое и как работает?
Видео о сути и архитектуре GP, основных понятиях и возможностях (реплицирование сегментов, дистрибуция, партицирование, индексы, загрузка и выгрузка данных, оптимизация запросов).
2. Простая оптимизация запросов в GreenPlum (+ кейсы)
Автор отвечает на вопрос, как именно стоит оптимизировать запросы в GP и на что обращать внимание.
3. Кейс оптимизации запроса в GreenPlum
Автор разбирает реальный кейс из практики Сравни, в котором применяются подходы и техники из видео №2.
Предыдущий видео-цикл Владимира, о самых распространенных вопросах на собеседованиях по SQL (с ответами!), доступен в этом посте.
Также ранее мы провели курс лекций в Бауманке: рассказали о техниках оптимизации аналитических SQL-запросов. Видео — здесь.
Инновационный центр «Безопасный транспорт» победил в нескольких номинациях 3-й Национальной премии «Умный город».
Наши специалисты заняли:
🔹 1-е место в номинации «Умный муниципалитет» за проект АИС «Мониторинг аварийности». Система анализирует причины и локации ДТП.
🔹 2-е место в номинации «Мобильный город» за проект «Предмоделирование». Система примерно за 25 мин. автоматически рассчитывает прогноз, как строительство повлияет на транспортную загруженность участка, и предлагает наиболее удобные варианты.
Это важное признание наших усилий и работы над созданием более комфортной и безопасной городской среды.
Большое спасибо нашей команде! Мы продолжим развивать и внедрять инновационные решения, которые делают наш город лучше.
Готовимся к собеседованию на системного аналитика: как презентовать свой опыт и прокачать soft skills
Привет, Хабр! С вами Диана, системный аналитик из АШАН ТЕХ. Хочу рассказать, как готовилась к собеседованиям, когда у меня ещё не было коммерческого опыта. Теперь точно знаю: даже учебные кейсы могут «выстрелить», если правильно их подать.
1. Резюме и портфолио — когда вы на старте
У меня были только учебные проекты. Я включила их в портфолио — описала задачи, инструменты, результат. Это дало опору на старте.
Чтобы кейс смотрелся осмысленно, а не как "училась просто потому что", я оформляла его по простой схеме: действия, инструменты, результат.
Что делала: описание требований, UML-диаграммы, моделирование бизнес-процессов.
Что использовала: Anki, Miro, Draw.io (как именно — писала в предыдущих постах).
Результат: даже краткий, но подчёркивающий, что задачу довела до конца.
Пет-проекты тоже работают. Если автоматизировали домашний учёт — это уже кейс.
2. Вопросы к которым стоит готовиться
На собеседованиях спрашивают не только теорию. Но если нет реального опыта, её стоит знать на зубок. И готовиться как к экзамену.
Что спрашивали у меня:
Технические: чем отличаются функциональные и нефункциональные требования? Какие UML-диаграммы важны? Виды архитектуры? Какие таблицы стоит использовать для создания API-контракта и почему?
Поведенческие: что делать, если клиент даёт противоречивые запросы? Как вести диалог с разработчиками, если сроки жмут?
Я проговаривала ответы мысленно и с друзьями — устраивали мини-интервью. Это помогло говорить уверенно.
Однажды рассказала на интервью историю с хакатона: мы три часа спорили о цвете кнопки, потом ещё два — о её тексте. Лёд сразу растаял.
3. Подготовка: книги, STAR и репетиции
Литература: книги Вигерса, BABOK, конференции, посты с кейсами.
Метод STAR: даже учебный проект можно подать как рабочую задачу. Главное — показать подход: ситуация, цель, действия, результат.
Репетиции: я прогоняла интервью с друзьями, записывала ответы на диктофон, отвечала на вопросы с YouTube. Чем больше говоришь, тем проще на реальном интервью.
4. Факап с «невидимыми» собеседниками
Один раз камеры были выключены у всех. Ни одного лица. Несколько раз перебивали друг друга. Я начала тараторить и сбиваться. Оффера не получила, но усвоила важный урок: если не видишь отклика — создай его сама. Спрашивай: «Всё ли понятно? Уточнить пример?» Даже «в пустоту» можно говорить живо.
5. Как не потерять настрой
Параллельные отклики — это стратегия. Я откликнулась в АШАН ТЕХ просто по ностальгии — в студенчестве бегали туда за круассанами. Мой опыт едва дотягивал до требований (там искали от 2 лет). Но резюме зацепило, пригласили, на собесе нашли общий вайб. Никогда не угадаешь, что сработает.
Отказы — это данные. Спрашивайте у рекрутеров, чего не хватило. Иногда ответ — точка роста. Плюс: записывайте интервью — даже без фидбэка можно услышать, где проседаете.
Окружение важно. Делитесь сомнениями с друзьями. Со стороны часто видно, что вы уже растёте, даже если сами не замечаете.
Итог
Даже без коммерческого опыта можно проявить себя. Учебные проекты, пет-проекты, уверенное общение и умение решать задачи — всё это считывается.
Собеседование аналитика — не только про теорию требований. Это про мышление, диалог и гибкость.
Сначала страшно. Потом интересно. Потом — оффер.
А какой у вас был самый необычный вопрос на интервью?
Что делаете, если собеседник «прячется» за выключенной камерой?
«Как нефть, только важнее»: как выстроить культуру работы с данными
В рамках конференции ArenaDAY, посвящённой передовым технологиям и трансформации бизнес-процессов, Chief Data Officer ОТП Банка Николай Шевцов выступил с докладом «От data-команд к data-компании: как сформировать культуру работы с данными».
На примере ОТП Банка он представил пошаговый подход к выстраиванию data-культуры в крупной организации — от локальных инициатив внутри ИТ-подразделений до интеграции данных в повседневные бизнес-процессы.
«Весь процесс работы с данными напоминает нефтепереработку: сырые данные — это нефтеносная жидкость, которую сначала нужно добыть (собрать), затем очистить (data governance) и переработать в полезные продукты — отчёты, аналитику, модели. Но главное отличие в том, что данные — не просто актив, а неотъемлемая часть нашей жизни, как одежда или предметы быта. Чтобы быть эффективными, мы должны научиться работать с ними так же естественно, как дышать», — отметил Николай Шевцов.
В центре внимания доклада — зрелость компании по отношению к данным, доверие к информации и способность организаций принимать решения на её основе. Николай представил собственную систему замера уровня data-культуры и рассказал о ключевых ролях, необходимых для её развития: от Data-чемпионов в командах до топ-менеджмента, задающего вектор и распределяющего ресурсы.
По мнению эксперта, эффективная трансформация невозможна без постоянного обучения, пилотных запусков и механики «быстрых побед» — так создаётся среда, где данные становятся не просто инструментом, а частью корпоративной ДНК.
ОТП Банк последовательно внедряет подход data as a culture и делится практиками, которые позволяют строить устойчивые решения в условиях высокой неопределённости.
💠 PlantUML: полезные материалы
Подборка для тех, кто давно хотел начать применять PlantUML, но никак не доходили руки. К счастью, это не займёт много времени.
PlantUML (https://plantuml.com/ru/) — это крайне полезный инструмент для аналитика, который превращает псевдокод в диаграммы. Это значительно быстрее и удобнее, чем вечно тыкаться со стрелочками и ручным выравниванием в draw.io или Visio.
Синтаксис очень простой, пугаться кода не нужно. По примерам становится всё понятно.
✏️ Редакторы и расширения
Для начала выберете место, где вам будет удобнее писать диаграмму: это может быть
💻 Онлайн:
1️⃣ https://plantuml-editor.kkeisuke.com/
2️⃣ https://www.planttext.com/
3️⃣ https://plantuml.com/ru/running
👣 Расширения, для:
1️⃣ Notepad++ (https://github.com/Fruchtzwerg94/PlantUmlViewer)
2️⃣IDEA (https://plugins.jetbrains.com/plugin/7017-plantuml-integration/),
3️⃣ PyCharm (https://plugins.jetbrains.com/plugin/7017-plantuml-integration),
4️⃣ VScode (https://marketplace.visualstudio.com/items?itemName=jebbs.plantuml)
😎 Все расширения можно посмотреть по ссылке: https://plantuml.com/ru/running
📝 Документация
1️⃣ Официальная документация (https://plantuml.com/ru/) (почти всё на русском)
2️⃣ Гайд на русском в pdf (https://plantuml.com/ru/guide)
🖥 Полезные репозитории:
1️⃣ Unofficial PlantUML Standard Library Repositories (https://github.com/plantuml-stdlib)
🎓 Бесплатный курс, по PlantUML
1️⃣ https://stepik.org/course/Plantuml-Основы-212663/
📹 Видео
1️⃣PlantUML с нуля до гуру: учимся «кодить» sequence-диаграммы (https://www.youtube.com/watch?v=ScbZL5RX84E) — доклад Никиты Харичкина с Flow 2022 (скачать презентацию (https://t.me/Analyst_Boost/37))
2️⃣PlantUML на всю катушку: Автоматизация и лайфхаки для диаграмм последовательности (https://www.youtube.com/watch?v=RYEJEIF7htE) — доклад всё того же Никиты, но с Analyst Days #14 (скачать презентацию (https://t.me/plant_uml/108))
3️⃣ Бери и делай PlantUML, VS Code и Git 2 (https://www.youtube.com/watch?v=mdzRsewZtnY)
☺️ Канал про PlantUML
1️⃣https://t.me/plant_uml
📰 Статьи
1️⃣ Диаграммы без боли и страданий: PlantUML (https://habr.com/ru/companies/alfa/articles/740518/) — хороший гайд с примерами
2️⃣Пишу диаграммы последовательностей текстом (кодом). Вы тоже можете (https://habr.com/ru/companies/rostelecom/articles/701970/) — тут только про sequence
3️⃣PlantUML — все, что нужно бизнес-аналитику для создания диаграмм в программной документации (https://habr.com/ru/articles/416077/)
4️⃣Как рисовать Sequence без боли и страданий в PlantUML (https://habr.com/ru/companies/X5Tech/articles/821687/)
----
Подписывайтесь на @sa_chulan
🎓 Пройдите квиз и узнайте, какое направление Data Science вам подходит.
В онлайн-магистратуре «Науки о данных» доступны три профильных направления.
Чтобы выбрать подходящий трек, пройдите мини-квиз — он учитывает ваши интересы и бэкграунд.
🔹 ML Engineer
Создает и внедряет модели для обработки данных, изображений, видео и текстов — от прогнозирования оттока до диагностики по снимкам и разработки чат-ботов поддержки клиентов.
🔹 Data Analyst
Проектирует модели для анализа данных: сбор, очистка, визуализация, интерпретация данных. Например, создает дашборд для анализа продаж.
🔹 Data Engineer
Строит инфраструктуру для работы с большими данными: создает каналы и пайплайны для сбора, обработки и хранения данных.
💡 Профильные треки — это возможность получить дополнительные навыки и углубиться в одну из ключевых сфер работы с данными.
👉 Пройти кви: https://t.me/mipt_ds_spec_bot
Architecture Meetup #2
Приглашаем на Architecture Meetup #2 — 21 мая в 18:30. Обсудим, почему процесс проектирования настолько сложен, как компании внедряют архитектурные репозитории, зачем нужна собственная система RSMА, а также к чему приводит использование архитектурных паттернов.
В программе:
Опыт внедрения архитектурных репозиториев в разных компаниях: что получилось, какие сложности возникают, сравнение разных подходов и несколько советов, как выбрать и внедрить архитектурный репозиторий.
Рассказа о том, как полностью изменился процесс создания архитектурных решений в банке — от ручного рисования разноцветных «детских» схем в Visio до масштабируемой автоматизации, которой пользуются сотни сотрудников, и зачем понадобилось изобретение собственного монстра Франкенштейна — системы RSM.
Обсудим, почему процесс проектирования ИТ-решений сложно представить в виде фиксированного набора задач, как адаптировать процесс проектирования к разным типам изменений.
Как прийти совсем не к тому результату, который ожидался, даже следуя паттернам и принимая на первый взгляд правильные решения.
Где: Офис Альфа-Банка по адресу Москва, Андропова пр-т., 18 к.3, в трёх минутах пешком от метро «Технопарк».
Присоединяйтесь онлайн и офлайн — зарегистрироваться можно по ссылке.
🤯 Нейросети заменят нас еще быстрее
Если боитесь потерять работу из-за ИИ, бойтесь еще сильнее. Исследователи рассказали, что AI-технологии стали развиваться практически в 2 раза быстрее.
Если в период с 2019 по 2025 способности моделей росли каждые 7 месяцев (считалась длительность задач, которые агенты выполняли верно в 50% случаев), то в 2025 году время обучения сократилось до 4 месяцев.
В итоге сейчас модели (конкретно модель o3) может больше, чем в 50% случаев верно решить задачу, на решение которой люди тратят около 1,5 часов.
Раньше исследователи делали такие прогнозы:
В 2026 году нейронки смогут решать 2-часовые задачи. В 2027 — 1 рабочий день (8 часов). В 2028 — 1 рабочая неделя (40 часов). В 2029 — 1 рабочий месяц (167 часов) (И это все за один подход!)
Звучит и так ничего себе, но теперь предсказания сдвинулись: если тенденция к ускорению AI сохранится, то в 2027 году операторы смогут выполнять задания продолжительностью в месяц.
Я до сих пор не могу это представить. Все развивается настолько быстро, что, кажется, пора это искусственно замедлять. Иначе мы можем быть не готовы к такому сверхпрогрессу и когда он настанет, не будем знать, что делать.
Компания Anthropic прогнозирует, что к 2026 году ИИ-агенты смогут выполнять задачи в корпоративных сетях наравне с людьми. 😱
Министр финансов РФ Антон Силуанов посоветовал литературные произведения из российской классики для знакомства с финансами:
«Читайте нашу российскую классику. Это Гоголь – «Ревизор», «Мёртвые души», это Чехов – «Вишнёвый сад». Вы там много найдете о финансах, хорошей и полезной информации».
Как автоматизировать распознавание текста с изображений?
В открытых источниках часто встречаются изображения с ценным текстом — скриншоты рабочих столов и приложений, фотографии таблиц, чеков, рукописных заметок и т.д. Сбор обычного текста автоматизировать легко, но с текстом на картинках начинаются сложности.
Раньше в моём арсенале был только pytesseract (Python-библиотека для распознавания текста). Она работала, но с серьёзными ограничениями:
➖Плохо справлялась с разными шрифтами
➖Теряла точность на низкокачественных изображениях
➖Путала языки, если текст был мультиязычным
Сейчас появились LLM-модели, которые справляются с этой задачей гораздо лучше, но если у вас нет мощного железа, запустить их локально не получится.
В профильных каналах регулярно пишут: «Вышла модель Х, которая показывает отличные результаты. OSINT-еры больше не нужны!», но никто не дает гайдов, как с этими моделями работать. Сегодня я это исправлю.
Обзор моделей для OCR
Прошерстив не один десяток источников, я выделил две наиболее популярные на текущий момент модели:
1️⃣ GPT-4 mini — высокая точность, но платная.
2️⃣ Google Gemini 2.0 Flash — высокая точность + бесплатный лимит.
Выбор без раздумий пал на Gemini. На момент публикации бесплатные лимиты от Google следующие:
✔️ 15 запросов в минуту
✔️ 1 млн токенов в минуту (ввод + вывод)
✔️ 1 500 запросов в сутки
Как взаимодействовать с Gemini?
1️⃣ Получаем API-ключ в Google AI Studio
2️⃣ Через API отправляем изображение в base64 + промпт
3️⃣ Получаем распознанный текст в ответе
Но есть важный нюанс: сервис не работает с российскими IP
Что делать, если Gemini недоступна?
Если у вас по какой-то причине нет возможности получить доступ к серверам Google AI Studio, то можно воспользоваться сервисами, которые предоставляют доступ к различным open-source моделям. Например, DeepInfra.
Плюсы:
✔️ Нет блокировок по геолокации
✔️ Гибкая тарификация
Минусы:
✖️ Нет бесплатного тарифа
Примеры скриптов выложил на github (https://github.com/vmtest439/britalb_ocr)
Если вам понравился пост и вы хотите читать больше подобного контента, то можете подписаться на мой авторский Telegram-канал BritLab!
Среднее, которое вам выгодно!
Вы задумывались, например, почему иногда используют арифметическое среднее , а иногда - медиану?
Сначала про термин. Медиана - 50 процентиль или число, которое разделяет весь набор исследуемых значений таким образом, что ровно половина находится слева от этого числа, а другая половина - справа. То есть это такая геометрическая середина отрезка, по которому распределены все исследуемые значения.
Такой подход дает вам относительно "справедливое" значение - среднее, как середина между всеми возможными вариантами. Главное отличие медианы от арифметического среднего в том, что она совершенно не реагирует на отдельные экстремально большие или маленькие значения до тех пор, пока этих значений не будет около половины от всех. А вот арифметическое среднее каждый такой выброс будет "утаскивать" в свою сторону.
Рассмотрим на примере статистики заработных плат.
* В одной стране средняя зарплата была 750 монет. В то же время медиана проходит на уровне 500 единиц. То есть в то время, как в среднем сотрудник получал почти 750, на самом деле больше половины не получали даже 500.
* Значит в другой половине сотрудников были достаточно большие зарплаты, которые и "утащили" арифметическое среднее настолько далеко от медианы.
* Таким образом, ориентируясь на среднюю зарплату по стране с большой долей вероятности вы получали бы зарплату меньше среднего, а не больше.
Вариантов подсчета среднего значения - множество, под каждый конкретный вопрос исследователя. Это и геометрическое, и гармоническое, арифметическое, медиана.
Если вы применяете или вам показывают только один подход - вполне вероятно, что где-то скрывается неудобная правда.
Как я снова отравилась из-за океана — и при чём тут аналитика данных
Температура, тошнота, диарея — это происходит со мной каждый раз после серфинга в дождливый сезон, когда в море сливается всё, что угодно — от мусора до банальных 💩.
В северной части Тихого океана, на полпути между Гавайями и Калифорнией, вращается 100 000 тонн пластикового мусора. Добро пожаловать в Большое мусорное пятно — область, втрое больше Франции. Оно выглядит так же катастрофично, как и звучит: сверху напоминает гигантский пластиковый суп.
И это лишь 2 примера, подтверждающие: мусор в океане — это глобальный кризис, а не локальная история. Скоро мы вообще не зайдём в океан?
➡ Ежегодно в океаны, реки и озёра попадает 19–23 млн тонн пластика — как если бы каждую минуту в воду сбрасывали 2 000 мусоровозов.
➡ На поверхности океанов плавает около 170 трлн пластиковых частиц, а на дне может быть в 10 000 раз больше.
➡ Ежегодно из-за мусора в океане погибают 100 миллионов морских животных. Страдают и морские растения, которые участвуют в производстве 70% кислорода.
➡ В исследовании микропластик нашли в 99% морепродуктов. Это вызывает тревогу из-за возможного влияния на пищеварительную, эндокринную и другие системы организма.
Все ссылки на исследования опубликовала тут.
Чем помогает аналитика в этой проблеме?
В мире есть некоммерческие и частные организации, борющиеся с загрязнением. Например, The Ocean Cleanup очищает океаны от пластика с помощью инновационных технологий.
1. Определяют источники загрязнения, чтобы “поймать проблему на старте”
💡 80% пластика попадает в океан через ~1000 рек.
Чтобы найти эти «артерии загрязнения», анализируют спутниковые данные, гидрологические карты, поведение мусора в воде, данные о населении и инфраструктуре. Это позволяет не просто «ловить мусор в океане», а перехватывать его у истока — в реках.
2. Предсказывают, куда поплывёт мусор, чтобы точнее планировать очистку
— Камеры на мостах фиксируют мусор в реках
— GPS-буи и радары отслеживают его путь в океане
— ИИ-модели показывают, где и когда он соберётся в “мусорные вихри”
Это помогает запускать очистку точно там и тогда, где она даст максимальный эффект.
3. Визуализация, которая не оставляет равнодушным
Цифры — это важно, но именно визуализация заставляет почувствовать масштаб. Данные превращают в наглядные дашборды, которые:
— Показывают, где океан «захлёбывается» от пластика
— Делают проблему видимой и понятной
— Помогают влиять на решения политиков и доноров
Дашборды по загрязнению пластиком можно посмотреть тут.
4. Прогнозы на будущее и машинное обучение
Чтобы не просто тушить пожары, а предотвращать их, аналитики обучают модели, которые помогают заглянуть вперёд:
— Что будет с океаном, если мы продолжим жить «как обычно»?
— А что изменится, если сократим пластик хотя бы на 20%?
— Где появятся новые точки бедствия через 5 лет?
Такие организации нанимают аналитиков данных и стажёров — есть вакансии по визуализации, машинному обучению, компьютерному зрению, анализу временных рядов (ссылки на вакансии опубликовала тут).
Или можно стать гражданским учёным и внести свой вклад, документируя пластиковое загрязнение с помощью специальных приложений (Ocean Cleanup Survey App или Debris Tracker).