Введение в MLflow: настройка и запуск

Привет, Хабр! Я Александр Кузьмичёв, специалист по анализу данных и машинному обучению в ПГК Диджитал. Мы в компании занимаемся разработкой цифровых продуктов для железнодорожных грузоперевозок. Ранее я рассказывал о том, как открытая платформа MLflow помогает нам в работе.

В этой серии статей я хотел бы поделиться с вами увлекательным путешествием в мир MLflow, Optuna, AutoML и развёртывания моделей с помощью MLflow.

Сегодня мы заложим фундамент, начнём с вводной статьи.  Я расскажу, как установить и настроить MLflow, а также как опубликовать его с доступом в интернет. Это пригодится для мини- и пет-проектов. В дальнейшем добавлю функционал по логированию, что значительно упростит процесс работы с моделями.

Привет, Хабр! Меня зовут Саприн Семён. Я занимаюсь анализом данных и машинным обучением в компании ПГК Диджитал. Сегодня мы начинаем серию статей, в которой я расскажу о том, как мы с командой разрабатывали ИИ-помощника, а также приведу практические кейсы по улучшению точности ответов с минимальными затратами памяти графических процессоров. 

Как вы уже могли догадаться, наш ИИ-помощник разработан на основе RAG (Retrieval-Augmented Generation) системы. Хотя принцип работы RAG многим уже знаком и не вызывает того самого «вау», я всё же кратко напомню, как эта система работает, почему она так популярна и почему её ответам можно доверять.

В этой статье я расскажу, как мы разрабатывали RAG-систему для юридического отдела нашей компании, с какими вызовами столкнулись и как их преодолевали. Вы узнаете, почему стандартные подходы не всегда работают, и как, погрузившись в специфику данных, мы смогли значительно улучшить качество ответов, сохранив при этом экономию ресурсов GPU.

Привет, Хабр! Я Павел Куницын, главный специалист по анализу данных и машинному обучению в ПГК Диджитал. Мы занимаемся разработкой цифровых продуктов в сфере железнодорожных грузоперевозок: интерактивной карты вагонного парка, оптимизатора ремонтов и других решений. В большинстве из них мы применяем машинное обучение.

О том, как мы подходим к этому, я и мои коллеги рассказываем в нашем блоге на Хабре. Например, мы работаем с MLflow, который помогает анализировать результаты и вести учет экспериментов. Но несмотря на доступную автоматизацию, на этапе экспериментов могут возникать определённые сложности. Расскажу о наиболее частых проблемах.

Привет, Хабр. Я Илья Сластен, продуктовый дизайнер интерактивной карты ПГК Диджитал. В своей предыдущей статье я рассмотрел ключевые аспекты работы с локальными переменными в Figma и подход Atomic Design. Сегодня предлагаю поговорить о минимализме в дизайне.

В мире, где цифровая реальность меняется стремительно, а каждый клик важен, создание успешных веб-сайтов и приложений становится задачей, от решения которой зависит многое. Говоря о самых успешных подходах, минимализм в дизайне выходит на передний план. Это не просто эстетический выбор, это философия, которая стремится к ясности, эффективности и функциональности. Как же принцип «меньше — значит больше» помогает нам создавать более удобные и интуитивно понятные интерфейсы? Давайте разберемся.

Привет, Хабр! Меня зовут Сергей Корнеев, я руководитель направления аналитики отдела прототипирования в ПГК Диджитал. Мы занимаемся разработкой пилотных цифровых решений (Proof of concept, MVP), которые упрощают жизнь нашим коллегам и способствуют повышению эффективности бизнеса.

В этой статье расскажу, как мы задумались над процессом осмотра вагонов, как IT-решения помогают бизнесу и почему мы выбрали Telegram-бот, а не другие варианты.

В последние недели мир искусственного интеллекта (ИИ) был потрясен значительными достижениями китайских компаний, особенно DeepSeek и Alibaba, которые представили свои передовые модели — DeepSeek-R1 и Qwen 2.5-Max соответственно. Конечно же, эти события вызвали широкий резонанс в технологическом сообществе и привели к обсуждению будущего ИИ.

Меня зовут Роман Ленц, я начальник отдела анализа данных и машинного обучения ПГК Диджитал — цифровой дочки Первой грузовой компании – крупнейшего частного оператора грузовых железнодорожных перевозок в России. В этой статье мы разберемся, что за «зверь» этот DeepSeek и Qwen и что их появление значит для мира ИИ?

Привет, Хабр. Я Артур Саакян, главный специалист по анализу данных и машинному обучению в ПГК Диджитал. Мы разрабатываем уникальные цифровые продукты для железнодорожных перевозок, такие как оптимизация ЖД перевозок, навигатор, ЖД карты, цифровой вагон и так далее.

В этой статье опишу подход к оптимизации расписания поездов в реальном времени при помощи обучения с подкреплением (RL), который применим и к российским грузовым ж/д перевозкам, но пока не используется. Тезисы статьи:

1. Перепланирование расписания движения поездов (Train Timetable Rescheduling)
2. Коротко об RL и Q-learning
3. Моделирование железнодорожной среды
4. Заключение

Привет, Хабр! Я Дарья Васильева и отвечаю за DevRel-направление в ПГК Диджитал. ПГК Диджитал является цифровой дочкой крупнейшего частного оператора грузовых железнодорожных перевозок в России – Первой грузовой компании. Мы разрабатываем свои цифровые продукты для логистической отрасли, чтобы ж/д грузоперевозки стали более точными и простыми.

Свою новогоднюю статью я хочу посвятить такому феномену интернет-культуры как мемы, не обойдя при этом стороной примеры популярных мемов среди айтишников.

Когда я начала готовить эту статью, то первое в чем мне бы хотелось разобраться – это в истории возникновения мема. Проведя небольшой ресерч в интернете, я наткнулась на информацию о британском ученом Ричарде Докинзе, который ввел в лексикон слово «мем» в 1976 году, именно в этом году была опубликована его книга «Эгоистичный ген». Главу 11 он посвящает «мемам». Книгу можно найти в свободном доступе в сети интернет.

Нестыкoвочка правда? Пишу про расхожий интернет феномен, а начала с времен, когда первых полноценных ПК еще не было и интернет браузеров тоже.

Всемирная паутина (WWW) — это не просто набор веб‑страниц, это революция, изменившая наше восприятие информации и общения. С момента своего появления в начале 1990-х годов WWW кардинально трансформировала мир, открыв новые горизонты для бизнеса, образования и повседневной жизни. История веб пестрит взлетами, падениями и уходами в крайности, но здесь мы пройдемся только по самым ярким моментам! Следить за эволюцией технологии, которая навсегда изменила наше общество, мы будем глазами фронтенд‑разработчика.

Привет, Хабр. Я Илья Сластен, продуктовый дизайнер интерактивной карты Первой грузовой компании, о создании, которой я рассказывал в своей предыдущей статье. Разработка современных цифровых продуктов требует системного подхода, обеспечивающего их гибкость, масштабируемость и согласованность. В этой статье будут рассмотрены ключевые аспекты работы с локальными переменными в Figma и подход Atomic Design, который позволяет упорядочить процесс проектирования. Эти принципы были применены для создания дизайн-системы для проекта «Декарта» в ПГК Диджитал — унифицированного картографического решения, которое дает возможность заказчику самостоятельно создавать модули, настраивать отчеты, управлять пользователями, а также получать доступ к инфраструктурным ж/д данным России и стран СНГ в формате единого окна. «Декарта» визуализирует дислокационную информацию об объектах, позволяет запрашивать детальную информацию по ним с помощью сквозного поиска и предоставляет возможности персонализации при работе с инструментом.

Дата-сайентистам необходимо следить, на каком наборе данных ML-модели проявляют себя наилучшим образом и почему. Для этого есть специализированные решения, которые помогают реализовать версионирование данных. Меня зовут Павел Куницын, я главный специалист по анализу данных и МО в ПГК Диджитал, и сегодня хотел бы рассказать о некоторых профильных open source инструментах

Привет, Хабр. Я Дмитрий Кузьмичёв, руководитель проектов в ПГК Диджитал (ПГКД). Наша IT-компания появилась два года назад, как цифровая дочка крупнейшего частного оператора грузовых железнодорожных перевозок в России — Первой грузовой компании. Мы разрабатываем свои цифровые продукты для логистической отрасли, чтобы ж/д грузоперевозки стали более точными и простыми. Перед компанией стояла амбициозная задача – помогать развивать бизнес через диджитал-решения не только «материнской» компании АО «ПГК», но и её клиентам/партнёрам, другим компаниям отрасли, поэтому мы сразу задумались о собственном IT-бренде. В статье расскажу о создании нашего логотипа, и как антропоморфный ёж стал символом ПГКД, отражающим наши ценности и подход к работе.

Привет, Хабр! Меня зовут Павел Куницын, и я главный специалист по анализу данных и МО в ПГК Диджитал. Согласно различным исследованиям, от 46 до 90% моделей машинного обучения не выходит в прод. Всему виной отсутствие должного контроля за их созданием, а также проблемы менеджмента команд разработки и data science.

Решить эту проблему способен MLOps. С учетом того, что на Хабре есть базовые материалы по теме, расскажу о том, как бизнес и сообщество подходят к стандартизации разработки моделей. Также расскажу про свод рекомендаций для повышения качества ML-систем, который сформулировали мы в ПГК.

Привет, Хабр! Меня зовут Роман Можаев, я начальник управления по развитию производственных и учетных систем в ПГК Диджитал. В ПГКД сейчас, а ранее в ПГК, более чем в течение 15 лет отвечаю за развитие и внедрение информационных систем. Ключевой задачей нашей команды является максимальная цифровизация бизнес - процессов наших внутренних и внешних бизнес - заказчиков. Функции, которые выполняет наша команда, достаточно разнообразны, от сбора, анализа и формализации требований до сдачи готового решения заказчику.

Онбординг, или процесс адаптации новичков в компании, играет ключевую роль для успешного погружения в текущие процессы и дальнейшего развития. Правильная адаптация способствует входу в должность с минимальным уровнем стресса. Сотрудник постепенно знакомится с продуктами компании, командой, бизнес – процессами, а также внутренними регламентами и правилами. Успешно пройденный онбординг значительно повышает вероятность того, что специалист останется в компании надолго. В статье поделюсь тремя ключевыми правилами, которые я применяю и прошу придерживаться членов команды при онбординге в нашей компании.

Добрый день, дорогие друзья. Я Сергей Бондарев, директор по управлению данными и директор по аналитическим решениям в Первой грузовой компании (ПГК). Наша компания активно развивается, что требует от наших команд создавать новые предметные области аналитики, реализовывать трансформационные проекты и создавать новый функционал по обработке данных.

Наша команда растёт и пополняется новыми участниками. Когда команда вырастает из размера «двух пицц», поддержание её прежней управляемости и результативности требует определенных усилий. Несомненно, основой управляемости является соблюдение стандартов, процессов планирования и разработки. Тут можно увлечься, утяжеляя внутренние рабочие процессы до состояния невозможности соблюдения, лично я знаю такие примеры. Но, как известно, сложность рабочих процессов является следствием попыток их взлома и обхода участниками. Поэтому вопрос управляемости можно решить по‑другому: не через требования к процессу, а управляя требованиями к участникам команды. То есть развивать компетенции членов команды, оставив при этом простые и удобные правила работы.

В режиме реального времени: как интерактивная карта помогает везти груз по ж/д

Привет, Хабр. Я Илья Сластен, продуктовый дизайнер интерактивной карты Первой грузовой компании. Мы занимаемся перевозками грузов по железной дороге, и одним из главных инструментов логистики была и остается карта. 

Наша команда разработала и продолжает совершенствовать концепт первой в России и отрасли интерактивной карты вагонного парка, реализованной в многослойном режиме. Интерактивная ПГКарта онлайн показывает инфраструктуру железнодорожной сети и дислокацию грузового парка в разрезе слоев данных, которые агрегируются из внутренних систем. Это цифровой инструмент для всех сотрудников департаментов организации перевозок, логистики и планирования, эксплуатации подвижного состава, коммерческого блока центрального аппарата и филиалов ПГК.

Идея создать интерактивную карту возникла несколько лет назад. В 2022 году мы начали прорабатывать проблематику проекта и выяснять, в чем сложность сбора данных при подготовке к селекторам. Селекторы - онлайн-совещания, на которых дважды в день специалисты из филиалов делятся данными по обстановке на железной дороге с своих регионах. Понять проблематику нашей команде помогло участие в этих совещаниях, изучение тем обсуждения и фиксация важных деталей во время селекторов (кому нужны эти отчеты, какая информация в них содержится и как они используют ее на этих селекторах). В итоге мы составили опросник для будущих интервью с бизнесом, в ходе которых мы максимально полно смогли понять, что вызывает неудобство коллег в процессе подготовки отчетов к селекторам. Были определены четыре проблемы:

Привет, Хабр! Я Дмитрий Бохан, начальник отдела инновационных проектов в ПГК Диджитал. Мой отдел занимается разработкой и внедрением инновационных ИТ продуктов, мы всегда на гребне современного мейнстрима.

Перед тем, как мы перейдем к основной теме, небольшое погружение для тех, кто никогда не слышал о ПГК: наша компания является одним из крупнейших российских операторов железнодорожных грузоперевозок, а в рамках нашей ИТ дочки ПГК Диджитал, мы разрабатываем цифровые продукты для логистики.

Привет, Хабр! Меня зовут Роман Ленц, я руковожу анализом данных и машинным обучением в ПГК. Мы с коллегами подобрали курсы, литературу и сообщества, которые пригодятся тем, кто желает погрузиться в тему машинного обучения и анализа данных, но не знает, с чего начать.

Привет, Хабр! Я Константин Сошнев, бизнес-аналитик портфеля продуктов «Цифровой вагон» в ПГК-Диджитал. Мы занимаемся созданием цифрового двойника грузового вагона, повышаем точность информации о текущем состоянии вагона, помогаем своими инструментами снижать совокупные расходы на ремонт и увеличивать производительность вагона.

Очень часто IT-проекты фокусируются на разработке, настройке и внедрению информационной системы, упуская из вида вопросы трансформации существующих бизнес-процессов и обеспечения приживаемости продукта в рамках этих самых процессов. Это может привести к тому, что затраченные на разработку информационной системы ресурсы не окупятся и не принесут ожидаемого эффекта владельцу бизнеса. Сегодня в условиях значительного влияния различных факторов российским компаниям стоит переосмысливать расстановку границ IT-проектов и фокусироваться на приживаемости систем не меньше, чем на самой разработке.

Такой подход, в классическом понимании, можно отнести к IT-продуктам, ориентированным на результат.  Основная цель – максимально полно определить функциональный набор, который должен выполнять продукт для удовлетворения изначально выявленных требований заказчика, и определить те из них, которые можно реализовать в текущем проекте.

Project scope, или границы проекта, путем декомпозиции глобальной задачи, показывают нам, какая часть конечного продукта будет реализована в текущем проекте. Проще говоря, определяем черту между тем, что реализовываем сейчас и тем, что отложим на потом или от чего вовсе откажемся. Границы проекта помогут нам не только помочь качественно спланировать объем работ, но и пригодятся для удержания непомерных желаний заказчика. Самое главное, что при определении границ проекта нужно использовать функции, а не сущности предметной области, которые могут привести к ряду негативных последствий.

Привет, Хабр! Я Виталий Дуденко, разработчик в отделе пользовательских интерфейсов Первой грузовой компании. Наша компания занимается грузоперевозками по железной дороге. Для усовершенствования сервиса перевозок мы разрабатываем цифровые продукты, для которых необходимо создавать интерфейсы, например, для Личного кабинета клиента (ЛКК). Подробнее о нем мы рассказывали здесь.  

На рабочем проекте возникла необходимость создать бесшовную текстуру для фона страниц с определенным узором. Разработка этого паттерна была нужна для сайта нашей цифровой дочки. Оказалось, что готовых решений нет, а в русскоязычном сообществе я не сумел найти инструкции или намёков как такое можно сделать. Поэтому далее я представлю свою реализацию генератора с использованием p5.js на angular.