Привет, Хабр! Я Павел Куницын, главный специалист по анализу данных и машинному обучению в ПГК Диджитал. Мы занимаемся разработкой цифровых продуктов в сфере железнодорожных грузоперевозок: интерактивной карты вагонного парка, оптимизатора ремонтов и других решений. В большинстве из них мы применяем машинное обучение.

О том, как мы подходим к этому, я и мои коллеги рассказываем в нашем блоге на Хабре. Например, мы работаем с MLflow, который помогает анализировать результаты и вести учет экспериментов. Но несмотря на доступную автоматизацию, на этапе экспериментов могут возникать определённые сложности. Расскажу о наиболее частых проблемах.

Дата-сайентистам необходимо следить, на каком наборе данных ML-модели проявляют себя наилучшим образом и почему. Для этого есть специализированные решения, которые помогают реализовать версионирование данных. Меня зовут Павел Куницын, я главный специалист по анализу данных и МО в ПГК Диджитал, и сегодня хотел бы рассказать о некоторых профильных open source инструментах

Привет, Хабр! Меня зовут Павел Куницын, и я главный специалист по анализу данных и МО в ПГК Диджитал. Согласно различным исследованиям, от 46 до 90% моделей машинного обучения не выходит в прод. Всему виной отсутствие должного контроля за их созданием, а также проблемы менеджмента команд разработки и data science.

Решить эту проблему способен MLOps. С учетом того, что на Хабре есть базовые материалы по теме, расскажу о том, как бизнес и сообщество подходят к стандартизации разработки моделей. Также расскажу про свод рекомендаций для повышения качества ML-систем, который сформулировали мы в ПГК.

Меня зовут Павел Куницын, я работаю главным специалистом по анализу данных и машинному обучению в ПГК. На нашем примере расскажу, с какими трудностями мы сталкивались при внедрении ML-инициатив и как их преодолевали.

Решил написать серию статей. В первых статьях я подробно опишу проблемы, с которыми может встретиться DS-команда, чтобы помочь участникам проектов с машинным обучением проводить более грамотную предпроектную проработку. В дальнейшем поделюсь нашим опытом в решении некоторых из них.

Меня зовут Павел Куницын, я работаю в Первой грузовой компании (ПГК) главным специалистом по анализу данных и машинному обучению. Недавно опубликовал пост на Kaggle с рекомендациями для тех, кто хочет перейти в Data Science, не имея релевантного опыта. Он оказался интересным сообществу, и я решил подготовить специально для вас расширенную версию публикации – дополнить важной информацией, рекомендациями.

Здесь я не напишу список онлайн-платформ с курсами по Data Science. Об этом писали уже много раз, а расскажу о том, как нужно учиться. У меня есть список правил, которых придерживаюсь сам, когда хочу развить свои профессиональные навыки в какой-то новой сфере. Используйте их не только при изучении Data Science, но и других областей.

1. Сформулируйте для себя конечную цель

Вы можете прийти в Data Science по разным причинам: от интереса к новой сфере до желания устроиться на высокооплачиваемую работу. Возможно, вы — руководитель проекта, и ваша цель – получить краткое представление о том, какие этапы включают в себя проекты по машинному обучению (ML), чтобы сделать общение со своей командой эффективнее. Или, может быть, вы аналитик, и ваша цель – получить новые технические навыки? А, может быть, ваша нынешняя работа никак не связана со статистикой или разработкой, вы никогда не писали код, но хотели бы научиться. Тогда целью может быть получение всех необходимых для этого знаний.

Для достижения каждой из перечисленных целей требуются разные стратегии и разное количество времени, поэтому формулируйте их четко. Чтобы правильно сформулировать свою цель, спросите себя: