Цифровая металлургия: результаты хакатона от «Северстали»
С 22 февраля по 20 марта «Северсталь» при поддержке Russian Hackers провела онлайн-хакатон для аналитиков и разработчиков в сфере поиска и анализа данных с общим призовым фондом 700 000 рублей. Хакатон прошел отлично и даже превысил ожидания. Самое время подвести итоги.
Немного о самом хакатоне
На хакатон мы пригласили профессиональных разработчиков и аналитиков и предложили участникам четыре актуальных бизнес-задачи:
Задача 1. Управление ликвидностью. Провести исследование данных по затратам на энергоресурсы за несколько лет, проанализировать возможности обогащения внешними данными, определить значимые факторы влияния, построить прогнозную модель с пошаговым разъяснением принципов построения.
Задача 2. Мониторинг цен. Разработать инструмент, помогающий специалисту планировать цену на закупку запасных частей к спец. технике.
Задача 3. Автоматический поиск поставщиков. Разработать алгоритм парсинга товаров, исследовать данные во внешних источниках, разработать программы подготовки информации и требуемом разрезе.
Задача 4. Анализ контрагентов. Провести исследование имеющихся данных и попробовать спрогнозировать просрочку по контрагенту, предложить, как обогатить модель иными данными.
Ну а теперь — о результатах и победителях
На участие в хакатоне было подано свыше 1000 заявок. Более 60 команд из 40 городов России загрузили решения на отборе.
После рассмотрения и оценки загруженных решений наше жюри отобрало 27 команд для участия в финальном туре. Ну и наконец, в финале победило в треках и номинациях 5 команд. Их решения представляем ниже.
Победитель трека «Управление ликвидностью» и победитель номинации «Лучшее решение хакатона» — команда Oops I did it again.
Состав команды:
• Антон Воскресенский, капитан, специалист по EDA и DS;
• Елена Бровченко, дополнительные и внешние данные;
• Михаил Сидоркин, презентация / видео.
Команде помогала Анна Баранова, которой отдельная благодарность от Oops I did it again. Особенность именно этой команды в том, что все участники собрались вместе прямо перед хакатоном, причем для большинства из них это был первый опыт совместной работы в рамках соревнования.
Описание решения команды: Задача хакатона заключалась в прогнозировании транзакций за оплату электроэнергии по нескольким объектам «Северстали» на наборе временных рядов. Ряды нерегулярные и ресемплинг делать нельзя, т. к. бизнес-смысл всей задачи от этого поменяется. Решили композицией из двух моделей. Первая предсказывает даты совершения платежей, а вторая — величину транзакции.
Оказалось, что в каждом ряду присутствуют свои закономерности совершения платежей по дням недели/месяца. Мы сделали реиндексирование датасета по дням, чтобы получить метки дней, когда совершались транзакции. Затем на них обучили модель предсказания дня транзакций по рядам. Также мы смогли значительно увеличить точность за счет того, что мы трансформировали таргет в кумуляту по месяцам и предсказывали именно кумуляту. Затем путем дифференцирования кумуляты-прогноза возвращались к прогнозу, который нужен бизнес-заказчику, а именно казначейству «Северстали».
Приз участникам команды — 300 тысяч рублей и мерч от организаторов.
Отзыв команды о хакатоне: «Нам очень понравилось, что было несколько треков, плюс достаточно длительный отборочный период для генерации и проверки гипотез. Спасибо организаторам за помощь, оперативную связь и предельную четкость условий. Спасибо команде! Здорово, что нам всем повезло встретиться и сделать такую крутую работу».
Победитель трека «Мониторинг цен» — команда «Белый пёс».
Состав команды:
• Анастасия Батхина, PhD, академический директор в НИУ ВШЭ, основатель и СЕО международного технологического стартапа InMind, Нью-Йорк;
• Виталий Мальцев, Data Scientist.
Описание решения команды: Мы скачали данные биржевых котировок, затем провели анализ возможности их использования в качестве признаков модели. Разделили товары на 3 группы, сгенерили большое количество данных на котировках и построили модели для части товаров. Сделали пример пользовательского меню. Важный момент — в нашем примере предсказание цены только на сегодняшний день. Для генерации признаков на другие дни просто не хватило времени.
Приз участникам команды — 100 тысяч рублей и мерч от организаторов.
Отзыв команды о хакатоне: «Понравился хакатон тем, что было сразу несколько интересных и нетривиальных задач, у каждой из которых мы видели сразу несколько альтернативных решений. Благодаря этому хакатон получился аналитическим, нетипичным соревнованием, где все блендят решения ради тысячной доли метрики на лидерборде».
Победитель трека «Автоматический поиск поставщиков» — команда Ezee.
Состав команды:
Александр Сергеев, капитан;
Алексей Шкиль, бэкенд;
Никита Гетьман, фронтенд;
Дмитрий Меренков, CJE;
Евгений Васильев, Data Scientist.
Описание решения команды: мы фактически с нуля разработали комплексное решение для автоматизации поиска и скоринга поставщиков на надежность. Решение состоит из 7 модулей, каждый из которых обладает своими метриками качества и может развиваться отдельно.
В рамках решения разработаны:
алгоритм парсера
адаптивный механизм парсинга на основе ML модели классификации, позволяющий определять, какой тип URL парсится — портал/маркетплейс или индивидуальный сайт поставщика.
предложена ML модель определения типа поставщика (прямой/ посредник)
предложена ML модель скоринга поставщиков
фронт
разработаны схемы процессов + прочая информация.
Приз участникам команды — 100 тысяч рублей и мерч от организаторов.
Отзыв команды о хакатоне: «Наша команда взяла для решения задачу поиска поставщиков. Ключевая идея — разработать алгоритм, который по номенклатуре автоматически найдет поставщиков необходимых товаров. Важно, чтобы это была не просто табличка, но и дополнительная информация о поставщиках. Например, индекс надёжности. Причем алгоритм должен был отсортировать поставщиков по этому индексу. Это позволит автоматизировать процесс и оптимизировать время работы человека за компьютером».
Победитель трека «Анализ контрагентов» — команда Optimal
Состав команды:
Делёв Александр, Data Scientist;
Захаров Алексей, Data Scientist;
Юрченко Петр, Data Scientist.
Описание решения команды: мы решали задачу «Анализ контрагентов», в которой было необходимо построить модель предсказания возможности задержки платежа в случае работы с контрагентом по постоплате. Бизнес-цель — повышение точности прогнозирования просрочек (для снижения рисков компании) и возможное увеличение объема портфеля на условиях постоплаты. Мы построили 2 модели: для контрагентов, с которыми компания «Северсталь» еще не работала и, соответственно, никакой истории взаимодействия с ними нет, и для контрагентов, с которыми сотрудничали хотя бы 1 год, и в этом случае была возможность добавить в модель важные признаки по работе с контрагентом в прошлом. В обоих случаях использовались модели градиентного бустинга, для которых подбирались гиперпараметры с помощью библиотеки hyperopt и трешхолд по метрике Юдена. Модели позволят сократить количество просроченных платежей минимум в 3 раза.
Приз участникам команды — 100 тысяч рублей и мерч от организаторов.
Победитель номинации «Лучшее решение по версии участников» — команда «5 денег».
Состав команды:
Круть Дарья, аналитик;
Обидина Екатерина, аналитик;
Феоктистов Дмитрий, Data Scientist;
Гурьянов Евгений, фронтенд;
Спицын Николай, аналитик, машинное обучение.
Описание решения команды: мы разработали решение, которое поможет сотрудникам компании:
парсить данные с различных сайтов и собирать их в одном месте
собирает и самостоятельно подсчитывает различные метрики, в том числе и классические финансовые показатели
использует метрики из различных областей для систематической оценки контрагента
на основе полученной оценки формирует рейтинг контрагентов, который отображается не только в списке, но и на личной странице каждого из контрагентов
Приз участникам команды — 100 тысяч рублей и мерч от организаторов.
А вот видео с обсуждением итогов и награждением победителей онлайн-хакатона «Что найдет Сервер».
В целом, как наши ожидания, так и ожидания участников оправдались, все остались довольны результатами. Что касается самих решений, то вполне возможно, что некоторые из них будут опробованы «в полевых условиях» и внедрены в нашей компании.
Это мероприятие было «пробным шаром» в сторону создания профессионального комьюнити в области цифровизации корпоративных процессов. Мы, «Северсталь», хотим развивать это направление и дальше расширять области потенциального взаимодействия с участниками рынка — фрилансерами, любителями хакатонов и аутсорсерами. Летом мы планируем провести митап, в т.ч. с участниками хакатона, чтобы рассказать о прогрессе тех кейсов, которые мы прорабатывали вместе, а также анонсировать наш дальнейший трек работы в этом направлении. Расскажем об этом чуть позже — следи за анонсами нашего блога.
