Привет, Хабр! Тема этой статьи — большие данные в металлургии. Конечно, если охватить вообще всю тему, то объема статьи не хватит — да что там, информации хватит на целую энциклопедию, благо, технологии в промышленности развиваются очень активно. Поэтому расскажем лишь о том, как большие данные и машинное обучение используются компанией «Норникель».
К чему это все? Дело в том, что «Норникель» вместе с хакатон-сообществом Russian Hackers с 16 по 18 апреля проведут онлайн-хакатон, посвященный поиску лучших решений для оптимизации процессов в индустрии добычи цветных металлов. К участию в хакатоне приглашаются разработчики, дата-сайентисты, аналитики и менеджеры и представители других специальностей. В хакатоне могут принять участие команды от 3 до 5 человек. Для того, чтобы лучше понимать суть хакатона, расскажем о технологиях компании, а потом — подробности уже самого мероприятия, со ссылкой на регистрацию.
Если точнее, то речь пойдет про обогатительные фабрики и способах оптимизации производства при помощи высоких технологий.
Что касается самого обогащения, то его основополагающие принципы не меняются десятилетиями. Технологии — да, эффективность обогащения — да. Принципы — либо совсем не меняются, либо незначительно.
Представьте, что вы добыли руду. Содержание металла (неважно, какого, хоть железа, хоть никеля) там не очень высокое. Для того, чтобы получить этот металл, исходный материал требуется обогатить — а именно увеличить концентрацию металла. Увеличение содержания металла идет за счет того, что то, что не является металлом, отделяется от руды и идет в хвостохранилище (по сути отходы производства).
Достигается это разными способами, в качестве примера приведем Талнахскую обогатительную фабрику:
Представленный процесс довольно упрощен, все сложнее, но для понимания сути обогащения металлов подходит. Так вот, каждый из трех этапов можно оптимизировать для того, чтобы увеличить количество полезного продукта на выходе. И здесь как раз вступают в работы новые технологии.
Новые технологии внедряются командой разработчиков для всех трех этапов, включая сопряженные процессы.
Сейчас реализовано уже 14 разных инициатив, из которых 2 внедрено, это управление производством в автоматическом режиме, 7 — находится на стадии тестирования и 5 — стадия R&D.
Длительность проектов — R&D 2-3 месяца, пилот 2-3 месяца, внедрение занимает 2-6 месяцев.
Формировать команду специалистов компания начала в 2019 году, тогда в нее входило всего 2 человека. Сейчас это уже 5 человек — 1 PM и 4 DS.
Используемые технологии:
Текущий стек:
Вот несколько визуальных примеров проектов на обогатительных фабриках.
Что касается планов, то это, главным образом, масштабирование уже отработанных технологий — сейчас они используются на двух участках тех процесса фабрики из 10. В сумме технологии тестируются на трех обогатительных фабриках.
Неэффективности и поиск их устранений могут быть везде — от технологий до процессов управления, поиском таких проблем и их решением занимается компания. Это приводит к повышению эффективности работы производства и к улучшению финансовых показателей.
Так, кроме обогащения, компания постепенно внедряет машинное обучение и большие данные в такой сфере, как охрана труда и здравоохранение. Это отслеживание уровня здоровья сотрудников, прогностические модели динамики сезонных заболеваний и несколько других проектов.
Еще один крупный проект — “Озеро данных”. Это технологичная платформа для решения задач управления персоналом (HR)
“Озеро данных” дает уникальную возможность создать расширенный профиль сотрудника и на новом уровне осуществлять управление и прогнозирование в одной из стратегических областей для бизнеса — в управлении персоналом (HR).
При этом информация может быть собрана из различных внутренних систем. Внедрение data-driven подходов в HR analytics является одним из самых перспективных трендов в AI transformation. Основная цель здесь – повышение эффективности работы сотрудников, повышение промышленной безопасности, предотвращение несчастных случаев и т.д.
Он состоит из двух основных треков:
Пенная вечеринка — определение по видео скорости потока пены с металлом и других параметров флотации для оптимизации работы оператора на производстве.
Прогноз непрерывной занятости — создание модели предсказания ухода на больничный сотрудников в одном из производственных цехов Норникеля с использованием обезличенных данных о сотрудниках и их окружении.
Общий призовой фонд хакатона составляет 500 000 рублей: по 250 000 рублей на каждый трек. Плюс каждый из участников получает мерч. Более того, за приз зрительских симпатий участники получают AirPods Pro, и доступны еще промокоды «Яндекс.Плюс», Okko, Gmoji.
Что дает хакатон участникам:
"Мы живем в интересное время — искусственный интеллект проникает во все сферы, даже в такую, казалось бы, консервативную, как тяжелая промышленность. Как пример — на одной из фабрик Норникеля часть процесса флотации уже сейчас управляется цифровым двойником, при этом для обогащения данными активно используются технологии компьютерного зрения, в том числе, для определения размеров дробленой руды.
Работа в этом направлении очень интересная и по-своему необычная — она включает в себя одновременно и глубокое погружение в алгоритмы машинного обучения и в технологию производственного процесса. Хочется донести эту мысль до широкого круга людей и хакатон — прекрасная возможность узнать, как устроен промышленный ML на настоящих примерах", — прокомментировал Антон Абраров, Руководитель data science проектов Норникеля
Технологическим партнёром хакатона выступает компания SberCloud, которая предоставит участникам все необходимое для обучения моделей: ML Space — платформу для ML-разработки полного цикла и совместной работы DS-команд, а также облачную инфраструктуру самого мощного российского суперкомпьютера «Кристофари».
Зарегистрироваться для участия в хакатоне можно с 17 марта по 14 апреля.
Ну и для того, чтобы ответить на основные вопросы о хакатоне, кроме информации выше, мы задали несколько вопросов одному из организаторов — Александру Малышеву из Russian Hackers.
Кто, как и почему решил взять и организовать хакатон с компанией «Норникель»?
На стыке индустрии и технологий всегда появляются самые интересные стартапы. Мы, как сообщество, всегда топим за разнообразие задач. Например, с «Норникелем» мы начали обсуждение их участия в хакатоне Hack.Moscow, плавно погружались в тему и поняли, что для решения бизнес-задач металлургического гиганта нужен отдельный ивент.
Какие сейчас ожидания от него?
Хочется, как и всегда – довольных участников. При прочих равных, участники хакатона – это самый дорогой ресурс. Если сделать участников довольными с помощью промокодов на еду, призов, подарков, то они сами создадут почву для исследований, новые пул-реквесты, запустят новые стартапы или устроятся работать в «Норникель». В конце концов, именно ради таких ожиданий и существует Russian Hackers.
Есть ли что-то новое в организации/используемых технологиях, что не применялось ранее?
Мы любим экспериментировать с организацией – например, у нас есть собственная платформа для проведения хакатонов, написанная на Angular. В одной из задач мы специально отказались от традиционного data-science формата – убрали метрику и просим команды подойти к задаче в роли исследователя.
Насколько сильной должна быть команда, чтобы победить в хакатоне? Можно ли победить лишь за счет идеи? Или нужно показать прототип решения?
На этом хакатоне обе задачи про Data Science. Нужно немного разбираться в теме, чтобы было больше шансов завоевать призовое место. Просто показать презентацию не получится, т.к. 50% оценки именно техническая реализация. Однако, как организатор, могу сказать, что на хакатоны постоянно приходят новички с новыми свежими идеями и подходами, которые завоевывают призовые. Если говорить не только о призах, то все финалисты получат подарки от «Норникеля», Russian Hackers и SberCloud.
Будут ли использоваться результаты хакатона на производстве? Или пока что это «проба пера»?
Мы как организаторы в первую очередь ставили задачу рассказать, какие бывают задачи в достаточно закрытой отрасли с точки зрения Data Science. Будет круто, если команды устроятся на работу в “Норникель” или запустят с ними пилот, но здесь как и в любом B2B нужно иметь крепкую силу воли, чтобы довести прототип с хакатона до реального результата на производстве. Посмотрим, как всё пройдет.
Что же, ждем участников хакатона. На всякий случай еще раз указываем ссылку для регистрации.
К чему это все? Дело в том, что «Норникель» вместе с хакатон-сообществом Russian Hackers с 16 по 18 апреля проведут онлайн-хакатон, посвященный поиску лучших решений для оптимизации процессов в индустрии добычи цветных металлов. К участию в хакатоне приглашаются разработчики, дата-сайентисты, аналитики и менеджеры и представители других специальностей. В хакатоне могут принять участие команды от 3 до 5 человек. Для того, чтобы лучше понимать суть хакатона, расскажем о технологиях компании, а потом — подробности уже самого мероприятия, со ссылкой на регистрацию.
Коротко (на самом деле нет) про обогащение руды на обогатительной фабрике в «Норникеле»
Если точнее, то речь пойдет про обогатительные фабрики и способах оптимизации производства при помощи высоких технологий.
Что касается самого обогащения, то его основополагающие принципы не меняются десятилетиями. Технологии — да, эффективность обогащения — да. Принципы — либо совсем не меняются, либо незначительно.
Представьте, что вы добыли руду. Содержание металла (неважно, какого, хоть железа, хоть никеля) там не очень высокое. Для того, чтобы получить этот металл, исходный материал требуется обогатить — а именно увеличить концентрацию металла. Увеличение содержания металла идет за счет того, что то, что не является металлом, отделяется от руды и идет в хвостохранилище (по сути отходы производства).
Достигается это разными способами, в качестве примера приведем Талнахскую обогатительную фабрику:
- Этап 1. Руду измельчают при помощи мельниц. После этого выполняется простой процесс разделения кондиционного продукта от слишком крупных элементов. На выходе из мельницы стоит решетка, все, что не проходит решетку — отправляется в мельницу заново.
- Этап 2. Флотация — при помощи этого метода используется разделение пустой породы и полезного продукта. Метод флотации основан на разнице в смачиваемости исходных компонентов водой.
- Этап 3. Сгущение, после чего продукт обогащения вместе с водой поступает на металлургические заводы.
Представленный процесс довольно упрощен, все сложнее, но для понимания сути обогащения металлов подходит. Так вот, каждый из трех этапов можно оптимизировать для того, чтобы увеличить количество полезного продукта на выходе. И здесь как раз вступают в работы новые технологии.
Большие данные в обогащении
Новые технологии внедряются командой разработчиков для всех трех этапов, включая сопряженные процессы.
Сейчас реализовано уже 14 разных инициатив, из которых 2 внедрено, это управление производством в автоматическом режиме, 7 — находится на стадии тестирования и 5 — стадия R&D.
Длительность проектов — R&D 2-3 месяца, пилот 2-3 месяца, внедрение занимает 2-6 месяцев.
Формировать команду специалистов компания начала в 2019 году, тогда в нее входило всего 2 человека. Сейчас это уже 5 человек — 1 PM и 4 DS.
Используемые технологии:
- Классическое машинное обучение
- Компьютерное зрение
Текущий стек:
- Python, SQL
- 2 сервера в ЦОДе Норильска
- 2 сервера на производстве (1 для компьютерного
- зрения)
Вот несколько визуальных примеров проектов на обогатительных фабриках.
Что касается планов, то это, главным образом, масштабирование уже отработанных технологий — сейчас они используются на двух участках тех процесса фабрики из 10. В сумме технологии тестируются на трех обогатительных фабриках.
Не только обогащение
Неэффективности и поиск их устранений могут быть везде — от технологий до процессов управления, поиском таких проблем и их решением занимается компания. Это приводит к повышению эффективности работы производства и к улучшению финансовых показателей.
Так, кроме обогащения, компания постепенно внедряет машинное обучение и большие данные в такой сфере, как охрана труда и здравоохранение. Это отслеживание уровня здоровья сотрудников, прогностические модели динамики сезонных заболеваний и несколько других проектов.
Еще один крупный проект — “Озеро данных”. Это технологичная платформа для решения задач управления персоналом (HR)
“Озеро данных” дает уникальную возможность создать расширенный профиль сотрудника и на новом уровне осуществлять управление и прогнозирование в одной из стратегических областей для бизнеса — в управлении персоналом (HR).
При этом информация может быть собрана из различных внутренних систем. Внедрение data-driven подходов в HR analytics является одним из самых перспективных трендов в AI transformation. Основная цель здесь – повышение эффективности работы сотрудников, повышение промышленной безопасности, предотвращение несчастных случаев и т.д.
Ок, с технологиями понятно, а что там с хакатоном?
Он состоит из двух основных треков:
Пенная вечеринка — определение по видео скорости потока пены с металлом и других параметров флотации для оптимизации работы оператора на производстве.
Прогноз непрерывной занятости — создание модели предсказания ухода на больничный сотрудников в одном из производственных цехов Норникеля с использованием обезличенных данных о сотрудниках и их окружении.
Общий призовой фонд хакатона составляет 500 000 рублей: по 250 000 рублей на каждый трек. Плюс каждый из участников получает мерч. Более того, за приз зрительских симпатий участники получают AirPods Pro, и доступны еще промокоды «Яндекс.Плюс», Okko, Gmoji.
Что дает хакатон участникам:
- Понимание внутренней кухни производства цветных металлов и важности data driven подхода в нем.
- Прокачка хард-скиллов в компьютерном зрении и предиктивной аналитике.
- Уникальную возможность поработать с закрытыми данными мирового лидера цветной металлургии.
"Мы живем в интересное время — искусственный интеллект проникает во все сферы, даже в такую, казалось бы, консервативную, как тяжелая промышленность. Как пример — на одной из фабрик Норникеля часть процесса флотации уже сейчас управляется цифровым двойником, при этом для обогащения данными активно используются технологии компьютерного зрения, в том числе, для определения размеров дробленой руды.
Работа в этом направлении очень интересная и по-своему необычная — она включает в себя одновременно и глубокое погружение в алгоритмы машинного обучения и в технологию производственного процесса. Хочется донести эту мысль до широкого круга людей и хакатон — прекрасная возможность узнать, как устроен промышленный ML на настоящих примерах", — прокомментировал Антон Абраров, Руководитель data science проектов Норникеля
Технологическим партнёром хакатона выступает компания SberCloud, которая предоставит участникам все необходимое для обучения моделей: ML Space — платформу для ML-разработки полного цикла и совместной работы DS-команд, а также облачную инфраструктуру самого мощного российского суперкомпьютера «Кристофари».
Зарегистрироваться для участия в хакатоне можно с 17 марта по 14 апреля.
Ну и для того, чтобы ответить на основные вопросы о хакатоне, кроме информации выше, мы задали несколько вопросов одному из организаторов — Александру Малышеву из Russian Hackers.
Кто, как и почему решил взять и организовать хакатон с компанией «Норникель»?
На стыке индустрии и технологий всегда появляются самые интересные стартапы. Мы, как сообщество, всегда топим за разнообразие задач. Например, с «Норникелем» мы начали обсуждение их участия в хакатоне Hack.Moscow, плавно погружались в тему и поняли, что для решения бизнес-задач металлургического гиганта нужен отдельный ивент.
Какие сейчас ожидания от него?
Хочется, как и всегда – довольных участников. При прочих равных, участники хакатона – это самый дорогой ресурс. Если сделать участников довольными с помощью промокодов на еду, призов, подарков, то они сами создадут почву для исследований, новые пул-реквесты, запустят новые стартапы или устроятся работать в «Норникель». В конце концов, именно ради таких ожиданий и существует Russian Hackers.
Есть ли что-то новое в организации/используемых технологиях, что не применялось ранее?
Мы любим экспериментировать с организацией – например, у нас есть собственная платформа для проведения хакатонов, написанная на Angular. В одной из задач мы специально отказались от традиционного data-science формата – убрали метрику и просим команды подойти к задаче в роли исследователя.
Насколько сильной должна быть команда, чтобы победить в хакатоне? Можно ли победить лишь за счет идеи? Или нужно показать прототип решения?
На этом хакатоне обе задачи про Data Science. Нужно немного разбираться в теме, чтобы было больше шансов завоевать призовое место. Просто показать презентацию не получится, т.к. 50% оценки именно техническая реализация. Однако, как организатор, могу сказать, что на хакатоны постоянно приходят новички с новыми свежими идеями и подходами, которые завоевывают призовые. Если говорить не только о призах, то все финалисты получат подарки от «Норникеля», Russian Hackers и SberCloud.
Будут ли использоваться результаты хакатона на производстве? Или пока что это «проба пера»?
Мы как организаторы в первую очередь ставили задачу рассказать, какие бывают задачи в достаточно закрытой отрасли с точки зрения Data Science. Будет круто, если команды устроятся на работу в “Норникель” или запустят с ними пилот, но здесь как и в любом B2B нужно иметь крепкую силу воли, чтобы довести прототип с хакатона до реального результата на производстве. Посмотрим, как всё пройдет.
Что же, ждем участников хакатона. На всякий случай еще раз указываем ссылку для регистрации.
