Привет, Хабр! Вы когда-нибудь задумывались, что чувствовали люди, создавшие паровую машину? А запустившие первый двигатель? Первый летательный аппарат? Они делали что-то первыми и видели результаты своей работы. Примерно это сейчас переживают айтишники, работающие на производстве. Они видят, как IT-проекты улучшают процессы и приносят прибыль. Один тимлид сказал, что IT — это техномагия: она появляется извне и трансформирует производство. Мы попросили рассказать наших ребят о своих проектах и о том, с чем они сталкиваются на производстве. Подробности, как эта техномагия выглядит изнутри, — под катом.
Первый этап трансформации: на производстве появляются свои IT-продукты
![](https://habrastorage.org/getpro/tmtm/articles/tld/images/22450821/tild6331-3562-4562-a631-633633656431__1.jpg)
Цельнометаллический стол напоминает, что металлургия — это серьёзно
Что самое главное, когда что-то нагревается до 2000 градусов? Чтобы всё шло по плану. Поэтому первые IT-проекты обеспечивали оптимальные режимы работы техники, облегчали мониторинг систем управления и экономили ресурсы. Они быстро доказали суровым металлургам, что не зря учили детей информатике и математике: IT-проекты быстро окупились, показав свою эффективность, пользу и перспективы.
Сейчас у нас уже развивается 165 цифровых проектов, и мы готовим к запуску новую волну. Например, в пуле проектов по техническому обслуживанию и ремонту оборудования на начало 2020 года не было ни одного цифрового, а в середине 2021-го их уже примерно половина.
![](https://habrastorage.org/getpro/tmtm/articles/tld/images/22450821/tild3736-3236-4032-a361-383937623263__1.jpg)
Александр Сальник
Начальник отдела разработки и тимлид направления бэкенда
Когда я пришёл, то внедрял проект по беспилотникам, которые оценивают рельеф и уровень выработки угольного месторождения. Тема была инновационной, её все боялись, а я просто взял и продвинул её. Потом были другие проекты, которые доказали, что даже нереализуемые на первый взгляд идеи всё же могут быть воплощены.
Например, чтобы получить сталь и чугун заданного качества, технологам на производстве необходимо рассчитать исходное сырьё — шихту. Она представляет собой смесь руды, топлива и различных добавок, облегчающих процесс выплавки. Раньше технолог дозировал добавление разных типов шихты, опираясь только на свой опыт. Мы на это посмотрели, задумались и приступили к делу: разработали цифровые подсказчики, которые смотрят историю поступления за год и по ней рассчитывают необходимые пропорции исходных материалов. Ещё подсказчики помогают раскладывать шихту правильно по слоям, чтобы сделать нормальное усреднение материала.
Включив подсказчик, мы замерили показатели — ага, есть рост. Но как понять, что дело в нас? Легко: выключили подсказчик на обслуживание — через три дня производство просит: «Верните всё как было — у нас показатели вниз пошли». Ну, отлично: доказали экономический эффект.
Например, чтобы получить сталь и чугун заданного качества, технологам на производстве необходимо рассчитать исходное сырьё — шихту. Она представляет собой смесь руды, топлива и различных добавок, облегчающих процесс выплавки. Раньше технолог дозировал добавление разных типов шихты, опираясь только на свой опыт. Мы на это посмотрели, задумались и приступили к делу: разработали цифровые подсказчики, которые смотрят историю поступления за год и по ней рассчитывают необходимые пропорции исходных материалов. Ещё подсказчики помогают раскладывать шихту правильно по слоям, чтобы сделать нормальное усреднение материала.
Включив подсказчик, мы замерили показатели — ага, есть рост. Но как понять, что дело в нас? Легко: выключили подсказчик на обслуживание — через три дня производство просит: «Верните всё как было — у нас показатели вниз пошли». Ну, отлично: доказали экономический эффект.
![](https://habrastorage.org/getpro/tmtm/articles/tld/images/22450821/tild6438-3933-4631-b062-323639303031__2.jpg)
Подсказчик поможет выплавить качественную сталь, даже если в чан упадёт Т-1000
![](https://habrastorage.org/getpro/tmtm/articles/tld/images/22450821/tild3131-3161-4461-b237-346264666663__2.jpg)
Андрей Косинцев
Data Scientist
Видите на фото раскалённые потоки металла? Пока это полупродукт, а полноценной сталью его делают дорогостоящие добавки, максимальное и минимальное количество которых определяет ГОСТ. Отмеряет и добавляет их технолог на производстве, а мы разрабатываем и поддерживаем подсказчик, который помогает избежать перерасхода.
Сначала служба БСЕ ЕВРАЗа (специалисты, которые направленно смотрят, что и где можно улучшить, и помогают реализовать улучшение) вместе с технологами от производства подбирали проекты с наибольшим экономическим эффектом и увидели, что можно оптимизировать расход добавок. Затем они подключили меня в роли специалиста Data Science. Мне понадобилось вникнуть в технологию выплавки стали и дать несколько презентаций про ML-модели, чтобы технологи понимали возможности инструментов, которыми обладает Data Scientist.
Первый пул данных выгружал Data Engineer от производства (так как внешнему специалисту искать нужную информацию в производственной базе очень долго). Это был просто Excel. Затем мы уточняли шаг за шагом, какие ещё данные мы можем получить для улучшения качества ML-моделей, выгружали новые данные, анализировали — и потом по новой. Часть данных оказалась низкого качества — например, на истории видно, что человек отдавал много материала, а параметры стали не менялись. Из-за этого пришлось разными способами создавать расчётные коэффициенты и чистить сырые данные.
Пробовали множество моделей: начиная от линейной регрессии и заканчивая градиентными бустингами. Остановились на LightGBM ввиду особенностей технологического процесса, а также скорости работы модели. Подходы к машинному обучению тоже разнились: сначала тренировали модели на данных «как есть», но в процессе поняли, что качество моделей посредственное, а модели не технологичны. Изменили подход к формированию целевого значения (сделали относительные целевые переменные, а не абсолютные) — и всё получилось.
До подсказчика сталевар перестраховывался, чтобы точно попасть в ГОСТ, и засыпа́л чуть больше материалов. Наша модель прогнозирует, что получит человек с той или иной отдачей материала, и учит людей экономить дорогостоящие добавки. Теперь сталевары наблюдают всю необходимую информацию на рабочих местах, получают рекомендации по отдаче материала и более детально анализируют свои действия, прислушиваясь к подсказчику. В целом процесс стал менее человекозависимым, и продукт выходит более качественным вне зависимости от опыта сотрудника.
Сначала служба БСЕ ЕВРАЗа (специалисты, которые направленно смотрят, что и где можно улучшить, и помогают реализовать улучшение) вместе с технологами от производства подбирали проекты с наибольшим экономическим эффектом и увидели, что можно оптимизировать расход добавок. Затем они подключили меня в роли специалиста Data Science. Мне понадобилось вникнуть в технологию выплавки стали и дать несколько презентаций про ML-модели, чтобы технологи понимали возможности инструментов, которыми обладает Data Scientist.
Первый пул данных выгружал Data Engineer от производства (так как внешнему специалисту искать нужную информацию в производственной базе очень долго). Это был просто Excel. Затем мы уточняли шаг за шагом, какие ещё данные мы можем получить для улучшения качества ML-моделей, выгружали новые данные, анализировали — и потом по новой. Часть данных оказалась низкого качества — например, на истории видно, что человек отдавал много материала, а параметры стали не менялись. Из-за этого пришлось разными способами создавать расчётные коэффициенты и чистить сырые данные.
Пробовали множество моделей: начиная от линейной регрессии и заканчивая градиентными бустингами. Остановились на LightGBM ввиду особенностей технологического процесса, а также скорости работы модели. Подходы к машинному обучению тоже разнились: сначала тренировали модели на данных «как есть», но в процессе поняли, что качество моделей посредственное, а модели не технологичны. Изменили подход к формированию целевого значения (сделали относительные целевые переменные, а не абсолютные) — и всё получилось.
До подсказчика сталевар перестраховывался, чтобы точно попасть в ГОСТ, и засыпа́л чуть больше материалов. Наша модель прогнозирует, что получит человек с той или иной отдачей материала, и учит людей экономить дорогостоящие добавки. Теперь сталевары наблюдают всю необходимую информацию на рабочих местах, получают рекомендации по отдаче материала и более детально анализируют свои действия, прислушиваясь к подсказчику. В целом процесс стал менее человекозависимым, и продукт выходит более качественным вне зависимости от опыта сотрудника.
Второй этап: IT переходит от продуктов к процессам и взаимодействиям
![](https://habrastorage.org/getpro/tmtm/articles/tld/images/22450821/tild6666-3132-4361-a561-643165346137__--1.png)
Пишите ваши идеи в комментариях
Из интересного. Вокруг IT-проектов работает «эффект присутствия». Когда приходит команда с проектом и начинает что-то делать, пользователи уже на этом этапе стараются быть аккуратнее и эффективнее, следить более внимательно за техническим процессом, соблюдать нормы.
Цифровая трансформация стала распространяться лавинообразно: появились новые процессы и направления, а специальные службы оценивают и запускают идеи в работу. Идею можно заявить через мобильное приложение или веб-портал — то есть инициатором изменений может стать любой работник ЕВРАЗа.
![](https://habrastorage.org/getpro/tmtm/articles/tld/images/22450821/tild6335-6162-4561-b339-643264383765__4.jpg)
Александр Сальник
Начальник отдела разработки и тимлид направления бэкенда
Мы занимаемся не только автоматизацией, но и введением абсолютно новых процессов, меняем бизнес-логику предприятия. IT ведь не всегда только автоматизирует, а часто заставляет по-новому посмотреть на привычные объекты, в корне пересмотреть подходы и получить своеобразную техническую революцию.
Например, мы решили контролировать качество и состав сырья, из которого получаем металл. Оно подается по конвейерам в агломерационные машины, где подготавливается к переплавке в доменных печах. Мы устанавливаем на конвейерной ленте потоковые анализаторы химического состава, которые анализируют всё проезжающее сырьё с дискретностью в одну минуту: сколько внутри железа, углерода, кальция и так далее.
Например, мы решили контролировать качество и состав сырья, из которого получаем металл. Оно подается по конвейерам в агломерационные машины, где подготавливается к переплавке в доменных печах. Мы устанавливаем на конвейерной ленте потоковые анализаторы химического состава, которые анализируют всё проезжающее сырьё с дискретностью в одну минуту: сколько внутри железа, углерода, кальция и так далее.
![](https://habrastorage.org/getpro/tmtm/articles/tld/images/22450821/tild6435-3561-4439-a338-323537353733__4.jpg)
Похоже на майнинг-ферму
![](https://habrastorage.org/getpro/tmtm/articles/tld/images/22450821/tild3032-3636-4730-a566-666534363837__3.jpg)
Борис Сатышев
Руководитель IT‑проектов по направлению ТОРО (техническое обслуживание, ремонт оборудования)
В моём направлении технического ремонта и обслуживания оборудования можно выделить три направления для IT-проектов:
- Мы повышаем удобство мобильных и веб-приложений для пользователей: настраиваем интерфейс под конкретные пожелания пользователей.
- Интегрируем наши продукты со смежными в области ремонта, готовим их унификацию и реализацию в единой системе.
- Развиваем новый функционал.
Например, сейчас на Нижнетагильском металлургическом комбинате ЕВРАЗа внедряется система APM (Asset Performance Management): благодаря ей мы заранее прогнозируем риски и обслуживаем оборудование ДО того, как оно сломается, а технологические процессы встанут.
Для этого каждая единица оборудования анализируется по ряду критериев, сведённых в так называемую «матрицу рисков». В ней мы оцениваем вероятность и тяжесть последствий, вычисляем по ним риск отказа и по ним уже выставляем приоритеты в обслуживании оборудования. В результате приоритетным становится обслуживание оборудования, у которого выше вероятность поломки и тяжелее последствия отказа. На предприятии много критичных систем, час вынужденного простоя которых может обойтись в сотни тысяч рублей, а APM позволяет нам предотвращать подобные инциденты.
Третий этап: IT открывает для производства новые продукты и ресурсы
![](https://habrastorage.org/getpro/tmtm/articles/tld/images/22450821/tild3163-3033-4665-a430-373834363437__5.jpg)
Количество зелёных огоньков прямо пропорционально умиротворённости оператора
Первые IT-проекты в ЕВРАЗе отрабатывали базовые потребности. Разворачивались первые серверные мощности, набирался штат девопс-инженеров. Готовились инструменты, с помощью которых мы можем внедрять более сложные системы. Отрабатывались методологии, которые бы учитывали специфику производства.
![](https://habrastorage.org/getpro/tmtm/articles/tld/images/22450821/tild3936-3135-4936-b533-313464663962__5.jpg)
Александр Сальник
Начальник отдела разработки и тимлид направления бэкенда
На ранних проектах компания разработала свою методологию EVRAZ-scrum и EVRAZ-agile. С приставкой EVRAZ-, потому что основные процессы были пересмотрены и адаптированы под потребности и задачи производства. Уже тогда водопадная модель не отвечала нашим требованиям. Благодаря внедрению agile удалось сделать процесс разработки более гибким и повысить производительность команд.
Кроме этого, я занимаюсь разработкой стандартов для разработчиков и руководителей проектов: здесь много работы уходит на понимание того, как действовать в конкретных реалиях масштабов холдинга.
Кроме этого, я занимаюсь разработкой стандартов для разработчиков и руководителей проектов: здесь много работы уходит на понимание того, как действовать в конкретных реалиях масштабов холдинга.
![](https://habrastorage.org/getpro/tmtm/articles/tld/images/22450821/tild3033-3133-4763-b230-336538636532__6.jpg)
Андрей Косинцев
Data Scientist
В случае высокого bus-фактора в коде придётся разбираться полжизни, а для холдинга такого масштаба, как ЕВРАЗ, это критически важно. Поэтому мы стали вырабатывать единую архитектуру и разрабатывать стандартные библиотеки ЕВРАЗа в дополнение к классическому набору Data Scientist'а (Рython для разработки математических моделей с open-source-библиотеками, Pandas, NumPy). Сами стандартные библиотеки появились потому, что проектов стало много, мы захотели переиспользовать наработки, придерживаться единого подхода и одной архитектуры на всех проектах.
Плюс привлекаем citizen DS (гражданских DS от бизнеса) с целью исследовать свои же данные с минимальным привлечением IT-ресурсов (только для консультаций). То есть мы обучаем Data Scientist'ов со стороны производства, которые могут сами исследовать данные, проверять гипотезы. Такие команды способны создать прототип инструментами self-service-аналитики «на коленке», дать его технологу, сталевару или другому человеку от производства, и он протестирует в реальном времени, поймёт, жизнеспособна ли гипотеза. В этом направлении взаимодействуем с платформами Azure ML для создания статистических прогнозных моделей, KNIME — для подготовки данных и Power BI — для создания дашбордов. В будущем планируем привлекать также MS PowerApps для разработки полноценных приложений с подходом low-code, а также разрабатывать собственные библиотеки ЕВРАЗа для инструментов self-service-аналитики. Таким образом увеличиваем число проектов плюс развиваем компетенции со стороны бизнеса.
Плюс привлекаем citizen DS (гражданских DS от бизнеса) с целью исследовать свои же данные с минимальным привлечением IT-ресурсов (только для консультаций). То есть мы обучаем Data Scientist'ов со стороны производства, которые могут сами исследовать данные, проверять гипотезы. Такие команды способны создать прототип инструментами self-service-аналитики «на коленке», дать его технологу, сталевару или другому человеку от производства, и он протестирует в реальном времени, поймёт, жизнеспособна ли гипотеза. В этом направлении взаимодействуем с платформами Azure ML для создания статистических прогнозных моделей, KNIME — для подготовки данных и Power BI — для создания дашбордов. В будущем планируем привлекать также MS PowerApps для разработки полноценных приложений с подходом low-code, а также разрабатывать собственные библиотеки ЕВРАЗа для инструментов self-service-аналитики. Таким образом увеличиваем число проектов плюс развиваем компетенции со стороны бизнеса.
Выход на новый уровень: как предприятия помогают айтишникам расти
Айтишники находят неочевидные зависимости, подсвечивают узкие места опытным сотрудникам, которые работают по десять лет и, кажется, знают всё о руде, металле и готовой стали.
И если на этапе настройки аутентификации или прокси-сервера для рядовых сотрудников результат неочевиден, то готовый продукт, который бизнес может использовать при улучшении операционной деятельности, даёт то самое ощущение управления ракетой.
![](https://habrastorage.org/getpro/tmtm/articles/tld/images/22450821/tild3264-3432-4439-a330-386432356364__7.jpg)
Борис Сатышев
Руководитель IT‑проектов по направлению ТОРО (техническое обслуживание, ремонт оборудования)
Я не приобрёл новые софт-скилы, но прокачал те, что у меня уже были.
Любая задача имеет решение. Неинтересно делать то, что ты уже делал много раз. Интересно что-то новое, интеграция с другими продуктами. Поэтому постоянно приходится учиться, прокачиваться.
Изначально позвали решать конкретные управленческие задачи, так как у меня есть соответствующий бэкграунд, опыт и образование по направлению ремонта оборудования. Оборудования, от бесперебойной работы которого зависят поставки тысяч тонн стали.
Мотивацией стало решение сложных задач и желание преодолеть организационные сложности в новой сфере. Сейчас у меня много новых достаточно масштабных проектов. Привлекают условия с прописанными сроками, ресурсами, которые в этих определённых узких рамках нужно выполнить.
Любая задача имеет решение. Неинтересно делать то, что ты уже делал много раз. Интересно что-то новое, интеграция с другими продуктами. Поэтому постоянно приходится учиться, прокачиваться.
Изначально позвали решать конкретные управленческие задачи, так как у меня есть соответствующий бэкграунд, опыт и образование по направлению ремонта оборудования. Оборудования, от бесперебойной работы которого зависят поставки тысяч тонн стали.
Мотивацией стало решение сложных задач и желание преодолеть организационные сложности в новой сфере. Сейчас у меня много новых достаточно масштабных проектов. Привлекают условия с прописанными сроками, ресурсами, которые в этих определённых узких рамках нужно выполнить.
![](https://habrastorage.org/getpro/tmtm/articles/tld/images/22450821/tild6131-3937-4662-a566-656362333362__8.jpg)
Александр Сальник
Начальник отдела разработки и тимлид направления бэкенда
Прежде всего я поднял на новый уровень свои софт-скилы. Вообще, для того, кто хочет здесь работать, самое главное — ответственность и исполнительность. Плюс важно желание коснуться производства, побывать на нём. Если хочешь не только оказать влияние на сайтик, чтобы какой-то менеджер был доволен, а сделать утилиту или какой-то подсказчик-оптимизатор, который может приносить миллионы долларов ежемесячно, и если хочется осознания, что с его помощью можно сэкономить на уровне вот таких объёмов, — то это дорога к нам. Наши проекты дорогостоящие, и эффект от них колоссальный.
![](https://habrastorage.org/getpro/tmtm/articles/tld/images/22450821/tild3835-3938-4462-b835-326239373038__9.jpg)
Андрей Косинцев
Data Scientist
Я научился ещё раз проверять то, что на первый взгляд кажется истиной. Данные и статистика — наши лучшие друзья. Я прокачался в доменной области, стал лучше понимать различные процессы горнодобывающего и металлургического производства, разобрался в технологиях транспортировки руды, этапах её обогащения, влиянии характеристик руды и других параметров на результат. Изучил этапы обработки и особенности производства стали — и в целом, и отдельных марок: какие химические элементы могут восстанавливаться в процессе обработки; зачем нужны продувки стали и на что они могут повлиять; каким образом сталевар проводит отдачу ферросплавов, чем он руководствуется в ходе различных технологических процессов и многое другое. Для поиска решения проблем порой приходилось даже читать учебники и другие книги в этой области. А самое интересное, на мой взгляд как Data Scientist'а, — это именно находить применение и, соответственно, видеть эффект от прогнозных моделей в технологической цепочке.
Вообще, я пришёл сюда, потому что было интересное для меня направление — искусственный интеллект. HR хотел позвать меня в АСУТП (автоматизация систем управления технологическими процессами), но я предложил свою кандидатуру в отдел искусственного интеллекта. По факту перешёл из проектировщика, который на верхних уровнях описывает, что должна делать система, к тому, чтобы самому это руками делать. Мне кажется, это важно для любого программиста — видеть, что твоей разработкой пользуются реальные пользователи для решения реальных проблем.
Мотивирует причастность к общему глобальному делу. Хочется реально влиять на процессы, улучшать их. Нравится, что получаешь очень много хард-скилов, работая с новыми технологиями. Первые мои проекты были классическим Data Science — числовыми, сейчас на новых проектах уже подключаем видеоаналитику. Некоторые платят деньги, чтобы получить эти знания и опыт, а тут на производстве можешь сам прокачаться и достичь того же. При этом не занимаешься технологиями ради технологий, а прикладываешь их к задачам бизнеса, то есть «в стол» ничего не уходит, нет работы ради работы.
Вообще, я пришёл сюда, потому что было интересное для меня направление — искусственный интеллект. HR хотел позвать меня в АСУТП (автоматизация систем управления технологическими процессами), но я предложил свою кандидатуру в отдел искусственного интеллекта. По факту перешёл из проектировщика, который на верхних уровнях описывает, что должна делать система, к тому, чтобы самому это руками делать. Мне кажется, это важно для любого программиста — видеть, что твоей разработкой пользуются реальные пользователи для решения реальных проблем.
Мотивирует причастность к общему глобальному делу. Хочется реально влиять на процессы, улучшать их. Нравится, что получаешь очень много хард-скилов, работая с новыми технологиями. Первые мои проекты были классическим Data Science — числовыми, сейчас на новых проектах уже подключаем видеоаналитику. Некоторые платят деньги, чтобы получить эти знания и опыт, а тут на производстве можешь сам прокачаться и достичь того же. При этом не занимаешься технологиями ради технологий, а прикладываешь их к задачам бизнеса, то есть «в стол» ничего не уходит, нет работы ради работы.