Взгляд химика, тестировщика и аналитика данных на чёрную металлургию и большие данные в ней

Имел опыт работы над проектом по моделированию свойств полимеров, резин и пленок для одного из крупных российских компаний химической промышленности. Большинство трудностей вызывает именно работа с сырыми данными. Кроме того имеется проблема со сбором данных, в моем случае это именно ручной ввод данных операторами в бумажные журналы, и, в последствии, было обнаружено много очевидных ошибок в данных. Как итог, высокая зашумленность данных привела к низкому качеству полученных моделей. Кстати, в качестве дополнительных исследований пришлось разрабатывать методы, которые позволяют определять ошибочные записи в данных, чтобы обосновать низкую точность моделей. Кроме того имеет место быть сильное смещение в исходных данных: как правило, операторы исследовательских отделов стараются подобрать оптимальные условия синтеза полимера, при этом при подборе они исходят из собственного профессионального опыта, что позволяет им задать более или менее оптимальные условия. В итоге получается, что при моделировании мы видим только уже примерно хорошие входные параметры синтеза и хорошие выходные свойства полимера, другими словами модель не видит плохих примеров и синтеза и обучается в очень узком диапазоне входных параметров, что значительно ограничивает область ее применимости. В целом, хочется подчеркнуть, что есть проблемы, которые являются общими для промышленных процессов, что требует нестандартного подходы к решению проблем возникающих при моделировании.