Комментарии 20
Совершенно не ожидал встретить тут обсуждение этой проблемы! Похоже, что она действительно назрела. Я сам геофизик, работаю с данными геофизического и геодинамического мониторинга. Буквально полгода назад я уперся в проблему метрологического обеспечения этих наблюдений. Причем ситуация показалась настолько безвыходной, что я не утерпел и написал об этом статью в наш профильный журнал НТР.
Редакция подумала, и решила организовать дискуссию. Предполагается в ближайшем номере опубликовать и мою затравочную статью, и
отклики на нее
каждый отклик при этом рассматривается и оформляется, как отдельная публикация - с рецензированием и т.д.
У меня к Вам в связи с этим деловое предложение большая просьба. Вы не могли бы посмотреть
мою статью
Ссылка уже имеется: Дещеревский А.В. Проблема качества данных при режимном геофизическом мониторинге: кто виноват и что делать? // Наука и технологические разработки. 2024. Т. 103, № 3. С.3–26. https://doi.org/10.21455/std2024.3-1
Но формально статья еще не опубликована, поэтому я не уверен, что имею право выложить текст в открытый доступ прямо сейчас. Но если Вы не против, я Вам перешлю макет статьи через ЛС, ок?
и, если возникнет такое желание, написать свои соображения по этому поводу в виде заметки для НТР? Думаю, что взгляд на наши проблемы с противоположной нам стороны был бы очень интересен не только мне, но и другим геофизикам.
Обязательно присылайте. Можно в личку, можно в почту. Подумаю над темой.
Так, да, тема вроде бы назрела, и на стороне людей работающих с физическим процессом, она понятна.
А на стороне айтишной отрасли этого ничего нет, потому что аналитикам и датасатанистам интересней разбираться с тем, какой именно МАТЕМАТИЧЕСКИЙ алогритм применить к имеющимся данным, чем выяснять имеют ли эти данные ФИЗИЧЕСКИЙ смысл.
Обязательно присылайте. Можно в личку, можно в почту. Подумаю над темой.
Уже написал в личку.
А на стороне айтишной отрасли этого ничего нет, потому что (...)
Вы не поверите, но у нас в науке точно так же есть "теоретики", которые исходят из того, что экспериментальные данные должны быть идеальными. А если это вдруг не так, то это значит, что у экспериментатора кривые руки и таких надо вешать взашей на позорных столбах поганой метлой. Соответственно, все, кто работает "в поле" прекрасно осведомлены о проблемах, но практически никогда о них не пишут, чтобы не оказаться "белой вороной". В результате проблема заметается под ковер и не решается... Ну и второй аспект, что решить ее в нашем случае гораздо сложнее, чем это может показаться на первый взгляд.
По ссылке нет статьи, а должно быть хотя бы превью (анотация). Выложите потом ссылку, как опубликуют, интересно ознакомится с вашим видением вопросов.
По ссылке нет статьи, а должно быть хотя бы превью (анотация).
@alexhu, спасибо за подсказку! С аннотацией я протупил, это факт. Дополнять комментарии здесь не разрешается, поэтому положу аннотацию в этом комменте
под спойлером
Аннотация. Один из стандартных методов изучения процессов в земной коре – это долговременные непрерывные наблюдения за различными физическими полями. Для получения качественных рядов данных необходимо хорошее метрологическое обеспечение измерений. Однако при режимных наблюдениях на геофизических и геодинамических полигонах обеспечить его крайне сложно. Опыт показывает, что получаемые на таких полигонах экспериментальные временные ряды никогда не бывают совершенно свободны от всевозможных проблем методического и технического характера. При этом повторить многолетний эксперимент по мониторингу явлений в земной коре невозможно: нестационарность контролируемых процессов означает, что каждое измерение уникально. Новые данные, даже полученные в том же пункте, всегда только дополняют ранее проведенные наблюдения, но не заменяют (не дублируют) их. Противоречие между низким качеством данных многолетнего мониторинга и исключительной ценностью той информации, которую они содержат, требует разрешения. Общепринятая практика состоит в проведении первичной обработки рядов с дефектами, включая поиск сомнительных (искаженных) значений и их выбраковку и/или коррекцию. Однако принципы построения таких процедур и критерии их оптимальности неясны: где проходит “граница допустимого”, отделяющая устранение безусловного брака измерений от подгонки данных под априори предполагаемую модель? В работе приводится пример коррекции аномального фрагмента сигнала в условиях высокой неопределенности генезиса аномалии и ставится вопрос о необходимости более широкого обсуждения методологических аспектов работы с данными, содержащими подобные аномалии.
библиографическая ссылка
Дещеревский А.В. Проблема качества данных при режимном геофизическом мониторинге: кто виноват и что делать? // Наука и технологические разработки. 2024. Т. 103, № 3. С.3–26. https://doi.org/10.21455/std2024.3-1 (в печати)
Выложите потом ссылку, как опубликуют, интересно ознакомится с вашим видением вопросов.
Да, хорошо.
Но вообще-то опубликованные в НТР статьи можно свободно скачать на сайте журнала. Только не спутайте с elibrary - там свободного доступа к свежим выпускам интересных изданий, как правило, нет.
Однако,
на странице журнала в elibrary можно щелкнуть по картинке с обложкой журнала, тогда откроется подробная информация об издании. И вот уже на этой странице в разделе "КОНТАКТНАЯ ИНФОРМАЦИЯ" обычно есть ссылка на сайт самого журнала. Если он, конечно, имеется. У НТР - имеется, и уже оттуда по ссылке "Содержание" можно перейти на саму статью и скачать полный текст. Насколько я знаю, многие журналы сейчас таким способом полные тексты выкладывают, т.к. авторы (и редакция) в этом напрямую заинтересованы.
P.S. А вот ссылку для скачивания рукописи все-таки отправлю в личку. Сюда - не уверен, что можно.
" Производство остановлено. Персонал эвакуирован. Ремонтная бригада отправляется смотреть на совершенно исправную установку. "
А что вас не устраивает? Так и должно быть если у вас датчики по 3 года не поверяются)))
А что вас не устраивает? Так и должно быть если у вас датчики по 3 года не поверяются)))
Как раз о том и речь, что люди видят юридический флажок "поверен"/"не поверен" и трактуют это как стабильность работы измерительного прибора.
Но у вас может быть, например, термометр который по паспорту, при температуре 20 градусов даёт погрешность 1 градус. И при реальных 20 градусах он вполне законно показывает 21 и проходит поверку.
А потом вы его заменяете на прибор той же самой модели, и он при реальных 20 градусах будет показывать 19, и тоже пройдёт поверку.
Получится, что у вас будет ЗАФИКСИРОВАНО изменение температуры на 2 градуса, при том что изменение реального физического состояния не будетю
Ну или это остался тот же самый прибор, но он начал дрейфовать. Сперва отклонялся на +1 градус, через год на 0 градусов, через 2 года на -1 градус. И всё это время он оставался в рамках заявленных метрологических характеристик и прекрасно проходил поверку.
Вот только на следующий день после поверки на стал врать на -1.01 градуса, а к концу третьего года уполз на -2 градуса.
То есть, у вас целый год будет работать прибор не соответствующий заявленным характеристикам, но при этом являющийся поверенным.
И, сидя в конце 3 года у Вас не будет шанса на то, чтобы понять, когда именно датчик уплыл туда, где он перестал быть датчиком. Потому что дрейф штука нелинейная.
А когда через 5 лет эти данные будут загружаться в модель, всем будет пофиг на то о чём я сказал - раз прибор поверен, значит считаем что он всё время одинаково точно показывал строго идеальное истинное физическое значение физической величины.
Дрейф показаний прибора это нормальное явление даже на поверенных и откалиброванных измерительных приборах. Это изначально должно пониматься при измерениях. Дрейф показаний обычно линеен и он коррелирует с другими данными - не встречал чудес в этих вопросах.
"идеальное истинное физическое значение физической величины" - так и считаем, с учётом погрешностей. Ну когда работал на мет. комбинате, многие со мной в этих вопросах не соглашались и требовали "идеальное значение". Это были в основном заказчики, с остальными я находил понимание.
Дрейф показаний обычно линеен и он коррелирует с другими данными - не встречал чудес в этих вопросах.
У самого датчика чувствительность нелинейна и изменяется на всём рабочем диапазоне, и очень странно ожидать, что искажения у него будут линейными.
В мире вообще не так много линейных процессов.
Можно сказать, что конкретный кусок кривой можно рассматривать как прямую линию, потому что это даст возможность работать с требуемой точностью, но что там в реальности - неведомо.
Можно, конечно, сделать окно коррекции показания датчиков и всплывающие подсказки типа: " Поверочный интервал заканчивается через неделю!" Для этого метролог должен в акте поверке указать, что прибор врёт на -1 градус, а не просто шлёпнуть штемпель "поверено".
А ещё лучше установить в критических местах 2 (3.. 8) датчиков, и усреднёнными показаниями невилировать влияние погрешности. Всё дело ведь в целесообразности/стоимости.
А ещё бывает так, что, например, шахтёры накрывают свежеповеренный датчик метана шапкой, чтобы система не мешала добывать уголь на премию...
Основная проблема сейчас не в метроогах, а в том, что люди могут взять числовые данные с разной неопределённостью и/или полученные измерительными приборами работающими на разных физических принципах, свалить их в одну кучу и искать для них среднее.
Да, можно вычислить среднее арифметическое между "примерно два метра" и "185.23 сантиметра", но физического смысла это иметь не будет.
Отчего это вдруг? Физический как раз будет. И снова получится "примерно два метра". Первый курс, лабы...
То, что Вы описываете, для меня звучит как часть общей проблемы неинтерпретируемости большинства ИИ-моделей. И этичность/целесообразность применения обученных на всяком мусоре моделей.
В чём принципиальная разница между дрейфом приборов и, скажем, плохо подписанными людьми данными (обзор для примера: https://www.sciencedirect.com/science/article/pii/S136184152100270X)? То, что модель (пере)обучилась на шуме - проблема модели. И её обучения. А не мощности этого шума. Если бы датасатанисты систематически брались за учёт возможных источников ошибок, инструментальные ошибки были бы учтены +- первыми, это как раз из более простого. Но этот учёт делать скучно и невыгодно, гораздо приятнее напилить новую модельку с воооооооооот такими метриками.
Отчего это вдруг? Физический как раз будет. И снова получится "примерно два метра".
В числовом выражении это сколько?
Мы ведь это среднее не просто так посчитали, а чтобы получить числовое значение, которое отправим дальше по цепочке.
Это в исходных данных могут быть варианты "ростом с половину жирафа", "5 футов 3 дюйма", "в дверь не проходит", а после нормализации всё это превращается в числовые значения с заданной точностью.
Да, в целях тренировки, олимпиады или победы в споре можно придумать вариант арифметической операции над "тёплым" и "мягким", так чтобы получилось "солёное". И нет никаких сомнений в том, что крокодил действительно больше длинный, чем зелёный.
Но реальность скучнее и требует того, чтобы результатом стали числа, на основании которых будет приниматься какое-то решение.
В чём принципиальная разница между дрейфом приборов и, скажем, плохо подписанными людьми данными
Вы приходите в комментарии под статьёй "последствия пожара" и задаёте вопрос "в чём принципиальная разница между пожаром и потопом?".
Ну, в одном случае вещи сгорают, а в другом - намокают.
Само собой, на пути данных из физического мира в модель есть много интересных событий, и это не только датчики и ручной ввод.
Данный побились при передаче.
Данные изменились при сохранении и последующем чтении.
Данные изменились при миграции базы.
Сами числа не изменились, но изменилась наша трактовка единиц измерения.
Сами числа не изменились, но неправильно интерпретируюстся, потому что они восьмеричные, а не десятеричные.
Из базы удалили часть данных.
В базу запихнули левые данные.
Каждая из вышенаписанных строчек отзывается болью в моём сердце, но приходится брать себя в кулак и решать проблемы одну за одной.
Если бы датасатанисты систематически брались за учёт возможных источников ошибок, инструментальные ошибки были бы учтены +- первыми, это как раз из более простого. Но этот учёт делать скучно и невыгодно, гораздо приятнее напилить новую модельку с воооооооооот такими метриками.
Именно об этом я и говорю. :)
В числовом выражении это сколько?
Зависит от того, что у нас получилось при нормализации :)
По-видимому, разница в том, что Вы её выделяете в отдельный этап, а я подразумеваю, что при взятии среднего она понадобится и будет проведена. Конечно, хорошо, когда это всё продумано заранее, но чтоб ничего совсем не приходилось прикидывать на глазок постфактум, по сути загрубляя все остальные измерения, случается очень редко.
Каждая из вышенаписанных строчек отзывается болью в моём сердце, но приходится брать себя в кулак и решать проблемы одну за одной.
Сочувствую. С таким я почти не сталкивался (помимо обычной боли с ETL и разнообразными пропущенными/ненадёжными данными). Не тот формат данных обычно тривиален, хотя бывают и таланты, пишущие non-compliant код без комментариев и документации.
Ну, в одном случае вещи сгорают, а в другом - намокают.
Оно, может, и так, но на практическом уровне разницы в нашем случае особо нет.
Я подумал ещё и понял, что ощущение от статьи немного смазанное, потому как проблема обозначена, но пути её решения будто бы недопроработаны. Истории успеха не хватает, что ли.
Как условный Нуф-Нуф свои приборы калибровал исправно, дрейф поборол, погрешности знал, и вложенные усилия отбил в стопицот крат, когда через пять лет нвидия выпустила очередной супер-пупер-AI, а Ниф-Ниф и Наф-Наф были вынуждены выкинуть эти пять лет своей работы и броситься собирать данные по-новой. Вы про это всё пишете, но не думающему об этом еженощно человеку сколько-то продираться приходится, чтобы примерить ситуацию на свою практику.
Если даже значительная часть ЦА - инженеры, объясняться им всё равно с менеджерами. А менеджеры хотят сценарий А (стоит столько-то, на выходе то-то, есть такой-то план по реализации) vs сценарий Б (те же параметры).
З.Ы. Касательно датасетов для упражнений, бывают штуки вроде вот такого: https://github.com/HakanKARASU/Gas-Sensor-Array-Drift-Dataset/. Годится? Сначала думал откопать что-то из своих примеров, но там почти всё попытки дрейф оценить косвенно. Гуглилось вроде недолго, проблема известная.
Да, можно вычислить среднее арифметическое между "примерно два метра" и "185.23 сантиметра", но физического смысла это иметь не будет.
Я бы насчитал 1,8 м + - 13%. Есть в этом физический смысл - это рассчитанная средняя длина.
Это не совсем проблема. Перед измерениями должна проводится калибровка прибора - есть госты и в паспорте измерительного прибора об этом указывается. Не поверка, а калибровка. Поверка отдельно в установленные сроки и при сомнениях в исправности изм. прибора.
Измерения делаем в стандартных условиях или коррелирует с условиями измерения; это тоже не новость. Запись об используемом приборе и условиях измерения тоже необходима - это тоже расписано.
Данные измерений должны обрабатываться и специалисты должны понимать, что они означают. Часто данные измерений используются не напрямую, а через подстановку в "формулу" и тут действует правила обработки данных в части погрешностей.
В целом, да, грамотность в этих вопросам небольшая. Вот по ссылке пройдите https://habr.com/ru/companies/aquarius/articles/850306/comments/#comment_27414276, это крупные специалисты, много писали о таких вопросам - персонал не то что бы не умеет измерять, просто не понимает, что намеряли. Вот я писал об обработке данных на производстве - моё производство, я собирал данные и по несколько дней согласовывал данные для обработки -- https://habr.com/ru/specials/848832/comments/#comment_27405706
И если у ваша статья о том, что модели не дают корректных результатов, согласуемых с производством, то тут у меня многолетнее мнение из моего проф. опыта, что в производство нужна вовлечённость и посвящённость в профессию. Не просто умеющих перемножить матрицы и различающих коэф. Фишера от Стьюдента, а именно имеющих понимание, от чего зависит результат измерения и как можно интерпретировать результаты. Ну да об этом книги написаны.
Данные измерений должны обрабатываться и специалисты должны понимать, что они означают.
Должны, но им некогда и они закидывают данные в математическую машинку, которая выдаёт им какой-то результат.
О том, что это за данные, они тоже могут не знать.
В этом суть и науки и техники - вам дают НАУЧНЫЕ данные и НАУЧНУЮ методику, а дальше вы с этим работаете так, как будто это истина.
Не просто умеющих перемножить матрицы и различающих коэф. Фишера от Стьюдента, а именно имеющих понимание, от чего зависит результат измерения и как можно интерпретировать результаты.
Ну и, по Вашему опыту, как часто эту работу выполняют ОТВЕТСТВЕННЫЕ и ПОНИМАЮЩИЕ люди, а не раздолбаи, недоучки или просто неопытные новички?
Вашу проблему не поможет решить ни метрология, ни большие данные, ни искусственный интеллект. Проблема в реальном физическом мире, в котором мы живем!
Например, никакие суперкомпьютеры так и не могут решить казалось бы простейшую задачу движения трех тел, на которые действуют только силы гравитационного притяжения.
То же самое мы видим на биллиардном столе после первого удра. когда малейшие изменения в направлении и силе первого удара приводят к совершенно разным результатам. И тут никакой суперкомпьютер не поможет.
Наш мир существенно нелинейный, и поэтому даже малейшие изменения начальных условий приводят к существенно разным событиям. Так называемый "эффект бабочки".
Здесь еще действуют понятия пушистой логики и пушистых множеств, которые добавляют неопределенность в наши расчётные модели.
Метрология и методики выполнения измерений тоже добавляют свою неопределенность.
Словом, знакомьтесь с древними ГОСТ 20911-89 Техническая диагностика, ГОСТ 27.004-85 Надежность в технике, и другими стандартами в этой области, и будет вам удача и счастье!
Метрологический дефицит в бигдате: что это такое и как с ним бороться