Комментарии 45
Спасибо, упрощено до предела и даже дальше, но смысл есть. Имхо, еще стоило бы отметить, что о точных значениях речь все же не идет:
интерполяция в точку с уже известным значением должна давать это самое значение.
Конечно, выше подразумевается доверительный интервал, отсюда и следует полезность моделирования, в том числе, стохастического, то есть случайного — раз значения не заданы точно, это разумно.
Также можно продемонстрировать, как разительно отличаются модели разных масштабов (уровней генерализации):
Как ни удивительно, это одна и та же модель объемной плотности на разных масштабах — и да, в геологии исходные данные разномасштабные и это необходимо учитывать. Зачастую, данные используются «как есть» без учета масштаба, просто изменяя разрешение данных, с соответствующим результатом… Кригинг — один из методов осмысленной передискретизации разномасштабных данных, доступный геологам, хотя еще лучше будет выполнять обработку в спектральной области (хотя и здесь есть свои сложности — скажем, оконное Фурье преобразование имеет право на жизнь, но не классическое Фурье преобразование, и так далее).
Как я написал выше, это иллюстрация к тому, зачем вообще придуман и нужен кригинг — разница в данных разных масштабов не просто есть, она огромна. Если вы посчитаете среднюю плотность одного и того же объема на кубиках с картинки, она очень отличается. Кроме того, вычисление среднего при размере стороны ячейки меньше 400м на левом кубике и меньше 6000м на правом не имеет физического смысла. В статье этого нет, как нет и того, каков должен быть размер ядра функции (просто безразмерная константа «20» указана в формуле ковариации, для пиксельных вычисления).
Как я написал выше, это иллюстрация к тому, зачем вообще придуман и нужен кригинг — разница в данных разных масштабов не просто есть, она огромна.Что-то совсем непонятно, кригинг просто один из методов интерполяции, при чем тут разница в данных разных масштабов. Где в ваших картинках фактические данные и где интерполированные?
Кроме того, вычисление среднего при размере стороны ячейки меньше 400м на левом кубике и меньше 6000м на правом не имеет физического смысла. В статье этого нет, как нет и того, каков должен быть размер ядра функции (просто безразмерная константа «20» указана в формуле ковариации, для пиксельных вычисления)Ну в стате и много другого нет, так и что? Кажется, автор не претендует на исчерпывающее руководство по написанию пакета геостатистического моделирования. Какую кстати размерность вы хотите для коэффициента 20 в ковариации? Это же расстояние в палеопространстве, а так как в геологии оператором перехода из современного пространства в палео является сетка, то это расстояние в количестве ячеек.
На картинке модель геологической плотности в двух разных масштабах, вычисленная из одних и тех же исходных данных методом инверсии (пространственный спектр рельефа — дополнение спектра грубых гравиметрических данных — вычисление источников гравитационного потенциала). В том и дело, что исходные данные одни и те же и разный результат. Ну, как с длиной береговой линии.
Это же расстояние в палеопространстве, а так как в геологии оператором перехода из современного пространства в палео является сетка...
В геологии, как и везде, расстояния и глубины измеряются в единицах расстояния — метрах, футах и т.п. И ядро кригинга определяется в метрах, в зависимости от задачи (как — это отдельная и интересная тема). Д моделирования производится переход к безразмерной сетке и обезразмеривание параметров уже после их определения, и параметры вовсе не наугад выбираются. В пикселях оно тут задано без объяснений исключительно для упрощения.
На картинке модель геологической плотности в двух разных масштабахНе понимаю, не бывает «геологической плотности», бывает плотность вещества или энергии или еще чего-либо, что у вас? Что значит в разных масштабах, не одинаковы физические размеры, тогда как вы их, вообще, сравниваете? Честно говоря, больше походит на случайный набор слов.
В геологии, как и везде, расстояния и глубины измеряются в единицах расстояния — метрах, футах и т.п. И ядро кригинга определяется в метрах, в зависимости от задачи (как — это отдельная и интересная тема). Д моделирования производится переход к безразмерной сетке и обезразмеривание параметров уже после их определения, и параметры вовсе не наугад выбираются. В пикселях оно тут задано без объяснений исключительно для упрощения.Вы все время путаете сейсмическое моделирование и геологическое моделирование, а они принципиально разные. Задача геологического моделирования состоит из 2-х шагов:
1) Построить геологическую сетку, которая фактически является оператором перехода из настоящего пространства (где всё меряется метрами, футами и др.) с разломами, эррозией, выклиниванием, сжатиями и растяжениями в палео пространство, т.е. во время когда эти породы образовывались. В палео пространстве ещё не было никаких разломов и других факторов изменения пластов со временем.
2) В пиксельной (как вы её называете) системе палеопространства, распространить (интерполировать) свойства известные в некоторых точках (hard data) на всю заданную модель.
Переход в палеопространство необходим, так как вся теория геостатистики строится на знании процесса осадконакопления.
Вы путаете безразмерную численную модель и реальный мир. Да еще пытаетесь козырять терминами, которых не понимаете. Не стоит, и уж точно не на хабре. Никогда литосфера не была однородной, это раз, и всегда расстояния измеряются в единицах расстояния, а не в безразмерных пикселах, это два. Вероятно, вы что-то слышали про необходимость обезразмеривания для численных методов вычислений и про кусочно-блочную модель, где по нарушениям непрерывности выделяются блоки и моделируются по отдельности.
Кстати, если месторождение образовалось до разрывных нарушений — нефть и газ могли мигрировать оттуда (попросту говоря, утечь) и остался, скажем, неизвлекаемый битум (тяжелые густые фракции нефти). А если мы хотим узнать, куда что мигрировало — надо моделировать все вместе с нарушениями, тогда может оказаться, что нефть и газ просто перетекли в нефтегазовую ловушку повыше, и находиться она может и близко и не очень от исходной разрушенной.
Не понимаю, не бывает «геологической плотности», бывает плотность вещества или энергии или еще чего-либо, что у вас? Что значит в разных масштабах, не одинаковы физические размеры, тогда как вы их, вообще, сравниваете?
Еще раз, алгоритмы геологической интерполяции (базируются на предположении, что мы привели наше текущее пространство в его исходное состояние назад во времени (палеопространство), именно тогда еще не было разломов, других нарушений. Именно в палеопространстве определяются радиусы вариограмм и др. параметры.
В палеопространстве можно использовать размерные величины, но только смысла в этом нет (так будет сложнее и дольше, но не будет точнее), так как обезразмеривание можно сделать на этапе перехода от современного в палеопространство, для чего используется структурная геологическая модель и геологическая сетка.
Геологическая плотность — плотность при заданном масштабе геологического исследования. В статье же сказано про зависимость от масштаба.
Про палеопространство вы полную ерунду пишете, прикрывая невежество минусами ответам на свои посты. Нет никакого безразмерного идеального палеопространства без нарушений — нарушения были и есть всегда, а палеопространство это просто состояние в какой-то давний момент времени. Вы в самом деле считаете, что миллион-десять-сто назад длина была безразмерной? Безразмерная только вычислительная модель, а не физический мир.
Конечно, выше подразумевается доверительный интервал
Насколько я понял, подразумевается именно то, что написано: интерполятор в точках известных значений должен выдавать именно известные значения, без какого-либо доверительного интервала.
Есть ошибки (малого количества) измерений керна и (множества) измерений геофизических параметров скважины по глубине (каротаж), по которым потом с определенной погрешностью вычисляются значения параметров для модели, и ко всему этому добавляется ошибка модели. Ни о каких точных значениях речь не идет — и при моделировании необходимо учитывать ошибки исходных данных и оценивать ошибку моделирования. К примеру, ошибка в 10% в исходных данных может привести к кратной разнице в результатах и т.п. Более того, полная ошибка в результатах модели может оказаться больше полученного результата, что делает его и вовсе бессмысленным. Это большая разница между инженерными дисциплинами, оперирующими данными реального мира, и программированием, оперирующим идеальными (ну почти, с учетом представления числа) значениями.
Если вы поняли из статьи, каким образом множество стохастических моделей может сопоставляться с результатами интерполяции, мой комментарий для вас тривиален :) Еще раз — исходные данные всегда не точные, и ошибка исходных данных учитывается на всех этапах моделирования, если речь идет о геоинформационном и геологическом ПО. Поэтому и множество стохастических моделей с заданной вариабельностью используется, вообще говоря.
интерполяция в точку с уже известным значением должна давать это самое значение
Отвечаете на неё:
конечно, выше подразумевается доверительный интервал
Рискну ответить за автора (вы ведь тоже беретесь утверждать, что подразумевает автор!): никакого доверительного интервала не подразумевается. Упомянутые в статье интерполяторы обязаны воспроизводить значения hard-data точно, никак не интерпретируя погрешности приборов и так далее. Можно узнать ваш ответ на два простых вопроса, которые я упомянул сообщением выше?
Поэтому и множество стохастических моделей
Представьте себе гипотетический вариант, при котором используемые приборы имеют погрешность, которой можно принебречь. Раз вы пишете «поэтому» — получается, тогда множество стохастических моделей и не нужно использовать?
Конечно нет! Множество стохастических моделей нужно использовать не потому, что приборы врут, а потому что кригинг сглаживает!
Упомянутые в статье интерполяторы обязаны воспроизводить значения hard-data точно
Нет, конечно, это не так. Объяснять нужно или сами разберетесь?
никак не интерпретируя погрешности приборов и так далее.
Исходные данные заданы диапазоном значений — измеренное значение плюс-минус погрешность. Любое значение из этого диапазона допустимо и точного мы не знаем и знать не можем. Есть такая наука — метрология, понимаете, потому что погрешности никак нельзя игнорировать в инженерных науках. И да, небольшая погрешность каждого исходного значения в результате может сделать модель вообще негодной, смотрите про устойчивость и неустойчивость дифференциальных уравнений и алгоритмов их решения (это разные вещи). Как раз отсюда и следует, почему нам интересно стохастическое моделирование такое, что множество вариантов ограничено заданной вариативностью (согласно точности исходных данных) — так мы можем оценить худший, средний и лучший результаты моделирования. Рекомендую посмотреть любой вузовский учебник по численным методам.
не потому, что приборы врут, а потому что кригинг сглаживает!
Ошибка интерполяции неточных данных зависит как от ошибки в данных, так и от алгоритма интерполяции — и эта ошибка быстро нарастает при росте неточности в исходных данных и малом их количестве. Если вы не будете интерполировать эти данные, ошибка в них все равно останется, очевидно же.
Вы отвечаете вопросом на вопрос. Но мне не сложно пояснить — метод обратных квадратов (как и других степеней, вообще говоря, посмотрите, что такое IDW) не определен в точке, где задано исходное значение. Знаете, на ноль делить нельзя… что-то забрезжило в сознании? Так вот, обычно из нерегулярной сетки пересчитывают в регулярную, так что значения исходные и интерполируемые пространственно не совпадают. Также, этот метод можно использовать для сглаживания на регулярной сетки — выкалывая центральную точку, то есть совпадающая исходная точка игнорируется. В результате получается сглаженная поверхность с ограниченным пространственным спектром. Итого, исходные и результирующие данные чаще всего определены в разных точках, но даже если они определены в одних и тех же точках, они не совпадают. Попытка взять совпадающие исходные точки «как есть» приведет к нарушениям гладкости поверхности и бесконечному спектру. Посмотрите спектры триангуляционной поверхности и интерполированной методом обратных квадратов, к примеру. Теперь понятно?
Есть простая математическая постановка задачи интерполяции. Есть конкретный математический метод: метод обратных квадратов расстояний. Да, он принудительно в точке имеющихся значений присваивает заданное значение, и об этом в статье написано — но ведь и предел при приближении к точке сходится туда же! Есть конкретный математический метод: кригинг. Он потому и называется точным интерполятором, что воспроизводит переданные в него значения точно. А вы вместо этого начинаете разводить наукообразную демагогию на тему того, как всё на самом деле сложно. Мы знаем, что всё сложно — но пытаемся объяснить простые вещи, которые лежат в основе!
Вы бы воздержались от оскорблений, тем более, раз вы представитель компании. Тем более, что я статью не критиковал — по себе знаю, как сложно объяснить все это простым языком. Если уж в мой профиль заглянули, то в геологии я разрабатываю и публикую открытое ПО и модели, см. мой гитхаб: https://github.com/mobigroup Так что я на вашу должность не претендую, если что:) А если профиль весь прочитаете, то и вовсе станет стыдно хвалиться, что вы где-то преподаете.
Далее, далеко не все интерполяции в заданных точках дают исходные значения. Выше я написал про метод обратных расстояний с выколотой средней точкой — который по определению дает отличающееся значение в исходных точках. Зачем это нужно, я тоже написал. Более того, приведенные в статье интерполяции из неравномерно заданных значений на равномерную сетку также дают сглаженные поверхности — что и сказано в статье, при этом, оставлено за кадром, какие проблемы возникают, если одна или несколько исходных нерегулярных точек совпадут с точками регулярной сетки. При этом, ценны методы получения исходных значений в исходно заданных точках и при этом гладкой поверхности, и вот здесь речь заходит про криггинг. И об этом тоже сказано в статье. С чем вы спорите?
P.S. Почему я вообще трачу на эту дискуссию время, так это потому, что периодически есть необходимость просто и понятно описывать разные алгоритмы. Но конкретно в блоге данной компании — токсичность удивляет.
Где-то в статье сказано, что все интерполяторы в заданных точках дают исходные значения? В статье сказано, что естественно это потребовать, с прицелом на те интерполяторы, которые рассматриваются ниже. Метод обратных расстояний имеет выколотую точку, но чему равен предел при стремлении к выколотой точке? А кригинг, я всё-таки хочу у вас узнать, даёт-таки исходные значения в исходных точках?
P.S. К сожалению, если посмотреть со стороны, то токсичность появляется у статей в этом блоге только в комментариях, и по удивительному совпадению, в ваших.
Не вижу никаких усложняющих рассуждений. Давайте на примере. Даны два значения плотности — 2.95 и 3.05, точность определения каждого плюс-минус 10%. Так значение 3.0 для этих двух величин — это интерполяция или аппроксимация? По вашему мнению, это значение совпадает или не совпадает с измеренными данными? Сколько можно сделать интерполяций, при наличии разброса значений?
Если непонятно, откуда ошибка, поясню еще раз. Пусть 5% ошибка определения плотности по несколько поврежденным образцам керна (см. статью), еще 5% ошибки добавляется из-за вычисления геологических параметров типа плотности по геофизическим измерениям (каротажным диаграммм) проводимости и проч. для диапазонов и скважин, где анализов керна нет (см. статью). Это еще скромная ошибка, на самом деле.
В статье речь про интерполяцию кригингом, так что вычисляются только значения между измеренными. Но, как я уже писал выше, это не важно — при переходе от нерегулярной сетки к регулярной все значения на регулярной сетке являются интерполированными, то есть исходные значения не попадают в итоговые. Дело не в этом. Кригинг это такая интерполяция, которая минимизирует ошибку интерполированных данных в предположении гауусовости пространственного распределения значений. Таким образом, и исходные значения, заданные доверительным интервалом, прекрасно подходят, а «магический» коэффициент в ядре криггинга из примера статьи (20) и есть мера разброса значений! Даже в вики об этом явно сказано:
The kriging interpolation, shown in red, runs along the means of the normally distributed confidence intervals shown in gray.
Но что делать, если распределение значений не гауссово? А если оно гауссово, но зависит не от расстояния? А если оно должно быть гауссовым, но при этом есть разрывы непрерывности? Вот тут и пригодится стохастическое моделирование, где можно и различные виды законов распределения попробовать, и разрывы непрерывности задать и так далее. И, разумеется, метод Монте-Карло намного более знаком каждому, нежели термин стохастического моделирования. И вы еще говорите, что это я что-то усложняю:)
Так значение 3.0 для этих двух величин 2.95 и 3.05 — это интерполяция или аппроксимация?
По моему мнению это ни то ни другое, это просто третье число. По определению, оно не совпадает ни с тем, ни с другим, потому что число X по определению совпадает только с самим собой. Значение — это и есть значение, то есть просто число, оно совпадает только с самим собой. Интерполяций на двух ваших числах 2.95 и 3.05 нельзя сделать ни одной, потому что для интерполяции функции нужна независимая переменная и зависимая, а вы мне сообщили почему-то только видимо два значения зависимой переменной.
Теперь мои вопросы:
1) Какое отношение кригинг имеет к регулярной и нерегулярной сетке?
2) Почему на вашей картинке серые доверительные интервалы схлопываются в точку там, где по оси X расположены красные квадраты, и почему схлопнутая точка доверительного интервала нулевой длины магическим образом совпадает с красным квадратом?
Это значения с заданной погрешностью, то есть интервалы. Вы же любите безразмерные сетки — ну и определите сетку так, что эти значения находятся в соседних ее узлах.
1) интерполяция нужна для получения приблизительных значений там, где они не определены исходно — то есть в узлах сетки для вычислений модели, которая, как правило, выбирается регулярной. Скажем, нужно вам моделировать миграцию нефти — необходимо пористость и прочие параметры в каждом узле расчетной сетки задать.
2) картинка из википедии, статья кригинг, об этом явно сказано выше. Вам непонятно, что в вики написано или вы не смотрели?
2) Почему на вашей картинке серые доверительные интервалы схлопываются в точку там, где по оси X расположены красные квадраты, и почему схлопнутая точка доверительного интервала нулевой длины магическим образом совпадает с красным квадратом?
Но мне не сложно пояснить — метод обратных квадратов (как и других степеней, вообще говоря, посмотрите, что такое IDW) не определен в точке, где задано исходное значение.Что-то не очень у вас с математикой, с чего вы взяли, что значение в исходной точке не определено?
Значение 1/R не определено при R=0. Поэтому в первоначальном определении кригинга значения в исходных точках доопределяются отдельно.
У вас же на картинке α (слева) приравнено к αk (справа), что не имеет смысла. На самом же деле, это просто тождество и слева тоже должно стоять αk, но какой в этом смысл? Домножая числитель и знаменатель на квадрат Rk, вы просто заменили 1/Rk на коэффициент αk, пропорциональный 1/Rk, который вы не можете вычислить.
А кроме того, если считать по одной формуле и значения в исходных точках, доопределив соответствующие веса как единичные (вычислить их не удастся), из-за не нулевого вклада от остальных точек вы получите отличающиеся значения в исходных точках — против чего вы очень протестовали выше:)
З.Ы. при чем тут кригинг?
Вы зачем-то пытаетесь доказать тождество альфа_k равно альфа_k. Так чему равно это самое альфа_k? А равно оно 1/(R_k^2) и вычислить его вы не можете. И вы еще заявляете, что это у кого-то другого плохо с математикой?:)
Возникло несколько слов про доверительные интервалы. В этих математических моделях нет никаких доверительных интервалов и формулы точны. Если рассматривается определённая погрешность стоящая за измерениями, которые мы здесь интерполируем — эти вопросы нужно решать отдельно и не смешивать. Тоже самое относится к разломам.
То есть выдаваемое выше за доказательство тождество от olegbor вы подменяете на формулу 2 из статьи? Просто отлично. Посмотрите выше, что в этой ветке обсуждается.
Да, верно, про кригинг это другая ветка дискуссии, каюсь, попутал.
метод обратных квадратов (как и других степеней, вообще говоря, посмотрите, что такое IDW) не определен в точке, где задано исходное значение
Давайте я сделаю вид, что ничего в этой теме не понимаю, и схожу хотя бы в вики на тему IDW. Что я там увижу?
Как же так, вы же говорите, что он не определён в точке? Скажете «не определён, а доопределён»?
Выше в этой же ветке я так и сказал:
доопределив соответствующие веса как единичные
В ответ на olegbor:
Что-то не очень у вас с математикой, с чего вы взяли, что значение в исходной точке не определено?
Если что, «доопределить» это математический термин, вовсе не идентичный термину «определить».
P.S. Вы там все такие, любой ценой стараетесь запутать и оскорбить собеседников?
P.S. Мы все эти статьи пишем, чтобы попытаться систематизировать, упростить и объяснить. Но во все эти статьи вы приходите с комментариями, суть которых в том, чтобы показать, что всё гораздо сложнее — то есть действуете в противоположном нашему направлении. Я уже говорил, понятно, что вам, как фрилансеру, нужно себя зарекомендовать. Может быть уже хватит? Оставьте нас уже с нашими заблуждениями и примитивными представлениями? С удовольствием загляну в вашу статью на тему интерполяции.
Кто бы то ни был (Я имею в виду автора статьи). Всё бы ничего, да вот одна проблема, текст выглядит вымученным, написанным через силу, но, якобы, с претензией на литературность. Нет. Нет её тут. Автор, видно, тебе привычно писать около научно-официозным стилем, так лучше бы им и написал, а не мучил себя, меня и читателей. Сама статья хорошая, тема интересная.
Было бы интересно еще услышать про объектное моделирование и нейронные сети — сейчас это модная тема и на многих геологических конференциях позиционируется как «наше все».
Так ведь и нейронным сетям нужно данные-то подготовить, вот автор и рассказывает, какие данные и как:) С правильно подготовленными данными можно даже без электронных вычислительных средств работать, используя различные палетки, к примеру.
Не рассказывает, на самом деле. Потому что при наличии в реальном мире разрывов непрерывности все это не работает. И тот самый дорогой софт, о котором с таким пренебрежением автор то и дело упоминает, просто умеет работать с таким вещами, о которых автор, видимо, даже не догадывается.
Не было, разумеется, поскольку никогда литосфера не была статичной. Древние разломы перекрываются современными, геологические блоки двигаются, литосферные плиты раздвигаются или сдвигаются и трутся и т.п. Постройте интерферограммы любого участка земной поверхности за полвека (за это время можно найти данные) и вы увидите, что изменения происходят непрерывно (в том числе, очень значительные изменения — сдвиги на десятки и сотни метров вполне возможны).
Кстати, немало публикаций на тему выделения палеоразломов — это важная и нужная задача, а палеоповерхности выделить проще. Вот пример из практики — в Африке не редкость газ, прямо выходящий на поверхность, при этом горизонты залегания привязаны к палеоповерхностям, а точки выхода на поверхность к современным разломам. Притом, этот газ мигрировал из кристаллического фундамента по палеоразломам, уже «заросшим», в палеоловушки, потом они нарушились более современными разломами...
Вот, как раз в тему статья про кригинг интерполяцию при наличии разломов, попалась по тегу VTK, как ни странно:
3D Visualization of Stratum with Faults Based on VTK
Тема-то общеизвестная и актуальная… в отличие от просто формулы из вики.
У геологов свой майнкрафт: как построить то, что не знаешь, по тому, что знаешь