В общем, приведет какой-то кусок кода совершенно без объяснения почему именно так.
Имхо, это главный недостаток очень многих подобных статей. Возможно, в данном случае автор посчитал, что теория тривиальна и общеизвестна. Однако математика - это
что копать можно почти в любом месте, и там откроется бездонная глубина. Я не претендую на особую глубину... но если интересно чуть поподробнее, то кое-какие идеи ляпнул в соседней ветке
При усреднении данных происходит их потеря с обоих концов исходного массива.
С философской точки зрения, это совершенно не обязательно. Например, мы заменяем отсутствующие точки на Nan, а затем работаем с сигналом так, будто он бесконечный. После любой фильтрации длина ряда
остается такой же, как была
Точнее, у нас есть еще одна настройка - это разрешенный процент пропусков в окне. Если она задана равной нулю (т.е. пропуски запрещены), то алгоритм работает по классике: длина ряда уменьшается на половину окна на обоих концах. Фишка в том, что эту настройку можно менять от 0 до 99.9999%, и получать результат, оптимальный для текущей задачи
Идея в том, что обработка пропусков внутри ряда и на его границах идет по совершенно одинаковым алгоритмам
Подробнее
Вот пара статей, где можно об этом почитать (раз, два), а вот тут можно взять их полные тексты. Опенсорсная программа для Винды, в которой эти идеи реализованы, лежит вот тут. Но, там внутри есть не только сглаживание, а еще дохрена всякой другой ерунды, поэтому порог вхождения -
не пожелаешь врагу
это конечно лишь мое маргинальное мнение... но учитывая, что я не только автор проги, но и ее самый активный пользователь (с 30-летним стажем), советую все же прислушаться ;-)
А исходники к этой программе лежат вот тут. Но, WARNING-WARNING-WARNING: там все написано а) на фортране и б) научными сотрудниками, а не программистами. Поэтому слабонервным лучше посмотреть основные идеи (например, там же в архиве WinABD_Help.zip закопана справка к программе, она чуть подробнее, чем упомянутые статьи) и сделать самостоятельно ;-)
Простейшим решением является добавление одной или нескольких точек близких к уже вычисленным данным.
Так у Вас будет смещение, если на краю ряда присутствует заметный тренд. Сглаженный ряд загнется к горизонтали (кстати, на Вашем графике "Результат работы алгоритма" оно хорошо видно слева). Чтобы этого избежать, можно
экстраполировать сигнал линейно за пределы фрагмента, а потом учесть эти точки в окне сглаживания
Пара примеров, как это работает в разных случаях, есть вот тут: раз, два, три. Полные тексты статей можно взять там же.
Не гит, а гитхаб. Вам не нужен гит для версионирования,
Да, спасибо за уточнение. Я же говорю, что никогда гитхабом не пользовался, т.к. необходимости не было, и лишь очень примерно представляю себе общую идею (а в терминах путаюсь).
но при этом очень нужен сертификат разработчика?) Зачем?
Простите, я наверно был чересчур многословен, и причина моего вопроса при чтении поста ускользает. Я - автор большой самодельной программной системы, у которой есть определенное количество пользователей. Эта система регулярно (несколько раз в год) обновляется, после чего каждому пользователю приходится объяснять своей Винде, что он хочет запускать только что скачанные с моего Я-диска программы. Причем, их там целая куча (в пакете - 40 exe-шников, которые все время вызывают друг друга), поэтому обычный способ "нажал-подтвердил" не очень удобен. Вдобавок у нас есть одна особенность архитектуры: взаимодействие всех программ координирует скрытый процесс (у него нет собственного окна, оно бы просто мешалось при работе, как мусор). Вероятно, поэтому некоторые версии 10-ки
точнее, некоторые комбинации 10-ка + установленный поверх антивирус
тот же антивирус с другой сборкой 10-ки, а так же та же самая сборка, но с другим антивирусом - работали
вообще отказывались запускать программу без очень настойчивых танцев с бубном.
В общем, я всего лишь хочу упростить жизнь своим пользователям, чтобы собранные мной программы просто запускались и делали нужное юзеру дело без лишних вопросов. Мой собственный "статус разработчика" мне при этом до фени, естественно. Если этой цели можно добиться каким-то другим способом (применив какой-то не слишком заумный трюк на моей стороне) - расскажите, буду благодарен за советы.
просчитать задачу для n от 7 до хотя бы 100 - если мы увидим, что комбинации взаимных расстояний циклически повторяются
Имхо, есть сомнения, что такой расчет что-то даст: при больших N задача вроде как должна приводить к динамическому хаосу (см. сценарий удвоения частоты Фейгенбаума или что-то подобное)? А в хаотической системе малые возмущения (=ошибки округления) нарастают со временем экспоненциально. Как бы мы эти ошибки ни уменьшали, козырный туз экспонента кроет любую карту? Или при целочисленных периодах динамический хаос не возникает?
С другой стороны, интуитивно кажется, что будь периоды несоизмеримыми, траектория в фазовом пространстве этой системы в конце концов должна пройти бесконечно близко к любой его точке? Если это так, то для таких периодов теорема доказана? Или нет?
Впрочем, даже если да, то для произвольных (а тем более целочисленных) периодов отсюда все равно ничего не следует....
Прошу прощения за дилетантский вопрос. Я тоже заинтересован в получении сертификата разработчика для своего проекта, но опасаюсь, что в моем случае это полностью нереально. Поэтому прежде, чем начинать курить эту тему, хотел бы получить советы (мнения) тех, кто уже прошел этот путь.
Вводная такая. Есть некоммерческий проект, очень похожий на опенсорс: рабочие сборки доступны для всех желающих, исходные коды формально открыты (все пользователи имеют к ним доступ). Документация тоже
общедоступна
Помимо объемной, на 500 страниц, справки, проект описан в нескольких рецензируемых публикациях (например 1, 2, 3), а еще есть десятки публикаций (причем не только моих), где описано его применение для обработки научных рядов
Но, выложено это все не на Гите, а на Я-диске. Продублировать все на Гит - не проблема (я просто не работал с ним никогда). Однако, там будет именно эхо-копия проекта, а не первооригинал, так как сейчас у меня есть налаженная система сборки, и менять ее не хочется
а в нее Гит не вписывается - он там просто не нужен
Более конкретно, сборка проекта у меня сейчас идет сугубо локально, под Виндой, в среде VS 2008. При этом требуется настройка кучи внутренних зависимостей. Переносимость организована так: на каждой машине настраивается логический диск O:\, туда кладется все дерево папок, и все эти пути явным образом прописаны в конфигах сборки. Это позволяет нам выполнять сборку проекта на разных машинах (дерево папок, включая и папку с настройками проектов, синхронизируется через Я-диск или как-то еще). Такая система у нас работает еще с 1990г. При этом разработчиков изначально было два с половиной человека (а сейчас и вообще полтора), поэтому никакой необходимости мерджить ветки или контролировать версии не возникает вообще. Все изменения всегда делаются только на мастер-машине с актуальной копией проекта. То есть, мастер-машины могут меняться, но мы всегда работаем с кодом строго поочередно.
Отсюда первый вопрос: я правильно понял, что для использования описанной в статье схемы сертификации сборка должна происходить непосредственно из репозитория Git? Онлайн-сборку мне наладить
почти нереально
Во-первых, я этого просто не умею, так как всегда все собирал локально, а Гитом не пользовался (когда он появился, у нас уже лет 15 как все работало, а как известно, "если работает-то не трогай"). Во-вторых, у меня проприетарный компилятор. Я вообще не уверен, что он может компилировать файлы, лежащие где-то в сети, и выкладывать туда результат. Но даже если это можно как-то настроить, то тогда появляется В-третьих: у меня даже на локальном компе сборка занимает определенное время... а когда идет активная работа над проектом, то я порой делаю полную пересборку по несколько раз в день. И мне очень бы не хотелось, чтобы этот процесс как-то зависел от доступности онлайн-ресурсов, или просто тормозил из-за этого.
Ну и еще один нюанс: мой проект включает около 40 субпроектов, для каждого из которых есть свои настройки сборки, которые я иногда меняю. Сейчас они прописаны в vfproj-файлах VS 2008. А для онлайн-сборки все это надо будет прописать в батниках? В принципе, я умею копировать команды сборки из VS куда-то еще, но делать это регулярно (при каждом изменении любой настройки) и безошибочно - это точно не мой конек. А более новую VS (которая вроде бы уже что-то знает про Git) я так и не установил, т.к. не сумел справиться с известными ограничениями....
В общем, хочется сборку по-прежнему делать локально...
Ну и второй вопрос: проект у меня компилируется в примерно 40 exe-шников (их число понемногу растет, но не быстро). Конечно, стабильную сборку я делаю не каждый день, и ради этого я готов иногда сделать 40 "Signing" вручную. Но достаточно ли будет для этого получить сертификат один раз?
P.S. Проект у меня очень узконишевый и
некоммерческий
хотя я и занимаюсь его развитием на работе примерно 20% времени, а еще 60% моей работы состоит в использовании этих программ для решения разных научных задач
Поэтому платные или чересчур времязатратратные способы получения сертификата не рассматриваются вообще. Но некоторое количество активных пользователей проект имеет, и если бы я сумел облегчить им жизнь ценой нескольких дней борьбы, то было бы здорово...
Вот я такой "плюшкин". Только не вижу пока необходимости лечиться ;-) Хотя весь дом и правда чем-то завален. И стены в своей квартире я очень изредка вижу: там или карты, или книжные полки, а то и просто фотографии всякие...
Единственный нюанс - я легко расстаюсь с вещами, которые можно купить. И гораздо труднее - со всяким хламом, который больше не выпускается. Например, в конце додиодной эпохи я как-то разжился двумя десятками лампочек накаливания на 1.5 и 2.5В. Мы их активно использовали в пещерах в качестве "ночника" в подземном лагере, "дожигая" таким образом подсевшие батарейки. Примерно половина из них израсходоваться не успела... и так и лежит у меня с тех пор в баночке на дальней полке в шкафу. Как и раритетный самодельный самохват из МГУ-шной спелеосекции, хотя весь мир уже много лет, как перешел на жумары (и я сам тоже давно с жумаром хожу). А еще я лет 20 назад сохранил детское велоседло, которое крепится на горизонтальную трубу ХВЗ между рулем и взрослым седлом, и подножки к нему. Хотя дети выросли и новых вроде не ожидалось, да и ХВЗ предполагался тогда под списание (он у меня 1984 года выпуска). Однако прошло много лет, на ХВЗ я перерезал каретку под квадрат, обновил всякие причиндалы, и по окрестностям сейчас езжу на нем. Походный титановый вел стремно бросать на опушке, гуляя в лес за грибами, или около магазина... А недавно я достал то самое седло из коробки, и сейчас дочка просто счастлива ездить именно на нем, а не на всяческих новомодных велокреслах (которые она тоже попробовала). И я ее вполне понимаю: сидеть впереди папы и держаться за руль, руками чувствуя повороты, видеть дорогу впереди, а не сзади, да и просто общаться на ходу постоянно - это не идет ни в какое сравнение с пристегнутым тюфяком на багажнике, даже если там кресло амортизировано. Кстати, выпущено это седло было еще в 1960-е годы, а вся конструкция - это невесомая обитая сверху кожей дощечка с поролоном внутри, ну и квазилатунные ушки для крепления к трубе рамы. Однако же, до сих пор все в порядке: уже пятый седок разменял свою первую велотысячу (в свое время я сам на нем с папой поездил). А сейчас попробовал поискать аналоги в магазинах, и обнаружил там только какую-то фигню типа вот этого или вообще вот такого. Ну и нафига мне такая конструкция, если у меня верхняя труба рамы на гибриде горизонтальная, а подножки идеально встают на переднюю трубу треугольника?
А еще я храню запас всяких тканей для самодельного турснаряжения, которые годами лежат в шкафу. Просто с той целью, чтобы если вдруг за день до поезда я вдруг решу чего-нибудь сшить, то можно просто выбрать в шкафу самый подходящий материал и сесть за машинку. А не искать его экстренно в магазинах и заказывать доставку курьером за 100км, дрожа при этом о том, не окажется ли заочно выбранная ткань не совсем подходящей. Да, эти ткани все время расходуются понемногу, но многие куски были куплены больше 15 лет назад - поэтому таки Плюшкин. А списанные парашюты я и вовсе в 90-х годах закупил (там у разных сортов парашюта ткань была разной плотности - от 60г/м у грузового до не помню сколько у тормозного, поэтому их надо было сразу несколько покупать для разных поделок). И до сих пор еще этого богатства метров 15 осталось... ну и неплохой мешочек с отпоротой с них стропой - она почему-то медленнее расходуется...
В общем, если условия позволяют, то я б не выбрасывал:
1) Даже ненужное, но если оно сделано своими руками или ценно, как память 2) То, что вроде как и не потребуется (1-10 шансов из ста), но купить больше нельзя ввиду изменения господствующих технологий и/или вкусов 3) То, что может потребоваться с вероятностью 10-50% и не имеет полных аналогов (пример - мое детское велоседло (т.е. аналоги продаются, но они сильно другие и по многим параметрам хуже) 4) То, что почти наверняка будет востребовано и израсходовано в ближайшие 10-20-30 лет, даже если аналоги можно купить
А вот с компьютерным железом у меня не сложилось. Умение его оживлять - это явно не мой конек. Хотя некоторые рабочие запчасти от списанного имущества рука не поднимается выкинуть - они ведь практически новые... У меня так однажды сразу три шнура питания (которые от блока питания в 220В) накопилось. А тут еще и рабочий комп пошаливать начал... В общем, пришлось победить свою лень, так что один шнур я отдал, другой подарил,
а к третьему
купил новый комп - естественно, без сетевого шнура ;-)
Если добавлять все возможные условия, то задача вырастет до размеров целого учебника.
$-)
нужно учитывать только данные условия и игнорировать те, которые не даны
Все так.
Только вот если взять, например, список вокзалов РФ, то внезапно окажется, что подавляющее большинство из них как раз проходные. Т.е. "электрички" могут туда прибывать с двух сторон. Скептики могут мне возразить, что интервал 10 минут для провинциального вокзала не реален. Ну так он и на московских вокзалах не так уж давно в регулярку вошел. Как бы не позже рождения этой задачки. А в Питере, кажется, и до сих пор нету, разве что на Балтийском вокзале (и то не факт - надо для каждого времени отправления прибывающие электрички считать, а я поленился).
Получается, что при решении этой задачи волей-неволей надо не просто тупо условиям следовать, а еще и додумывать недосказанное. То есть сообразить, что вокзал имеется в виду отнюдь не типичный, а совершенно особенный. Я бы даже сказал - почти уникальный ;-)
Что-то я сомневаюсь, что AI все эти обстоятельства у себя в нейронах прокручивает при подготовке ответа. Даже крамольные мысли проскакивают: а может, она просто похожие задачки/решения из массива текстов берет, и дальше по аналогии?
Но вообще, если у кого-то тут есть возможность, то было бы крайне интересно ход решения в этом отношении проследить. То есть понять, почему AI считает, что вокзал тупиковый. В задаче-то это не сказано.
Если, конечно, это можно сделать без явной подсказки в вопросе...
Голод и как следствие войны с развалом государств могут наступить гораздо раньше.
Именно так. И поэтому я думаю, что надо 1) изучать 2) прогнозировать и 3) приспосабливаться. Как раз чтобы избежать голода и войн. Потому что надежно управлять (как велосипедом) мы этой системой не можем. Мы даже погоду (которая меняется естественным образом) более-менее надежно предсказываем максимум на неделю. А тут речь про управляющие воздействия.
Но еще важнее, что этот "велосипед" может отзываться на поворот руля совсем не так, как мы думаем. Например, на реальном велосипеде, чтобы повернуть вправо, я сперва виляю рулем чуть левее, затем велосипед наклоняется вправо (т.к. опора оказалась левее центра масс), и
только потом я вхожу в правый поворот
не уверен, что пример хороший, но интуитивно мне кажется, что все происходит примерно так. Я знаю, что интуиция может врать, но имхо 80 тыс.км на трех велосчетчиках (см.аватарку) как бы дают право строить такие гипотезы
Так вот, кто даст гарантию, что с климатом все линейно и просто? А не так, как в примере с велосипедом?
Короче, если бы я впервые сел на велосипед, и, выехав на шоссе, почувствовал, что что-то пошло нетак, то я лучше приторможу, выставлю ногу и побыстрее соскочу (или даже упаду) на обочину, не дожидаясь приближающегося столба. Вместо того, чтобы на практике пытаться изучать реакцию вела на виляние рулем, и в результате закончить маршрут на разделительной полосе под догнавшим меня самосвалом.
Короче, если работает - то не трогай. На данный момент у нас нет никаких четких признаков, что саморегуляция именно биосферы нарушена; наоборот, есть уверенность, что все наблюдаемые колебания находятся глубоко в пределах нормы для биосферы. Я из этого делаю вывод, что чинить именно биосферу - не нужно! (Еще раз - та же самая аналогия). А вот о чем можно и нужно подумать - так это о том, как нам подготовиться к возможным изменениям в биосфере, по-максимуму используя открывающиеся возможности и минимизировав траблы (которых тоже наверняка будет по самую крышу).
А то в определенных кругах считается хорошим тоном упоминать только про траблы, и брезгливо избегать недоумков, которые намекают на позитив. Хотя та же биопродуктивность, или Севморпуть уже дают человечеству четкие и очевидные выгоды, а вот негативные (повышение уровня Океана, погода, проблема с с/х угодьями) пока что остаются преимущественно на уровне опасений (чувствую, что меня сейчас загрызут, но все-таки, прочтите, пожалуйста, сперва текст под спойлером, чтобы хотя бы выслушатьаргументы).
Да, опасений вполне обоснованных, но вовсе не настолько однозначных, как нас убеждают
Например, многие ли тут знают, что длянекоторых распределений с тяжелыми хвостами оценка среднего будет расти с ростом выборки, даже если процесс сугубо стационарный? И что ущерб от стихийных бедствий (землетрясения, наводнения) лучше всего описывается именно таким распределением? Поэтому рост ущерба от стихийных бедствий (это - статистический факт!) сам по себе не доказывает, что процесс нестационарный.
Да, вот такой статистический парадокс: при совершенно стационарном процессе средний ущерб (отнесенный к единице времени) вполне может расти со временем. Причем расти убедительно и закономерно. Как говорится, ничего личного - это просто математика. Подробности можно найти в работах В.Ф.Писаренко и М.В.Родкина. У них с 2000-го примерно года вышла целая серия статей, где они обстоятельно разбирали отдельные аспекты этого парадокса. Поэтому конкретные работы перечислять не буду, за исключением тех, которые я когда-то прочел и на которые сам ссылался: раз, два, три, четыре.
И аналогичный вопрос про сельхозугодья. Да, есть модели, которые четко показывают, что в определенных регионах условия для ведения сельского хозяйства при повышении температуры ухудшатся. Это показано довольно надежно. Но, в каких-то других регионах будет наоборот (осадков-то станет больше). А еще границы растительных зон сместятся к полюсам (это опять-таки в целом плюс). Ну и просто биопродуктивность будет расти. Какой суммарный эффект мы при этом получим? А вот это уже вопрос, поскольку при вычитании двух больших чисел - выгоды и убытка, оба из которых известны с очень приличной погрешностью, разность будет оцениваться с просто гигантской сигмой.
И так далее про все остальное. Тот же океан поднимется на 60 метров (если поднимется) ну очень-очень не скоро. Никак не через пару столетий и даже тысячелетий. Ведь как только у полюсов значимо потеплеет, воздух там станет более влажным, и количество осадков вырастет многократно. Плюс усилившиеся циклоны будут все чаще перебарывать стоковый ветер. А зимние температуры в Антарктиде в обозримый период останутся отрицательными. Поэтому динамика южной полярной шапки в таких условиях - это совершенно не однозначный процесс. Когда у нас есть два близких по величине, но разнонаправленных вектора, погрешность оценки их суммы растет многократно. А мы эту сумму хотим прогнозировать для совершенно других условий, чем сейчас (напомню, что такие прогнозы делаются климатическими моделями, а не погодными; там другой принцип прогноза).
И такой же эффект возможен с горными ледниками (да, сейчас они уверенно тают, но экстраполяция этой тенденции пропорционально росту температуры, как это иногда делают, - это уже за гранью добра и зла, имхо).
Не поймите меня неправильно. Я вовсе НЕ утверждаю что "все хорошо и можно расслабиться"!! Наоборот, уже видно, что ситуация достаточно стремная. Именно поэтому я категорически против "лозунгового" подхода к принятию важных решений. Хватит уже, наелись! Сколько еще воробьев надо убить и кроликов заселить, чтобы понять: биосфера сложнее, чем гвоздь, который реагирует на удар молотка понятно и однонаправленно? Может, все-таки будем форсировать научный подход к проблеме? Да, он ужасен; да, он не точен; да, ученые не всегда честны и т.д. и т.п. Но как сказал один известный чувак, все остальное работает еще хуже.
_____
Дедушка - старенький, ему все равно. (c)
Если это намек, то тут
трудно ответить, не затрагивая при этом
тему перехода наличности (если Вам кажется, что я тут что-то напутал с пробелами, то это такая шутка; пробелы же лающие могут переставить по своему усмотрению ;-)
Но тем не менее, уточню, что у "дедушки" сейчас трое детей, и ему совершенно не безразлично, в каком мире они будут жить.
каковы научные данные и представления о гипотетическом скором извержении Йеллоустонского вулкана?
Если Вы меня спрашиваете, то ответ - не знаю. Я сам извержения не прогнозировал, хотя методику чуть-чуть знаю (общался с вулканологами в ИВиС). По сравнению с прогнозом землетрясений, у вулканологов просто рай на Земле, т.к. там и физика лучше понятна, и мониторинг налажен. И вообще, им для надежных прогнозов обычно достаточно сейсмики с геодезией. Как я понимаю, такие данные на район вулкана доступны, можно брать и анализировать. Что многие и делают. Но лично я никаких серьезных прогнозов близкого извержения не встречал.
Единственный недостаток подобных методов - там упреждение ограничено сутками, максимум месяцами, так как они фиксируют уже начавшуюся активизацию. А вот прогнозировать, когда (в будущем) она начнется, мы пока не умеем, насколько я знаю. По геофизическим временным рядам - очень вряд ли. Скорее всего, они тоже могут показывать только лишь факт начавшейся активизации. Правда, я сам работал с временными рядами только с Камчатки и из БНО (это рядом с Эльбрусом). Может в других местах по-другому? Имхо - сомнительно.
Так что по Йеллоустону могу только в Википедию отослать. Конкретно эта страница имхо вполне адекватно написана
1) Статистический анализ бенчмарков (постоянная нагрузка в условиях нестабильной инфраструктуры). 2) Корреляционный анализ ожиданий СУБД (случайная нагрузка в условиях нестабильной инфраструктуры).
Для начала скажу, что я тут не в теме совсем. У нас в геофизике выбросы - это либо явный брак, либо наоборот, что-то интересное (если они лежат в физически допустимых пределах, естественно).
Поэтому не принимайте нижесказанное чересчур близко к сердцу. Но вообще, в моем случае я бы поступил так:
1) отсеял мегавыбросы, которые на 99.99% являются браком мониторинга. Т.е. в данные как-то затесалось значение, не имеющее отношения к реальности. Если у Вас такое бывает, конечно
2) Далее про "реалистичные" выбросы. Т.е. когда нагрузка измерена правильно, но просто она резко отличается от обычной. Тут бы я сделал так:
3) Разделил сигнал на "норму" и "выбросы":
3а) "Анализ тенденции" я бы делал по ряду вообще без выбросов. Который показывает только "норму" и ее медленные изменения. Как его сглаживать при отсутствии выбросов - не важно, все методы дадут одно и то же примерно.
У нас это технически реализовано так: сперва мы идем одним фильтром и заменяем выбросы Nan-ами, а затем считаем среднее в окне по не-Nan-ам:
Тут SUM и COUNT - это массивные операторы, вычисляющие 1) сумму маскированного массива (второй параметр = маска) и 2) количество не-Nan-ов в массиве Data. (Там, естественно, лежит попавший в текущее окно фрагмент сигнала). А NotNan() - это элементная функция, которая применяется к каждому элементу массива.
Массивные операторы сейчас работают практически мгновенно
В древности, когда у нас все было на DOS-фортране, а скользящие окна и ряды уже были длинные-длинные, я писал всякие трюки с поэлементным добавлением и выкидыванием элементов из массива Data по мере движения окна (мы обычно смещаем окно на одну точку, чтобы не ухудшать дискретизацию времени в обработанном сигнале). А не так давно обнаружил, что при размере окна порядка миллиона отсчетов теперь нет смысла с этим морочиться. А более широкие окна мы почти не используем. В общем, с эффективностью у Фортрана всегда все было неплохо, а теперь еще и читаемость кода подтягивается ;-)
В примере- фортран-95, но в других языках сейчас уже наверняка должно быть что-то подобное
3б) Также я бы сделал сигнал с выбросами, в который включаются все данные. То есть, в этом случае мы считаем аномалии частью "правильного" сигнала, просто не очень обычной.
Но тогда сглаживать медианой плохо - она просто уберет аномалии
А если мы хотим их убрать, то гораздо лучше взять ряд (3а),где выбросы вычищены совсем.
Поэтому тут я бы сглаживал
простым или ядерным скользящим средним
понятно, что если окно скачущее, т.е. смещается на свою ширину или полуширину каждый раз, то нужно брать обычное среднее. А вот для скользящего на одну точку окна я предпочитаю гауссово ядро (хотя гораздо более простое треугольное даст почти то же самое)
3в) Ну и третий ряд - это "чисто выбросы". Точнее, отдельно два ряда: "выбросы вверх" и "выбросы вниз" (если, конечно, они оба физически интересны). Это чтобы анализировать сами выбросы и пытаться понять их причины. В этом случае мы на первом шаге заменяем Nan-ами все не-выбросы, и т.д. Еще можно разделить ряды выбросов на ряд "средний уровень фона в текущем окне". Чтобы отнормировать амплитуду выбросов к текущей средней нагрузке.
Как видите, я бы попытался извлечь из сигнала максимум информации. У нас это оправданно, так как приборов в поле стоит очень мало, и однородные ряды данных - на вес золота. Когда (и если) они получены, то дальше совсем не грех заняться с ними чем-нибудь интересным. Насколько это может быть применимо в Вашем случае - это вопрос не ко мне. Я вообще-то сюда заглянул, чтобы дать ссылку на пару идей по работе с выбросами (их детектирование и коррекция/выбраковка). Но вот может ли какая-то из этих идей выстрелить в Вашем случае - это не мне судить.
Что является критерием выброса ? Z-оценка ? Превышение среднего ? Что то еще ?
К сожалению, у нас геофизические ряды, там совсем другая специфика. У нас в каждом конкретном сигнале причины выбросов (и оптимальные рецепты по работе с ними) различны. Если сигнал важный и интересный, то мы обычно пробуем с десяток разных критериев, и потом экспертно (=субъективно) смотрим и сравниваем: какой из них лучше нравится в плане результатов? В определенном смысле это подгонка, но другие варианты, говоря философски, тоже не идеальны.
Поэтому конкретно по Вашей ситуации я ничего не скажу: я просто не знаю. Я только хотел намекнуть, что вариантов решения - великое множество, и что выбор лучшего - это отдельный квест. Его можно искать априорно (если Вы точно знаете, чего хотите сделать и почему именно это), либо эмпирически (это когда Вы прищуренным глазом смотрите на сигналы, обработанные разными способами, в надежде в один прекрасный момент вспомнить греческий). Но вообще, если задача не совсем типовая, то ответ почти обычно приходится искать самому. Точнее, иногда можно подглядеть у соседа по парте, но для этого у Вас с ним должен быть одинаковый вариант. У нас - геофизиков - это очень редко бывает.
Но тут важна физика: в чем причина выбросов?
Эх.... Если бы это удалось установить . Период сбора данных = 1 минута. Период семплирования ожиданий СУБД =10ms. У меня пока нет инструментов для сбора статистики для периода менее 1 минуты.
Ну вот, Вы еще раз макнули мое самолюбие мордой в грязь ;-) Я почему-то до этого был уверен, что хорошие СУБД так не делают ;-) Что резкие выбросы на таких больших квантах времени - это плохо, и поэтому мудрые разработчики уже давно все подобные аномалии побороли. Точнее, я верю, что СУБД может ощутимо притормозить, если там подтянулись какие-то ресурсоемкие внутренние процессы. Но резко ускориться?! Ведь если запросов много, и они случайным образом поступают из многих разных источников, то согласно ЦПТ, выбросов там быть не должно? Да и резерв производительности СУБД не бесконечный... А не могли ли там еще какие-то аномалии и в инструментах сбора статистики наложиться?
В общем, на мой незамыленный взгляд профана, в такой ситуации можно попытаться проанализировать именно выбросы. Без фонового сигнала. Но мне легко говорить: я фактически всю жизнь такими трюками с нашими геофизическими сигналами занимаюсь (у себя мне для этого надо пару кнопок нажать). В Вашем случае это может быть и не нужно, и технологически неудобно....
Ещё, хорошо потом дополнить задачу изменением условия:"Теперь давай попробуем такое изменение условий задачи: сколько электричек прибудет на вокзал за тот час, что вы едете от него?".
А можно я немного из жизни добавлю?
Мой вокзал (ну вот так совпало) - курский. И если я еду с него к себе в Серпухов, и встречаю электрички ровно тем способом, как описано в условиях, то на Курский вокзал за час приедет (та-дам!) вовсе не шесть электричек, а ПРИМЕРНО 12. Ну или вообще 18.
Так как на мой любимый Курский вокзал электрички приходят не только со стороны Серпухова, но и со стороны, пардон, Каланчевки. (Он - не тупиковый). А еще на нем есть Горьковское направление (и вот оно тупиковое, но ветки быстро расходятся и те встречные электрички я вряд ли увижу, за исключением, может быть, первой).
Кажется, у меня появляются вопросы не только к AI, но и к репетиторам ;-)
Задача не очень понятна. Мы у себя (не СУБД!) просто исключаем выбросы, после чего уже разницы почти нет - что именно считать. Но тут важна физика: в чем причина выбросов? Как они входят в целевую статистику? От этого зависит, как с ними быть. Ну и цель надо поконкретнее ставить, т.к. первый (и главный) шаг при выборе наилучшего метода - это сформулировать цель обработки (= критерии оптимальности).
Еще есть идея взвешивания выбросов. Подробнее про обе идеи см. в справке к нашей программе ABD: файл WinABD_Help вот в этом каталоге, там раздел
3.4.1. Анализ и чистка выбросов. Выравнивание дисперсии сигнала, выбраковка аномалий (метод Level)
Программу можно взять там же, чтоб поиграться с рядами, прогнать через алгоритм Level с разными настройками и наглядно сравнить варианты. Задачи такого рода мы в ней щелкаем, как орешки - вот только сперва придется Ваши ряды туда загрузить, а с этим не каждый мидл справится ;-) Так как продукт узконишевый, и порог вхождения около потолка :-)
А вот справку гляньте, может что-то себе присмотрите. Если вопросы конкретизируете, может еще чего подскажу...
разве вообще должен подниматься уровень океана, если основные ледники уже как 10к лет почти полностью ушли?
Вообще-то никто не обещал, что сейчас у нас минимум льда в ледниках, и что еще меньше в естественных условиях не бывает. Даже наоборот: мы точно знаем, что "еще меньше" (и намного!) бывает. Ну а насчет "основные" / "не основные" можно возразить, что при таянии "основных" ледников скорость изменения уровня океана иногда достигала 10м за 100 лет, а в пиковые периоды даже больше. Сейчас у нас воды в виде льда (по сравнению с последними большими оледенениями) примерно в три раза меньше (60м vs 200м). Поэтому и пиковые скорости могут быть другими. Допустим, что пропорция такая же, как по льду - то есть тоже в три раза меньше. Итого получаем типичную скорость роста уровня на масштабе тысячелетий 0.3м за 100 лет, а пиковую - 3м за 100 лет (или даже быстрее). По факту у нас менее 0.2м. Как ни крути, но гипотеза о катастрофически быстром подъеме уровня океана в настоящее время объективными данными не подтверждается.
Разумеется Вы совершенно правы, что приведенные факты ни в коем случае не позволяют нам отбросить опасения уровня "А ну как если вдруг?!?" Больше того, я совершенно не отрицаю, что высказывать такие опасения (и анализировать их!) обязательно нужно. Однако давайте все-таки дифференцировать разницу между утверждениями типа "Я вижу волка: он вышел из леса и приближается к стаду, осталось 250м!" и этим самым "А ну как если вдруг?!?". И не будем выдавать второе за первое.
Я не отрицаю, что любой человек имеет право на свою точку зрения. Но вот лично я исхожу из того, что при планировании практических действий надо опираться прежде всего на объективные факты, и лишь во-вторых - на прогнозы (также построенные на этих фактах).
Да, это рискованно, так как при таком подходе можно проигнорировать вполне реальные риски, сформулированные сначала лишь на уровне опасений, а потом уже будет поздно. Но столь же рискованно, имхо, бросаться в другую крайность, когда нам предлагают бросить все ресурсы на предотвращение некоего риска, даже не оценив
вероятность его реализации
точнее, сравнивать риски надо по матожиданию ущерба, т.е. произведение суммы ущерба на вероятность реализации сценария. Но для этого надо иметь разумные оценки первого и второго...
Иначе можно под лозунгом "жизнь ребенка бесценна" потратить весь бюджет государства на один-единственный очень тяжелый случай. В результате чего сразу после этого миллионы других детей умрут от совершенно тривиальных причин, так как им, грубо говоря, не хватит зеленки (бюджет-то уже потрачен). Пример нарочито гиперутрированный, но суть опасений, надеюсь, понятна.
К тому времени, когда споры будут окончены, возможно, что будет уже слишком поздно (...) не дожидаться окончания споров, и воздействовать тем, чем можно, будь это хоть 10%?
Во-первых, поздно не будет. Даже в самых худших сценариях время, когда у человечества еще будет техническая возможность все повернуть вспять, исчисляется столетиями как минимум. Да, запоздалое лечение может обойтись гораздо дороже превентивного во всех смыслах. Но проблема в том, что мы не можем рассчитать последствия этого превентивного лечения. Из-за чего есть огромный риск, что непродуманные превентивные меры приведут к гораздо более фатальным последствиям, чем потенциальная болезнь.
Прошу прощения за надуманный мысленный эксперимент (фактологию я не проверял), но представьте себе условного больного с микроцарапиной. С большой вероятностью это и правда только царапина (за пару дней заживет), но точно так же есть риск, что его только что цапнула королевская кобра (а больница с антидотом в 1000 км). Во втором случае единственный шанс на спасение - срочно оттяпать ногу по самые уши. Кто из двух докторов прав, мы не знаем.
С потеплением ситуация имхо чем-то похожа, только времени на принятие решения у нас много больше. Так вот, моя позиция состоит в том, что надо срочно изучать ситуацию научными методами, а не доверять решение тому доктору, который более красноречиво размажет оппонента по стенке.
Вода сверху может хоть кипеть начать, оставаясь на глубине ледяной, совсем как в школьном опыте
По моим впечатлениям - очень вряд ли в силу вертикального и широтного перемешивания океанскими течениями. Они ведь очень мощные и сплошь и рядом уходят на глубину (вплоть до придонности). Но Вы правы, что тут есть вопросы, на которые надо отвечать научными методами (численные модели и пр.). Океанологи наверняка об этом уже задумывались. Было бы интересно, если кто-то тут знаком с такими работами и сможет тут компетентно ответить.
Не запутаться бы в производных. Значит, рост уровня СО2 продолжается, лишь темпы этого роста теперь постоянные, а не растут?
По данным пятилетней давности - да. Более поздние я не обрабатывал.
Выбросы тоже растут, а темпы этих выбросов тоже увеличиваются, или, как минимум, стабилизировались? Не может ли быть так, что обратной связью как раз и являются человеческие попытки ограничить выбросы?
Это правильный вопрос, и мы его пытались раскапывать. Однако прямых данных по объему выбросов мы не нашли (искал не я, а мой соавтор, свободно владеющий английским). Поэтому мы ориентировались на косвенные данные и помощь знакомых экономистов. По их оценкам, получалось, что выбросы (на тот момент) продолжали расти. Возможно, сейчас такая информация стала доступнее. Но я с тех пор к этой теме не возвращался, т.к. основная специализация у меня немного другая.
Формулировка, конечно, весьма и весьма характерная.
Не очень понял намек. Я подразумевал, что определенные компании (из вполне конкретных юрисдикций) получили очень серьезные прибыли, производя и продавая "правильные" хладагенты. И что их роль в лоббировании этих решений прослеживается довольно конкретно. Но я не хочу углубляться в эту тему, так как это уже политика. А я против политики на Хабре, особенно сейчас. Слишком уж это больная тема... Подробнее
могу сказать только одно
Господи, дай мне силы принять со смирением то, что я не могу изменить, и не возмущаться, мужество, чтобы изменить то, что могу, и мудрость, чтобы отличить одно от другого
Поддерживаю предыдущих комментаторов, если есть время/настроение/желание – сделайте статью.
Попробую ответить сразу на все три вопроса от @VanishingPoint, @Dr_Faksov, и @Rorg. Желание-то разобраться поглубже у меня есть. Тема-то довольно горячая, и определенное беспокойство у меня вызывает. Тем более, что есть шанс как-то применить свои профессиональные навыки для уточнения каких-то нюансов.
Но вот возможности разбираться сейчас нет. Я ведь НС в РАН, и работа у нас идет по планам. А туда такие задачи не вписываются особо. Я ведь специализируюсь на твердой Земле преимущественно. Инициатива у нас, конечно, не наказуема, но время на нее ограничено. А уж в "чужую" область я без соавторов, которые в теме, точно не рискну залезать. Я ведь в историю с атмосферным СО2 почему вляпался? Мы работали со "своими" временными рядами, и обнаружили, что самый обычный и интуитивно понятный метод наложения эпох (непорочный, как жена Цезаря), оказывается, может довольно грубо лажать при определенных условиях. Причем, совершенно не экзотических, а вполне типичных. Если вдруг тут кто-то интересуется временными рядами, то
вот подробности
Суть проблемы в том, что если ряд одновременно содержит сезонный эффект, тренд и пропуски наблюдений (достаточно двух опций из трех), то на выходе мы получим
наполовину фигню
Это легко доказывается численным моделированием: конструируем сигнал из нескольких компонент, затем делаем его декомпозицию и сравниваем оценки каждой составляющей и истинные сигналы, заложенные в модель. Пара примеров таких рядов (в дополнение к упомянутым в прошлых статьях) разобраны вот здесь: раз, два три. Причем, то же самое будет, если оценивать сезонный эффект не наложением эпох, а комбинацией гармоник либо на основе АР-подхода. Так как первопричины бага остаются и в равной мере влияют почти на любой такой алгоритм
Причем, она может дополнительно усугубиться, если длина ряда не кратна целому числу лет, или там есть скачки уровня, но с этим обычно борются превентивно.
Фактически это ставит под сомнение несмещенность оценок параметров такого сигнала, если все параметры модели оцениваются одновременно. Это, кстати, не только к геофизическим временным рядам относится, но и к эконометрике и т.д. И эти смещения настолько велики, что соизмеримы по величине с трендом глобального потепления на большинстве метеостанций с длиной ряда порядка 50 лет и меньше.
Но если мы построили неправильную модель временного ряда, то и выводы из ее анализа будут кривыми. А прогнозы - неточными.
В общем, в порядке борьбы с этим багом у нас возникла идея итеративной декомпозиции временных рядов на физически обусловленные компоненты, которая позволяет минимизировать смещение оценок параметров ряда. Ряды концентрации атмосферного СО2 идеально подошли для тестирования и апробации этого алгоритма. Вот почему я за них взялся
Если вдруг кому интересно,
то в публичной дискуссии нам обычно показывают только ряд концентрации атмосферного СО2 на ст.Мауна-Лоа, т.к. он самый длинный. Но на самом деле таких станций полно, причем на разных широтах. И другие достаточно длинные ряды мониторинга атмосферного СО2 среди них тоже есть. А самое интересное, что эти ряды неожиданно сильно отличаются от ряда на Мауна-Лоа, особенно если брать другие широты. Что и сделало эти ряды столь заманчивым объектом для тестирования наших алгоритмов. Особенно интересно на южном полюсе ;-).
Кстати, в упомянутых в прошлом посте статьях у нас приведены результаты по четырем станциям, а не только Мауна-Лоа. А реально было обработано даже больше. Так что эти выводы, за которые меня тут уже мимоходом причислили к провокаторам, приписав распространение "псевдо научных теорий", сделаны не совсем на пустом месте. Хотя лично я вообще никакого отношения ни к потепля-алармистам, ни к потепля-отрицальщикам не имею и вообще никогда не имел. Просто поделился своей точкой зрения на вопрос и теми аргументами, которые пришли в голову - как за, так и против...
Короче, я веду разговор к тому, что по части рядов атмосферного СО2 я могу "ответить за базар" не только ссылками на всякие википедии, но и рядами обработанных данных во всем их разнообразии. В статьи ведь вошел один процент картинок из тех, что мы насчитали. А еще любой желающий может скачать наши программы (тут exe-шники под Винду, а вот тут все исходные коды) и (там же) базу с рядами атмосферного CO2, которые мы обработали. И воспроизвести все эти расчеты, чтобы проверить каждое мое слово. Либо сделать по-своему, но с использованием
доп. возможностей наших алгоритмов
Там фишка в том, что мы пропуски не заполняем ничем, а работаем с рядами as is. Если пропусков нет, то алгоритм работает по классике. А если есть - то применяются всякие трюки на уровне конкретного метода, чтобы оценка получилась несмещенной на каждом шаге. У нас есть серьезные подозрения (численное моделирование и др.), что такой подход работает не хуже, чем подход на основе самого идеального заполнения пропусков. Если же мы не можем заполнить пропуски идеально (что на практике чаще всего и бывает), то наш подход в общем случае значительно лучше. Имхо. Подробнее см. вот тут. (Полные тексты всех упомянутых статей здесь).
Но, это только по части обработки атмосферного СО2. В остальных же вопросах, затронутых в первом посте, я разбираюсь на уровне продвинутого любителя, плюс некоторая доля физического здравого смысла (хотя он иногда и подвести может). Проще говоря, рецензируемых публикаций по теме у меня не было (разве что косвенно какие-то подпункты где-то затрагивались). Причем, у меня еще и
проблемы с английским
поэтому обзоры для меня всегда соавторы составляют. А я больше ориентируюсь на их мнение... ну и на походные разговоры у костра со всякими знакомыми гляциологами/гидрологами/климатологами, благо таких хватает. А не на "раскопки" литературы.
С учетом этого, я не возьму на себя смелость все сказанное развернуть в формате статьи. Статья все же требует хорошей работы с первоисточниками, причем по каждому пункту... а у меня для этого нет ни возможности (времени), ни знания языка.
Однако высказанные пожелания я учел, и попросил написать такую статью знакомого климатолога (если она найдет время). Ну или хотя бы дополнительный развернутый комментарий. Она гораздо профессиональнее во всем этом шарит, ну и вообще интересуется темой. Правда, деньги она сейчас зарабатывает в международном проекте, генеральные заказчики которого предпочли бы увидеть совершенно определенный результат, а не научную истину. Но я лично этого человека хорошо знаю, и не сомневаюсь, что она будет стараться сохранить объективность, - во всяком случае на этой площадке. На данный момент ответ от нее пока не пришел, но я надеюсь на положительный. Правда, по объективным причинам не очень скорый.
"Но эта крошечная часть резко увеличилась, что свидетельствует о том, что даже на эту огромную и изолированную «дикую природу» влияет антропогенное изменение климата".
> каким образом это свидетельствует?
Приведенная в статье формулировка, несмотря на ее общеупотребительность, содержит некоторую подмену понятий. Сейчас в научной среде имеется консенсус о том, что потепление климата действительно происходит. Как геофизик, занимающийся временными рядами, могу подтвердить - данные не оставляют сомнений в том, что климат меняется.
Подтасовка начинается в тот момент, когда мы приписываем это влияние исключительно человеку. Я даже предположу, почему такая точка зрения стала столь популярной. Имхо, дело тут не столько в чьем-то злом умысле, сколько в априори очевидном для любого образованного человека факте: любое изменение должно иметь причину. Если мы видим внезапное и быстрое изменение климата (который, как нас учит весь предыдущий жизненный опыт и даже немножко школа, оставался стабильным многие миллионы лет), то такая причина должна быть экстраординарной. Отсюда почти автоматически следует вывод об антропогенном характере потепления. Ведь оно совпало по времени с промреволюцией и т.д.. А уж огромная скорость этого потепления не оставляет вообще никаких сомнений, что причина - сугубо антропогенная, и что катастрофа уже стоит за ближайшим углом. На что тут выше
Однако, эти очень естественные (и логичные!) рассуждения на самом деле основаны на "забывании" некоторых "неудобных" фактов. Ни в коем случае не хочу никого обидеть, но человеческий мозг так устроен, что в ходе дискуссии он в первую очередь ищет подтверждения своих аргументов. А другие (тоже, скорее всего известные, но не нужные в данный момент) факты просто не вспоминаются. Приведу только один пример. Общеизвестно, что во время глобальных оледенений (в том числе и совсем недавних) уровень моря понижался на 100 и более метров. При этом характерная продолжительность таяния покровных оледенений при дегляциации - это несколько тысяч лет (см. там же). Даже если брать dH по минимуму, а dT по максимуму, то 10 тыс. лет и 100м дают среднюю скорость повышения уровня мирового океана 1м за 100 лет. И это средняя скорость на протяжении тысячелетий! Нет никаких сомнений, что в процессе таяния оледенений были отдельные эпохи длительностью в десятки и сотни лет, когда скорость подъема уровня моря была на порядок выше. На этом фоне современная скорость повышения уровня мирового океана - по факту менее 20см за сто лет - это
вообще ни о чем
с точки зрения стабильности климата. И уж совершенно точно это не климатическая катастрофа, хотя журналисты очень стараются, чтобы первая мысль при чтении новостей про рост уровня моря была именно таковой ;-)
Потому что на протяжении совсем недавней истории (последние миллионы лет) регулярно бывали времена, когда уровень мирового океана менялся гораздо быстрее, чем сейчас.
Аналогичные примеры можно привести и касательно изменения температур, содержания атмосферных газов и т.д., хотя там чуть-чуть
посложнее с архивными данными
У большинства методов есть объективные ограничения разрешающей способности по времени. Из-за этого скорость наиболее быстрых изменений документировать сложно (т.н. "эффект наблюдательной селекции").
Короче, к чему я клоню. Значительная часть "очевидно-бесспорных" аргументов о том, что нынешнее потепление является а) беспрецедентно быстрым и, следовательно, б) антропогенным - несостоятельны. Научный консенсус сейчас состоит в том, что вклад антропогенных факторов в потепление есть. Но вот насколько он велик, и составляет ли он 10% или 90% - споры об этом совершенно не закончены. Поэтому когда мы автоматически ставим возле слова "потепление" эпитет "антропогенное", то совершаем тем самым подмену понятий.
И второй важный момент. Земная экосистема имеет огромную инерционность. Чтобы существенно нагреть океан (с его гигантской теплоемкостью), нужны очень большие масштабы времени. Во всяком случае, это совершенно точно не столетия и не тысячелетия (не забываем о вертикальном перемешивании, которое неизбежно при наличии сильных горизонтальных течений + рельеф дна). Но пока ТПО не изменится на очень значительную величину (как минимум, на 5 градусов, причем не локально, а на существенной части поверхности моря), кардинальных изменений в глобальной погоде и в климате можно не ждать (хотя отдельные регионы вполне могут "почувствовать" даже изменения на несколько градусов). За последние 50 лет (период наиболее быстрого роста ТПО) такие изменения по порядку величины не превышают градуса, и то лишь в некоторых районах (см. там же). Причем, серьезное ускорение темпов этого роста не кажется вероятным, т.к. возросший градиент поверхностных и глубинных температур (а теплоемкость всей массы океанской воды в наших масштабах времени можно считать бесконечной) неизбежно будет работать в обратную сторону.
Ну и теперь третий аргумент. Если бы земная экосистема действительно находилась на грани необратимых процессов, то она бы уже очень давно свалилась в какую-то крайность ("Земля-снежок" либо "Венера"). Мы сейчас точно знаем, что за последние пару миллиардов лет средняя температура поверхности Земли менялась в очень широких пределах (на порядок больше, чем обсуждаемые/прогнозируемые моделями климата риски). И тем не менее качели всегда возвращались обратно. Это может означать только одно: в системе есть очень мощные обратные связи, которые препятствуют уходу "в зашкал". Причем, об этих обратных связях мы до сих пор знаем непростительно мало. Просто потому, что для их экспериментального изучения надо иметь (и сравнивать) наблюдения хотя бы в двух разных точках с очень разной температурой, чего у нас нет и еще долго не будет. А пока таких данных нет, все такие механизмы изучаются лишь сугубо теоретически. Я думаю, тут ни у кого нет иллюзий о надежности этих теорий для столь сложной системы, как биосфера Земли...
Лирическое отступление про обратные связи Кстати, мы еще несколько лет назад по эмпирическим данным заметили, что темпы роста концентрации СО2 если не начали уменьшаться то как минимум
стабилизировались
несмотря на продолжавшийся, на момент написания вот этих статей (раз, два), рост выбросов. (Полные тексты статей можно взять здесь).
Мы тогда предположили, что дело как раз в обратных связях: эффективность механизмов изъятия СО2 растет по мере роста его концентрации (дело было еще до ковида). И последние данные эту обнаруженную нами тенденцию вроде бы подтверждают.
Ну и теперь мое имхо В общем, как человек, имеющий некоторое отношение к вопросу (хотя и не профессионал в нем), я бы сформулировал свою позицию так.
1) Факт потепления бесспорен и надежно подтвержден данными 2) Антропогенный вклад, очевидно, есть (см. изотопный анализ и др.). Но вот насколько большую роль он играет сейчас, и насколько он опасен в динамике - это пока непонятно. Научного консенсуса нет. Главная причина для сомнений в том, что атмосфера - это вовсе не склад, куда сколько СО2 добавил, столько там и останется. Нет, мы имеем дело с нелинейной динамической системой с обратными связями, через которую постоянно проходят огромные потоки СО2 (на фоне которых человеческая добавка весьма скромна). 3) Поэтому та наглость, с которой мы (некоторые человеки) утверждаем, что наблюдаемые в природе изменения вызваны нами (человечеством), и что мы можем ими управлять с помощью простых инструментов, мне кажется необоснованной
Вообще, данные показывают, что хотя земная экосистема иногда может находиться в относительно стабильном состоянии, но для нее столь же естественны и достаточно быстрые изменения. Которые совершенно точно могут происходить (и неоднократно происходили в последнее время) совершенно без участия человека (ну, если не брать в расчет тех, которые на деревьях сидели). С учетом этого, мое мнение об управляемости этих процессов сводится к следующему:
1) Попытка управлять биосферой (к чему нас фактически призывают) совершенно не обязательно будет иметь успех. Просто потому, что система, которой мы хотим управлять, очень сложна и очень плохо изучена, о чем здесь уже написал в соседней ветке @RS6. Она может работать (среагировать на воздействия) совершенно не так, как мы себе представляем 2) Если даже мы можем правильно просчитать направленность непосредственной реакции на наши воздействия, нет никаких гарантий, что это изменит ситуацию в целом. На фоне гораздо более мощных естественных процессов (см. "круговорот СО2") это все может оказаться "комариным укусом". 3) Вне зависимости от попыток "перехватить управление" приоритет надо отдавать тому, чтобы приспосабливаться к меняющимся условиям и обеспечить для себя (человечества) наиболее комфортную среду, не смотря на такие изменения.
P.S. Кстати, совсем недавно (уже в историческое время!) экосистемы не раз менялись кардинально и иногда фатально для целых народов. К сожалению, опыт показывает, что приспособиться к таким изменениям могли далеко не все. А еще очень часто такое приспособление обеспечивалось за счет соседей. У меня есть печальное впечатление, что в природе человека с тех пор
Имхо, у нас пока все по-прежнему: че-че-во и общечеловеческие интересы всегда глубоко в заднице по сравнению даже не с национальными, а с интересами национальных элит. (Хотя некоторые из них благодаря контролю над СМИ порой достаточно успешно пытаются выдать свои групповые интересы за общечеловеческие).
Поэтому, как бы мне ни хотелось надеяться на лучшее, но я не верю в возможность рационального договора между правительствами (элитами) с целью совместных действий для минимизации общественного ущерба землянам от изменения климата. Тем более - для несимволических совместных действий
по предотвращению таких изменений
Я в курсе, что формально такой опыт вроде бы был - с фреонами, например. Но если копнуть поглубже, то основные мотивы там были совсем не про "общее благо"...
А если учесть, что любой "плюс" для одних почти неизбежно станет "минусом" для кого-то другого, то возможность такого договора и вовсе становится призрачной. Как максимум - более сильные навяжут выгодную для себя точку зрения более слабым. Поэтому конструктивные практические рекомендации у меня следующие:
1) честно и неангажированно изучаем целевую систему, чтобы лучше понять, как же она все же на самом деле работает 2) на основе (1) прогнозируем будущее настолько точно, насколько это возможно 3) думаем, как с минимальными издержками и потерями приспособиться к таким изменениям (см. очень дельный комментарий от @Shift1986) 4) любые попытки управлять (влиять) на ситуацию - только на основе принципа "не навреди". И уж ни в коем случае нельзя принимать какие-то меры без 200%-ной гарантии, что мы точно знаем все их последствия, а лишь потому, что кому-то это выгодно в данный момент
Попробую угадать: оригинал (либо автор) - англоязычный?
В подробной статье с детальной разобранной (и очень интересной!) историей нет ни слова про 15 сентября 1953 г, когда, согласно википедии, в Швеции были получены первые в мире искусственные алмазы. Мне трудно поверить, что автор, уделивший предыстории описываемого события целый раздел, ничего об этом не знает. Нет-нет,
я не сторонник "теорий заговора"
за исключением разве что вот таких... хотя там намного больше практики, чем теории ;-)
Но когда раз за разом наталкиваешься на подобные умолчания (причем тенденциозность всегда в определенную сторону), то волей-неволей начинаешь задумываться: это простая оплошность, или все же система, нацеленная на формирование определенной картины мира?
Сложность в том, что модель SARIMA напрямую не поддерживает более одной сезонности и считается, что её выполнение в этом случае будет не самой лучшей идеей. Отмечу, что для подобных случаев с несколькими сезонностями в данных были разработаны специальные модели, одна из которых TBATS. TBATS – это аббревиатура по заложенным в ней компонентам - Trigonometric, Box-Cox transformation, ARMA errors, Trend and Seasonal components, что по-русски можно перевести как «Тригонометрические функции - преобразование Бокса-Кокса - ошибки АРСС - тенденция - сезонные компоненты».
Я считаю изначально порочной практику, когда параметры всех составляющих временного ряда (=всех компонент, из которых он "состоит") оцениваются одновременно. Да, этот подход совершенно стандартно используется во множестве моделей и статпакетов. Однако его недостатки становятся очевидными, как только исходный сигнал начинает хотя бы немного отличаться от теоретического идеала. Например, функция распределения ошибок не гауссова. Или, боже упаси, они не стационарны. Я уж не говорю о тех случаях, когда параметры сложной модели не являются взаимно независимыми и/или в данных есть пропуски наблюдений, нарушающие априорное свойство
ортогональности параметров модели
Например, при некоторой длине сигнала две синусоиды, периоды которых укладываются в него целое (разное) количество, могут быть строго ортогональны. Но если - о, ужас! - часть наблюдений пропущена, то все: ортогональность теряется. И это только верхушка айсберга...
Главная причина популярности такого подхода заключается имхо не в том, что он так уж хорош, а скорее в желании пользователей нажать одну кнопку и получить результат. Не задумываясь о том,
через какие подводные камни модель перепрыгнула, чтобы его получить
И насколько робастны полученные оценки. И не развернулось ли у нее (модели) там что-то внутри в процессе оценивания в обратную сторону - так, что производная некоторого параметра по независимой переменной приобрела знак, обратный физически содержательному. Пока мы относимся к модели, как к черному ящику, у нас нет никаких гарантий на этот счет. Точнее, некоторые гарантии может дать теория, НО только в том случае, если исходные данные строго соответствуют заложенным в модель требованиям (постулатам). Однако на практике свойства экспериментальных рядов им практически никогда не удовлетворяют. Чаще всего простейшие тесты сразу показывают, что что-то не так. В лучшем случае очевидных опровержений нет, однако доказать точное соответствие требованиям все равно невозможно. (А неточное = прощай, строгость). В результате этого при работе с данными мониторинга теоретическая обоснованность модели/метода из очевидного преимущества превращается в нечто эфемерное-виртуальное. Поэтому мое твердое имхо заключается в том, что нет никакого смысла идти на какие-то жертвы и самоограничения при выборе методов анализа рядов данных и построении моделей сигналов ради соблюдения "математической строгости". Т.е. если она обеспечена - то это прекрасно. При прочих равных математически обоснованный метод всегда лучше эвристики. Но если за эту строгость надо платить, то тут я готов согласиться только на самую минимальную "цену"...
Впрочем, это уже совсем другая история...
На мой вкус, при работе с нетривиальными временными рядами нужно идти в обратном направлении. А именно, каждая физически содержательная составляющая сигнала должна оцениваться и изучаться отдельно от всех остальных. Даже можно сказать сильнее: при построении модели любой составляющей ряда (например, 24-часовой) ВСЕ остальные составляющие сигнала должны рассматриваться, как помехи. Идея в том, что:
1) сначала мы отфильтровываем из сигнала все, что там есть хоть сколько-нибудь предсказуемого (те же сезон и тренд, например). При этом используем такие алгоритмы фильтрации), которые в минимальной степени "портят" (искажают) 24-часовую периодичность.
2) После этого по очищенному от всех этих "помех" сигналу (который в идеальном случае должен выглядеть, как 24-часовая составляющая + шум с простыми и неизменными во времени свойствами) строим модель 24-часовой периодичности и оцениваем параметры этой модели. Разумеется, она вовсе не обязана при этом быть синусоидой или комбинацией синусоид. Подход позволяет строить такие модели, которые мы считаем наиболее физичными.
3) На следующем шаге мы строим модель следующей компоненты сигнала (например, сезонной). И так далее.
Фишка этого подхода состоит в том, что на шаге (3) мы можем очищать сигнал от суточной периодичности или тренда не просто обычной фильтрацией, а на основе ранее построенной модели этой периодичности/тренда, то есть гораздо точнее. И так далее, пока не построим модели всех физически значимых компонент.
4) А вот уже после этого можно пройтись по второму кругу еще разок, уточняя все ранее построенные модели. Так как теперь мы умеем отфильтровать "шум" (=нецелевые составляющие) гораздо лучше. Ведь у нас теперь есть отдельная модель для каждой составляющей этого шума. Итог - мы итеративно улучшаем модели всех составляющих и так далее
до сходимости
Да, в общем случае (если нет никаких ограничений на составляющие) тут могут возникнуть большие вопросы. Но для многих частных случаев (которые обычно и возникают на практике) со сходимостью все хорошо. Хотя, строгое доказательство последнего утверждения - это отдельная песня, и я далеко не уверен, что знаю к ней правильные слова...
5) Ну и заключительный шаг: теперь, когда мы знаем, из чего состоит наш сигнал (ведь у нас есть модели для каждой значимой составляющей сигнала!), нет ничего проще, чем "собрать" ряд из этих моделей и экстраполировать его вперед (=прогноз). Причем с гораздо более обоснованными оценками ошибок прогноза.
Пример реализации такого подхода для описания структуры временных рядов концентрации атмосферного CO2 на разных широтах можно найти вот в этих работах: раз, два. В частности, сезонная компонента там имеет растущую с течением времени амплитуду, что совершенно необходимо для адекватного описания данных, но непосильно никаким TBATS-моделям. Особенно с учетом того, что рост амплитуды сезонных эффектов оценивается непараметрическим трендом, который совершенно не похож на тренд концентрации СО2 (то есть мультипликативная модель (раз, два) не прокатит).
Если кому-то будет интереснее познакомиться с этими публикациями подробнее, их PDF-ки можно найти вот тут. Ну и меня тоже можно в комментах подергать (я на Хабр регулярно заглядываю).
Я по работе постоянно имею дело с временными рядами (в первую очередь геофизическими, но также метео, гидрология, эконометрика и даже изредка этология). Но до сих мне пор как-то не приходилось использовать тест Дики-Фуллера, так как яркая нестационарность абсолютно всех изучаемых явлений была очевидна, что называется, невооруженным глазом (причем переход к приращениям чаще всего от нее не спасает). Я очень благодарен Вашей статье, - она мне просто "открыла глаза" по части этого самого ADF-теста. Причем для этого даже не пришлось самому его пользовать! А именно, я берусь утверждать (и готов это доказать методами матстатистики), что любой тест, который не отклоняет гипотезу о стационарности вот этих рядов (Ссылка на изображение из первой главы) и других им подобных, не годится даже в качестве принта-украшения на рулонах туалетной бумаги. То есть, если он уже есть в Вашем арсенале статметодов, то правильнее всего его оттуда выкинуть, как почти бесполезный генератор иллюзий. Если же его там еще нет - то Вам повезло, сможете потратить время на изучение чего-то более полезного с точки зрения практики работы с временными рядами ;-)
Нет-нет, я в курсе, что ADF-тест одно время широко использовался в эконометрике. Но в те времена, когда он был предложен, типичные временные ряды были немного другими (чаще всего с годовой скважностью, и лишь изредка с квартальной и месячной). С тех пор много всего в канализацию утекло... Разумеется, было бы наглостью с моей стороны пытаться опровергать классиков и нобелевских лауреатов без железобетонного на то основания... но если Вы в Вашей работе правильно применили ADF-тест к показанным в первой статье временным рядам (а навскидку очень похоже, что правильно), то никаких других комментариев, кроме слова "анахронизм", у меня к этому тесту не будет.
А если чуть-чуть серьезнее, то основную проблему я вижу в том, что реальные временные ряды почти никогда не удовлетворяют условиям применимости ADF-теста. В Википедии (да и во многих других случаях) эти условия применимости часто не формулируют явным образом, но даже там есть достаточно косвенных намеков (взять хотя бы отсылку к АР-модели), позволяющих заподозрить неладное. Ну то есть в теории, временные ряды с нужными свойствами потенциально возможны... но вот в моей достаточно обширной практике (пара сотен статей в рецензируемых изданиях) они не встречались вообще. Возможно, кому-то повезет больше... но вот мне
не встречались
Может, в этом и есть одна из причин, почему прогнозы эконометристов в реале почти всегда совсем не так хороши, как это следует (должно следовать) из внутренних критериев точности и сходимости используемых для прогноза моделей и алгоритмов?
Но как только мы выходим за границы условий применимости метода, результат становится непредсказуемым. Он может быть совершенно корректным, а может оказаться полной ерундой. Главная беда в том, что мы не сможем отличить первое от второго. В результате пять раз выводы будут правильными (так что организм мозга расслабится...) а на шестой - ОПА. И хорошо, если это будет не полная ОПА.
Как сказал один незаслуженно забытый классик, некритическое использование таких методов может приводить к ошибочным выводам, которые особенно опасны потому, что имеют видимость математической точности и строгости.
Если быть честным, то В.Ю.Урбаха классиком обычно не называют
Но лично для себя я совершенно однозначно отношу его к этой когорте и ставлю вровень с великими за ту единственную процитированную выше фразу, которую он не постеснялся написать на стр.7 своего учебника. Может, я ошибаюсь, но вроде бы он был первым, кто так просто и понятно сформулировал эту очевидную, но до сих пор не всеми осознанную мысль
В общем, приведет какой-то кусок кода совершенно без объяснения почему именно так.
Имхо, это главный недостаток очень многих подобных статей. Возможно, в данном случае автор посчитал, что теория тривиальна и общеизвестна. Однако математика - это
такая штука
что заглянув в любой тихий омут, оттуда запросто можно выскочить с криками "тысяча чертей!!!"
что копать можно почти в любом месте, и там откроется бездонная глубина. Я не претендую на особую глубину... но если интересно чуть поподробнее, то кое-какие идеи ляпнул в соседней ветке
При усреднении данных происходит их потеря с обоих концов исходного массива.
С философской точки зрения, это совершенно не обязательно. Например, мы заменяем отсутствующие точки на Nan, а затем работаем с сигналом так, будто он бесконечный. После любой фильтрации длина ряда
остается такой же, как была
Точнее, у нас есть еще одна настройка - это разрешенный процент пропусков в окне. Если она задана равной нулю (т.е. пропуски запрещены), то алгоритм работает по классике: длина ряда уменьшается на половину окна на обоих концах. Фишка в том, что эту настройку можно менять от 0 до 99.9999%, и получать результат, оптимальный для текущей задачи
Идея в том, что обработка пропусков внутри ряда и на его границах идет по совершенно одинаковым алгоритмам
Подробнее
Вот пара статей, где можно об этом почитать (раз, два), а вот тут можно взять их полные тексты. Опенсорсная программа для Винды, в которой эти идеи реализованы, лежит вот тут. Но, там внутри есть не только сглаживание, а еще дохрена всякой другой ерунды, поэтому порог вхождения -
не пожелаешь врагу
это конечно лишь мое маргинальное мнение... но учитывая, что я не только автор проги, но и ее самый активный пользователь (с 30-летним стажем), советую все же прислушаться ;-)
А исходники к этой программе лежат вот тут. Но, WARNING-WARNING-WARNING: там все написано а) на фортране и б) научными сотрудниками, а не программистами. Поэтому слабонервным лучше посмотреть основные идеи (например, там же в архиве WinABD_Help.zip закопана справка к программе, она чуть подробнее, чем упомянутые статьи) и сделать самостоятельно ;-)
А кто знает теорию, тому проще написать самому чем адаптировать чужое.
Именно так ;-)
Простейшим решением является добавление одной или нескольких точек близких к уже вычисленным данным.
Так у Вас будет смещение, если на краю ряда присутствует заметный тренд. Сглаженный ряд загнется к горизонтали (кстати, на Вашем графике "Результат работы алгоритма" оно хорошо видно слева). Чтобы этого избежать, можно
экстраполировать сигнал линейно за пределы фрагмента, а потом учесть эти точки в окне сглаживания
Пара примеров, как это работает в разных случаях, есть вот тут: раз, два, три. Полные тексты статей можно взять там же.
Не гит, а гитхаб. Вам не нужен гит для версионирования,
Да, спасибо за уточнение. Я же говорю, что никогда гитхабом не пользовался, т.к. необходимости не было, и лишь очень примерно представляю себе общую идею (а в терминах путаюсь).
но при этом очень нужен сертификат разработчика?) Зачем?
Простите, я наверно был чересчур многословен, и причина моего вопроса при чтении поста ускользает. Я - автор большой самодельной программной системы, у которой есть определенное количество пользователей. Эта система регулярно (несколько раз в год) обновляется, после чего каждому пользователю приходится объяснять своей Винде, что он хочет запускать только что скачанные с моего Я-диска программы. Причем, их там целая куча (в пакете - 40 exe-шников, которые все время вызывают друг друга), поэтому обычный способ "нажал-подтвердил" не очень удобен. Вдобавок у нас есть одна особенность архитектуры: взаимодействие всех программ координирует скрытый процесс (у него нет собственного окна, оно бы просто мешалось при работе, как мусор). Вероятно, поэтому некоторые версии 10-ки
точнее, некоторые комбинации 10-ка + установленный поверх антивирус
тот же антивирус с другой сборкой 10-ки, а так же та же самая сборка, но с другим антивирусом - работали
вообще отказывались запускать программу без очень настойчивых танцев с бубном.
В общем, я всего лишь хочу упростить жизнь своим пользователям, чтобы собранные мной программы просто запускались и делали нужное юзеру дело без лишних вопросов. Мой собственный "статус разработчика" мне при этом до фени, естественно. Если этой цели можно добиться каким-то другим способом (применив какой-то не слишком заумный трюк на моей стороне) - расскажите, буду благодарен за советы.
просчитать задачу для n от 7 до хотя бы 100 - если мы увидим, что комбинации взаимных расстояний циклически повторяются
Имхо, есть сомнения, что такой расчет что-то даст: при больших N задача вроде как должна приводить к динамическому хаосу (см. сценарий удвоения частоты Фейгенбаума или что-то подобное)? А в хаотической системе малые возмущения (=ошибки округления) нарастают со временем экспоненциально. Как бы мы эти ошибки ни уменьшали,
козырный тузэкспонента кроет любую карту? Или при целочисленных периодах динамический хаос не возникает?С другой стороны, интуитивно кажется, что будь периоды несоизмеримыми, траектория в фазовом пространстве этой системы в конце концов должна пройти бесконечно близко к любой его точке? Если это так, то для таких периодов теорема доказана? Или нет?
Впрочем, даже если да, то для произвольных (а тем более целочисленных) периодов отсюда все равно ничего не следует....
Что-то я не врубаюсь в формулировку:
Вскоре он сделал почти полный круг и нагнал безнадёжно отставших.
Разве для этого не нужно пробежать чуть больше одного круга?
Но вообще за поэтичные вставки спасибо! Они очень гармонично дополняют тему статьи.
Прошу прощения за дилетантский вопрос. Я тоже заинтересован в получении сертификата разработчика для своего проекта, но опасаюсь, что в моем случае это полностью нереально. Поэтому прежде, чем начинать курить эту тему, хотел бы получить советы (мнения) тех, кто уже прошел этот путь.
Вводная такая. Есть некоммерческий проект, очень похожий на опенсорс: рабочие сборки доступны для всех желающих, исходные коды формально открыты (все пользователи имеют к ним доступ). Документация тоже
общедоступна
Помимо объемной, на 500 страниц, справки, проект описан в нескольких рецензируемых публикациях (например 1, 2, 3), а еще есть десятки публикаций (причем не только моих), где описано его применение для обработки научных рядов
Но, выложено это все не на Гите, а на Я-диске. Продублировать все на Гит - не проблема (я просто не работал с ним никогда). Однако, там будет именно эхо-копия проекта, а не первооригинал, так как сейчас у меня есть налаженная система сборки, и менять ее не хочется
а в нее Гит не вписывается - он там просто не нужен
Более конкретно, сборка проекта у меня сейчас идет сугубо локально, под Виндой, в среде VS 2008. При этом требуется настройка кучи внутренних зависимостей. Переносимость организована так: на каждой машине настраивается логический диск O:\, туда кладется все дерево папок, и все эти пути явным образом прописаны в конфигах сборки. Это позволяет нам выполнять сборку проекта на разных машинах (дерево папок, включая и папку с настройками проектов, синхронизируется через Я-диск или как-то еще). Такая система у нас работает еще с 1990г. При этом разработчиков изначально было два с половиной человека (а сейчас и вообще полтора), поэтому никакой необходимости мерджить ветки или контролировать версии не возникает вообще. Все изменения всегда делаются только на мастер-машине с актуальной копией проекта. То есть, мастер-машины могут меняться, но мы всегда работаем с кодом строго поочередно.
Отсюда первый вопрос: я правильно понял, что для использования описанной в статье схемы сертификации сборка должна происходить непосредственно из репозитория Git? Онлайн-сборку мне наладить
почти нереально
Во-первых, я этого просто не умею, так как всегда все собирал локально, а Гитом не пользовался (когда он появился, у нас уже лет 15 как все работало, а как известно, "если работает-то не трогай").
Во-вторых, у меня проприетарный компилятор. Я вообще не уверен, что он может компилировать файлы, лежащие где-то в сети, и выкладывать туда результат. Но даже если это можно как-то настроить, то тогда появляется
В-третьих: у меня даже на локальном компе сборка занимает определенное время... а когда идет активная работа над проектом, то я порой делаю полную пересборку по несколько раз в день. И мне очень бы не хотелось, чтобы этот процесс как-то зависел от доступности онлайн-ресурсов, или просто тормозил из-за этого.
Ну и еще один нюанс: мой проект включает около 40 субпроектов, для каждого из которых есть свои настройки сборки, которые я иногда меняю. Сейчас они прописаны в vfproj-файлах VS 2008. А для онлайн-сборки все это надо будет прописать в батниках? В принципе, я умею копировать команды сборки из VS куда-то еще, но делать это регулярно (при каждом изменении любой настройки) и безошибочно - это точно не мой конек. А более новую VS (которая вроде бы уже что-то знает про Git) я так и не установил, т.к. не сумел справиться с известными ограничениями....
В общем, хочется сборку по-прежнему делать локально...
Ну и второй вопрос: проект у меня компилируется в примерно 40 exe-шников (их число понемногу растет, но не быстро). Конечно, стабильную сборку я делаю не каждый день, и ради этого я готов иногда сделать 40 "Signing" вручную. Но достаточно ли будет для этого получить сертификат один раз?
P.S. Проект у меня очень узконишевый и
некоммерческий
хотя я и занимаюсь его развитием на работе примерно 20% времени, а еще 60% моей работы состоит в использовании этих программ для решения разных научных задач
Поэтому платные или чересчур времязатратратные способы получения сертификата не рассматриваются вообще. Но некоторое количество активных пользователей проект имеет, и если бы я сумел облегчить им жизнь ценой нескольких дней борьбы, то было бы здорово...
Вот я такой "плюшкин". Только не вижу пока необходимости лечиться ;-) Хотя весь дом и правда чем-то завален. И стены в своей квартире я очень изредка вижу: там или карты, или книжные полки, а то и просто фотографии всякие...
Единственный нюанс - я легко расстаюсь с вещами, которые можно купить. И гораздо труднее - со всяким хламом, который больше не выпускается. Например, в конце додиодной эпохи я как-то разжился двумя десятками лампочек накаливания на 1.5 и 2.5В. Мы их активно использовали в пещерах в качестве "ночника" в подземном лагере, "дожигая" таким образом подсевшие батарейки. Примерно половина из них израсходоваться не успела... и так и лежит у меня с тех пор в баночке на дальней полке в шкафу. Как и раритетный самодельный самохват из МГУ-шной спелеосекции, хотя весь мир уже много лет, как перешел на жумары (и я сам тоже давно с жумаром хожу). А еще я лет 20 назад сохранил детское велоседло, которое крепится на горизонтальную трубу ХВЗ между рулем и взрослым седлом, и подножки к нему. Хотя дети выросли и новых вроде не ожидалось, да и ХВЗ предполагался тогда под списание (он у меня 1984 года выпуска). Однако прошло много лет, на ХВЗ я перерезал каретку под квадрат, обновил всякие причиндалы, и по окрестностям сейчас езжу на нем. Походный титановый вел стремно бросать на опушке, гуляя в лес за грибами, или около магазина... А недавно я достал то самое седло из коробки, и сейчас дочка просто счастлива ездить именно на нем, а не на всяческих новомодных велокреслах (которые она тоже попробовала). И я ее вполне понимаю: сидеть впереди папы и держаться за руль, руками чувствуя повороты, видеть дорогу впереди, а не сзади, да и просто общаться на ходу постоянно - это не идет ни в какое сравнение с пристегнутым тюфяком на багажнике, даже если там кресло амортизировано. Кстати, выпущено это седло было еще в 1960-е годы, а вся конструкция - это невесомая обитая сверху кожей дощечка с поролоном внутри, ну и квазилатунные ушки для крепления к трубе рамы. Однако же, до сих пор все в порядке: уже пятый седок разменял свою первую велотысячу (в свое время я сам на нем с папой поездил). А сейчас попробовал поискать аналоги в магазинах, и обнаружил там только какую-то фигню типа вот этого или вообще вот такого. Ну и нафига мне такая конструкция, если у меня верхняя труба рамы на гибриде горизонтальная, а подножки идеально встают на переднюю трубу треугольника?
А еще я храню запас всяких тканей для самодельного турснаряжения, которые годами лежат в шкафу. Просто с той целью, чтобы если вдруг за день до поезда я вдруг решу чего-нибудь сшить, то можно просто выбрать в шкафу самый подходящий материал и сесть за машинку. А не искать его экстренно в магазинах и заказывать доставку курьером за 100км, дрожа при этом о том, не окажется ли заочно выбранная ткань не совсем подходящей. Да, эти ткани все время расходуются понемногу, но многие куски были куплены больше 15 лет назад - поэтому таки Плюшкин. А списанные парашюты я и вовсе в 90-х годах закупил (там у разных сортов парашюта ткань была разной плотности - от 60г/м у грузового до не помню сколько у тормозного, поэтому их надо было сразу несколько покупать для разных поделок). И до сих пор еще этого богатства метров 15 осталось... ну и неплохой мешочек с отпоротой с них стропой - она почему-то медленнее расходуется...
В общем, если условия позволяют, то я б не выбрасывал:
1) Даже ненужное, но если оно сделано своими руками или ценно, как память
2) То, что вроде как и не потребуется (1-10 шансов из ста), но купить больше нельзя ввиду изменения господствующих технологий и/или вкусов
3) То, что может потребоваться с вероятностью 10-50% и не имеет полных аналогов (пример - мое детское велоседло (т.е. аналоги продаются, но они сильно другие и по многим параметрам хуже)
4) То, что почти наверняка будет востребовано и израсходовано в ближайшие 10-20-30 лет, даже если аналоги можно купить
А вот с компьютерным железом у меня не сложилось. Умение его оживлять - это явно не мой конек. Хотя некоторые рабочие запчасти от списанного имущества рука не поднимается выкинуть - они ведь практически новые... У меня так однажды сразу три шнура питания (которые от блока питания в 220В) накопилось. А тут еще и рабочий комп пошаливать начал... В общем, пришлось победить свою лень, так что один шнур я отдал, другой подарил,
а к третьему
купил новый комп - естественно, без сетевого шнура ;-)
Если добавлять все возможные условия, то задача вырастет до размеров целого учебника.
$-)
нужно учитывать только данные условия и игнорировать те, которые не даны
Все так.
Только вот если взять, например, список вокзалов РФ, то внезапно окажется, что подавляющее большинство из них как раз проходные. Т.е. "электрички" могут туда прибывать с двух сторон. Скептики могут мне возразить, что интервал 10 минут для провинциального вокзала не реален. Ну так он и на московских вокзалах не так уж давно в регулярку вошел. Как бы не позже рождения этой задачки. А в Питере, кажется, и до сих пор нету, разве что на Балтийском вокзале (и то не факт - надо для каждого времени отправления прибывающие электрички считать, а я поленился).
Получается, что при решении этой задачи волей-неволей надо не просто тупо условиям следовать, а еще и додумывать недосказанное. То есть сообразить, что вокзал имеется в виду отнюдь не типичный, а совершенно особенный. Я бы даже сказал - почти уникальный ;-)
Что-то я сомневаюсь, что AI все эти обстоятельства у себя в нейронах прокручивает при подготовке ответа. Даже крамольные мысли проскакивают: а может, она просто похожие задачки/решения из массива текстов берет, и дальше по аналогии?
Но вообще, если у кого-то тут есть возможность, то было бы крайне интересно ход решения в этом отношении проследить. То есть понять, почему AI считает, что вокзал тупиковый. В задаче-то это не сказано.
Если, конечно, это можно сделать без явной подсказки в вопросе...
Голод и как следствие войны с развалом государств могут наступить гораздо раньше.
Именно так. И поэтому я думаю, что надо 1) изучать 2) прогнозировать и 3) приспосабливаться. Как раз чтобы избежать голода и войн. Потому что надежно управлять (как велосипедом) мы этой системой не можем. Мы даже погоду (которая меняется естественным образом) более-менее надежно предсказываем максимум на неделю. А тут речь про управляющие воздействия.
Но еще важнее, что этот "велосипед" может отзываться на поворот руля совсем не так, как мы думаем. Например, на реальном велосипеде, чтобы повернуть вправо, я сперва виляю рулем чуть левее, затем велосипед наклоняется вправо (т.к. опора оказалась левее центра масс), и
только потом я вхожу в правый поворот
не уверен, что пример хороший, но интуитивно мне кажется, что все происходит примерно так. Я знаю, что интуиция может врать, но имхо 80 тыс.км на трех велосчетчиках (см.аватарку) как бы дают право строить такие гипотезы
Так вот, кто даст гарантию, что с климатом все линейно и просто? А не так, как в примере с велосипедом?
Короче, если бы я впервые сел на велосипед, и, выехав на шоссе, почувствовал, что что-то пошло не так, то я лучше приторможу, выставлю ногу и побыстрее соскочу (или даже упаду) на обочину, не дожидаясь приближающегося столба. Вместо того, чтобы на практике пытаться изучать реакцию вела на виляние рулем, и в результате закончить маршрут на разделительной полосе под догнавшим меня самосвалом.
Короче, если работает - то не трогай. На данный момент у нас нет никаких четких признаков, что саморегуляция именно биосферы нарушена; наоборот, есть уверенность, что все наблюдаемые колебания находятся глубоко в пределах нормы для биосферы. Я из этого делаю вывод, что чинить именно биосферу - не нужно! (Еще раз - та же самая аналогия). А вот о чем можно и нужно подумать - так это о том, как нам подготовиться к возможным изменениям в биосфере, по-максимуму используя открывающиеся возможности и минимизировав траблы (которых тоже наверняка будет по самую крышу).
А то в определенных кругах считается хорошим тоном упоминать только про траблы, и брезгливо избегать недоумков, которые намекают на позитив. Хотя та же биопродуктивность, или Севморпуть уже дают человечеству четкие и очевидные выгоды, а вот негативные (повышение уровня Океана, погода, проблема с с/х угодьями) пока что остаются преимущественно на уровне опасений (чувствую, что меня сейчас загрызут, но все-таки, прочтите, пожалуйста, сперва текст под спойлером, чтобы хотя бы выслушать аргументы).
Да, опасений вполне обоснованных, но вовсе не настолько однозначных, как нас убеждают
Например, многие ли тут знают, что для некоторых распределений с тяжелыми хвостами оценка среднего будет расти с ростом выборки, даже если процесс сугубо стационарный? И что ущерб от стихийных бедствий (землетрясения, наводнения) лучше всего описывается именно таким распределением? Поэтому рост ущерба от стихийных бедствий (это - статистический факт!) сам по себе не доказывает, что процесс нестационарный.
Да, вот такой статистический парадокс: при совершенно стационарном процессе средний ущерб (отнесенный к единице времени) вполне может расти со временем. Причем расти убедительно и закономерно. Как говорится, ничего личного - это просто математика. Подробности можно найти в работах В.Ф.Писаренко и М.В.Родкина. У них с 2000-го примерно года вышла целая серия статей, где они обстоятельно разбирали отдельные аспекты этого парадокса. Поэтому конкретные работы перечислять не буду, за исключением тех, которые я когда-то прочел и на которые сам ссылался: раз, два, три, четыре.
И аналогичный вопрос про сельхозугодья. Да, есть модели, которые четко показывают, что в определенных регионах условия для ведения сельского хозяйства при повышении температуры ухудшатся. Это показано довольно надежно. Но, в каких-то других регионах будет наоборот (осадков-то станет больше). А еще границы растительных зон сместятся к полюсам (это опять-таки в целом плюс). Ну и просто биопродуктивность будет расти. Какой суммарный эффект мы при этом получим? А вот это уже вопрос, поскольку при вычитании двух больших чисел - выгоды и убытка, оба из которых известны с очень приличной погрешностью, разность будет оцениваться с просто гигантской сигмой.
И так далее про все остальное. Тот же океан поднимется на 60 метров (если поднимется) ну очень-очень не скоро. Никак не через пару столетий и даже тысячелетий. Ведь как только у полюсов значимо потеплеет, воздух там станет более влажным, и количество осадков вырастет многократно. Плюс усилившиеся циклоны будут все чаще перебарывать стоковый ветер. А зимние температуры в Антарктиде в обозримый период останутся отрицательными. Поэтому динамика южной полярной шапки в таких условиях - это совершенно не однозначный процесс. Когда у нас есть два близких по величине, но разнонаправленных вектора, погрешность оценки их суммы растет многократно. А мы эту сумму хотим прогнозировать для совершенно других условий, чем сейчас (напомню, что такие прогнозы делаются климатическими моделями, а не погодными; там другой принцип прогноза).
И такой же эффект возможен с горными ледниками (да, сейчас они уверенно тают, но экстраполяция этой тенденции пропорционально росту температуры, как это иногда делают, - это уже за гранью добра и зла, имхо).
Не поймите меня неправильно. Я вовсе НЕ утверждаю что "все хорошо и можно расслабиться"!! Наоборот, уже видно, что ситуация достаточно стремная. Именно поэтому я категорически против "лозунгового" подхода к принятию важных решений. Хватит уже, наелись! Сколько еще воробьев надо убить и кроликов заселить, чтобы понять: биосфера сложнее, чем гвоздь, который реагирует на удар молотка понятно и однонаправленно? Может, все-таки будем форсировать научный подход к проблеме? Да, он ужасен; да, он не точен; да, ученые не всегда честны и т.д. и т.п. Но как сказал один известный чувак, все остальное работает еще хуже.
_____
Дедушка - старенький, ему все равно. (c)
Если это намек, то тут
трудно ответить, не затрагивая при этом
тему перехода наличности (если Вам кажется, что я тут что-то напутал с пробелами, то это такая шутка; пробелы же лающие могут переставить по своему усмотрению ;-)
Но тем не менее, уточню, что у "дедушки" сейчас трое детей, и ему совершенно не безразлично, в каком мире они будут жить.
каковы научные данные и представления о гипотетическом скором извержении Йеллоустонского вулкана?
Если Вы меня спрашиваете, то ответ - не знаю. Я сам извержения не прогнозировал, хотя методику чуть-чуть знаю (общался с вулканологами в ИВиС). По сравнению с прогнозом землетрясений, у вулканологов просто рай на Земле, т.к. там и физика лучше понятна, и мониторинг налажен. И вообще, им для надежных прогнозов обычно достаточно сейсмики с геодезией. Как я понимаю, такие данные на район вулкана доступны, можно брать и анализировать. Что многие и делают. Но лично я никаких серьезных прогнозов близкого извержения не встречал.
Единственный недостаток подобных методов - там упреждение ограничено сутками, максимум месяцами, так как они фиксируют уже начавшуюся активизацию. А вот прогнозировать, когда (в будущем) она начнется, мы пока не умеем, насколько я знаю. По геофизическим временным рядам - очень вряд ли. Скорее всего, они тоже могут показывать только лишь факт начавшейся активизации. Правда, я сам работал с временными рядами только с Камчатки и из БНО (это рядом с Эльбрусом). Может в других местах по-другому? Имхо - сомнительно.
Так что по Йеллоустону могу только в Википедию отослать. Конкретно эта страница имхо вполне адекватно написана
1) Статистический анализ бенчмарков (постоянная нагрузка в условиях нестабильной инфраструктуры).
2) Корреляционный анализ ожиданий СУБД (случайная нагрузка в условиях нестабильной инфраструктуры).
Для начала скажу, что я тут не в теме совсем. У нас в геофизике выбросы - это либо явный брак, либо наоборот, что-то интересное (если они лежат в физически допустимых пределах, естественно).
Поэтому не принимайте нижесказанное чересчур близко к сердцу. Но вообще, в моем случае я бы поступил так:
1) отсеял мегавыбросы, которые на 99.99% являются браком мониторинга. Т.е. в данные как-то затесалось значение, не имеющее отношения к реальности. Если у Вас такое бывает, конечно
2) Далее про "реалистичные" выбросы. Т.е. когда нагрузка измерена правильно, но просто она резко отличается от обычной. Тут бы я сделал так:
3) Разделил сигнал на "норму" и "выбросы":
3а) "Анализ тенденции" я бы делал по ряду вообще без выбросов. Который показывает только "норму" и ее медленные изменения. Как его сглаживать при отсутствии выбросов - не важно, все методы дадут одно и то же примерно.
У нас это технически реализовано так: сперва мы идем одним фильтром и заменяем выбросы Nan-ами, а затем считаем среднее в окне по не-Nan-ам:
АverageValue= SUM(Data,NotNan(Data)) / COUNT(NotNan(Data))Тут
SUMиCOUNT- это массивные операторы, вычисляющие 1) сумму маскированного массива (второй параметр = маска) и 2) количество не-Nan-ов в массиве Data. (Там, естественно, лежит попавший в текущее окно фрагмент сигнала). АNotNan()- это элементная функция, которая применяется к каждому элементу массива.Массивные операторы сейчас работают практически мгновенно
В древности, когда у нас все было на DOS-фортране, а скользящие окна и ряды уже были длинные-длинные, я писал всякие трюки с поэлементным добавлением и выкидыванием элементов из массива Data по мере движения окна (мы обычно смещаем окно на одну точку, чтобы не ухудшать дискретизацию времени в обработанном сигнале). А не так давно обнаружил, что при размере окна порядка миллиона отсчетов теперь нет смысла с этим морочиться. А более широкие окна мы почти не используем. В общем, с эффективностью у Фортрана всегда все было неплохо, а теперь еще и читаемость кода подтягивается ;-)
В примере- фортран-95, но в других языках сейчас уже наверняка должно быть что-то подобное
3б) Также я бы сделал сигнал с выбросами, в который включаются все данные. То есть, в этом случае мы считаем аномалии частью "правильного" сигнала, просто не очень обычной.
Но тогда сглаживать медианой плохо - она просто уберет аномалии
А если мы хотим их убрать, то гораздо лучше взять ряд (3а),где выбросы вычищены совсем.
Поэтому тут я бы сглаживал
простым или ядерным скользящим средним
понятно, что если окно скачущее, т.е. смещается на свою ширину или полуширину каждый раз, то нужно брать обычное среднее. А вот для скользящего на одну точку окна я предпочитаю гауссово ядро (хотя гораздо более простое треугольное даст почти то же самое)
3в) Ну и третий ряд - это "чисто выбросы". Точнее, отдельно два ряда: "выбросы вверх" и "выбросы вниз" (если, конечно, они оба физически интересны). Это чтобы анализировать сами выбросы и пытаться понять их причины. В этом случае мы на первом шаге заменяем Nan-ами все не-выбросы, и т.д. Еще можно разделить ряды выбросов на ряд "средний уровень фона в текущем окне". Чтобы отнормировать амплитуду выбросов к текущей средней нагрузке.
Как видите, я бы попытался извлечь из сигнала максимум информации. У нас это оправданно, так как приборов в поле стоит очень мало, и однородные ряды данных - на вес золота. Когда (и если) они получены, то дальше совсем не грех заняться с ними чем-нибудь интересным. Насколько это может быть применимо в Вашем случае - это вопрос не ко мне. Я вообще-то сюда заглянул, чтобы дать ссылку на пару идей по работе с выбросами (их детектирование и коррекция/выбраковка). Но вот может ли какая-то из этих идей выстрелить в Вашем случае - это не мне судить.
Что является критерием выброса ? Z-оценка ? Превышение среднего ? Что то еще ?
К сожалению, у нас геофизические ряды, там совсем другая специфика. У нас в каждом конкретном сигнале причины выбросов (и оптимальные рецепты по работе с ними) различны. Если сигнал важный и интересный, то мы обычно пробуем с десяток разных критериев, и потом экспертно (=субъективно) смотрим и сравниваем: какой из них лучше нравится в плане результатов? В определенном смысле это подгонка, но другие варианты, говоря философски, тоже не идеальны.
Поэтому конкретно по Вашей ситуации я ничего не скажу: я просто не знаю. Я только хотел намекнуть, что вариантов решения - великое множество, и что выбор лучшего - это отдельный квест. Его можно искать априорно (если Вы точно знаете, чего хотите сделать и почему именно это), либо эмпирически (это когда Вы прищуренным глазом смотрите на сигналы, обработанные разными способами, в надежде в один прекрасный момент вспомнить греческий). Но вообще, если задача не совсем типовая, то ответ почти обычно приходится искать самому. Точнее, иногда можно подглядеть у соседа по парте, но для этого у Вас с ним должен быть одинаковый вариант. У нас - геофизиков - это очень редко бывает.
Эх.... Если бы это удалось установить . Период сбора данных = 1 минута. Период семплирования ожиданий СУБД =10ms. У меня пока нет инструментов для сбора статистики для периода менее 1 минуты.
Ну вот, Вы еще раз макнули мое самолюбие мордой в грязь ;-) Я почему-то до этого был уверен, что хорошие СУБД так не делают ;-) Что резкие выбросы на таких больших квантах времени - это плохо, и поэтому мудрые разработчики уже давно все подобные аномалии побороли. Точнее, я верю, что СУБД может ощутимо притормозить, если там подтянулись какие-то ресурсоемкие внутренние процессы. Но резко ускориться?! Ведь если запросов много, и они случайным образом поступают из многих разных источников, то согласно ЦПТ, выбросов там быть не должно? Да и резерв производительности СУБД не бесконечный... А не могли ли там еще какие-то аномалии и в инструментах сбора статистики наложиться?
В общем, на мой незамыленный взгляд профана, в такой ситуации можно попытаться проанализировать именно выбросы. Без фонового сигнала. Но мне легко говорить: я фактически всю жизнь такими трюками с нашими геофизическими сигналами занимаюсь (у себя мне для этого надо пару кнопок нажать). В Вашем случае это может быть и не нужно, и технологически неудобно....
Ещё, хорошо потом дополнить задачу изменением условия:"Теперь давай попробуем такое изменение условий задачи: сколько электричек прибудет на вокзал за тот час, что вы едете от него?".
А можно я немного из жизни добавлю?
Мой вокзал (ну вот так совпало) - курский. И если я еду с него к себе в Серпухов, и встречаю электрички ровно тем способом, как описано в условиях, то на Курский вокзал за час приедет (та-дам!) вовсе не шесть электричек, а ПРИМЕРНО 12. Ну или вообще 18.
Так как на мой любимый Курский вокзал электрички приходят не только со стороны Серпухова, но и со стороны, пардон, Каланчевки. (Он - не тупиковый). А еще на нем есть Горьковское направление (и вот оно тупиковое, но ветки быстро расходятся и те встречные электрички я вряд ли увижу, за исключением, может быть, первой).
Кажется, у меня появляются вопросы не только к AI, но и к репетиторам ;-)
Заинтриговали!
И сколько же (по мнению AI)?
Задача не очень понятна. Мы у себя (не СУБД!) просто исключаем выбросы, после чего уже разницы почти нет - что именно считать. Но тут важна физика: в чем причина выбросов? Как они входят в целевую статистику? От этого зависит, как с ними быть. Ну и цель надо поконкретнее ставить, т.к. первый (и главный) шаг при выборе наилучшего метода - это сформулировать цель обработки (= критерии оптимальности).
Еще есть идея взвешивания выбросов. Подробнее про обе идеи см. в справке к нашей программе ABD: файл WinABD_Help вот в этом каталоге, там раздел
3.4.1. Анализ и чистка выбросов. Выравнивание дисперсии сигнала, выбраковка аномалий (метод Level)
Программу можно взять там же, чтоб поиграться с рядами, прогнать через алгоритм Level с разными настройками и наглядно сравнить варианты. Задачи такого рода мы в ней щелкаем, как орешки - вот только сперва придется Ваши ряды туда загрузить, а с этим не каждый мидл справится ;-) Так как продукт узконишевый, и порог вхождения около потолка :-)
А вот справку гляньте, может что-то себе присмотрите. Если вопросы конкретизируете, может еще чего подскажу...
разве вообще должен подниматься уровень океана, если основные ледники уже как 10к лет почти полностью ушли?
Вообще-то никто не обещал, что сейчас у нас минимум льда в ледниках, и что еще меньше в естественных условиях не бывает. Даже наоборот: мы точно знаем, что "еще меньше" (и намного!) бывает. Ну а насчет "основные" / "не основные" можно возразить, что при таянии "основных" ледников скорость изменения уровня океана иногда достигала 10м за 100 лет, а в пиковые периоды даже больше. Сейчас у нас воды в виде льда (по сравнению с последними большими оледенениями) примерно в три раза меньше (60м vs 200м). Поэтому и пиковые скорости могут быть другими. Допустим, что пропорция такая же, как по льду - то есть тоже в три раза меньше. Итого получаем типичную скорость роста уровня на масштабе тысячелетий 0.3м за 100 лет, а пиковую - 3м за 100 лет (или даже быстрее). По факту у нас менее 0.2м. Как ни крути, но гипотеза о катастрофически быстром подъеме уровня океана в настоящее время объективными данными не подтверждается.
Разумеется Вы совершенно правы, что приведенные факты ни в коем случае не позволяют нам отбросить опасения уровня "А ну как если вдруг?!?" Больше того, я совершенно не отрицаю, что высказывать такие опасения (и анализировать их!) обязательно нужно. Однако давайте все-таки дифференцировать разницу между утверждениями типа "Я вижу волка: он вышел из леса и приближается к стаду, осталось 250м!" и этим самым "А ну как если вдруг?!?". И не будем выдавать второе за первое.
Я не отрицаю, что любой человек имеет право на свою точку зрения. Но вот лично я исхожу из того, что при планировании практических действий надо опираться прежде всего на объективные факты, и лишь во-вторых - на прогнозы (также построенные на этих фактах).
Да, это рискованно, так как при таком подходе можно проигнорировать вполне реальные риски, сформулированные сначала лишь на уровне опасений, а потом уже будет поздно. Но столь же рискованно, имхо, бросаться в другую крайность, когда нам предлагают бросить все ресурсы на предотвращение некоего риска, даже не оценив
вероятность его реализации
точнее, сравнивать риски надо по матожиданию ущерба, т.е. произведение суммы ущерба на вероятность реализации сценария. Но для этого надо иметь разумные оценки первого и второго...
Иначе можно под лозунгом "жизнь ребенка бесценна" потратить весь бюджет государства на один-единственный очень тяжелый случай. В результате чего сразу после этого миллионы других детей умрут от совершенно тривиальных причин, так как им, грубо говоря, не хватит зеленки (бюджет-то уже потрачен). Пример нарочито гиперутрированный, но суть опасений, надеюсь, понятна.
К тому времени, когда споры будут окончены, возможно, что будет уже слишком поздно (...) не дожидаться окончания споров, и воздействовать тем, чем можно, будь это хоть 10%?
Во-первых, поздно не будет. Даже в самых худших сценариях время, когда у человечества еще будет техническая возможность все повернуть вспять, исчисляется столетиями как минимум. Да, запоздалое лечение может обойтись гораздо дороже превентивного во всех смыслах. Но проблема в том, что мы не можем рассчитать последствия этого превентивного лечения. Из-за чего есть огромный риск, что непродуманные превентивные меры приведут к гораздо более фатальным последствиям, чем потенциальная болезнь.
Прошу прощения за надуманный мысленный эксперимент (фактологию я не проверял), но представьте себе условного больного с микроцарапиной. С большой вероятностью это и правда только царапина (за пару дней заживет), но точно так же есть риск, что его только что цапнула королевская кобра (а больница с антидотом в 1000 км). Во втором случае единственный шанс на спасение - срочно оттяпать ногу
по самые уши. Кто из двух докторов прав, мы не знаем.С потеплением ситуация имхо чем-то похожа, только времени на принятие решения у нас много больше. Так вот, моя позиция состоит в том, что надо срочно изучать ситуацию научными методами, а не доверять решение тому доктору, который более красноречиво размажет оппонента по стенке.
Вода сверху может хоть кипеть начать, оставаясь на глубине ледяной, совсем как в школьном опыте
По моим впечатлениям - очень вряд ли в силу вертикального и широтного перемешивания океанскими течениями. Они ведь очень мощные и сплошь и рядом уходят на глубину (вплоть до придонности). Но Вы правы, что тут есть вопросы, на которые надо отвечать научными методами (численные модели и пр.). Океанологи наверняка об этом уже задумывались. Было бы интересно, если кто-то тут знаком с такими работами и сможет тут компетентно ответить.
Не запутаться бы в производных. Значит, рост уровня СО2 продолжается, лишь темпы этого роста теперь постоянные, а не растут?
По данным пятилетней давности - да. Более поздние я не обрабатывал.
Выбросы тоже растут, а темпы этих выбросов тоже увеличиваются, или, как минимум, стабилизировались? Не может ли быть так, что обратной связью как раз и являются человеческие попытки ограничить выбросы?
Это правильный вопрос, и мы его пытались раскапывать. Однако прямых данных по объему выбросов мы не нашли (искал не я, а мой соавтор, свободно владеющий английским). Поэтому мы ориентировались на косвенные данные и помощь знакомых экономистов. По их оценкам, получалось, что выбросы (на тот момент) продолжали расти. Возможно, сейчас такая информация стала доступнее. Но я с тех пор к этой теме не возвращался, т.к. основная специализация у меня немного другая.
Формулировка, конечно, весьма и весьма характерная.
Не очень понял намек. Я подразумевал, что определенные компании (из вполне конкретных юрисдикций) получили очень серьезные прибыли, производя и продавая "правильные" хладагенты. И что их роль в лоббировании этих решений прослеживается довольно конкретно. Но я не хочу углубляться в эту тему, так как это уже политика. А я против политики на Хабре, особенно сейчас. Слишком уж это больная тема... Подробнее
могу сказать только одно
Господи, дай мне силы принять со смирением то, что я не могу изменить, и не возмущаться, мужество, чтобы изменить то, что могу, и мудрость, чтобы отличить одно от другого
Поддерживаю предыдущих комментаторов, если есть время/настроение/желание – сделайте статью.
Попробую ответить сразу на все три вопроса от @VanishingPoint, @Dr_Faksov, и @Rorg. Желание-то разобраться поглубже у меня есть. Тема-то довольно горячая, и определенное беспокойство у меня вызывает. Тем более, что есть шанс как-то применить свои профессиональные навыки для уточнения каких-то нюансов.
Но вот возможности разбираться сейчас нет. Я ведь НС в РАН, и работа у нас идет по планам. А туда такие задачи не вписываются особо. Я ведь специализируюсь на твердой Земле преимущественно. Инициатива у нас, конечно, не наказуема, но время на нее ограничено. А уж в "чужую" область я без соавторов, которые в теме, точно не рискну залезать. Я ведь в историю с атмосферным СО2 почему вляпался? Мы работали со "своими" временными рядами, и обнаружили, что самый обычный и интуитивно понятный метод наложения эпох (непорочный, как жена Цезаря), оказывается, может довольно грубо лажать при определенных условиях. Причем, совершенно не экзотических, а вполне типичных. Если вдруг тут кто-то интересуется временными рядами, то
вот подробности
Суть проблемы в том, что если ряд одновременно содержит сезонный эффект, тренд и пропуски наблюдений (достаточно двух опций из трех), то на выходе мы получим
наполовину фигню
Это легко доказывается численным моделированием: конструируем сигнал из нескольких компонент, затем делаем его декомпозицию и сравниваем оценки каждой составляющей и истинные сигналы, заложенные в модель. Пара примеров таких рядов (в дополнение к упомянутым в прошлых статьях) разобраны вот здесь: раз, два три. Причем, то же самое будет, если оценивать сезонный эффект не наложением эпох, а комбинацией гармоник либо на основе АР-подхода. Так как первопричины бага остаются и в равной мере влияют почти на любой такой алгоритм
Причем, она может дополнительно усугубиться, если длина ряда не кратна целому числу лет, или там есть скачки уровня, но с этим обычно борются превентивно.
Фактически это ставит под сомнение несмещенность оценок параметров такого сигнала, если все параметры модели оцениваются одновременно. Это, кстати, не только к геофизическим временным рядам относится, но и к эконометрике и т.д. И эти смещения настолько велики, что соизмеримы по величине с трендом глобального потепления на большинстве метеостанций с длиной ряда порядка 50 лет и меньше.
Но если мы построили неправильную модель временного ряда, то и выводы из ее анализа будут кривыми. А прогнозы - неточными.
В общем, в порядке борьбы с этим багом у нас возникла идея итеративной декомпозиции временных рядов на физически обусловленные компоненты, которая позволяет минимизировать смещение оценок параметров ряда. Ряды концентрации атмосферного СО2 идеально подошли для тестирования и апробации этого алгоритма. Вот почему я за них взялся
Если вдруг кому интересно,
то в публичной дискуссии нам обычно показывают только ряд концентрации атмосферного СО2 на ст.Мауна-Лоа, т.к. он самый длинный. Но на самом деле таких станций полно, причем на разных широтах. И другие достаточно длинные ряды мониторинга атмосферного СО2 среди них тоже есть. А самое интересное, что эти ряды неожиданно сильно отличаются от ряда на Мауна-Лоа, особенно если брать другие широты. Что и сделало эти ряды столь заманчивым объектом для тестирования наших алгоритмов. Особенно интересно на южном полюсе ;-).
Кстати, в упомянутых в прошлом посте статьях у нас приведены результаты по четырем станциям, а не только Мауна-Лоа. А реально было обработано даже больше. Так что эти выводы, за которые меня тут уже мимоходом причислили к провокаторам, приписав распространение "псевдо научных теорий", сделаны не совсем на пустом месте. Хотя лично я вообще никакого отношения ни к потепля-алармистам, ни к потепля-отрицальщикам не имею и вообще никогда не имел. Просто поделился своей точкой зрения на вопрос и теми аргументами, которые пришли в голову - как за, так и против...
Короче, я веду разговор к тому, что по части рядов атмосферного СО2 я могу "ответить за базар" не только ссылками на всякие википедии, но и рядами обработанных данных во всем их разнообразии. В статьи ведь вошел один процент картинок из тех, что мы насчитали. А еще любой желающий может скачать наши программы (тут exe-шники под Винду, а вот тут все исходные коды) и (там же) базу с рядами атмосферного CO2, которые мы обработали. И воспроизвести все эти расчеты, чтобы проверить каждое мое слово. Либо сделать по-своему, но с использованием
доп. возможностей наших алгоритмов
Там фишка в том, что мы пропуски не заполняем ничем, а работаем с рядами as is. Если пропусков нет, то алгоритм работает по классике. А если есть - то применяются всякие трюки на уровне конкретного метода, чтобы оценка получилась несмещенной на каждом шаге. У нас есть серьезные подозрения (численное моделирование и др.), что такой подход работает не хуже, чем подход на основе самого идеального заполнения пропусков. Если же мы не можем заполнить пропуски идеально (что на практике чаще всего и бывает), то наш подход в общем случае значительно лучше. Имхо. Подробнее см. вот тут. (Полные тексты всех упомянутых статей здесь).
Но, это только по части обработки атмосферного СО2. В остальных же вопросах, затронутых в первом посте, я разбираюсь на уровне продвинутого любителя, плюс некоторая доля физического здравого смысла (хотя он иногда и подвести может). Проще говоря, рецензируемых публикаций по теме у меня не было (разве что косвенно какие-то подпункты где-то затрагивались). Причем, у меня еще и
проблемы с английским
поэтому обзоры для меня всегда соавторы составляют. А я больше ориентируюсь на их мнение... ну и на походные разговоры у костра со всякими знакомыми гляциологами/гидрологами/климатологами, благо таких хватает. А не на "раскопки" литературы.
С учетом этого, я не возьму на себя смелость все сказанное развернуть в формате статьи. Статья все же требует хорошей работы с первоисточниками, причем по каждому пункту... а у меня для этого нет ни возможности (времени), ни знания языка.
Однако высказанные пожелания я учел, и попросил написать такую статью знакомого климатолога (если она найдет время). Ну или хотя бы дополнительный развернутый комментарий. Она гораздо профессиональнее во всем этом шарит, ну и вообще интересуется темой. Правда, деньги она сейчас зарабатывает в международном проекте, генеральные заказчики которого предпочли бы увидеть совершенно определенный результат, а не научную истину. Но я лично этого человека хорошо знаю, и не сомневаюсь, что она будет стараться сохранить объективность, - во всяком случае на этой площадке. На данный момент ответ от нее пока не пришел, но я надеюсь на положительный. Правда, по объективным причинам не очень скорый.
Поскольку небольшое замечание @ajijiadduhвызвало бурную, на много страниц, дискуссию, решил ответить отдельной веткой:
> каким образом это свидетельствует?
Приведенная в статье формулировка, несмотря на ее общеупотребительность, содержит некоторую подмену понятий. Сейчас в научной среде имеется консенсус о том, что потепление климата действительно происходит. Как геофизик, занимающийся временными рядами, могу подтвердить - данные не оставляют сомнений в том, что климат меняется.
Подтасовка начинается в тот момент, когда мы приписываем это влияние исключительно человеку. Я даже предположу, почему такая точка зрения стала столь популярной. Имхо, дело тут не столько в чьем-то злом умысле, сколько в априори очевидном для любого образованного человека факте: любое изменение должно иметь причину. Если мы видим внезапное и быстрое изменение климата (который, как нас учит весь предыдущий жизненный опыт и даже немножко школа, оставался стабильным многие миллионы лет), то такая причина должна быть экстраординарной. Отсюда почти автоматически следует вывод об антропогенном характере потепления. Ведь оно совпало по времени с промреволюцией и т.д.. А уж огромная скорость этого потепления не оставляет вообще никаких сомнений, что причина - сугубо антропогенная, и что катастрофа уже стоит за ближайшим углом. На что тут выше
уже намекали тысячу раз
См. например комментарий @AlexMihили замечание про "стабилизировавшийся на протяжении многих веков баланс" от @bigbamblbee, или про те миллионы лет, которые потребуются экосистеме для адаптации (@DSSilver), или про то, что изменения происходят намного быстрее, чем ожидалось от @EvgeniyIvanovhabr... (все шрифтовые выделения мои).
Однако, эти очень естественные (и логичные!) рассуждения на самом деле основаны на "забывании" некоторых "неудобных" фактов. Ни в коем случае не хочу никого обидеть, но человеческий мозг так устроен, что в ходе дискуссии он в первую очередь ищет подтверждения своих аргументов. А другие (тоже, скорее всего известные, но не нужные в данный момент) факты просто не вспоминаются. Приведу только один пример. Общеизвестно, что во время глобальных оледенений (в том числе и совсем недавних) уровень моря понижался на 100 и более метров. При этом характерная продолжительность таяния покровных оледенений при дегляциации - это несколько тысяч лет (см. там же). Даже если брать dH по минимуму, а dT по максимуму, то 10 тыс. лет и 100м дают среднюю скорость повышения уровня мирового океана 1м за 100 лет. И это средняя скорость на протяжении тысячелетий! Нет никаких сомнений, что в процессе таяния оледенений были отдельные эпохи длительностью в десятки и сотни лет, когда скорость подъема уровня моря была на порядок выше. На этом фоне современная скорость повышения уровня мирового океана - по факту менее 20см за сто лет - это
вообще ни о чем
с точки зрения стабильности климата. И уж совершенно точно это не климатическая катастрофа, хотя журналисты очень стараются, чтобы первая мысль при чтении новостей про рост уровня моря была именно таковой ;-)
Потому что на протяжении совсем недавней истории (последние миллионы лет) регулярно бывали времена, когда уровень мирового океана менялся гораздо быстрее, чем сейчас.
Аналогичные примеры можно привести и касательно изменения температур, содержания атмосферных газов и т.д., хотя там чуть-чуть
посложнее с архивными данными
У большинства методов есть объективные ограничения разрешающей способности по времени. Из-за этого скорость наиболее быстрых изменений документировать сложно (т.н. "эффект наблюдательной селекции").
Короче, к чему я клоню. Значительная часть "очевидно-бесспорных" аргументов о том, что нынешнее потепление является а) беспрецедентно быстрым и, следовательно, б) антропогенным - несостоятельны. Научный консенсус сейчас состоит в том, что вклад антропогенных факторов в потепление есть. Но вот насколько он велик, и составляет ли он 10% или 90% - споры об этом совершенно не закончены. Поэтому когда мы автоматически ставим возле слова "потепление" эпитет "антропогенное", то совершаем тем самым подмену понятий.
И второй важный момент. Земная экосистема имеет огромную инерционность. Чтобы существенно нагреть океан (с его гигантской теплоемкостью), нужны очень большие масштабы времени. Во всяком случае, это совершенно точно не столетия и не тысячелетия (не забываем о вертикальном перемешивании, которое неизбежно при наличии сильных горизонтальных течений + рельеф дна). Но пока ТПО не изменится на очень значительную величину (как минимум, на 5 градусов, причем не локально, а на существенной части поверхности моря), кардинальных изменений в глобальной погоде и в климате можно не ждать (хотя отдельные регионы вполне могут "почувствовать" даже изменения на несколько градусов). За последние 50 лет (период наиболее быстрого роста ТПО) такие изменения по порядку величины не превышают градуса, и то лишь в некоторых районах (см. там же). Причем, серьезное ускорение темпов этого роста не кажется вероятным, т.к. возросший градиент поверхностных и глубинных температур (а теплоемкость всей массы океанской воды в наших масштабах времени можно считать бесконечной) неизбежно будет работать в обратную сторону.
Ну и теперь третий аргумент. Если бы земная экосистема действительно находилась на грани необратимых процессов, то она бы уже очень давно свалилась в какую-то крайность ("Земля-снежок" либо "Венера"). Мы сейчас точно знаем, что за последние пару миллиардов лет средняя температура поверхности Земли менялась в очень широких пределах (на порядок больше, чем обсуждаемые/прогнозируемые моделями климата риски). И тем не менее качели всегда возвращались обратно. Это может означать только одно: в системе есть очень мощные обратные связи, которые препятствуют уходу "в зашкал". Причем, об этих обратных связях мы до сих пор знаем непростительно мало. Просто потому, что для их экспериментального изучения надо иметь (и сравнивать) наблюдения хотя бы в двух разных точках с очень разной температурой, чего у нас нет и еще долго не будет. А пока таких данных нет, все такие механизмы изучаются лишь сугубо теоретически. Я думаю, тут ни у кого нет иллюзий о надежности этих теорий для столь сложной системы, как биосфера Земли...
Лирическое отступление про обратные связи
Кстати, мы еще несколько лет назад по эмпирическим данным заметили, что темпы роста концентрации СО2 если не начали уменьшаться то как минимум
стабилизировались
несмотря на продолжавшийся, на момент написания вот этих статей (раз, два), рост выбросов. (Полные тексты статей можно взять здесь).
Мы тогда предположили, что дело как раз в обратных связях: эффективность механизмов изъятия СО2 растет по мере роста его концентрации (дело было еще до ковида). И последние данные эту обнаруженную нами тенденцию вроде бы подтверждают.
Ну и теперь мое имхо
В общем, как человек, имеющий некоторое отношение к вопросу (хотя и не профессионал в нем), я бы сформулировал свою позицию так.
1) Факт потепления бесспорен и надежно подтвержден данными
2) Антропогенный вклад, очевидно, есть (см. изотопный анализ и др.). Но вот насколько большую роль он играет сейчас, и насколько он опасен в динамике - это пока непонятно. Научного консенсуса нет. Главная причина для сомнений в том, что атмосфера - это вовсе не склад, куда сколько СО2 добавил, столько там и останется. Нет, мы имеем дело с нелинейной динамической системой с обратными связями, через которую постоянно проходят огромные потоки СО2 (на фоне которых человеческая добавка весьма скромна).
3) Поэтому та наглость, с которой мы (некоторые человеки) утверждаем, что наблюдаемые в природе изменения вызваны нами (человечеством), и что мы можем ими управлять с помощью простых инструментов, мне кажется необоснованной
Вообще, данные показывают, что хотя земная экосистема иногда может находиться в относительно стабильном состоянии, но для нее столь же естественны и достаточно быстрые изменения. Которые совершенно точно могут происходить (и неоднократно происходили в последнее время) совершенно без участия человека (ну, если не брать в расчет тех, которые на деревьях сидели). С учетом этого, мое мнение об управляемости этих процессов сводится к следующему:
1) Попытка управлять биосферой (к чему нас фактически призывают) совершенно не обязательно будет иметь успех. Просто потому, что система, которой мы хотим управлять, очень сложна и очень плохо изучена, о чем здесь уже написал в соседней ветке @RS6. Она может работать (среагировать на воздействия) совершенно не так, как мы себе представляем
2) Если даже мы можем правильно просчитать направленность непосредственной реакции на наши воздействия, нет никаких гарантий, что это изменит ситуацию в целом. На фоне гораздо более мощных естественных процессов (см. "круговорот СО2") это все может оказаться "комариным укусом".
3) Вне зависимости от попыток "перехватить управление" приоритет надо отдавать тому, чтобы приспосабливаться к меняющимся условиям и обеспечить для себя (человечества) наиболее комфортную среду, не смотря на такие изменения.
P.S. Кстати, совсем недавно (уже в историческое время!) экосистемы не раз менялись кардинально и иногда фатально для целых народов. К сожалению, опыт показывает, что приспособиться к таким изменениям могли далеко не все. А еще очень часто такое приспособление обеспечивалось за счет соседей. У меня есть печальное впечатление, что в природе человека с тех пор
мало что изменилось
и тут я скорее солидарен с пессимизмом @Kanutи с едким замечанием @gbeam, а не с радужными надеждами @Einherjar
Имхо, у нас пока все по-прежнему: че-че-во и общечеловеческие интересы всегда глубоко в заднице по сравнению даже не с национальными, а с интересами национальных элит. (Хотя некоторые из них благодаря контролю над СМИ порой достаточно успешно пытаются выдать свои групповые интересы за общечеловеческие).
Поэтому, как бы мне ни хотелось надеяться на лучшее, но я не верю в возможность рационального договора между правительствами (элитами) с целью совместных действий для минимизации общественного ущерба землянам от изменения климата. Тем более - для несимволических совместных действий
по предотвращению таких изменений
Я в курсе, что формально такой опыт вроде бы был - с фреонами, например. Но если копнуть поглубже, то основные мотивы там были совсем не про "общее благо"...
А если учесть, что любой "плюс" для одних почти неизбежно станет "минусом" для кого-то другого, то возможность такого договора и вовсе становится призрачной. Как максимум - более сильные навяжут выгодную для себя точку зрения более слабым. Поэтому конструктивные практические рекомендации у меня следующие:
1) честно и неангажированно изучаем целевую систему, чтобы лучше понять, как же она все же на самом деле работает
2) на основе (1) прогнозируем будущее настолько точно, насколько это возможно
3) думаем, как с минимальными издержками и потерями приспособиться к таким изменениям (см. очень дельный комментарий от @Shift1986)
4) любые попытки управлять (влиять) на ситуацию - только на основе принципа "не навреди". И уж ни в коем случае нельзя принимать какие-то меры без 200%-ной гарантии, что мы точно знаем все их последствия, а лишь потому, что кому-то это выгодно в данный момент
Попробую угадать: оригинал (либо автор) - англоязычный?
В подробной статье с детальной разобранной (и очень интересной!) историей нет ни слова про 15 сентября 1953 г, когда, согласно википедии, в Швеции были получены первые в мире искусственные алмазы. Мне трудно поверить, что автор, уделивший предыстории описываемого события целый раздел, ничего об этом не знает. Нет-нет,
я не сторонник "теорий заговора"
за исключением разве что вот таких... хотя там намного больше практики, чем теории ;-)
Но когда раз за разом наталкиваешься на подобные умолчания (причем тенденциозность всегда в определенную сторону), то волей-неволей начинаешь задумываться: это простая оплошность, или все же система, нацеленная на формирование определенной картины мира?
И вдогонку добавлю еще про TBATS:
Сложность в том, что модель SARIMA напрямую не поддерживает более одной сезонности и считается, что её выполнение в этом случае будет не самой лучшей идеей. Отмечу, что для подобных случаев с несколькими сезонностями в данных были разработаны специальные модели, одна из которых TBATS. TBATS – это аббревиатура по заложенным в ней компонентам - Trigonometric, Box-Cox transformation, ARMA errors, Trend and Seasonal components, что по-русски можно перевести как «Тригонометрические функции - преобразование Бокса-Кокса - ошибки АРСС - тенденция - сезонные компоненты».
Я считаю изначально порочной практику, когда параметры всех составляющих временного ряда (=всех компонент, из которых он "состоит") оцениваются одновременно. Да, этот подход совершенно стандартно используется во множестве моделей и статпакетов. Однако его недостатки становятся очевидными, как только исходный сигнал начинает хотя бы немного отличаться от теоретического идеала. Например, функция распределения ошибок не гауссова. Или, боже упаси, они не стационарны. Я уж не говорю о тех случаях, когда параметры сложной модели не являются взаимно независимыми и/или в данных есть пропуски наблюдений, нарушающие априорное свойство
ортогональности параметров модели
Например, при некоторой длине сигнала две синусоиды, периоды которых укладываются в него целое (разное) количество, могут быть строго ортогональны. Но если - о, ужас! - часть наблюдений пропущена, то все: ортогональность теряется. И это только верхушка айсберга...
Главная причина популярности такого подхода заключается имхо не в том, что он так уж хорош, а скорее в желании пользователей нажать одну кнопку и получить результат. Не задумываясь о том,
через какие подводные камни модель перепрыгнула, чтобы его получить
И насколько робастны полученные оценки. И не развернулось ли у нее (модели) там что-то внутри в процессе оценивания в обратную сторону - так, что производная некоторого параметра по независимой переменной приобрела знак, обратный физически содержательному. Пока мы относимся к модели, как к черному ящику, у нас нет никаких гарантий на этот счет. Точнее, некоторые гарантии может дать теория, НО только в том случае, если исходные данные строго соответствуют заложенным в модель требованиям (постулатам). Однако на практике свойства экспериментальных рядов им практически никогда не удовлетворяют. Чаще всего простейшие тесты сразу показывают, что что-то не так. В лучшем случае очевидных опровержений нет, однако доказать точное соответствие требованиям все равно невозможно. (А неточное = прощай, строгость). В результате этого при работе с данными мониторинга теоретическая обоснованность модели/метода из очевидного преимущества превращается в нечто эфемерное-виртуальное. Поэтому мое твердое имхо заключается в том, что нет никакого смысла идти на какие-то жертвы и самоограничения при выборе методов анализа рядов данных и построении моделей сигналов ради соблюдения "математической строгости". Т.е. если она обеспечена - то это прекрасно. При прочих равных математически обоснованный метод всегда лучше эвристики. Но если за эту строгость надо платить, то тут я готов согласиться только на самую минимальную "цену"...
Впрочем, это уже совсем другая история...
На мой вкус, при работе с нетривиальными временными рядами нужно идти в обратном направлении. А именно, каждая физически содержательная составляющая сигнала должна оцениваться и изучаться отдельно от всех остальных. Даже можно сказать сильнее: при построении модели любой составляющей ряда (например, 24-часовой) ВСЕ остальные составляющие сигнала должны рассматриваться, как помехи. Идея в том, что:
1) сначала мы отфильтровываем из сигнала все, что там есть хоть сколько-нибудь предсказуемого (те же сезон и тренд, например). При этом используем такие алгоритмы фильтрации), которые в минимальной степени "портят" (искажают) 24-часовую периодичность.
2) После этого по очищенному от всех этих "помех" сигналу (который в идеальном случае должен выглядеть, как 24-часовая составляющая + шум с простыми и неизменными во времени свойствами) строим модель 24-часовой периодичности и оцениваем параметры этой модели. Разумеется, она вовсе не обязана при этом быть синусоидой или комбинацией синусоид. Подход позволяет строить такие модели, которые мы считаем наиболее физичными.
3) На следующем шаге мы строим модель следующей компоненты сигнала (например, сезонной). И так далее.
Фишка этого подхода состоит в том, что на шаге (3) мы можем очищать сигнал от суточной периодичности или тренда не просто обычной фильтрацией, а на основе ранее построенной модели этой периодичности/тренда, то есть гораздо точнее. И так далее, пока не построим модели всех физически значимых компонент.
4) А вот уже после этого можно пройтись по второму кругу еще разок, уточняя все ранее построенные модели. Так как теперь мы умеем отфильтровать "шум" (=нецелевые составляющие) гораздо лучше. Ведь у нас теперь есть отдельная модель для каждой составляющей этого шума. Итог - мы итеративно улучшаем модели всех составляющих и так далее
до сходимости
Да, в общем случае (если нет никаких ограничений на составляющие) тут могут возникнуть большие вопросы. Но для многих частных случаев (которые обычно и возникают на практике) со сходимостью все хорошо. Хотя, строгое доказательство последнего утверждения - это отдельная песня, и я далеко не уверен, что знаю к ней правильные слова...
5) Ну и заключительный шаг: теперь, когда мы знаем, из чего состоит наш сигнал (ведь у нас есть модели для каждой значимой составляющей сигнала!), нет ничего проще, чем "собрать" ряд из этих моделей и экстраполировать его вперед (=прогноз). Причем с гораздо более обоснованными оценками ошибок прогноза.
Пример реализации такого подхода для описания структуры временных рядов концентрации атмосферного CO2 на разных широтах можно найти вот в этих работах: раз, два. В частности, сезонная компонента там имеет растущую с течением времени амплитуду, что совершенно необходимо для адекватного описания данных, но непосильно никаким TBATS-моделям. Особенно с учетом того, что рост амплитуды сезонных эффектов оценивается непараметрическим трендом, который совершенно не похож на тренд концентрации СО2 (то есть мультипликативная модель (раз, два) не прокатит).
Если кому-то будет интереснее познакомиться с этими публикациями подробнее, их PDF-ки можно найти вот тут. Ну и меня тоже можно в комментах подергать (я на Хабр регулярно заглядываю).
Я по работе постоянно имею дело с временными рядами (в первую очередь геофизическими, но также метео, гидрология, эконометрика и даже изредка этология). Но до сих мне пор как-то не приходилось использовать тест Дики-Фуллера, так как яркая нестационарность абсолютно всех изучаемых явлений была очевидна, что называется, невооруженным глазом (причем переход к приращениям чаще всего от нее не спасает). Я очень благодарен Вашей статье, - она мне просто "открыла глаза" по части этого самого ADF-теста. Причем для этого даже не пришлось самому его пользовать! А именно, я берусь утверждать (и готов это доказать методами матстатистики), что любой тест, который не отклоняет гипотезу о стационарности вот этих рядов (Ссылка на изображение из первой главы) и других им подобных, не годится даже в качестве принта-украшения на рулонах туалетной бумаги. То есть, если он уже есть в Вашем арсенале статметодов, то правильнее всего его оттуда выкинуть, как почти бесполезный генератор иллюзий. Если же его там еще нет - то Вам повезло, сможете потратить время на изучение чего-то более полезного с точки зрения практики работы с временными рядами ;-)
Нет-нет, я в курсе, что ADF-тест одно время широко использовался в эконометрике. Но в те времена, когда он был предложен, типичные временные ряды были немного другими (чаще всего с годовой скважностью, и лишь изредка с квартальной и месячной). С тех пор много всего в канализацию утекло... Разумеется, было бы наглостью с моей стороны пытаться опровергать классиков и нобелевских лауреатов без железобетонного на то основания... но если Вы в Вашей работе правильно применили ADF-тест к показанным в первой статье временным рядам (а навскидку очень похоже, что правильно), то никаких других комментариев, кроме слова "анахронизм", у меня к этому тесту не будет.
А если чуть-чуть серьезнее, то основную проблему я вижу в том, что реальные временные ряды почти никогда не удовлетворяют условиям применимости ADF-теста. В Википедии (да и во многих других случаях) эти условия применимости часто не формулируют явным образом, но даже там есть достаточно косвенных намеков (взять хотя бы отсылку к АР-модели), позволяющих заподозрить неладное. Ну то есть в теории, временные ряды с нужными свойствами потенциально возможны... но вот в моей достаточно обширной практике (пара сотен статей в рецензируемых изданиях) они не встречались вообще. Возможно, кому-то повезет больше... но вот мне
не встречались
Может, в этом и есть одна из причин, почему прогнозы эконометристов в реале почти всегда совсем не так хороши, как это следует (должно следовать) из внутренних критериев точности и сходимости используемых для прогноза моделей и алгоритмов?
Но как только мы выходим за границы условий применимости метода, результат становится непредсказуемым. Он может быть совершенно корректным, а может оказаться полной ерундой. Главная беда в том, что мы не сможем отличить первое от второго. В результате пять раз выводы будут правильными (так что организм мозга расслабится...) а на шестой - ОПА. И хорошо, если это будет не полная ОПА.
Как сказал один незаслуженно забытый классик, некритическое использование таких методов может приводить к ошибочным выводам, которые особенно опасны потому, что имеют видимость математической точности и строгости.
Если быть честным, то В.Ю.Урбаха классиком обычно не называют
Но лично для себя я совершенно однозначно отношу его к этой когорте и ставлю вровень с великими за ту единственную процитированную выше фразу, которую он не постеснялся написать на стр.7 своего учебника. Может, я ошибаюсь, но вроде бы он был первым, кто так просто и понятно сформулировал эту очевидную, но до сих пор не всеми осознанную мысль