То, что у вас написано - это и не юмор, и не пасхалки. Такие вещи никому не нравятся, кроме их авторов. Если это была бы книга - то да, в предисловии или в сносках* можно подобное позволить. В документации, в коде, в комментариях к коду - категорически нет.
Позиция понятна, и в определенной мере я с ней согласен. Юмор в пошаговой инструкции вряд ли уместен. Особенно если она написана на неродном языке, которым ты не владеешь свободно. Например, когда тебе надо загрузить данные, пришедшие в ana-формате, в программу, инструкция к проге должна быть предельно конкретной и четкой.
Что же касается конкретно нашего случая
то он достаточно близок к "книге". Дело в том, что примерно четверть от всего объема документации у нас составляют не пошаговые инструкции, а "философские рассуждения", в которых речь идет скорее про общие принципы построения алгоритмов. Специфика нашей работы в том, что она очень плохо формализована. Программа, как правило, не дает готовых решений, а предоставляет набор примитивов, из которых юзер сам, как из кубиков, собирает нужный ему алгоритм. Каким должен быть целевой алгоритм - не знают ни юзер, ни тем более авторы проги. В справке мы скорее делимся своим опытом в этом плане, причем заранее неизвестно: подойдет ли он юзеру, или нет. И такие рассуждения, отвечающие на вопрос "ЧТО вообще можно сделать в такой ситуации", часто довольно объемны. А главное, было бы совершенно неправильно, чтобы читатель к ним относился, как к догме. Вот в этот момент, как мне кажется, шутка может настроить его на правильный лад.
Что же касается способов "привинчивания" выбранных кубиков друг к другу (когда юзер ищет ответ на вопрос "КАК сделать вот это"), - то тут я с Вами согласен на сто процентов: инструкция должна быть короткой, конкретной и четкой. Буду обращать на это внимание в будущем, так как во время работы со слитным текстом (исходники справки) голова не всегда автоматом переключается на правильный стиль.
Вообще, мне кажется, что стиль инструкции к проге можно сравнить с двумя вариантами путешествия к заданной цели. В первом случае у тебя есть легенда, в которой перечислены повороты, и сказано: сначала направо, потом налево, а дальше три раза прямо. Кому-то так удобней всего. Однако при малейшем изменении местности, или при опечатке в легенде ты попадешь не туда. К тому же такую инструкцию надо составить для каждой возможной цели. А если есть варианты с начальными точками - то для каждой возможной пары "старт-финиш".
Поэтому начиная с какого-то уровня сложности вместо пошаговых списков удобнее карта. Которая не содержит рекомендаций: куда и где повернуть. Все на совести едущего.
Так вот, если Вы работаете в первом, пошаговом стиле, то ирония неуместна. Если же документация больше похожа на дорожную карту, то почему бы и нет? Особенно если авторы сами не очень-то хорошо представляют ее окраины. Вот про эти тропинки нам все достоверно известно - отражаем в документации. А где-то вот в этом районе - болото, предположительно с крокодилами (но говорят, что там собирают хорошую клюкву). В общем, мы сами там не были, пробуйте на свой страх и риск.
Те же спектры, к примеру, нельзя посчитать единственно правильным способом. Если в настройках метода есть четыре параметра, в справке можно раскрыть, что делает каждый из них. А вот какую их комбинацию следует выбрать в каждом конкретном случае - не ответит никто. Так как этих "конкретных случаев" - миллионы, в зависимости от особенностей данных, шумов, целевой функции и т.п. Даже если бы авторы знали ответы, в справке их изложить невозможно. А мы их вдобавок еще и не знаем (собственно, в этом научная работа и состоит)
.
P.S. Потрясающе. Вашему комментарию кто-то поставил минус. Я понимаю, когда минусуют за очевидную токсичность, за хамство, за грубую фактическую ошибку (которая кого-то введет в заблуждение). Но за корректно высказанное альтернативное мнение, с которым ты не согласен?! А как же тогда совершенствовать свое понимание, если всегда
слушать только приятное?!
Наверно, тут будет уместным упомянуть мое любимое следствие из третьего закона Ньютона: Опираться можно только на то, что оказывает сопротивление!
Я бы, наоборот, предложил не убирать эту ссылку, а сохранить, но обязательно пояснить, что Б.Д.Борисов по-своему (нестандартно)
трактует понятие ФШ
Я открыл его публикацию, и там видно, что это не опечатка, а свой особый подход. Просто не поясняется, что он отличается от общепринятого.
Иначе его читатели могут остаться в недоумении. А так они смогут найти ответ на свои вопросы хотя бы на Хабре.
Вообще, в таких случаях имхо полезно вступать в дискуссию, - это как раз такой вид спора, который к истине приближает. Не хочу проводить аналогию между двумя ситуациями (это было бы некорректно по отношению к Б.Д.Борисову), но просто хочу пояснить свою мысль на примере одной истории, в которой
я поучаствовал лет пятнадцать назад
А именно, в один российский журнал пришла статья известного зарубежного автора (что нечасто бывает). Основное открытие автора было уровня "Менделеев". А именно, он разработал "гармоническую модель Вселенной", и создал на этой основе собственную систему прогнозирования техногенных и природных катастроф. Статьи о фантастической эффективности этой системы, изложенные превосходным с литературной точки зрения зыком, пересыпанным научной терминологией, были опубликованы в десятках статей во всем мире (правда, в журналах далеко не первого квартиля почему-то). Проблема была только в одном. Основным методом доказательства статистической значимости этой модели был тезис: "я еще ...надцать лет назад предсказал (ссылка), что 2013 год будет особо опасным. Проверяем: и да, действительно, все в точности так и есть! В 2013 году произошла авиакатастрофа в ХХХ и засуха в YYY! Моя гипотеза (причем прогноз давался вперед) блестяще подтверждена!!!"
Этот тезис героически повторялся из публикации в публикацию практически в неизменном виде. Менялись лишь годы (список "опасных" лет автор опубликовал задолго до этого, причем без конкретизации видов опасности) и разновидности фактически случившихся бедствий.
Мы сперва думали - автор искренне заблуждается. Даже пробовали ему намекнуть, что сам факт наличия катастрофы еще ничего не доказывает. И что для доказательства особой опасности перечисленных лет надо бы показать, что в 2013г (и в другие объявленные "опасными" годы) катастрофы происходили чаще, чем в прочее время. В ответ автор забросал редакцию требованиями отстранить безграмотных рецензентов, которые своими идиотскими придирками мешают спасать жизни людей. А когда редакция намекнула, что хорошо бы и автору сделать шажок навстречу, он заявил: "Хорошо, 2013 год из публикации убираем. Давайте лучше напишем про 2011-й. Он, по моей модели, тоже опасный. А главное, в 2011 году было наводнение в ZZZ, причем с жертвами!
Так вот.
Проще всего было бы эту статью отклонить. Автор легко бы нашел другое издание. Ведь ссылки на такую работу, причем зарубежные, практически гарантированы (а для журналов это существенно). И автору тоже бонус: ведь на основе этой модели он осваивал миллионные гранты, консультировал соответствующие министерства в нескольких странах, а теперь к ним добавилось бы и МЧС.
Но ГПиБ поступил иначе. Поступившая статья была напечатана в авторском варианте - но рядом с ней были напечатаны отзывы рецензентов. После чего безумное пиршество панегириков этой модели оказалось разбавлено парой десятков критических замечаний, не оставивших камня на камне от каждого (без каких-либо исключений) тезиса первоначальной статьи.
Конечно, одному журналу трудно "сделать погоду" на мировом уровне. Однако теперь любой, кто читает фантазии этого Б.Л.Берри, хотя бы потенциально может открыть наш журнал и обнаружить там альтернативный взгляд на проблему, изложенный менее распиаренными, но гораздо более грамотными специалистами.
Не знаю, нужно ли тут оставлять подробные ссылки, так как сейчас все упомянутые статьи, к сожалению, за пейволом. Но для желающих покопаться все же оставлю:
2. Но все-таки, у Б.Д.Борисова явная опечатка. Такое:
где "альфа" - безразмерный параметр, реальные значения которого лежат примерно в пределах от минус двух до двух, [1].
еще можно было бы простить в 1955г, года понятие ФШ только формировалось, и каждый мог предлагать собственное определение. Но примерно с 1980-х годов общепринятая трактовка состоит в том, что под ФШ понимаются процессы с <альфа> от 0.5 до 2.0. Ссылок, где упоминается этот диапазон, можно привести множество, а вот про -2..+2 я сомневаюсь, что такой вариант предлагал еще кто-нибудь. В Википедии, кстати, приводится диапазон от 0.6 до 2.0. Такой вариант я тоже однажды встречал. Но вот у Рытова, насколько я помню (сейчас книжки нет под рукой) было вроде бы от 0.5. И у подавляющего большинства англоязычных авторов, которых я читал в 1990-е, тоже было от 0.5.
А определяется эта граница тем, что при альфа менее 0.5 процесс еще можно в каком-то приближении рассматривать, как квазистационарный, а вот начиная с 0.5 (0.6) - уже точно нет.
Впрочем, для некоторых применений даже и 0.3 -
слишком много.
Например, если мы хотим оценить значимость корреляции между двумя переменными, но вместо случайных величин будем рассматривать два временных ряда с альфа=0.3, то неожиданно можем ошибиться с доверительными границами на порядок. То есть, истинный 95%-ный порог будет равен не 2/sqrt(N), а примерно в десять раз больше. Или даже в 100, если ряд достаточно длинный.
Вопрос только в длине рядов. При альфа > 1 катастрофические ошибки в доверительных уровнях возникают уже при длине рядов в тысячи точек (подробности и примеры можно найти вот тут). А при альфа =0.3 аналогичная катастрофа произойдет лишь при длине рядов в миллионы и миллиарды отсчетов.
В общем, порог, за которым нестационарностью можно уже пренебречь, зависит от длины тех сигналов, которые мы рассматриваем. Сейчас 0.5 или 0.6 - вполне приемлемая оценка. Но по мере того, как практики будут сталкиваться со все более длинными реализациями ФШ, граничное значение альфа (начиная с которого уже придется учитывать разницу в свойствах БШ и ФШ) неизбежно придется снижать ;-))
@Vdm_ro, спасибо за критику! Понятно, что шутки должны быть не вместо инфы, а в дополнение к ней. И в соотношении примерно 1:100, иначе смешно не будет. Но вот для меня это скорее вопрос хорошего вкуса (хотя понятно, что он у всех разный), чем категорическое "нельзя".
P.S. Ну и еще наверно есть разница между массовыми продуктами (когда между юзером и разработчиком стоит несколько промежуточных звеньев) и узконишевыми, как в нашем случае. Когда с половиной пользователей авторы знакомы лично, и шутки направлены в хорошо понятную аудиторию. А в крайнем случае можно написать авторам в почту и через сутки (в среднем) получить конструктивный ответ. А через месяц - исправленную документацию, куда этот ответ будет вписан.
P.P.S. Но вообще - ставлю плюсик Вашему комментарию за полезную (для меня) обратную связь.
Сам я, кстати, люблю добавлять в объемную документацию
всякие невинные шутки
Например, раздел справки про спектры у нас начинается с пояснения: зачем нужно так много спектральных методов? Почему нельзя обойтись парой-тройкой стандартных? Суть пояснения изложена одной фразой: "Если от некоторой болезни существует очень много разных лекарств, - это значит, что ни одно из них не лечит по-настоящему!"
А раздел про методы заполнения пропусков данных предваряется честным признанием авторов программы, что они изучали этот вопрос много лет. Но так и не смоги подсчитать, сколько же разных алгоритмов заполнения пропусков можно построить, комбинируя стандартные опции нашей программы. Поэтому про некоторые их этих алгоритмов (до которых авторы проги не докопались) рассказа в справке не будет...
Хотя и знаю, что здесь есть много блюстителей строгости, которые нещадно минусуют сарказм и юмор, вставленный в серьезное обсуждение. Возможно потому, что они иногда "покупаются" на такие шутки, после чего испытывают обиду, вместо чтоб рассмеяться?
Я в 1986-90г работал на СМ-4, которую привезли и установили в горах Таджикистана для обработки научных наблюдений. А примерно через 10 лет несколько раз ходил вместе с Алексеем Рудневым в "детские"
горные походы
Младшим участникам было по 7-10 лет. Особенно драматичным оказался поход на Фишт в 1998г, когда у одного из членов группы случился перитонит, который мы вовремя
не распознали
Мы ж не медики. Как пальпировать аппендицит - примерно догадывались, но у перитонита симптомы отличаются... А последствия даже более скоротечные
Лагерь стоял на оз.Псенодах - с такой проблемой самостоятельно оттуда не спустишься. А на операционный стол с таким диагнозом надо попасть в течение суток, максимум двух. Если б не борт МЧС, который как раз в этот момент прилетел на Фишт в ходе
плановой тренировки,
За несколько лет до этого на Фиште разбилась связка сочинских спасателей, и после этого такие тренировки проводились на горе ежегодно 30 июля или в ближайшую дату. Сохранилась ли эта традиция до сих пор - не знаю
и который удалось "подловить" на приюте, последствия для пострадавшего могли оказаться гораздо печальнее. Думаю, Алексею эта история запомнилась на всю жизнь (и для меня она тоже стала хорошим уроком)
А главный прикол в том, что будучи (за несколько лет до этих путешествий) активным пользователем СМ-4, я даже не догадывался о том вкладе, который Алексей внес в развитие этой техники.
Понятно, что в походе, на отдыхе говорить о работе не хочется. Но, вероятно, есть все-таки некий предел, начиная с которого скромность перестает украшать человека, а начинает мешать прогрессу :-((
Проще и быстрее всего - на Хабре. Это, конечно, не рецензируемый ресурс, но достаточно уважаемый, так как вместо "допечатного рецензирования" тут хорошо работает механизм "послепечатного комментирования". Я в научных журналах несколько раз ссылался на Хабр, и такие ссылки никаких возражений не вызывали.
> Если не на хабре, то там вряд ли примут. Я давно не отслеживаю мир науки и мне трудно подобрать журнал.
С журналом не подскажу. В геофизических наверняка скажут, что это непрофильная тематика, если не будет конкретного применения в геофизике. А тут пока есть определенный разрыв.
Что же касается математических журналов, то я их просто не знаю. "Высоких" математиков я практически не читаю (очень уж далеки они от народа, да и язык непонятный). Ну и их тоже вряд ли такая частноприкладная задача заинтересует.
> Это всего лишь заметка.
Ну так на Хабре вроде нет ограничения по размеру статьи (что если объем не тянет на полновесную монографию, то публиковать нельзя ;-).
Но если Вам интересен вид с моей колокольни, то вот он:
1) Тема узконишевая, но внутри этой ниши весьма актуальна; 2) Общедоступная информация по теме практически отсутствует, что провоцирует недоразумения и заблуждения; 3) Выведенные формулы, с одной стороны, априори неочевидны, а с другой - дают пищу для размышлений 4) Идея с малым параметром F0 в этом контексте мне вообще никогда не встречалась; 5) Результаты полезные и нетривиальные
Поэтому просто потерять сделанное (а если оно останется только в комментариях, то для большей части человечества будет утрачено) было бы обидно.
P.S.
Если Вам для оформления публикации понадобятся картинки с временными рядами, спектрами или АКФ - только намекните! Сделаю в течение пары дней!
> В реальности, наверное, всё таки есть минимальная нижняя частота, которая связана с размерами Земли :)
Ну да. И еще одна, связанная с ее возрастом ;-)
А если чуть серьезнее, Вы уже настолько обширную работу провели, что очень хочется увидеть небольшую статью, где все эти результаты были бы собраны в единое целое. Понимаю, что тема весьма специфичная, и что миллионную аудиторию такая публикация соберет вряд ли. Но вообще-то тема достаточно актуальная в определенных кругах. Только вот большинство из этих потенциальных читателей - не на Хабре. И в здешних комментариях они никогда Ваши результаты не увидят. А вот в формате статьи - найдут!
Спасибо за статью! Но сначала конструктивная критика:
1) Почему в опросе нельзя выбрать несколько вариантов ответа?
2) Что касается мессенджеров и социальных сетей, было бы интересно как-то сравнить относительную активность в разных сетях. Но это сильно усложнит формат опроса :-(
Мне вот и по телефону звонят, и в мессенджерах пишут - я бы оба пункта отметил. Как выходной - так от директора просто отбоя нету...
Но вообще, когда время есть, я с любым звонящим стараюсь максимально конструктивно общаться.
Приятно ведь поговорить с человеком, который твоими проблемами интересуется, и даже вроде хочет помочь. Если, к примеру, у него что-то не получается, то всегда ищу какие-то компромиссные схемы. Уточняю, как именно можно перевести деньги, какие данные для этого нужны. Например, когда мне по телефону звонят - могу три раза подряд продиктовать свой номер, вплоть до побуквенного объяснения каждой цифры (если плохо слышно). "Семен, Елена, Маша, мягкий знак...", и т.д. Потом обязательно проверяю, что собеседник номер моего телефона правильно записал. Чтобы ошибки какой-то не вышло. Я ведь уже почти что пенсионер, а в финансовых вопросах точность нужна...
Но я видимо неудачник какой-то. Ну или товарищи на том конце совсем лыка не вяжут. Вроде бы все обсудили: как деньги на карту перевести по номеру телефона, как баланс счета пополнить. Вплоть до пошаговой инструкции. Все бесполезно!
Ни разу ни на телефон, ни на карту ни рубля не пришло...
> Посмотрел случай "альфы" больше единицы. Исходный интеграл равен бесконечности для любых "тау", то есть АКФ в ее классическом определении не существует.
Что, собственно, было вполне ожидаемо уже после первой части ответа (про альфа возле единицы слева) ;-))
> (по крайней мере для конечных , рассматривал значения около единицы)
А вот тут
не врубаюсь
У нас же <альфа> больше 1, т.е. (<альфа>-1) > 0. Получается положительное число в положительной степени. При T0 > 1 будет что-то строго больше 1. Тут тоже для перехода к обычной АКФ надо на R(0) поделить?
Но главное, я вообще не вижу зависимости от <тау>. Получается, в этом приближении АКФ(<тау>) = константа? Которая после нормировки будет точно равна 1?
Глядя на формальные оценки АКФ для реальных реализаций ФШ, я в общем-то легко готов в это поверить. Но Ваши расчеты добавляют важный нюанс: что этот эффект наблюдается для любых <альфа>, начиная с 1.0 и больше. Так?
> Про асимптотику по тау при альфа возле единицы слева
Очень интересно и неожиданно!
Спасибо!
Только с константой не очень понятно. Мы же про АКФ говорим, она нормированная же? Тогда при <тау>=0 должно быть АКФ=1,
что и определяет константу слева?
Я так понял, там еще должен быть какой-то член типа 1/R(0), который в формулах в явном виде не выписан? Или я что-то путаю?
Но в любом случае получается, что при <альфа>, близких к 1, зависимость АКФ от <тау> (на больших <тау>, естественно)
почти исчезает, так?
Ведь <тау> в знаменателе будет в околонулевой степени
Другими словами, при <альфа>, близких к 1, мы просто не можем уйти на такие большие лаги, при которых АКФ можно считать малой. А при меньших <альфа> это (в теории) потенциально возможно. Это интересный нюанс!
Получается. что ФШ 1) с <альфа> < 1 и 2) с <альфа> >= 1
это два совершенно разных ФШ?!
В первом случае дальние корреляции (при неограниченном росте <тау>) присутствуют, но все-таки связь ослабляется с ростом лага. А во втором - все, хана... даже этого нет.
Я правильно интерпретирую формулу?
И еще одно уточнение. SymPy shell online - это ведь лишь инструмент, так? Он не поясняет, какой именно математический метод (подход) использован для расчета асимптотики?
> У меня получилось найти АКФ для фликкер-шума, но для ограниченного параметра "альфа". Спасибо справочнику по интегралам Градштейн, Рыжик.
Спасибо!!! А можете еще подсказать,
как я могу на это Ваше сообщение сослаться, если понадобится?
Я пока не знаю, как я смогу эту формулу использовать, но если смогу, то я бы хотел в дополнение к
ссылке на
Градштейн И.С., Рыжик И. М. Таблицы интегралов, сумм, рядов и произведений / Перераб. при участии Ю. В. Геронимуса и М. Ю. Цейтлина. — 5-е изд., стер. — М.: Наука, 1971. — 1108с.
добавить ссылку на "личное сообщение" (в журналах их обычно оформляют в виде подстраничных сносок). Но, в такой ссылке надо указать ФИО автора сообщения. Если Вы не против,
напишите мне данные в ЛС?
В научной публикации такая ссылка будет выглядеть примерно вот так (реальный пример:)
> Надо различать ось времени и ось амплитуд. То, что называют оптимальным приемом (корреляционный прием, согласованный фильтр) не является накоплением при обработке рядов. Это разные вещи.
А вот тут не понял.
Мы при зондировании земной коры пытались просвечивать очаг землетрясения электрическим током. Сперва была идея, что для повышения отношения сигнал/шум надо увеличить мощность источника тока. Для этого на Памир затащили МГД-генератор. Он давал ток в сотни ампер. Но, каждый пуск был праздником. Он требовал большой подготовки и происходил в лучшем случае раз в две недели. А последняя стадия подготовки землетрясения - это часы-сутки (как тогда думали).Т.е. сопротивление очаговой зоны надо измерять ежедневно, хотя бы.
И вот как раз мой многолетний шеф А.Я.Сидорин, насчитавшись книг по радиофизике, предложил вместо однократного жутко сильного импульса послать в породу гораздо более слабый (и поэтому легко генерируемый), но очень длинный знакопеременный сигнал из прямоугольных импульсов длительностью пару секунд каждый, но суммарно длиной в полчаса. А на приемной станции выполнялось измерение напряжения на положительной и отрицательной фазе питающего импульса. И высчитывалась разница между ними. И эта разница суммировалась по паре тысяч импульсов (получасовой цикл). Заодно такая схема решала проблему с поляризацией среды, переходными процессами (ток на выходе МГД-генератора меняется по очень хитрым законам, и такой сигнал не так просто пересчитать в напряжение на приемнике из-за индуктивности), и пр.
В общем, при многократном понижении стоимости и снижении силы тока в 100 раз мы улучшили отношение сигнал/шум на два порядка за счет накопления. Подробности раскиданы по разным работам, но если интересно, можно для начала вот тут посмотреть (текст выложен).
Так вот.
Разве эту схему измерений нельзя называть синхронным детектированием? Мы всегда думали, что можно. И что накопление и синхронное детектирование - это очень близкородственные понятия (хотя и разные, разумеется). Но в нашем случае описанная схема зондирования в каком-то смысле обобщает первое и второе в единый процесс (алгоритм).
Очень длинный коммент мне технически сложно запостить (спасибо, редактор Хабра!)
> При накоплении ведь складываются отсчеты, разнесенные достаточно длинным интервалом времени (...) Если так, то [1] шумовые значения некоррелированы (читай белый шум). Если при этом эти отсчеты [2] имеют нормальную плотность вероятностей, то они и независимы [цифры мои]
К сожалению, оба предположения не выполняются.
[1]. В моем случае корреляция с ростом лага уменьшается, но очень медленно. На самом деле эта скорость определяется значением степенного параметра спектра <альфа>. Пока он маленький (порядка 0.5), все более-менее норм. Корреляция и правда уменьшается настолько быстро, что это даже можно в расчетах использовать. Обосновать не могу, но численное моделирование подтверждает. Например, для метеопараметров такое приближение (в виде поправки к формулам для БШ) отлично работает.
Но вот в моем случае параметр <альфа> обычно
близок к 2.0
Если интересно, вот тут или вот тут есть таблички степенных параметров для сигналов из нашей вотчины. Почти всегда там что-то
от 1.7 до 2.0.
Только если правда туда в эти таблички полезете, то учитывайте, что мы там в считали не степенной параметр спектра мощности <альфа>, а степенной параметр амплитудного спектра к=<альфа>/2. Так как мне хотелось читать спектр в тех же размерных физических единицах, что и исходный сигнал (а не в квадратичных)
Это совершенно типично для большинства рядов в твердой Земле, магнитосфере и пр. Турбулентность тоже, кстати, дает 5/3 (спектр Колмогорова). Но, когда значение <альфа> близко к 2.0, корреляция остается неприемлемо высокой для любых разумных лагов.
Увы.
Я пытаюсь с этим бороться с помощью разных трюков. Например, отрезаю НЧ, оставляю только узкую полосу, потом пытаюсь работать в этой узкой полосе. Благо, после такой процедуры (выделение узкополосного сигнала) дальние корреляции действительно хорошо давятся
Но, с точки зрения здравого математического смыла отписанный трюк больше похож на какое-то надругательство над сигналом. Ведь в ФШ-сигнале нет никаких выделенных частотных полос! Когда я такие полосы искусственно вырезаю - то это же полный произвол! Так как никаких разумных аргументов для выбора этих частотных полос исходный сигнал не содержит.
Я, конечно, пытаюсь отталкиваться от физики изучаемых явлений (в физике-то частоты не равноправны)... но с точки зрения матаппарата это же просто кривая подпорка к неработающему легаси...
Но всем пофиг...
Я в прошлом году пару статей на основе этой идеи написал. Думал, отдам в журнал, там рецензенты прочтут и в ужас придут. А потом, глядишь, и что-нибудь посоветуют.
Однако же замечания и советы были о чем угодно, но только не про этот больной (для меня) вопрос. Обе статьи (в разных журналах!) уже напечатаны. Я уже не знаю, к кому теперь обращаться... Физики меня прокатили, а к математикам лезть - это дословно получится со свиным рылом в калашный ряд (с)
Ну и по пп.[2] все еще проще. Чем ближе степенной параметр [альфа] к 2.0, тем больше распределение
уходит от Гаусса в сторону равномерного
Вот для примера распределения для ФШ рядов с <альфа> = 1 и 2
Примеры ФШ рядов. Степенной параметр 1.0 для первых двух случаев и 2.0 для двух нижних рядов
Для ФШ со степенным параметром 1.0 функция распределения чем-то напоминает гауссиан ;-)
Для ФШ со степенным параметром 2.0 имеем нечто среднее между нормальным и равномерным распределением
Интуитивно это можно понять: чем больше <альфа>, тем сильнее персистентность, тем активнее самоподдерживается тенденция к росту или спаду. В результате сигнал начинает "гулять" от минимума до максимума. В пределе (при <альфа> порядка 4) это уже начинает напоминать линейный тренд, у которого, как известно, распределение равномерное. Ну а в нашем случае (когда <альфа> 1.5..2.0) - что-то промежуточное
А вот тут уже не совсем. Это при работе с искусственными сигналами можно выбрать подходящую полосу частот, приладить туда источник-приемник, и не париться обо всем, что правее-левее. С одной стороны защищаемся найквистом, с другой - ФНЧ, и поехали проходить через квест, имея уровень "бог".
При экспериментальном мониторинге мы чем дольше наблюдаем, тем больше знаем. А проблема ФШ в том, что на любом масштабе времени (при любой длине ряда) наибольшую амплитуду (мощность) имеют периоды, сопоставимые с этой длиной ряда. Поэтому ограничивать спектр со стороны минимальных частот (=максимальных периодов) неверно как философски, так и технически. Философски мы теряем главную ценность данных - продолжительность непрерывно наблюдаемого процесса, а технически - теряем наибольшую часть измеренного сигнала в плане его дисперсии (мощности).
Так что это не выбор. Это данность, с которой приходится жить...
> Мы можем регуляризовать модель, добавив туда малую константу
Я совсем плохой теоретик, поэтому мне непонятно: как добавление этой константы поможет упростить формулы/выкладки. Навскидку - я совсем не уверен, что упростит. Но в любом случае, за идею спасибо. Если когда-нибудь я смогу найти математика, который заинтересуется моими вопросами, то я ему обязательно эту переписку покажу. Возможно, он оценит и использует Вашу идею.
> В реальности имеется проблема оценить эту константу
Ну, для теоретических выкладок можно наверно просто приравнять ее неизвестному малому значению <дельта>.
;-)))
Что же касается практических случаев, то там будет за счастье даже не точные формулы, а хотя бы асимптотика. Возможно, там получится какой-то другой параметр прикрутить, который будет легко оцениваться и даст нужные поправки к решению.
> (и, вообще, подобрать корректную модель такого "плохого" шума).
Тут вопрос в том, что нам надо от эксперимента идти. Мы знаем, что СПМ реальных сигналов ведет себя определенным образом. Больше того, даже знаем некоторые модели процессов (их много!), которые к такой СПМ приводят. Только вот плясать конкретно от этих моделей нельзя, так как их целая куча, и следствия из них разные. Например, модель с независимыми случайными приращениями - это совершенно не то же самое, что модель с перемежаемостью по Тимашеву... Поэтому в идеале надо бы исходить из эмпирик-факта, и только лишь из него...
> И проблема найти интеграл аналитически для любого параметра "альфа".
Тут ничего не могу сказать: я не математик. Но вообще, сидя на берегу реки (с), кажется странным, что такая простая на вид задачка может представлять реальную трудность. Возможно, она просто была особо никому не нужна?
> Согласитесь, интегрировать константу N0 проще, чем витиеватую СПМ фликкер-шума?
Спасибо, но Вы мои способности явно переоцениваете ;-) Я даже во временной области с большим трудом могу ФШ из "примитивов" собрать. А уж в частотной...
> СПМ белого шума - константа, которую как правило обозначают N0, [Вт/Гц]. Это не мощность, это плотность мощности. Она конечна для любых реальных шумовых процессов;
Разумеется. Расходимость возникает в одной точке (на нулевом периоде). Однако, это лишает нас права написать неопределенный интеграл. И, видимо, как-то мешает перейти к общим формулам.
Точнее, в случае с БШ это как-то уже преодолено, а вот в случае с ФШ - поему-то нет. Я сам не слишком хорошо в этом разбираюсь. но по факту есть масса литературы, вышедшей в нормальных журналах, где авторы берут ФШ и путем элементарных и очевидных преобразований выписывают связь между его степенным спектральным параметром <бета>, фрактальной "размерностью" такого сигнала D и его показателем Херста H. Причем написано все настолько просто и очевидно, что только у дурака могут возникнуть сомнения в этих формулах. И авторы вроде бы неплохие - от Туркотта до Фосса и Федера. Беда только в том, что формулы (связывающие три эти величины) у разных авторов получаются разными. А главное, дают странные ответы в граничных случаях. Например, большинство авторов считает, что 2D+<бета>=5, а другая половина - что 2D+<бета>=4. Но, первая формула дает странный ответ для белого шума (если <бета>=0, то D=2.5, и это на плоскости!), а вторая дает аналогичный глюк для броуновского шума (у него <бета>=2, но тогда D=1.0, хотя на самом деле там D=1.5). Ссылки на публикации упомянутых авторов с этими формулами можно найти вот тут.
Да, эти работы достаточно древние, но с тех пор никто так и не удосужился уточнить: а как же на самом деле? Вот я и подозреваю, что общие формула не выводятся из-за расходимости с неопределенными интегралами. Если же брать конечные реализации, особенно модельные, то с ними и
у меня все более-менее норм
Связь-между-бета-D-H.png. Н посчитан в классическом определении Херста, без взятия приращений. По оси абсцисс отложен параметр Фосса Hf
Глядя на этакие картинки, я даже могу предположить, какие формулы к этому численному моделированию лучше подходят. Только вот теоретически сам их вывести не могу. И, соответственно, не могу обосновать асимптотику подавления ФШ накоплением...
> определяется качеством приема: приемником, антенной, каналом (например, есть или нет радиозасветки Солнца и др. космических объектов).
Вы уверены, что шум во всех этих случаях именно белый? Я вот в этом весьма сомневаюсь. Так как в случае БШ фон спектра должен становиться плоским, начиная с какого-то уровня, где сигнал исчезает, и дальше (на более высоких частотах) доминирует шум. Но при обработке реальных рядов и почти никогда не встречал подобные спектры. В моих данных они билогарифмически-линейно спадают с ростом частоты вниз вплоть до найквиста. Но тогда кто дал нам право экстраполировать выполаживание спектра левее доступного изучению диапазона частот (что эквивалентно допущению о "белости" шума)? По Оккаму, гораздо логичнее просто продолжить эту тенденцию в бесконечность. Да и здравый смысл намекает, что это правдоподобнее. Ведь дискретизация измеряемого сигнала - это наше над ним надругательство, а в действительности-то аналоговый сигнал всегда непрерывный. Поэтому гораздо логичнее взять в качестве "базовой модели" исходного (а не измеренного!) сигнала именно ФШ, у которого нет бесконечной мощности при интегрировании вплоть до нулевого периода.
Но, рассуждая аналогично, на другом (НЧ) конце спектра мы тогда тоже должны допустить аналогичную экстраполяцию "без новых сущностей". И тогда уже она приведет к бесконечной мощности на нулоевой частоте. практически всегда вижу спадающую кривую на билогарифмитческом графике. рядов
> Заметьте, тут про дискретизацию вообще нет речи, и она по сути не требуется. Это уже нюансы цифровой обработки сигналов и их лучше опустить.
Именно так - это наш способ работы с данными. Но когда мы хотим вывести теоретическую формулу, мы же работаем с абстракцией. И для БШ (который теоретически имеет бесконечную мощность, если не ограничивать диапазон частот) все эти формулы почему-то выписываются без проблем. Проблема "нулевого периода" никому не мешает. А вот в варианте с ФШ (где по сути все то же самое, только проблема на нулевой частоте вместо нулевого периода) формулы почему-то не пишутся. Я так и не могу понять - почему.
Вы меня правильно поймите: я сам не смогу вывести нужные формулы ни в одном случае, ни в другом. Но:
(1) я запросто использую те формулы, которые написаны для БШ. Они в любом учебнике есть, причем на все случаи жизни; они прекрасно работают, и никогда (если шум действительно белый) не вступают ни в какое в противоречие ни с здравым смыслом, ни с численными моделями.
(2) С другой стороны, я легко могу показать, что при замене БШ на ФШ все эти формулы работать перестают. И это нельзя исправить никакими "маленькими поправками". Там просто катастрофические расхождения возникают. В варианте ФШ формулы для БШ больше не работают ни в каком приближении.
(3) Ну и с третей стороны, подавляющее большинство временных рядов долговременного мониторинга - это либо строго ФШ, либо почти ФШ. Тут просто нет ни малейших сомнений - достаточно на спектр посмотреть.
А теперь вопрос: почему, несмотря на (2) и (3), у нас нигде нет разумных формул для варианта с ФШ? См., например, мой исходный вопрос про подавление ФШ накоплением. Ну ведь наболело же! Я рецензирую кучу статей в журналах, где авторы на полном серьезе применяют в подобных случаях формулы для БШ. Хотя бред очевидный. И в каждом конкретном случае его можно продемонстрировать элементарно. Вот ваши яблоки, берем из них два, складываем с другими двумя. Теперь видите, что в ответе НЕ 5?
А общей формулы нет!
Чтобы не разбирать в стопятсотый раз в точности одну и ту же ошибку, складывая чемоданы, груши и финики.
То, что у вас написано - это и не юмор, и не пасхалки. Такие вещи никому не нравятся, кроме их авторов. Если это была бы книга - то да, в предисловии или в сносках* можно подобное позволить. В документации, в коде, в комментариях к коду - категорически нет.
Позиция понятна, и в определенной мере я с ней согласен. Юмор в пошаговой инструкции вряд ли уместен. Особенно если она написана на неродном языке, которым ты не владеешь свободно. Например, когда тебе надо загрузить данные, пришедшие в ana-формате, в программу, инструкция к проге должна быть предельно конкретной и четкой.
Что же касается конкретно нашего случая
то он достаточно близок к "книге". Дело в том, что примерно четверть от всего объема документации у нас составляют не пошаговые инструкции, а "философские рассуждения", в которых речь идет скорее про общие принципы построения алгоритмов. Специфика нашей работы в том, что она очень плохо формализована. Программа, как правило, не дает готовых решений, а предоставляет набор примитивов, из которых юзер сам, как из кубиков, собирает нужный ему алгоритм. Каким должен быть целевой алгоритм - не знают ни юзер, ни тем более авторы проги. В справке мы скорее делимся своим опытом в этом плане, причем заранее неизвестно: подойдет ли он юзеру, или нет. И такие рассуждения, отвечающие на вопрос "ЧТО вообще можно сделать в такой ситуации", часто довольно объемны. А главное, было бы совершенно неправильно, чтобы читатель к ним относился, как к догме. Вот в этот момент, как мне кажется, шутка может настроить его на правильный лад.
Что же касается способов "привинчивания" выбранных кубиков друг к другу (когда юзер ищет ответ на вопрос "КАК сделать вот это"), - то тут я с Вами согласен на сто процентов: инструкция должна быть короткой, конкретной и четкой. Буду обращать на это внимание в будущем, так как во время работы со слитным текстом (исходники справки) голова не всегда автоматом переключается на правильный стиль.
Вообще, мне кажется, что стиль инструкции к проге можно сравнить с двумя вариантами путешествия к заданной цели. В первом случае у тебя есть легенда, в которой перечислены повороты, и сказано: сначала направо, потом налево, а дальше три раза прямо. Кому-то так удобней всего. Однако при малейшем изменении местности, или при опечатке в легенде ты попадешь не туда. К тому же такую инструкцию надо составить для каждой возможной цели. А если есть варианты с начальными точками - то для каждой возможной пары "старт-финиш".
Поэтому начиная с какого-то уровня сложности вместо пошаговых списков удобнее карта. Которая не содержит рекомендаций: куда и где повернуть. Все на совести едущего.
Так вот, если Вы работаете в первом, пошаговом стиле, то ирония неуместна. Если же документация больше похожа на дорожную карту, то почему бы и нет? Особенно если авторы сами не очень-то хорошо представляют ее окраины. Вот про эти тропинки нам все достоверно известно - отражаем в документации. А где-то вот в этом районе - болото, предположительно с крокодилами (но говорят, что там собирают хорошую клюкву). В общем, мы сами там не были, пробуйте на свой страх и риск.
Те же спектры, к примеру, нельзя посчитать единственно правильным способом. Если в настройках метода есть четыре параметра, в справке можно раскрыть, что делает каждый из них. А вот какую их комбинацию следует выбрать в каждом конкретном случае - не ответит никто. Так как этих "конкретных случаев" - миллионы, в зависимости от особенностей данных, шумов, целевой функции и т.п. Даже если бы авторы знали ответы, в справке их изложить невозможно. А мы их вдобавок еще и не знаем (собственно, в этом научная работа и состоит)
.
P.S. Потрясающе. Вашему комментарию кто-то поставил минус. Я понимаю, когда минусуют за очевидную токсичность, за хамство, за грубую фактическую ошибку (которая кого-то введет в заблуждение). Но за корректно высказанное альтернативное мнение, с которым ты не согласен?! А как же тогда совершенствовать свое понимание, если всегда
слушать только приятное?!
Наверно, тут будет уместным упомянуть мое любимое следствие из третьего закона Ньютона:
Опираться можно только на то, что оказывает сопротивление!
Тогда ссылаться на эту публикацию не буду.
Я бы, наоборот, предложил не убирать эту ссылку, а сохранить, но обязательно пояснить, что Б.Д.Борисов по-своему (нестандартно)
трактует понятие ФШ
Я открыл его публикацию, и там видно, что это не опечатка, а свой особый подход. Просто не поясняется, что он отличается от общепринятого.
Иначе его читатели могут остаться в недоумении. А так они смогут найти ответ на свои вопросы хотя бы на Хабре.
Вообще, в таких случаях имхо полезно вступать в дискуссию, - это как раз такой вид спора, который к истине приближает. Не хочу проводить аналогию между двумя ситуациями (это было бы некорректно по отношению к Б.Д.Борисову), но просто хочу пояснить свою мысль на примере одной истории, в которой
я поучаствовал лет пятнадцать назад
А именно, в один российский журнал пришла статья известного зарубежного автора (что нечасто бывает). Основное открытие автора было уровня "Менделеев". А именно, он разработал "гармоническую модель Вселенной", и создал на этой основе собственную систему прогнозирования техногенных и природных катастроф. Статьи о фантастической эффективности этой системы, изложенные превосходным с литературной точки зрения зыком, пересыпанным научной терминологией, были опубликованы в десятках статей во всем мире (правда, в журналах далеко не первого квартиля почему-то). Проблема была только в одном. Основным методом доказательства статистической значимости этой модели был тезис: "я еще ...надцать лет назад предсказал (ссылка), что 2013 год будет особо опасным. Проверяем: и да, действительно, все в точности так и есть! В 2013 году произошла авиакатастрофа в ХХХ и засуха в YYY! Моя гипотеза (причем прогноз давался вперед) блестяще подтверждена!!!"
Этот тезис героически повторялся из публикации в публикацию практически в неизменном виде. Менялись лишь годы (список "опасных" лет автор опубликовал задолго до этого, причем без конкретизации видов опасности) и разновидности фактически случившихся бедствий.
Мы сперва думали - автор искренне заблуждается. Даже пробовали ему намекнуть, что сам факт наличия катастрофы еще ничего не доказывает. И что для доказательства особой опасности перечисленных лет надо бы показать, что в 2013г (и в другие объявленные "опасными" годы) катастрофы происходили чаще, чем в прочее время. В ответ автор забросал редакцию требованиями отстранить безграмотных рецензентов, которые своими идиотскими придирками мешают спасать жизни людей. А когда редакция намекнула, что хорошо бы и автору сделать шажок навстречу, он заявил: "Хорошо, 2013 год из публикации убираем. Давайте лучше напишем про 2011-й. Он, по моей модели, тоже опасный. А главное, в 2011 году было наводнение в ZZZ, причем с жертвами!
Так вот.
Проще всего было бы эту статью отклонить. Автор легко бы нашел другое издание. Ведь ссылки на такую работу, причем зарубежные, практически гарантированы (а для журналов это существенно). И автору тоже бонус: ведь на основе этой модели он осваивал миллионные гранты, консультировал соответствующие министерства в нескольких странах, а теперь к ним добавилось бы и МЧС.
Но ГПиБ поступил иначе. Поступившая статья была напечатана в авторском варианте - но рядом с ней были напечатаны отзывы рецензентов. После чего безумное пиршество панегириков этой модели оказалось разбавлено парой десятков критических замечаний, не оставивших камня на камне от каждого (без каких-либо исключений) тезиса первоначальной статьи.
Конечно, одному журналу трудно "сделать погоду" на мировом уровне. Однако теперь любой, кто читает фантазии этого Б.Л.Берри, хотя бы потенциально может открыть наш журнал и обнаружить там альтернативный взгляд на проблему, изложенный менее распиаренными, но гораздо более грамотными специалистами.
Не знаю, нужно ли тут оставлять подробные ссылки, так как сейчас все упомянутые статьи, к сожалению, за пейволом. Но для желающих покопаться все же оставлю:
Оригинальный авторский труд Б.Л.Берри: "Гелиогеофизические и другие процессы, периоды их колебаний и прогнозы"
Рецензии и отклики на него:
Музыка сфер и проза статистических критериев...
Музыка сфер и музыка людей...
О необходимой самозащите научного сообщества в связи со статьей Б.Л. Берри...
1. @sci_nov, спасибо за статью!
2. Но все-таки, у Б.Д.Борисова явная опечатка. Такое:
где "альфа" - безразмерный параметр, реальные значения которого лежат примерно в пределах от минус двух до двух, [1].
еще можно было бы простить в 1955г, года понятие ФШ только формировалось, и каждый мог предлагать собственное определение. Но примерно с 1980-х годов общепринятая трактовка состоит в том, что под ФШ понимаются процессы с <альфа> от 0.5 до 2.0. Ссылок, где упоминается этот диапазон, можно привести множество, а вот про -2..+2 я сомневаюсь, что такой вариант предлагал еще кто-нибудь. В Википедии, кстати, приводится диапазон от 0.6 до 2.0. Такой вариант я тоже однажды встречал. Но вот у Рытова, насколько я помню (сейчас книжки нет под рукой) было вроде бы от 0.5. И у подавляющего большинства англоязычных авторов, которых я читал в 1990-е, тоже было от 0.5.
А определяется эта граница тем, что при альфа менее 0.5 процесс еще можно в каком-то приближении рассматривать, как квазистационарный, а вот начиная с 0.5 (0.6) - уже точно нет.
Впрочем, для некоторых применений даже и 0.3 -
слишком много.
Например, если мы хотим оценить значимость корреляции между двумя переменными, но вместо случайных величин будем рассматривать два временных ряда с альфа=0.3, то неожиданно можем ошибиться с доверительными границами на порядок. То есть, истинный 95%-ный порог будет равен не 2/sqrt(N), а примерно в десять раз больше. Или даже в 100, если ряд достаточно длинный.
Вопрос только в длине рядов. При альфа > 1 катастрофические ошибки в доверительных уровнях возникают уже при длине рядов в тысячи точек (подробности и примеры можно найти вот тут). А при альфа =0.3 аналогичная катастрофа произойдет лишь при длине рядов в миллионы и миллиарды отсчетов.
В общем, порог, за которым нестационарностью можно уже пренебречь, зависит от длины тех сигналов, которые мы рассматриваем. Сейчас 0.5 или 0.6 - вполне приемлемая оценка. Но по мере того, как практики будут сталкиваться со все более длинными реализациями ФШ, граничное значение альфа (начиная с которого уже придется учитывать разницу в свойствах БШ и ФШ) неизбежно придется снижать ;-))
@Vdm_ro, спасибо за критику! Понятно, что шутки должны быть не вместо инфы, а в дополнение к ней. И в соотношении примерно 1:100, иначе смешно не будет. Но вот для меня это скорее вопрос хорошего вкуса (хотя понятно, что он у всех разный), чем категорическое "нельзя".
P.S. Ну и еще наверно есть разница между массовыми продуктами (когда между юзером и разработчиком стоит несколько промежуточных звеньев) и узконишевыми, как в нашем случае. Когда с половиной пользователей авторы знакомы лично, и шутки направлены в хорошо понятную аудиторию. А в крайнем случае можно написать авторам в почту и через сутки (в среднем) получить конструктивный ответ. А через месяц - исправленную документацию, куда этот ответ будет вписан.
P.P.S. Но вообще - ставлю плюсик Вашему комментарию за полезную (для меня) обратную связь.
Эта статья будет неполной без ссылки на статью про пасхалки в документации.
Сам я, кстати, люблю добавлять в объемную документацию
всякие невинные шутки
Например, раздел справки про спектры у нас начинается с пояснения: зачем нужно так много спектральных методов? Почему нельзя обойтись парой-тройкой стандартных? Суть пояснения изложена одной фразой: "Если от некоторой болезни существует очень много разных лекарств, - это значит, что ни одно из них не лечит по-настоящему!"
А раздел про методы заполнения пропусков данных предваряется честным признанием авторов программы, что они изучали этот вопрос много лет. Но так и не смоги подсчитать, сколько же разных алгоритмов заполнения пропусков можно построить, комбинируя стандартные опции нашей программы. Поэтому про некоторые их этих алгоритмов (до которых авторы проги не докопались) рассказа в справке не будет...
Хотя и знаю, что здесь есть много блюстителей строгости, которые нещадно минусуют сарказм и юмор, вставленный в серьезное обсуждение. Возможно потому, что они иногда "покупаются" на такие шутки, после чего испытывают обиду, вместо чтоб рассмеяться?
del
Я в 1986-90г работал на СМ-4, которую привезли и установили в горах Таджикистана для обработки научных наблюдений. А примерно через 10 лет несколько раз ходил вместе с Алексеем Рудневым в "детские"
горные походы
Младшим участникам было по 7-10 лет. Особенно драматичным оказался поход на Фишт в 1998г, когда у одного из членов группы случился перитонит, который мы вовремя
не распознали
Мы ж не медики. Как пальпировать аппендицит - примерно догадывались, но у перитонита симптомы отличаются... А последствия даже более скоротечные
Лагерь стоял на оз.Псенодах - с такой проблемой самостоятельно оттуда не спустишься. А на операционный стол с таким диагнозом надо попасть в течение суток, максимум двух. Если б не борт МЧС, который как раз в этот момент прилетел на Фишт в ходе
плановой тренировки,
За несколько лет до этого на Фиште разбилась связка сочинских спасателей, и после этого такие тренировки проводились на горе ежегодно 30 июля или в ближайшую дату. Сохранилась ли эта традиция до сих пор - не знаю
и который удалось "подловить" на приюте, последствия для пострадавшего могли оказаться гораздо печальнее. Думаю, Алексею эта история запомнилась на всю жизнь (и для меня она тоже стала хорошим уроком)
А главный прикол в том, что будучи (за несколько лет до этих путешествий) активным пользователем СМ-4, я даже не догадывался о том вкладе, который Алексей внес в развитие этой техники.
Понятно, что в походе, на отдыхе говорить о работе не хочется. Но, вероятно, есть все-таки некий предел, начиная с которого скромность перестает украшать человека, а начинает мешать прогрессу :-((
> Материал могу собрать. А статью на хабре?
Проще и быстрее всего - на Хабре. Это, конечно, не рецензируемый ресурс, но достаточно уважаемый, так как вместо "допечатного рецензирования" тут хорошо работает механизм "послепечатного комментирования". Я в научных журналах несколько раз ссылался на Хабр, и такие ссылки никаких возражений не вызывали.
> Если не на хабре, то там вряд ли примут. Я давно не отслеживаю мир науки и мне трудно подобрать журнал.
С журналом не подскажу. В геофизических наверняка скажут, что это непрофильная тематика, если не будет конкретного применения в геофизике. А тут пока есть определенный разрыв.
Что же касается математических журналов, то я их просто не знаю. "Высоких" математиков я практически не читаю (очень уж далеки они от народа, да и язык непонятный). Ну и их тоже вряд ли такая частноприкладная задача заинтересует.
> Это всего лишь заметка.
Ну так на Хабре вроде нет ограничения по размеру статьи (что если объем не тянет на полновесную монографию, то публиковать нельзя ;-).
Но если Вам интересен вид с моей колокольни, то вот он:
1) Тема узконишевая, но внутри этой ниши весьма актуальна;
2) Общедоступная информация по теме практически отсутствует, что провоцирует недоразумения и заблуждения;
3) Выведенные формулы, с одной стороны, априори неочевидны, а с другой - дают пищу для размышлений
4) Идея с малым параметром F0 в этом контексте мне вообще никогда не встречалась;
5) Результаты полезные и нетривиальные
Поэтому просто потерять сделанное (а если оно останется только в комментариях, то для большей части человечества будет утрачено) было бы обидно.
P.S.
Если Вам для оформления публикации понадобятся картинки с временными рядами, спектрами или АКФ - только намекните! Сделаю в течение пары дней!
> В реальности, наверное, всё таки есть минимальная нижняя частота, которая связана с размерами Земли :)
Ну да. И еще одна, связанная с ее возрастом ;-)
А если чуть серьезнее, Вы уже настолько обширную работу провели, что очень хочется увидеть небольшую статью, где все эти результаты были бы собраны в единое целое. Понимаю, что тема весьма специфичная, и что миллионную аудиторию такая публикация соберет вряд ли. Но вообще-то тема достаточно актуальная в определенных кругах. Только вот большинство из этих потенциальных читателей - не на Хабре. И в здешних комментариях они никогда Ваши результаты не увидят. А вот в формате статьи - найдут!
Может, подумаете об этом при случае?
Очень прошу...
Спасибо за статью! Но сначала конструктивная критика:
1) Почему в опросе нельзя выбрать несколько вариантов ответа?
2) Что касается мессенджеров и социальных сетей, было бы интересно как-то сравнить относительную активность в разных сетях. Но это сильно усложнит формат опроса :-(
Мне вот и по телефону звонят, и в мессенджерах пишут - я бы оба пункта отметил. Как выходной - так от директора просто отбоя нету...
Но вообще, когда время есть, я с любым звонящим стараюсь максимально конструктивно общаться.
Приятно ведь поговорить с человеком, который твоими проблемами интересуется, и даже вроде хочет помочь. Если, к примеру, у него что-то не получается, то всегда ищу какие-то компромиссные схемы. Уточняю, как именно можно перевести деньги, какие данные для этого нужны. Например, когда мне по телефону звонят - могу три раза подряд продиктовать свой номер, вплоть до побуквенного объяснения каждой цифры (если плохо слышно). "Семен, Елена, Маша, мягкий знак...", и т.д. Потом обязательно проверяю, что собеседник номер моего телефона правильно записал. Чтобы ошибки какой-то не вышло. Я ведь уже почти что пенсионер, а в финансовых вопросах точность нужна...
Но я видимо неудачник какой-то. Ну или товарищи на том конце совсем лыка не вяжут. Вроде бы все обсудили: как деньги на карту перевести по номеру телефона, как баланс счета пополнить. Вплоть до пошаговой инструкции. Все бесполезно!
Ни разу ни на телефон, ни на карту ни рубля не пришло...
> Посмотрел случай "альфы" больше единицы. Исходный интеграл равен бесконечности для любых "тау", то есть АКФ в ее классическом определении не существует.
Что, собственно, было вполне ожидаемо уже после первой части ответа (про альфа возле единицы слева) ;-))
> (по крайней мере для конечных
, рассматривал значения около единицы)
А вот тут
не врубаюсь
У нас же <альфа> больше 1, т.е. (<альфа>-1) > 0. Получается положительное число в положительной степени. При T0 > 1 будет что-то строго больше 1. Тут тоже для перехода к обычной АКФ надо на R(0) поделить?
Но главное, я вообще не вижу зависимости от <тау>. Получается, в этом приближении АКФ(<тау>) = константа? Которая после нормировки будет точно равна 1?
Глядя на формальные оценки АКФ для реальных реализаций ФШ, я в общем-то легко готов в это поверить. Но Ваши расчеты добавляют важный нюанс: что этот эффект наблюдается для любых <альфа>, начиная с 1.0 и больше. Так?
Это уже вполне себе Результат!
> Про асимптотику по тау при альфа возле единицы слева
Очень интересно и неожиданно!
Спасибо!
Только с константой не очень понятно. Мы же про АКФ говорим, она нормированная же? Тогда при <тау>=0 должно быть АКФ=1,
что и определяет константу слева?
Я так понял, там еще должен быть какой-то член типа 1/R(0), который в формулах в явном виде не выписан? Или я что-то путаю?
Но в любом случае получается, что при <альфа>, близких к 1, зависимость АКФ от <тау> (на больших <тау>, естественно)
почти исчезает, так?
Ведь <тау> в знаменателе будет в околонулевой степени
Другими словами, при <альфа>, близких к 1, мы просто не можем уйти на такие большие лаги, при которых АКФ можно считать малой. А при меньших <альфа> это (в теории) потенциально возможно. Это интересный нюанс!
Получается. что ФШ
1) с <альфа> < 1 и
2) с <альфа> >= 1
это два совершенно разных ФШ?!
В первом случае дальние корреляции (при неограниченном росте <тау>) присутствуют, но все-таки связь ослабляется с ростом лага. А во втором - все, хана... даже этого нет.
Я правильно интерпретирую формулу?
И еще одно уточнение. SymPy shell online - это ведь лишь инструмент, так? Он не поясняет, какой именно математический метод (подход) использован для расчета асимптотики?
> Дак это ж радиофизика. Там лучше Рытова Кравцова Татарского читать "Введение в стат радиофизику",
ну вот, круг замыкается :-((
Моей первой книжкой по случайным процессам был именно Рытов (который 1976г.). С него все и началось...
Впрочем, освежить старые знания наверно и правда пора.
> У меня получилось найти АКФ для фликкер-шума, но для ограниченного параметра "альфа". Спасибо справочнику по интегралам Градштейн, Рыжик.
Спасибо!!! А можете еще подсказать,
как я могу на это Ваше сообщение сослаться, если понадобится?
Я пока не знаю, как я смогу эту формулу использовать, но если смогу, то я бы хотел в дополнение к
ссылке на
Градштейн И.С., Рыжик И. М. Таблицы интегралов, сумм, рядов и произведений / Перераб. при участии Ю. В. Геронимуса и М. Ю. Цейтлина. — 5-е изд., стер. — М.: Наука, 1971. — 1108с.
добавить ссылку на "личное сообщение" (в журналах их обычно оформляют в виде подстраничных сносок). Но, в такой ссылке надо указать ФИО автора сообщения. Если Вы не против,
напишите мне данные в ЛС?
В научной публикации такая ссылка будет выглядеть примерно вот так (реальный пример:)
Глухов В.Е. [https://www.elibrary.ru/author_items.asp?authorid=1072618], личное сообщение
> Только что это даст?
Это интересный вопрос, так как мне на самом деле нужны значения <альфа> от 1.5 до 2.0. Но и соседний случай полезен для сравнения!
Единственное, я с хода не смог разобраться: какая там будет асимптотика по тау, когда <альфа> снизу приближается к 1?
(....)
> (..) Поэтому для БШ формулы очень простые.
Да, видимо это и есть ключевое отличие между БШ и ФШ.
> Надо различать ось времени и ось амплитуд. То, что называют оптимальным приемом (корреляционный прием, согласованный фильтр) не является накоплением при обработке рядов. Это разные вещи.
А вот тут не понял.
Мы при зондировании земной коры пытались просвечивать очаг землетрясения электрическим током. Сперва была идея, что для повышения отношения сигнал/шум надо увеличить мощность источника тока. Для этого на Памир затащили МГД-генератор. Он давал ток в сотни ампер. Но, каждый пуск был праздником. Он требовал большой подготовки и происходил в лучшем случае раз в две недели. А последняя стадия подготовки землетрясения - это часы-сутки (как тогда думали).Т.е. сопротивление очаговой зоны надо измерять ежедневно, хотя бы.
И вот как раз мой многолетний шеф А.Я.Сидорин, насчитавшись книг по радиофизике, предложил вместо однократного жутко сильного импульса послать в породу гораздо более слабый (и поэтому легко генерируемый), но очень длинный знакопеременный сигнал из прямоугольных импульсов длительностью пару секунд каждый, но суммарно длиной в полчаса. А на приемной станции выполнялось измерение напряжения на положительной и отрицательной фазе питающего импульса. И высчитывалась разница между ними. И эта разница суммировалась по паре тысяч импульсов (получасовой цикл). Заодно такая схема решала проблему с поляризацией среды, переходными процессами (ток на выходе МГД-генератора меняется по очень хитрым законам, и такой сигнал не так просто пересчитать в напряжение на приемнике из-за индуктивности), и пр.
В общем, при многократном понижении стоимости и снижении силы тока в 100 раз мы улучшили отношение сигнал/шум на два порядка за счет накопления. Подробности раскиданы по разным работам, но если интересно, можно для начала вот тут посмотреть (текст выложен).
Так вот.
Разве эту схему измерений нельзя называть синхронным детектированием? Мы всегда думали, что можно. И что накопление и синхронное детектирование - это очень близкородственные понятия (хотя и разные, разумеется). Но в нашем случае описанная схема зондирования в каком-то смысле обобщает первое и второе в единый процесс (алгоритм).
Или это только у нас такая специфика?
Прошу прощения, но
буду отвечать по частям
Очень длинный коммент мне технически сложно запостить (спасибо, редактор Хабра!)
> При накоплении ведь складываются отсчеты, разнесенные достаточно длинным интервалом времени (...) Если так, то [1] шумовые значения некоррелированы (читай белый шум). Если при этом эти отсчеты [2] имеют нормальную плотность вероятностей, то они и независимы [цифры мои]
К сожалению, оба предположения не выполняются.
[1]. В моем случае корреляция с ростом лага уменьшается, но очень медленно. На самом деле эта скорость определяется значением степенного параметра спектра <альфа>. Пока он маленький (порядка 0.5), все более-менее норм. Корреляция и правда уменьшается настолько быстро, что это даже можно в расчетах использовать. Обосновать не могу, но численное моделирование подтверждает. Например, для метеопараметров такое приближение (в виде поправки к формулам для БШ) отлично работает.
Но вот в моем случае параметр <альфа> обычно
близок к 2.0
Если интересно, вот тут или вот тут есть таблички степенных параметров для сигналов из нашей вотчины. Почти всегда там что-то
от 1.7 до 2.0.
Только если правда туда в эти таблички полезете, то учитывайте, что мы там в считали не степенной параметр спектра мощности <альфа>, а степенной параметр амплитудного спектра к=<альфа>/2. Так как мне хотелось читать спектр в тех же размерных физических единицах, что и исходный сигнал (а не в квадратичных)
Это совершенно типично для большинства рядов в твердой Земле, магнитосфере и пр. Турбулентность тоже, кстати, дает 5/3 (спектр Колмогорова). Но, когда значение <альфа> близко к 2.0, корреляция остается неприемлемо высокой для любых разумных лагов.
Увы.
Я пытаюсь с этим бороться с помощью разных трюков. Например, отрезаю НЧ, оставляю только узкую полосу, потом пытаюсь работать в этой узкой полосе. Благо, после такой процедуры (выделение узкополосного сигнала) дальние корреляции действительно хорошо давятся
Но, с точки зрения здравого математического смыла отписанный трюк больше похож на какое-то надругательство над сигналом. Ведь в ФШ-сигнале нет никаких выделенных частотных полос! Когда я такие полосы искусственно вырезаю - то это же полный произвол! Так как никаких разумных аргументов для выбора этих частотных полос исходный сигнал не содержит.
Я, конечно, пытаюсь отталкиваться от физики изучаемых явлений (в физике-то частоты не равноправны)... но с точки зрения матаппарата это же просто кривая подпорка к неработающему легаси...
Но всем пофиг...
Я в прошлом году пару статей на основе этой идеи написал. Думал, отдам в журнал, там рецензенты прочтут и в ужас придут. А потом, глядишь, и что-нибудь посоветуют.
Однако же замечания и советы были о чем угодно, но только не про этот больной (для меня) вопрос. Обе статьи (в разных журналах!) уже напечатаны. Я уже не знаю, к кому теперь обращаться... Физики меня прокатили, а к математикам лезть - это дословно получится со свиным рылом в калашный ряд (с)
Ну и по пп.[2] все еще проще. Чем ближе степенной параметр [альфа] к 2.0, тем больше распределение
уходит от Гаусса в сторону равномерного
Вот для примера распределения для ФШ рядов с <альфа> = 1 и 2
Интуитивно это можно понять: чем больше <альфа>, тем сильнее персистентность, тем активнее самоподдерживается тенденция к росту или спаду. В результате сигнал начинает "гулять" от минимума до максимума. В пределе (при <альфа> порядка 4) это уже начинает напоминать линейный тренд, у которого, как известно, распределение равномерное. Ну а в нашем случае (когда <альфа> 1.5..2.0) - что-то промежуточное
Вдогонку:
Ой!
Прошу прощения за опечатки и глюки в комменте :-(( Время редактирования истекло, не успел сохранить исправленный вариант :-(((
> СПМ фликкер-шума, допустим, степенная функция
Она конечная всюду, кроме полюса f = 0.
Именно так!
> Этот полюс - наш выбор.
А вот тут уже не совсем. Это при работе с искусственными сигналами можно выбрать подходящую полосу частот, приладить туда источник-приемник, и не париться обо всем, что правее-левее. С одной стороны защищаемся найквистом, с другой - ФНЧ, и поехали проходить через квест, имея уровень "бог".
При экспериментальном мониторинге мы чем дольше наблюдаем, тем больше знаем. А проблема ФШ в том, что на любом масштабе времени (при любой длине ряда) наибольшую амплитуду (мощность) имеют периоды, сопоставимые с этой длиной ряда. Поэтому ограничивать спектр со стороны минимальных частот (=максимальных периодов) неверно как философски, так и технически. Философски мы теряем главную ценность данных - продолжительность непрерывно наблюдаемого процесса, а технически - теряем наибольшую часть измеренного сигнала в плане его дисперсии (мощности).
Так что это не выбор. Это данность, с которой приходится жить...
> Мы можем регуляризовать модель, добавив туда малую константу
Я совсем плохой теоретик, поэтому мне непонятно: как добавление этой константы поможет упростить формулы/выкладки. Навскидку - я совсем не уверен, что упростит. Но в любом случае, за идею спасибо. Если когда-нибудь я смогу найти математика, который заинтересуется моими вопросами, то я ему обязательно эту переписку покажу. Возможно, он оценит и использует Вашу идею.
> В реальности имеется проблема оценить эту константу
Ну, для теоретических выкладок можно наверно просто приравнять ее неизвестному малому значению <дельта>.
;-)))
Что же касается практических случаев, то там будет за счастье даже не точные формулы, а хотя бы асимптотика. Возможно, там получится какой-то другой параметр прикрутить, который будет легко оцениваться и даст нужные поправки к решению.
> (и, вообще, подобрать корректную модель такого "плохого" шума).
Тут вопрос в том, что нам надо от эксперимента идти. Мы знаем, что СПМ реальных сигналов ведет себя определенным образом. Больше того, даже знаем некоторые модели процессов (их много!), которые к такой СПМ приводят. Только вот плясать конкретно от этих моделей нельзя, так как их целая куча, и следствия из них разные. Например, модель с независимыми случайными приращениями - это совершенно не то же самое, что модель с перемежаемостью по Тимашеву... Поэтому в идеале надо бы исходить из эмпирик-факта, и только лишь из него...
> И проблема найти интеграл аналитически для любого параметра "альфа".
Тут ничего не могу сказать: я не математик. Но вообще, сидя на берегу реки (с), кажется странным, что такая простая на вид задачка может представлять реальную трудность. Возможно, она просто была особо никому не нужна?
> Согласитесь, интегрировать константу N0 проще, чем витиеватую СПМ фликкер-шума?
Спасибо, но Вы мои способности явно переоцениваете ;-) Я даже во временной области с большим трудом могу ФШ из "примитивов" собрать. А уж в частотной...
> СПМ белого шума - константа, которую как правило обозначают N0, [Вт/Гц]. Это не мощность, это плотность мощности. Она конечна для любых реальных шумовых процессов;
Разумеется. Расходимость возникает в одной точке (на нулевом периоде). Однако, это лишает нас права написать неопределенный интеграл. И, видимо, как-то мешает перейти к общим формулам.
Точнее, в случае с БШ это как-то уже преодолено, а вот в случае с ФШ - поему-то нет. Я сам не слишком хорошо в этом разбираюсь. но по факту есть масса литературы, вышедшей в нормальных журналах, где авторы берут ФШ и путем элементарных и очевидных преобразований выписывают связь между его степенным спектральным параметром <бета>, фрактальной "размерностью" такого сигнала D и его показателем Херста H. Причем написано все настолько просто и очевидно, что только у дурака могут возникнуть сомнения в этих формулах. И авторы вроде бы неплохие - от Туркотта до Фосса и Федера. Беда только в том, что формулы (связывающие три эти величины) у разных авторов получаются разными. А главное, дают странные ответы в граничных случаях. Например, большинство авторов считает, что 2D+<бета>=5, а другая половина - что 2D+<бета>=4. Но, первая формула дает странный ответ для белого шума (если <бета>=0, то D=2.5, и это на плоскости!), а вторая дает аналогичный глюк для броуновского шума (у него <бета>=2, но тогда D=1.0, хотя на самом деле там D=1.5). Ссылки на публикации упомянутых авторов с этими формулами можно найти вот тут.
Да, эти работы достаточно древние, но с тех пор никто так и не удосужился уточнить: а как же на самом деле? Вот я и подозреваю, что общие формула не выводятся из-за расходимости с неопределенными интегралами. Если же брать конечные реализации, особенно модельные, то с ними и
у меня все более-менее норм
Глядя на этакие картинки, я даже могу предположить, какие формулы к этому численному моделированию лучше подходят. Только вот теоретически сам их вывести не могу. И, соответственно, не могу обосновать асимптотику подавления ФШ накоплением...
> определяется качеством приема: приемником, антенной, каналом (например, есть или нет радиозасветки Солнца и др. космических объектов).
Вы уверены, что шум во всех этих случаях именно белый? Я вот в этом весьма сомневаюсь. Так как в случае БШ фон спектра должен становиться плоским, начиная с какого-то уровня, где сигнал исчезает, и дальше (на более высоких частотах) доминирует шум. Но при обработке реальных рядов и почти никогда не встречал подобные спектры. В моих данных они билогарифмически-линейно спадают с ростом частоты вниз вплоть до найквиста. Но тогда кто дал нам право экстраполировать выполаживание спектра левее доступного изучению диапазона частот (что эквивалентно допущению о "белости" шума)? По Оккаму, гораздо логичнее просто продолжить эту тенденцию в бесконечность. Да и здравый смысл намекает, что это правдоподобнее. Ведь дискретизация измеряемого сигнала - это наше над ним надругательство, а в действительности-то аналоговый сигнал всегда непрерывный. Поэтому гораздо логичнее взять в качестве "базовой модели" исходного (а не измеренного!) сигнала именно ФШ, у которого нет бесконечной мощности при интегрировании вплоть до нулевого периода.
Но, рассуждая аналогично, на другом (НЧ) конце спектра мы тогда тоже должны допустить аналогичную экстраполяцию "без новых сущностей". И тогда уже она приведет к бесконечной мощности на нулоевой частоте. практически всегда вижу спадающую кривую на билогарифмитческом графике. рядов
> Заметьте, тут про дискретизацию вообще нет речи, и она по сути не требуется. Это уже нюансы цифровой обработки сигналов и их лучше опустить.
Именно так - это наш способ работы с данными. Но когда мы хотим вывести теоретическую формулу, мы же работаем с абстракцией. И для БШ (который теоретически имеет бесконечную мощность, если не ограничивать диапазон частот) все эти формулы почему-то выписываются без проблем. Проблема "нулевого периода" никому не мешает. А вот в варианте с ФШ (где по сути все то же самое, только проблема на нулевой частоте вместо нулевого периода) формулы почему-то не пишутся. Я так и не могу понять - почему.
Вы меня правильно поймите: я сам не смогу вывести нужные формулы ни в одном случае, ни в другом. Но:
(1) я запросто использую те формулы, которые написаны для БШ. Они в любом учебнике есть, причем на все случаи жизни; они прекрасно работают, и никогда (если шум действительно белый) не вступают ни в какое в противоречие ни с здравым смыслом, ни с численными моделями.
(2) С другой стороны, я легко могу показать, что при замене БШ на ФШ все эти формулы работать перестают. И это нельзя исправить никакими "маленькими поправками". Там просто катастрофические расхождения возникают. В варианте ФШ формулы для БШ больше не работают ни в каком приближении.
(3) Ну и с третей стороны, подавляющее большинство временных рядов долговременного мониторинга - это либо строго ФШ, либо почти ФШ. Тут просто нет ни малейших сомнений - достаточно на спектр посмотреть.
А теперь вопрос: почему, несмотря на (2) и (3), у нас нигде нет разумных формул для варианта с ФШ? См., например, мой исходный вопрос про подавление ФШ накоплением. Ну ведь наболело же! Я рецензирую кучу статей в журналах, где авторы на полном серьезе применяют в подобных случаях формулы для БШ. Хотя бред очевидный. И в каждом конкретном случае его можно продемонстрировать элементарно. Вот ваши яблоки, берем из них два, складываем с другими двумя. Теперь видите, что в ответе НЕ 5?
А общей формулы нет!
Чтобы не разбирать в стопятсотый раз в точности одну и ту же ошибку, складывая чемоданы, груши и финики.
Да, аналогия между ФШ и статистическим самоподобием очевидна