Спасибо за статью! Восхищен стилем - читается легко и доходчиво, хотя именно за него Вас, наверное, и заминусовали. Нельзя же минусовать за аргументированно высказанную позицию, просто потому, что ты с ней не согласен (кстати, мои плюсы всем, кто аргументированно возражает автору в комментариях!).
Компромиссом являются: unsafe в расте, Any в тайпскрипте, и
всякая прочая потребень
Добавлю до кучи common в фортране. Формально
это не совсем то
де-факто с помощью common можно локально, внутри объекта, объявить глобальную переменную или структуру, к которой с помощью аналогичного объявления можгно обратиться из внутренностей другого объекта и вообще любой точки программы
Не, я не против, когда есть какие-то крутые новшества, но как-то у меня ощущение, что каждая новая фича или “язык” создается скорее для того, чтобы держать разработчиков в плену. Вроде бы ты хочешь улучшить код, а на деле тебе просто предлагают еще один набор зависимостей и библиотек, которые нужно изучить, чтобы не остаться за бортом.
Программируйте на фортране ;-))
С 1957 года и до сих пор - жив, курилка ;-) Правда, в 1990-х язык тоже пережил "эпоху крутых новшеств" (добавилось полноценное ООП и др.) , но революция один раз в 40 лет - это еще не так плохо по сравнению с некоторыми ;-)
Шутка, конечно..
но как известно, в каждой шутке есть доля шутки. В своей узкой нише перемалывания чисел фортран до сих пор остается
выбором номер один
в силу исключительной вычислительной эффективности, простоты работы с массивами и огромного количества накопленных библиотек, гарантированно совместимых с любым современным кодом
Если, конечно, вы пишете что-то свое, и вам недостаточно высокоуровневого "клея", который позволяет собрать нужную функциональность из готовых библиотек (написанных, кстати, на том же фортране/Си)
Ну и революция революцией, а все ранее (до 1990-х) написанные фортрановские библиотеки как работали, так и продолжают компилироваться и работать в пост-апокалиптическом мире (т.е. после 1990-х ;-)
А если серьезно, то мне сложно себе представить, что кто-то будет придумывать новый язык исключительно ради того, чтобы улучшить стиль уже существующего кода, переписав все полностью заново. Может, в основе все-таки обычно лежит идея, концепция, которая решает труднопреодолимую концептуальную проблему ранее существовавшего языка? Которую невозможно побороть эволюционным путем?
И успешность/неуспешность нового языка прежде всего определяются тем, насколько эта проблема: 1) действительно актуальна, и 2) насколько хорошо предложенное решение? И лишь во вторую очередь - административной поддержкой и пр.?
1. Я очень далек от этой тематики, статья стала прекрасным ликбезом! Спасибо!
2. А еще мне со стороны кажется немного странным, что мы, люди, сначала 1) собираем данные в базах, потом 2) строим какие-то сводки метрик и оформляем их в виде красивого PDF-документа, а потом 3) парсим это чудовище в надежде 4) опять получить данные в виде пригодной для работы структуры (читай - обратно запихать в сводную базу).
Мне одному кажется, что цепочка (1)-(2)-(3)-(4) содержит какую-то внутреннюю избыточность, и что без промежуточных этапов (2), (3) было бы как-то проще??
То, что у вас написано - это и не юмор, и не пасхалки. Такие вещи никому не нравятся, кроме их авторов. Если это была бы книга - то да, в предисловии или в сносках* можно подобное позволить. В документации, в коде, в комментариях к коду - категорически нет.
Позиция понятна, и в определенной мере я с ней согласен. Юмор в пошаговой инструкции вряд ли уместен. Особенно если она написана на неродном языке, которым ты не владеешь свободно. Например, когда тебе надо загрузить данные, пришедшие в ana-формате, в программу, инструкция к проге должна быть предельно конкретной и четкой.
Что же касается конкретно нашего случая
то он достаточно близок к "книге". Дело в том, что примерно четверть от всего объема документации у нас составляют не пошаговые инструкции, а "философские рассуждения", в которых речь идет скорее про общие принципы построения алгоритмов. Специфика нашей работы в том, что она очень плохо формализована. Программа, как правило, не дает готовых решений, а предоставляет набор примитивов, из которых юзер сам, как из кубиков, собирает нужный ему алгоритм. Каким должен быть целевой алгоритм - не знают ни юзер, ни тем более авторы проги. В справке мы скорее делимся своим опытом в этом плане, причем заранее неизвестно: подойдет ли он юзеру, или нет. И такие рассуждения, отвечающие на вопрос "ЧТО вообще можно сделать в такой ситуации", часто довольно объемны. А главное, было бы совершенно неправильно, чтобы читатель к ним относился, как к догме. Вот в этот момент, как мне кажется, шутка может настроить его на правильный лад.
Что же касается способов "привинчивания" выбранных кубиков друг к другу (когда юзер ищет ответ на вопрос "КАК сделать вот это"), - то тут я с Вами согласен на сто процентов: инструкция должна быть короткой, конкретной и четкой. Буду обращать на это внимание в будущем, так как во время работы со слитным текстом (исходники справки) голова не всегда автоматом переключается на правильный стиль.
Вообще, мне кажется, что стиль инструкции к проге можно сравнить с двумя вариантами путешествия к заданной цели. В первом случае у тебя есть легенда, в которой перечислены повороты, и сказано: сначала направо, потом налево, а дальше три раза прямо. Кому-то так удобней всего. Однако при малейшем изменении местности, или при опечатке в легенде ты попадешь не туда. К тому же такую инструкцию надо составить для каждой возможной цели. А если есть варианты с начальными точками - то для каждой возможной пары "старт-финиш".
Поэтому начиная с какого-то уровня сложности вместо пошаговых списков удобнее карта. Которая не содержит рекомендаций: куда и где повернуть. Все на совести едущего.
Так вот, если Вы работаете в первом, пошаговом стиле, то ирония неуместна. Если же документация больше похожа на дорожную карту, то почему бы и нет? Особенно если авторы сами не очень-то хорошо представляют ее окраины. Вот про эти тропинки нам все достоверно известно - отражаем в документации. А где-то вот в этом районе - болото, предположительно с крокодилами (но говорят, что там собирают хорошую клюкву). В общем, мы сами там не были, пробуйте на свой страх и риск.
Те же спектры, к примеру, нельзя посчитать единственно правильным способом. Если в настройках метода есть четыре параметра, в справке можно раскрыть, что делает каждый из них. А вот какую их комбинацию следует выбрать в каждом конкретном случае - не ответит никто. Так как этих "конкретных случаев" - миллионы, в зависимости от особенностей данных, шумов, целевой функции и т.п. Даже если бы авторы знали ответы, в справке их изложить невозможно. А мы их вдобавок еще и не знаем (собственно, в этом научная работа и состоит)
.
P.S. Потрясающе. Вашему комментарию кто-то поставил минус. Я понимаю, когда минусуют за очевидную токсичность, за хамство, за грубую фактическую ошибку (которая кого-то введет в заблуждение). Но за корректно высказанное альтернативное мнение, с которым ты не согласен?! А как же тогда совершенствовать свое понимание, если всегда
слушать только приятное?!
Наверно, тут будет уместным упомянуть мое любимое следствие из третьего закона Ньютона: Опираться можно только на то, что оказывает сопротивление!
Я бы, наоборот, предложил не убирать эту ссылку, а сохранить, но обязательно пояснить, что Б.Д.Борисов по-своему (нестандартно)
трактует понятие ФШ
Я открыл его публикацию, и там видно, что это не опечатка, а свой особый подход. Просто не поясняется, что он отличается от общепринятого.
Иначе его читатели могут остаться в недоумении. А так они смогут найти ответ на свои вопросы хотя бы на Хабре.
Вообще, в таких случаях имхо полезно вступать в дискуссию, - это как раз такой вид спора, который к истине приближает. Не хочу проводить аналогию между двумя ситуациями (это было бы некорректно по отношению к Б.Д.Борисову), но просто хочу пояснить свою мысль на примере одной истории, в которой
я поучаствовал лет пятнадцать назад
А именно, в один российский журнал пришла статья известного зарубежного автора (что нечасто бывает). Основное открытие автора было уровня "Менделеев". А именно, он разработал "гармоническую модель Вселенной", и создал на этой основе собственную систему прогнозирования техногенных и природных катастроф. Статьи о фантастической эффективности этой системы, изложенные превосходным с литературной точки зрения зыком, пересыпанным научной терминологией, были опубликованы в десятках статей во всем мире (правда, в журналах далеко не первого квартиля почему-то). Проблема была только в одном. Основным методом доказательства статистической значимости этой модели был тезис: "я еще ...надцать лет назад предсказал (ссылка), что 2013 год будет особо опасным. Проверяем: и да, действительно, все в точности так и есть! В 2013 году произошла авиакатастрофа в ХХХ и засуха в YYY! Моя гипотеза (причем прогноз давался вперед) блестяще подтверждена!!!"
Этот тезис героически повторялся из публикации в публикацию практически в неизменном виде. Менялись лишь годы (список "опасных" лет автор опубликовал задолго до этого, причем без конкретизации видов опасности) и разновидности фактически случившихся бедствий.
Мы сперва думали - автор искренне заблуждается. Даже пробовали ему намекнуть, что сам факт наличия катастрофы еще ничего не доказывает. И что для доказательства особой опасности перечисленных лет надо бы показать, что в 2013г (и в другие объявленные "опасными" годы) катастрофы происходили чаще, чем в прочее время. В ответ автор забросал редакцию требованиями отстранить безграмотных рецензентов, которые своими идиотскими придирками мешают спасать жизни людей. А когда редакция намекнула, что хорошо бы и автору сделать шажок навстречу, он заявил: "Хорошо, 2013 год из публикации убираем. Давайте лучше напишем про 2011-й. Он, по моей модели, тоже опасный. А главное, в 2011 году было наводнение в ZZZ, причем с жертвами!
Так вот.
Проще всего было бы эту статью отклонить. Автор легко бы нашел другое издание. Ведь ссылки на такую работу, причем зарубежные, практически гарантированы (а для журналов это существенно). И автору тоже бонус: ведь на основе этой модели он осваивал миллионные гранты, консультировал соответствующие министерства в нескольких странах, а теперь к ним добавилось бы и МЧС.
Но ГПиБ поступил иначе. Поступившая статья была напечатана в авторском варианте - но рядом с ней были напечатаны отзывы рецензентов. После чего безумное пиршество панегириков этой модели оказалось разбавлено парой десятков критических замечаний, не оставивших камня на камне от каждого (без каких-либо исключений) тезиса первоначальной статьи.
Конечно, одному журналу трудно "сделать погоду" на мировом уровне. Однако теперь любой, кто читает фантазии этого Б.Л.Берри, хотя бы потенциально может открыть наш журнал и обнаружить там альтернативный взгляд на проблему, изложенный менее распиаренными, но гораздо более грамотными специалистами.
Не знаю, нужно ли тут оставлять подробные ссылки, так как сейчас все упомянутые статьи, к сожалению, за пейволом. Но для желающих покопаться все же оставлю:
2. Но все-таки, у Б.Д.Борисова явная опечатка. Такое:
где "альфа" - безразмерный параметр, реальные значения которого лежат примерно в пределах от минус двух до двух, [1].
еще можно было бы простить в 1955г, года понятие ФШ только формировалось, и каждый мог предлагать собственное определение. Но примерно с 1980-х годов общепринятая трактовка состоит в том, что под ФШ понимаются процессы с <альфа> от 0.5 до 2.0. Ссылок, где упоминается этот диапазон, можно привести множество, а вот про -2..+2 я сомневаюсь, что такой вариант предлагал еще кто-нибудь. В Википедии, кстати, приводится диапазон от 0.6 до 2.0. Такой вариант я тоже однажды встречал. Но вот у Рытова, насколько я помню (сейчас книжки нет под рукой) было вроде бы от 0.5. И у подавляющего большинства англоязычных авторов, которых я читал в 1990-е, тоже было от 0.5.
А определяется эта граница тем, что при альфа менее 0.5 процесс еще можно в каком-то приближении рассматривать, как квазистационарный, а вот начиная с 0.5 (0.6) - уже точно нет.
Впрочем, для некоторых применений даже и 0.3 -
слишком много.
Например, если мы хотим оценить значимость корреляции между двумя переменными, но вместо случайных величин будем рассматривать два временных ряда с альфа=0.3, то неожиданно можем ошибиться с доверительными границами на порядок. То есть, истинный 95%-ный порог будет равен не 2/sqrt(N), а примерно в десять раз больше. Или даже в 100, если ряд достаточно длинный.
Вопрос только в длине рядов. При альфа > 1 катастрофические ошибки в доверительных уровнях возникают уже при длине рядов в тысячи точек (подробности и примеры можно найти вот тут). А при альфа =0.3 аналогичная катастрофа произойдет лишь при длине рядов в миллионы и миллиарды отсчетов.
В общем, порог, за которым нестационарностью можно уже пренебречь, зависит от длины тех сигналов, которые мы рассматриваем. Сейчас 0.5 или 0.6 - вполне приемлемая оценка. Но по мере того, как практики будут сталкиваться со все более длинными реализациями ФШ, граничное значение альфа (начиная с которого уже придется учитывать разницу в свойствах БШ и ФШ) неизбежно придется снижать ;-))
@Vdm_ro, спасибо за критику! Понятно, что шутки должны быть не вместо инфы, а в дополнение к ней. И в соотношении примерно 1:100, иначе смешно не будет. Но вот для меня это скорее вопрос хорошего вкуса (хотя понятно, что он у всех разный), чем категорическое "нельзя".
P.S. Ну и еще наверно есть разница между массовыми продуктами (когда между юзером и разработчиком стоит несколько промежуточных звеньев) и узконишевыми, как в нашем случае. Когда с половиной пользователей авторы знакомы лично, и шутки направлены в хорошо понятную аудиторию. А в крайнем случае можно написать авторам в почту и через сутки (в среднем) получить конструктивный ответ. А через месяц - исправленную документацию, куда этот ответ будет вписан.
P.P.S. Но вообще - ставлю плюсик Вашему комментарию за полезную (для меня) обратную связь.
Сам я, кстати, люблю добавлять в объемную документацию
всякие невинные шутки
Например, раздел справки про спектры у нас начинается с пояснения: зачем нужно так много спектральных методов? Почему нельзя обойтись парой-тройкой стандартных? Суть пояснения изложена одной фразой: "Если от некоторой болезни существует очень много разных лекарств, - это значит, что ни одно из них не лечит по-настоящему!"
А раздел про методы заполнения пропусков данных предваряется честным признанием авторов программы, что они изучали этот вопрос много лет. Но так и не смоги подсчитать, сколько же разных алгоритмов заполнения пропусков можно построить, комбинируя стандартные опции нашей программы. Поэтому про некоторые их этих алгоритмов (до которых авторы проги не докопались) рассказа в справке не будет...
Хотя и знаю, что здесь есть много блюстителей строгости, которые нещадно минусуют сарказм и юмор, вставленный в серьезное обсуждение. Возможно потому, что они иногда "покупаются" на такие шутки, после чего испытывают обиду, вместо чтоб рассмеяться?
Я в 1986-90г работал на СМ-4, которую привезли и установили в горах Таджикистана для обработки научных наблюдений. А примерно через 10 лет несколько раз ходил вместе с Алексеем Рудневым в "детские"
горные походы
Младшим участникам было по 7-10 лет. Особенно драматичным оказался поход на Фишт в 1998г, когда у одного из членов группы случился перитонит, который мы вовремя
не распознали
Мы ж не медики. Как пальпировать аппендицит - примерно догадывались, но у перитонита симптомы отличаются... А последствия даже более скоротечные
Лагерь стоял на оз.Псенодах - с такой проблемой самостоятельно оттуда не спустишься. А на операционный стол с таким диагнозом надо попасть в течение суток, максимум двух. Если б не борт МЧС, который как раз в этот момент прилетел на Фишт в ходе
плановой тренировки,
За несколько лет до этого на Фиште разбилась связка сочинских спасателей, и после этого такие тренировки проводились на горе ежегодно 30 июля или в ближайшую дату. Сохранилась ли эта традиция до сих пор - не знаю
и который удалось "подловить" на приюте, последствия для пострадавшего могли оказаться гораздо печальнее. Думаю, Алексею эта история запомнилась на всю жизнь (и для меня она тоже стала хорошим уроком)
А главный прикол в том, что будучи (за несколько лет до этих путешествий) активным пользователем СМ-4, я даже не догадывался о том вкладе, который Алексей внес в развитие этой техники.
Понятно, что в походе, на отдыхе говорить о работе не хочется. Но, вероятно, есть все-таки некий предел, начиная с которого скромность перестает украшать человека, а начинает мешать прогрессу :-((
Проще и быстрее всего - на Хабре. Это, конечно, не рецензируемый ресурс, но достаточно уважаемый, так как вместо "допечатного рецензирования" тут хорошо работает механизм "послепечатного комментирования". Я в научных журналах несколько раз ссылался на Хабр, и такие ссылки никаких возражений не вызывали.
> Если не на хабре, то там вряд ли примут. Я давно не отслеживаю мир науки и мне трудно подобрать журнал.
С журналом не подскажу. В геофизических наверняка скажут, что это непрофильная тематика, если не будет конкретного применения в геофизике. А тут пока есть определенный разрыв.
Что же касается математических журналов, то я их просто не знаю. "Высоких" математиков я практически не читаю (очень уж далеки они от народа, да и язык непонятный). Ну и их тоже вряд ли такая частноприкладная задача заинтересует.
> Это всего лишь заметка.
Ну так на Хабре вроде нет ограничения по размеру статьи (что если объем не тянет на полновесную монографию, то публиковать нельзя ;-).
Но если Вам интересен вид с моей колокольни, то вот он:
1) Тема узконишевая, но внутри этой ниши весьма актуальна; 2) Общедоступная информация по теме практически отсутствует, что провоцирует недоразумения и заблуждения; 3) Выведенные формулы, с одной стороны, априори неочевидны, а с другой - дают пищу для размышлений 4) Идея с малым параметром F0 в этом контексте мне вообще никогда не встречалась; 5) Результаты полезные и нетривиальные
Поэтому просто потерять сделанное (а если оно останется только в комментариях, то для большей части человечества будет утрачено) было бы обидно.
P.S.
Если Вам для оформления публикации понадобятся картинки с временными рядами, спектрами или АКФ - только намекните! Сделаю в течение пары дней!
> В реальности, наверное, всё таки есть минимальная нижняя частота, которая связана с размерами Земли :)
Ну да. И еще одна, связанная с ее возрастом ;-)
А если чуть серьезнее, Вы уже настолько обширную работу провели, что очень хочется увидеть небольшую статью, где все эти результаты были бы собраны в единое целое. Понимаю, что тема весьма специфичная, и что миллионную аудиторию такая публикация соберет вряд ли. Но вообще-то тема достаточно актуальная в определенных кругах. Только вот большинство из этих потенциальных читателей - не на Хабре. И в здешних комментариях они никогда Ваши результаты не увидят. А вот в формате статьи - найдут!
Спасибо за статью! Но сначала конструктивная критика:
1) Почему в опросе нельзя выбрать несколько вариантов ответа?
2) Что касается мессенджеров и социальных сетей, было бы интересно как-то сравнить относительную активность в разных сетях. Но это сильно усложнит формат опроса :-(
Мне вот и по телефону звонят, и в мессенджерах пишут - я бы оба пункта отметил. Как выходной - так от директора просто отбоя нету...
Но вообще, когда время есть, я с любым звонящим стараюсь максимально конструктивно общаться.
Приятно ведь поговорить с человеком, который твоими проблемами интересуется, и даже вроде хочет помочь. Если, к примеру, у него что-то не получается, то всегда ищу какие-то компромиссные схемы. Уточняю, как именно можно перевести деньги, какие данные для этого нужны. Например, когда мне по телефону звонят - могу три раза подряд продиктовать свой номер, вплоть до побуквенного объяснения каждой цифры (если плохо слышно). "Семен, Елена, Маша, мягкий знак...", и т.д. Потом обязательно проверяю, что собеседник номер моего телефона правильно записал. Чтобы ошибки какой-то не вышло. Я ведь уже почти что пенсионер, а в финансовых вопросах точность нужна...
Но я видимо неудачник какой-то. Ну или товарищи на том конце совсем лыка не вяжут. Вроде бы все обсудили: как деньги на карту перевести по номеру телефона, как баланс счета пополнить. Вплоть до пошаговой инструкции. Все бесполезно!
Ни разу ни на телефон, ни на карту ни рубля не пришло...
> Посмотрел случай "альфы" больше единицы. Исходный интеграл равен бесконечности для любых "тау", то есть АКФ в ее классическом определении не существует.
Что, собственно, было вполне ожидаемо уже после первой части ответа (про альфа возле единицы слева) ;-))
> (по крайней мере для конечных , рассматривал значения около единицы)
А вот тут
не врубаюсь
У нас же <альфа> больше 1, т.е. (<альфа>-1) > 0. Получается положительное число в положительной степени. При T0 > 1 будет что-то строго больше 1. Тут тоже для перехода к обычной АКФ надо на R(0) поделить?
Но главное, я вообще не вижу зависимости от <тау>. Получается, в этом приближении АКФ(<тау>) = константа? Которая после нормировки будет точно равна 1?
Глядя на формальные оценки АКФ для реальных реализаций ФШ, я в общем-то легко готов в это поверить. Но Ваши расчеты добавляют важный нюанс: что этот эффект наблюдается для любых <альфа>, начиная с 1.0 и больше. Так?
> Про асимптотику по тау при альфа возле единицы слева
Очень интересно и неожиданно!
Спасибо!
Только с константой не очень понятно. Мы же про АКФ говорим, она нормированная же? Тогда при <тау>=0 должно быть АКФ=1,
что и определяет константу слева?
Я так понял, там еще должен быть какой-то член типа 1/R(0), который в формулах в явном виде не выписан? Или я что-то путаю?
Но в любом случае получается, что при <альфа>, близких к 1, зависимость АКФ от <тау> (на больших <тау>, естественно)
почти исчезает, так?
Ведь <тау> в знаменателе будет в околонулевой степени
Другими словами, при <альфа>, близких к 1, мы просто не можем уйти на такие большие лаги, при которых АКФ можно считать малой. А при меньших <альфа> это (в теории) потенциально возможно. Это интересный нюанс!
Получается. что ФШ 1) с <альфа> < 1 и 2) с <альфа> >= 1
это два совершенно разных ФШ?!
В первом случае дальние корреляции (при неограниченном росте <тау>) присутствуют, но все-таки связь ослабляется с ростом лага. А во втором - все, хана... даже этого нет.
Я правильно интерпретирую формулу?
И еще одно уточнение. SymPy shell online - это ведь лишь инструмент, так? Он не поясняет, какой именно математический метод (подход) использован для расчета асимптотики?
> У меня получилось найти АКФ для фликкер-шума, но для ограниченного параметра "альфа". Спасибо справочнику по интегралам Градштейн, Рыжик.
Спасибо!!! А можете еще подсказать,
как я могу на это Ваше сообщение сослаться, если понадобится?
Я пока не знаю, как я смогу эту формулу использовать, но если смогу, то я бы хотел в дополнение к
ссылке на
Градштейн И.С., Рыжик И. М. Таблицы интегралов, сумм, рядов и произведений / Перераб. при участии Ю. В. Геронимуса и М. Ю. Цейтлина. — 5-е изд., стер. — М.: Наука, 1971. — 1108с.
добавить ссылку на "личное сообщение" (в журналах их обычно оформляют в виде подстраничных сносок). Но, в такой ссылке надо указать ФИО автора сообщения. Если Вы не против,
напишите мне данные в ЛС?
В научной публикации такая ссылка будет выглядеть примерно вот так (реальный пример:)
> Надо различать ось времени и ось амплитуд. То, что называют оптимальным приемом (корреляционный прием, согласованный фильтр) не является накоплением при обработке рядов. Это разные вещи.
А вот тут не понял.
Мы при зондировании земной коры пытались просвечивать очаг землетрясения электрическим током. Сперва была идея, что для повышения отношения сигнал/шум надо увеличить мощность источника тока. Для этого на Памир затащили МГД-генератор. Он давал ток в сотни ампер. Но, каждый пуск был праздником. Он требовал большой подготовки и происходил в лучшем случае раз в две недели. А последняя стадия подготовки землетрясения - это часы-сутки (как тогда думали).Т.е. сопротивление очаговой зоны надо измерять ежедневно, хотя бы.
И вот как раз мой многолетний шеф А.Я.Сидорин, насчитавшись книг по радиофизике, предложил вместо однократного жутко сильного импульса послать в породу гораздо более слабый (и поэтому легко генерируемый), но очень длинный знакопеременный сигнал из прямоугольных импульсов длительностью пару секунд каждый, но суммарно длиной в полчаса. А на приемной станции выполнялось измерение напряжения на положительной и отрицательной фазе питающего импульса. И высчитывалась разница между ними. И эта разница суммировалась по паре тысяч импульсов (получасовой цикл). Заодно такая схема решала проблему с поляризацией среды, переходными процессами (ток на выходе МГД-генератора меняется по очень хитрым законам, и такой сигнал не так просто пересчитать в напряжение на приемнике из-за индуктивности), и пр.
В общем, при многократном понижении стоимости и снижении силы тока в 100 раз мы улучшили отношение сигнал/шум на два порядка за счет накопления. Подробности раскиданы по разным работам, но если интересно, можно для начала вот тут посмотреть (текст выложен).
Так вот.
Разве эту схему измерений нельзя называть синхронным детектированием? Мы всегда думали, что можно. И что накопление и синхронное детектирование - это очень близкородственные понятия (хотя и разные, разумеется). Но в нашем случае описанная схема зондирования в каком-то смысле обобщает первое и второе в единый процесс (алгоритм).
Очень длинный коммент мне технически сложно запостить (спасибо, редактор Хабра!)
> При накоплении ведь складываются отсчеты, разнесенные достаточно длинным интервалом времени (...) Если так, то [1] шумовые значения некоррелированы (читай белый шум). Если при этом эти отсчеты [2] имеют нормальную плотность вероятностей, то они и независимы [цифры мои]
К сожалению, оба предположения не выполняются.
[1]. В моем случае корреляция с ростом лага уменьшается, но очень медленно. На самом деле эта скорость определяется значением степенного параметра спектра <альфа>. Пока он маленький (порядка 0.5), все более-менее норм. Корреляция и правда уменьшается настолько быстро, что это даже можно в расчетах использовать. Обосновать не могу, но численное моделирование подтверждает. Например, для метеопараметров такое приближение (в виде поправки к формулам для БШ) отлично работает.
Но вот в моем случае параметр <альфа> обычно
близок к 2.0
Если интересно, вот тут или вот тут есть таблички степенных параметров для сигналов из нашей вотчины. Почти всегда там что-то
от 1.7 до 2.0.
Только если правда туда в эти таблички полезете, то учитывайте, что мы там в считали не степенной параметр спектра мощности <альфа>, а степенной параметр амплитудного спектра к=<альфа>/2. Так как мне хотелось читать спектр в тех же размерных физических единицах, что и исходный сигнал (а не в квадратичных)
Это совершенно типично для большинства рядов в твердой Земле, магнитосфере и пр. Турбулентность тоже, кстати, дает 5/3 (спектр Колмогорова). Но, когда значение <альфа> близко к 2.0, корреляция остается неприемлемо высокой для любых разумных лагов.
Увы.
Я пытаюсь с этим бороться с помощью разных трюков. Например, отрезаю НЧ, оставляю только узкую полосу, потом пытаюсь работать в этой узкой полосе. Благо, после такой процедуры (выделение узкополосного сигнала) дальние корреляции действительно хорошо давятся
Но, с точки зрения здравого математического смыла отписанный трюк больше похож на какое-то надругательство над сигналом. Ведь в ФШ-сигнале нет никаких выделенных частотных полос! Когда я такие полосы искусственно вырезаю - то это же полный произвол! Так как никаких разумных аргументов для выбора этих частотных полос исходный сигнал не содержит.
Я, конечно, пытаюсь отталкиваться от физики изучаемых явлений (в физике-то частоты не равноправны)... но с точки зрения матаппарата это же просто кривая подпорка к неработающему легаси...
Но всем пофиг...
Я в прошлом году пару статей на основе этой идеи написал. Думал, отдам в журнал, там рецензенты прочтут и в ужас придут. А потом, глядишь, и что-нибудь посоветуют.
Однако же замечания и советы были о чем угодно, но только не про этот больной (для меня) вопрос. Обе статьи (в разных журналах!) уже напечатаны. Я уже не знаю, к кому теперь обращаться... Физики меня прокатили, а к математикам лезть - это дословно получится со свиным рылом в калашный ряд (с)
Ну и по пп.[2] все еще проще. Чем ближе степенной параметр [альфа] к 2.0, тем больше распределение
уходит от Гаусса в сторону равномерного
Вот для примера распределения для ФШ рядов с <альфа> = 1 и 2
Примеры ФШ рядов. Степенной параметр 1.0 для первых двух случаев и 2.0 для двух нижних рядов
Для ФШ со степенным параметром 1.0 функция распределения чем-то напоминает гауссиан ;-)
Для ФШ со степенным параметром 2.0 имеем нечто среднее между нормальным и равномерным распределением
Интуитивно это можно понять: чем больше <альфа>, тем сильнее персистентность, тем активнее самоподдерживается тенденция к росту или спаду. В результате сигнал начинает "гулять" от минимума до максимума. В пределе (при <альфа> порядка 4) это уже начинает напоминать линейный тренд, у которого, как известно, распределение равномерное. Ну а в нашем случае (когда <альфа> 1.5..2.0) - что-то промежуточное
Спасибо за статью! Восхищен стилем - читается легко и доходчиво, хотя именно за него Вас, наверное, и заминусовали. Нельзя же минусовать за аргументированно высказанную позицию, просто потому, что ты с ней не согласен (кстати, мои плюсы всем, кто аргументированно возражает автору в комментариях!).
Компромиссом являются: unsafe в расте, Any в тайпскрипте, и
всякая прочая потребень
Добавлю до кучи
commonв фортране. Формальноэто не совсем то
де-факто с помощью common можно локально, внутри объекта, объявить глобальную переменную или структуру, к которой с помощью аналогичного объявления можгно обратиться из внутренностей другого объекта и вообще любой точки программы
но по сути - такой же крах всех надежд ;-)
Не, я не против, когда есть какие-то крутые новшества, но как-то у меня ощущение, что каждая новая фича или “язык” создается скорее для того, чтобы держать разработчиков в плену. Вроде бы ты хочешь улучшить код, а на деле тебе просто предлагают еще один набор зависимостей и библиотек, которые нужно изучить, чтобы не остаться за бортом.
Программируйте на фортране ;-))
С 1957 года и до сих пор - жив, курилка ;-) Правда, в 1990-х язык тоже пережил "эпоху крутых новшеств" (добавилось полноценное ООП и др.) , но революция один раз в 40 лет - это еще не так плохо по сравнению с некоторыми ;-)
Шутка, конечно..
но как известно, в каждой шутке есть доля шутки. В своей узкой нише перемалывания чисел фортран до сих пор остается
выбором номер один
в силу исключительной вычислительной эффективности, простоты работы с массивами и огромного количества накопленных библиотек, гарантированно совместимых с любым современным кодом
Если, конечно, вы пишете что-то свое, и вам недостаточно высокоуровневого "клея", который позволяет собрать нужную функциональность из готовых библиотек (написанных, кстати, на том же фортране/Си)
Ну и революция революцией, а все ранее (до 1990-х) написанные фортрановские библиотеки как работали, так и продолжают компилироваться и работать в пост-апокалиптическом мире (т.е. после 1990-х ;-)
А если серьезно, то мне сложно себе представить, что кто-то будет придумывать новый язык исключительно ради того, чтобы улучшить стиль уже существующего кода, переписав все полностью заново. Может, в основе все-таки обычно лежит идея, концепция, которая решает труднопреодолимую концептуальную проблему ранее существовавшего языка? Которую невозможно побороть эволюционным путем?
И успешность/неуспешность нового языка прежде всего определяются тем, насколько эта проблема:
1) действительно актуальна, и
2) насколько хорошо предложенное решение?
И лишь во вторую очередь - административной поддержкой и пр.?
Или это слишком поверхностный взгляд?
Я понимаю, что у некоторых конкретных людей его сейчас нет ;-)
Я переживаю за человечество в целом. У него-то доступ к ним есть?
Или... Или все идет к тому, что у человечества его тоже скоро не будет?! ;-))
1. Я очень далек от этой тематики, статья стала прекрасным ликбезом! Спасибо!
2. А еще мне со стороны кажется немного странным, что мы, люди, сначала
1) собираем данные в базах, потом
2) строим какие-то сводки метрик и оформляем их в виде красивого PDF-документа, а потом
3) парсим это чудовище в надежде
4) опять получить данные в виде пригодной для работы структуры (читай - обратно запихать в сводную базу).
Мне одному кажется, что цепочка (1)-(2)-(3)-(4) содержит какую-то внутреннюю избыточность, и что без промежуточных этапов (2), (3) было бы как-то проще??
З.Ы. Если что, я не LLM! См. аватарку ;-))
То, что у вас написано - это и не юмор, и не пасхалки. Такие вещи никому не нравятся, кроме их авторов. Если это была бы книга - то да, в предисловии или в сносках* можно подобное позволить. В документации, в коде, в комментариях к коду - категорически нет.
Позиция понятна, и в определенной мере я с ней согласен. Юмор в пошаговой инструкции вряд ли уместен. Особенно если она написана на неродном языке, которым ты не владеешь свободно. Например, когда тебе надо загрузить данные, пришедшие в ana-формате, в программу, инструкция к проге должна быть предельно конкретной и четкой.
Что же касается конкретно нашего случая
то он достаточно близок к "книге". Дело в том, что примерно четверть от всего объема документации у нас составляют не пошаговые инструкции, а "философские рассуждения", в которых речь идет скорее про общие принципы построения алгоритмов. Специфика нашей работы в том, что она очень плохо формализована. Программа, как правило, не дает готовых решений, а предоставляет набор примитивов, из которых юзер сам, как из кубиков, собирает нужный ему алгоритм. Каким должен быть целевой алгоритм - не знают ни юзер, ни тем более авторы проги. В справке мы скорее делимся своим опытом в этом плане, причем заранее неизвестно: подойдет ли он юзеру, или нет. И такие рассуждения, отвечающие на вопрос "ЧТО вообще можно сделать в такой ситуации", часто довольно объемны. А главное, было бы совершенно неправильно, чтобы читатель к ним относился, как к догме. Вот в этот момент, как мне кажется, шутка может настроить его на правильный лад.
Что же касается способов "привинчивания" выбранных кубиков друг к другу (когда юзер ищет ответ на вопрос "КАК сделать вот это"), - то тут я с Вами согласен на сто процентов: инструкция должна быть короткой, конкретной и четкой. Буду обращать на это внимание в будущем, так как во время работы со слитным текстом (исходники справки) голова не всегда автоматом переключается на правильный стиль.
Вообще, мне кажется, что стиль инструкции к проге можно сравнить с двумя вариантами путешествия к заданной цели. В первом случае у тебя есть легенда, в которой перечислены повороты, и сказано: сначала направо, потом налево, а дальше три раза прямо. Кому-то так удобней всего. Однако при малейшем изменении местности, или при опечатке в легенде ты попадешь не туда. К тому же такую инструкцию надо составить для каждой возможной цели. А если есть варианты с начальными точками - то для каждой возможной пары "старт-финиш".
Поэтому начиная с какого-то уровня сложности вместо пошаговых списков удобнее карта. Которая не содержит рекомендаций: куда и где повернуть. Все на совести едущего.
Так вот, если Вы работаете в первом, пошаговом стиле, то ирония неуместна. Если же документация больше похожа на дорожную карту, то почему бы и нет? Особенно если авторы сами не очень-то хорошо представляют ее окраины. Вот про эти тропинки нам все достоверно известно - отражаем в документации. А где-то вот в этом районе - болото, предположительно с крокодилами (но говорят, что там собирают хорошую клюкву). В общем, мы сами там не были, пробуйте на свой страх и риск.
Те же спектры, к примеру, нельзя посчитать единственно правильным способом. Если в настройках метода есть четыре параметра, в справке можно раскрыть, что делает каждый из них. А вот какую их комбинацию следует выбрать в каждом конкретном случае - не ответит никто. Так как этих "конкретных случаев" - миллионы, в зависимости от особенностей данных, шумов, целевой функции и т.п. Даже если бы авторы знали ответы, в справке их изложить невозможно. А мы их вдобавок еще и не знаем (собственно, в этом научная работа и состоит)
.
P.S. Потрясающе. Вашему комментарию кто-то поставил минус. Я понимаю, когда минусуют за очевидную токсичность, за хамство, за грубую фактическую ошибку (которая кого-то введет в заблуждение). Но за корректно высказанное альтернативное мнение, с которым ты не согласен?! А как же тогда совершенствовать свое понимание, если всегда
слушать только приятное?!
Наверно, тут будет уместным упомянуть мое любимое следствие из третьего закона Ньютона:
Опираться можно только на то, что оказывает сопротивление!
Тогда ссылаться на эту публикацию не буду.
Я бы, наоборот, предложил не убирать эту ссылку, а сохранить, но обязательно пояснить, что Б.Д.Борисов по-своему (нестандартно)
трактует понятие ФШ
Я открыл его публикацию, и там видно, что это не опечатка, а свой особый подход. Просто не поясняется, что он отличается от общепринятого.
Иначе его читатели могут остаться в недоумении. А так они смогут найти ответ на свои вопросы хотя бы на Хабре.
Вообще, в таких случаях имхо полезно вступать в дискуссию, - это как раз такой вид спора, который к истине приближает. Не хочу проводить аналогию между двумя ситуациями (это было бы некорректно по отношению к Б.Д.Борисову), но просто хочу пояснить свою мысль на примере одной истории, в которой
я поучаствовал лет пятнадцать назад
А именно, в один российский журнал пришла статья известного зарубежного автора (что нечасто бывает). Основное открытие автора было уровня "Менделеев". А именно, он разработал "гармоническую модель Вселенной", и создал на этой основе собственную систему прогнозирования техногенных и природных катастроф. Статьи о фантастической эффективности этой системы, изложенные превосходным с литературной точки зрения зыком, пересыпанным научной терминологией, были опубликованы в десятках статей во всем мире (правда, в журналах далеко не первого квартиля почему-то). Проблема была только в одном. Основным методом доказательства статистической значимости этой модели был тезис: "я еще ...надцать лет назад предсказал (ссылка), что 2013 год будет особо опасным. Проверяем: и да, действительно, все в точности так и есть! В 2013 году произошла авиакатастрофа в ХХХ и засуха в YYY! Моя гипотеза (причем прогноз давался вперед) блестяще подтверждена!!!"
Этот тезис героически повторялся из публикации в публикацию практически в неизменном виде. Менялись лишь годы (список "опасных" лет автор опубликовал задолго до этого, причем без конкретизации видов опасности) и разновидности фактически случившихся бедствий.
Мы сперва думали - автор искренне заблуждается. Даже пробовали ему намекнуть, что сам факт наличия катастрофы еще ничего не доказывает. И что для доказательства особой опасности перечисленных лет надо бы показать, что в 2013г (и в другие объявленные "опасными" годы) катастрофы происходили чаще, чем в прочее время. В ответ автор забросал редакцию требованиями отстранить безграмотных рецензентов, которые своими идиотскими придирками мешают спасать жизни людей. А когда редакция намекнула, что хорошо бы и автору сделать шажок навстречу, он заявил: "Хорошо, 2013 год из публикации убираем. Давайте лучше напишем про 2011-й. Он, по моей модели, тоже опасный. А главное, в 2011 году было наводнение в ZZZ, причем с жертвами!
Так вот.
Проще всего было бы эту статью отклонить. Автор легко бы нашел другое издание. Ведь ссылки на такую работу, причем зарубежные, практически гарантированы (а для журналов это существенно). И автору тоже бонус: ведь на основе этой модели он осваивал миллионные гранты, консультировал соответствующие министерства в нескольких странах, а теперь к ним добавилось бы и МЧС.
Но ГПиБ поступил иначе. Поступившая статья была напечатана в авторском варианте - но рядом с ней были напечатаны отзывы рецензентов. После чего безумное пиршество панегириков этой модели оказалось разбавлено парой десятков критических замечаний, не оставивших камня на камне от каждого (без каких-либо исключений) тезиса первоначальной статьи.
Конечно, одному журналу трудно "сделать погоду" на мировом уровне. Однако теперь любой, кто читает фантазии этого Б.Л.Берри, хотя бы потенциально может открыть наш журнал и обнаружить там альтернативный взгляд на проблему, изложенный менее распиаренными, но гораздо более грамотными специалистами.
Не знаю, нужно ли тут оставлять подробные ссылки, так как сейчас все упомянутые статьи, к сожалению, за пейволом. Но для желающих покопаться все же оставлю:
Оригинальный авторский труд Б.Л.Берри: "Гелиогеофизические и другие процессы, периоды их колебаний и прогнозы"
Рецензии и отклики на него:
Музыка сфер и проза статистических критериев...
Музыка сфер и музыка людей...
О необходимой самозащите научного сообщества в связи со статьей Б.Л. Берри...
1. @sci_nov, спасибо за статью!
2. Но все-таки, у Б.Д.Борисова явная опечатка. Такое:
где "альфа" - безразмерный параметр, реальные значения которого лежат примерно в пределах от минус двух до двух, [1].
еще можно было бы простить в 1955г, года понятие ФШ только формировалось, и каждый мог предлагать собственное определение. Но примерно с 1980-х годов общепринятая трактовка состоит в том, что под ФШ понимаются процессы с <альфа> от 0.5 до 2.0. Ссылок, где упоминается этот диапазон, можно привести множество, а вот про -2..+2 я сомневаюсь, что такой вариант предлагал еще кто-нибудь. В Википедии, кстати, приводится диапазон от 0.6 до 2.0. Такой вариант я тоже однажды встречал. Но вот у Рытова, насколько я помню (сейчас книжки нет под рукой) было вроде бы от 0.5. И у подавляющего большинства англоязычных авторов, которых я читал в 1990-е, тоже было от 0.5.
А определяется эта граница тем, что при альфа менее 0.5 процесс еще можно в каком-то приближении рассматривать, как квазистационарный, а вот начиная с 0.5 (0.6) - уже точно нет.
Впрочем, для некоторых применений даже и 0.3 -
слишком много.
Например, если мы хотим оценить значимость корреляции между двумя переменными, но вместо случайных величин будем рассматривать два временных ряда с альфа=0.3, то неожиданно можем ошибиться с доверительными границами на порядок. То есть, истинный 95%-ный порог будет равен не 2/sqrt(N), а примерно в десять раз больше. Или даже в 100, если ряд достаточно длинный.
Вопрос только в длине рядов. При альфа > 1 катастрофические ошибки в доверительных уровнях возникают уже при длине рядов в тысячи точек (подробности и примеры можно найти вот тут). А при альфа =0.3 аналогичная катастрофа произойдет лишь при длине рядов в миллионы и миллиарды отсчетов.
В общем, порог, за которым нестационарностью можно уже пренебречь, зависит от длины тех сигналов, которые мы рассматриваем. Сейчас 0.5 или 0.6 - вполне приемлемая оценка. Но по мере того, как практики будут сталкиваться со все более длинными реализациями ФШ, граничное значение альфа (начиная с которого уже придется учитывать разницу в свойствах БШ и ФШ) неизбежно придется снижать ;-))
@Vdm_ro, спасибо за критику! Понятно, что шутки должны быть не вместо инфы, а в дополнение к ней. И в соотношении примерно 1:100, иначе смешно не будет. Но вот для меня это скорее вопрос хорошего вкуса (хотя понятно, что он у всех разный), чем категорическое "нельзя".
P.S. Ну и еще наверно есть разница между массовыми продуктами (когда между юзером и разработчиком стоит несколько промежуточных звеньев) и узконишевыми, как в нашем случае. Когда с половиной пользователей авторы знакомы лично, и шутки направлены в хорошо понятную аудиторию. А в крайнем случае можно написать авторам в почту и через сутки (в среднем) получить конструктивный ответ. А через месяц - исправленную документацию, куда этот ответ будет вписан.
P.P.S. Но вообще - ставлю плюсик Вашему комментарию за полезную (для меня) обратную связь.
Эта статья будет неполной без ссылки на статью про пасхалки в документации.
Сам я, кстати, люблю добавлять в объемную документацию
всякие невинные шутки
Например, раздел справки про спектры у нас начинается с пояснения: зачем нужно так много спектральных методов? Почему нельзя обойтись парой-тройкой стандартных? Суть пояснения изложена одной фразой: "Если от некоторой болезни существует очень много разных лекарств, - это значит, что ни одно из них не лечит по-настоящему!"
А раздел про методы заполнения пропусков данных предваряется честным признанием авторов программы, что они изучали этот вопрос много лет. Но так и не смоги подсчитать, сколько же разных алгоритмов заполнения пропусков можно построить, комбинируя стандартные опции нашей программы. Поэтому про некоторые их этих алгоритмов (до которых авторы проги не докопались) рассказа в справке не будет...
Хотя и знаю, что здесь есть много блюстителей строгости, которые нещадно минусуют сарказм и юмор, вставленный в серьезное обсуждение. Возможно потому, что они иногда "покупаются" на такие шутки, после чего испытывают обиду, вместо чтоб рассмеяться?
del
Я в 1986-90г работал на СМ-4, которую привезли и установили в горах Таджикистана для обработки научных наблюдений. А примерно через 10 лет несколько раз ходил вместе с Алексеем Рудневым в "детские"
горные походы
Младшим участникам было по 7-10 лет. Особенно драматичным оказался поход на Фишт в 1998г, когда у одного из членов группы случился перитонит, который мы вовремя
не распознали
Мы ж не медики. Как пальпировать аппендицит - примерно догадывались, но у перитонита симптомы отличаются... А последствия даже более скоротечные
Лагерь стоял на оз.Псенодах - с такой проблемой самостоятельно оттуда не спустишься. А на операционный стол с таким диагнозом надо попасть в течение суток, максимум двух. Если б не борт МЧС, который как раз в этот момент прилетел на Фишт в ходе
плановой тренировки,
За несколько лет до этого на Фиште разбилась связка сочинских спасателей, и после этого такие тренировки проводились на горе ежегодно 30 июля или в ближайшую дату. Сохранилась ли эта традиция до сих пор - не знаю
и который удалось "подловить" на приюте, последствия для пострадавшего могли оказаться гораздо печальнее. Думаю, Алексею эта история запомнилась на всю жизнь (и для меня она тоже стала хорошим уроком)
А главный прикол в том, что будучи (за несколько лет до этих путешествий) активным пользователем СМ-4, я даже не догадывался о том вкладе, который Алексей внес в развитие этой техники.
Понятно, что в походе, на отдыхе говорить о работе не хочется. Но, вероятно, есть все-таки некий предел, начиная с которого скромность перестает украшать человека, а начинает мешать прогрессу :-((
> Материал могу собрать. А статью на хабре?
Проще и быстрее всего - на Хабре. Это, конечно, не рецензируемый ресурс, но достаточно уважаемый, так как вместо "допечатного рецензирования" тут хорошо работает механизм "послепечатного комментирования". Я в научных журналах несколько раз ссылался на Хабр, и такие ссылки никаких возражений не вызывали.
> Если не на хабре, то там вряд ли примут. Я давно не отслеживаю мир науки и мне трудно подобрать журнал.
С журналом не подскажу. В геофизических наверняка скажут, что это непрофильная тематика, если не будет конкретного применения в геофизике. А тут пока есть определенный разрыв.
Что же касается математических журналов, то я их просто не знаю. "Высоких" математиков я практически не читаю (очень уж далеки они от народа, да и язык непонятный). Ну и их тоже вряд ли такая частноприкладная задача заинтересует.
> Это всего лишь заметка.
Ну так на Хабре вроде нет ограничения по размеру статьи (что если объем не тянет на полновесную монографию, то публиковать нельзя ;-).
Но если Вам интересен вид с моей колокольни, то вот он:
1) Тема узконишевая, но внутри этой ниши весьма актуальна;
2) Общедоступная информация по теме практически отсутствует, что провоцирует недоразумения и заблуждения;
3) Выведенные формулы, с одной стороны, априори неочевидны, а с другой - дают пищу для размышлений
4) Идея с малым параметром F0 в этом контексте мне вообще никогда не встречалась;
5) Результаты полезные и нетривиальные
Поэтому просто потерять сделанное (а если оно останется только в комментариях, то для большей части человечества будет утрачено) было бы обидно.
P.S.
Если Вам для оформления публикации понадобятся картинки с временными рядами, спектрами или АКФ - только намекните! Сделаю в течение пары дней!
> В реальности, наверное, всё таки есть минимальная нижняя частота, которая связана с размерами Земли :)
Ну да. И еще одна, связанная с ее возрастом ;-)
А если чуть серьезнее, Вы уже настолько обширную работу провели, что очень хочется увидеть небольшую статью, где все эти результаты были бы собраны в единое целое. Понимаю, что тема весьма специфичная, и что миллионную аудиторию такая публикация соберет вряд ли. Но вообще-то тема достаточно актуальная в определенных кругах. Только вот большинство из этих потенциальных читателей - не на Хабре. И в здешних комментариях они никогда Ваши результаты не увидят. А вот в формате статьи - найдут!
Может, подумаете об этом при случае?
Очень прошу...
Спасибо за статью! Но сначала конструктивная критика:
1) Почему в опросе нельзя выбрать несколько вариантов ответа?
2) Что касается мессенджеров и социальных сетей, было бы интересно как-то сравнить относительную активность в разных сетях. Но это сильно усложнит формат опроса :-(
Мне вот и по телефону звонят, и в мессенджерах пишут - я бы оба пункта отметил. Как выходной - так от директора просто отбоя нету...
Но вообще, когда время есть, я с любым звонящим стараюсь максимально конструктивно общаться.
Приятно ведь поговорить с человеком, который твоими проблемами интересуется, и даже вроде хочет помочь. Если, к примеру, у него что-то не получается, то всегда ищу какие-то компромиссные схемы. Уточняю, как именно можно перевести деньги, какие данные для этого нужны. Например, когда мне по телефону звонят - могу три раза подряд продиктовать свой номер, вплоть до побуквенного объяснения каждой цифры (если плохо слышно). "Семен, Елена, Маша, мягкий знак...", и т.д. Потом обязательно проверяю, что собеседник номер моего телефона правильно записал. Чтобы ошибки какой-то не вышло. Я ведь уже почти что пенсионер, а в финансовых вопросах точность нужна...
Но я видимо неудачник какой-то. Ну или товарищи на том конце совсем лыка не вяжут. Вроде бы все обсудили: как деньги на карту перевести по номеру телефона, как баланс счета пополнить. Вплоть до пошаговой инструкции. Все бесполезно!
Ни разу ни на телефон, ни на карту ни рубля не пришло...
> Посмотрел случай "альфы" больше единицы. Исходный интеграл равен бесконечности для любых "тау", то есть АКФ в ее классическом определении не существует.
Что, собственно, было вполне ожидаемо уже после первой части ответа (про альфа возле единицы слева) ;-))
> (по крайней мере для конечных
, рассматривал значения около единицы)
А вот тут
не врубаюсь
У нас же <альфа> больше 1, т.е. (<альфа>-1) > 0. Получается положительное число в положительной степени. При T0 > 1 будет что-то строго больше 1. Тут тоже для перехода к обычной АКФ надо на R(0) поделить?
Но главное, я вообще не вижу зависимости от <тау>. Получается, в этом приближении АКФ(<тау>) = константа? Которая после нормировки будет точно равна 1?
Глядя на формальные оценки АКФ для реальных реализаций ФШ, я в общем-то легко готов в это поверить. Но Ваши расчеты добавляют важный нюанс: что этот эффект наблюдается для любых <альфа>, начиная с 1.0 и больше. Так?
Это уже вполне себе Результат!
> Про асимптотику по тау при альфа возле единицы слева
Очень интересно и неожиданно!
Спасибо!
Только с константой не очень понятно. Мы же про АКФ говорим, она нормированная же? Тогда при <тау>=0 должно быть АКФ=1,
что и определяет константу слева?
Я так понял, там еще должен быть какой-то член типа 1/R(0), который в формулах в явном виде не выписан? Или я что-то путаю?
Но в любом случае получается, что при <альфа>, близких к 1, зависимость АКФ от <тау> (на больших <тау>, естественно)
почти исчезает, так?
Ведь <тау> в знаменателе будет в околонулевой степени
Другими словами, при <альфа>, близких к 1, мы просто не можем уйти на такие большие лаги, при которых АКФ можно считать малой. А при меньших <альфа> это (в теории) потенциально возможно. Это интересный нюанс!
Получается. что ФШ
1) с <альфа> < 1 и
2) с <альфа> >= 1
это два совершенно разных ФШ?!
В первом случае дальние корреляции (при неограниченном росте <тау>) присутствуют, но все-таки связь ослабляется с ростом лага. А во втором - все, хана... даже этого нет.
Я правильно интерпретирую формулу?
И еще одно уточнение. SymPy shell online - это ведь лишь инструмент, так? Он не поясняет, какой именно математический метод (подход) использован для расчета асимптотики?
> Дак это ж радиофизика. Там лучше Рытова Кравцова Татарского читать "Введение в стат радиофизику",
ну вот, круг замыкается :-((
Моей первой книжкой по случайным процессам был именно Рытов (который 1976г.). С него все и началось...
Впрочем, освежить старые знания наверно и правда пора.
> У меня получилось найти АКФ для фликкер-шума, но для ограниченного параметра "альфа". Спасибо справочнику по интегралам Градштейн, Рыжик.
Спасибо!!! А можете еще подсказать,
как я могу на это Ваше сообщение сослаться, если понадобится?
Я пока не знаю, как я смогу эту формулу использовать, но если смогу, то я бы хотел в дополнение к
ссылке на
Градштейн И.С., Рыжик И. М. Таблицы интегралов, сумм, рядов и произведений / Перераб. при участии Ю. В. Геронимуса и М. Ю. Цейтлина. — 5-е изд., стер. — М.: Наука, 1971. — 1108с.
добавить ссылку на "личное сообщение" (в журналах их обычно оформляют в виде подстраничных сносок). Но, в такой ссылке надо указать ФИО автора сообщения. Если Вы не против,
напишите мне данные в ЛС?
В научной публикации такая ссылка будет выглядеть примерно вот так (реальный пример:)
Глухов В.Е. [https://www.elibrary.ru/author_items.asp?authorid=1072618], личное сообщение
> Только что это даст?
Это интересный вопрос, так как мне на самом деле нужны значения <альфа> от 1.5 до 2.0. Но и соседний случай полезен для сравнения!
Единственное, я с хода не смог разобраться: какая там будет асимптотика по тау, когда <альфа> снизу приближается к 1?
(....)
> (..) Поэтому для БШ формулы очень простые.
Да, видимо это и есть ключевое отличие между БШ и ФШ.
> Надо различать ось времени и ось амплитуд. То, что называют оптимальным приемом (корреляционный прием, согласованный фильтр) не является накоплением при обработке рядов. Это разные вещи.
А вот тут не понял.
Мы при зондировании земной коры пытались просвечивать очаг землетрясения электрическим током. Сперва была идея, что для повышения отношения сигнал/шум надо увеличить мощность источника тока. Для этого на Памир затащили МГД-генератор. Он давал ток в сотни ампер. Но, каждый пуск был праздником. Он требовал большой подготовки и происходил в лучшем случае раз в две недели. А последняя стадия подготовки землетрясения - это часы-сутки (как тогда думали).Т.е. сопротивление очаговой зоны надо измерять ежедневно, хотя бы.
И вот как раз мой многолетний шеф А.Я.Сидорин, насчитавшись книг по радиофизике, предложил вместо однократного жутко сильного импульса послать в породу гораздо более слабый (и поэтому легко генерируемый), но очень длинный знакопеременный сигнал из прямоугольных импульсов длительностью пару секунд каждый, но суммарно длиной в полчаса. А на приемной станции выполнялось измерение напряжения на положительной и отрицательной фазе питающего импульса. И высчитывалась разница между ними. И эта разница суммировалась по паре тысяч импульсов (получасовой цикл). Заодно такая схема решала проблему с поляризацией среды, переходными процессами (ток на выходе МГД-генератора меняется по очень хитрым законам, и такой сигнал не так просто пересчитать в напряжение на приемнике из-за индуктивности), и пр.
В общем, при многократном понижении стоимости и снижении силы тока в 100 раз мы улучшили отношение сигнал/шум на два порядка за счет накопления. Подробности раскиданы по разным работам, но если интересно, можно для начала вот тут посмотреть (текст выложен).
Так вот.
Разве эту схему измерений нельзя называть синхронным детектированием? Мы всегда думали, что можно. И что накопление и синхронное детектирование - это очень близкородственные понятия (хотя и разные, разумеется). Но в нашем случае описанная схема зондирования в каком-то смысле обобщает первое и второе в единый процесс (алгоритм).
Или это только у нас такая специфика?
Прошу прощения, но
буду отвечать по частям
Очень длинный коммент мне технически сложно запостить (спасибо, редактор Хабра!)
> При накоплении ведь складываются отсчеты, разнесенные достаточно длинным интервалом времени (...) Если так, то [1] шумовые значения некоррелированы (читай белый шум). Если при этом эти отсчеты [2] имеют нормальную плотность вероятностей, то они и независимы [цифры мои]
К сожалению, оба предположения не выполняются.
[1]. В моем случае корреляция с ростом лага уменьшается, но очень медленно. На самом деле эта скорость определяется значением степенного параметра спектра <альфа>. Пока он маленький (порядка 0.5), все более-менее норм. Корреляция и правда уменьшается настолько быстро, что это даже можно в расчетах использовать. Обосновать не могу, но численное моделирование подтверждает. Например, для метеопараметров такое приближение (в виде поправки к формулам для БШ) отлично работает.
Но вот в моем случае параметр <альфа> обычно
близок к 2.0
Если интересно, вот тут или вот тут есть таблички степенных параметров для сигналов из нашей вотчины. Почти всегда там что-то
от 1.7 до 2.0.
Только если правда туда в эти таблички полезете, то учитывайте, что мы там в считали не степенной параметр спектра мощности <альфа>, а степенной параметр амплитудного спектра к=<альфа>/2. Так как мне хотелось читать спектр в тех же размерных физических единицах, что и исходный сигнал (а не в квадратичных)
Это совершенно типично для большинства рядов в твердой Земле, магнитосфере и пр. Турбулентность тоже, кстати, дает 5/3 (спектр Колмогорова). Но, когда значение <альфа> близко к 2.0, корреляция остается неприемлемо высокой для любых разумных лагов.
Увы.
Я пытаюсь с этим бороться с помощью разных трюков. Например, отрезаю НЧ, оставляю только узкую полосу, потом пытаюсь работать в этой узкой полосе. Благо, после такой процедуры (выделение узкополосного сигнала) дальние корреляции действительно хорошо давятся
Но, с точки зрения здравого математического смыла отписанный трюк больше похож на какое-то надругательство над сигналом. Ведь в ФШ-сигнале нет никаких выделенных частотных полос! Когда я такие полосы искусственно вырезаю - то это же полный произвол! Так как никаких разумных аргументов для выбора этих частотных полос исходный сигнал не содержит.
Я, конечно, пытаюсь отталкиваться от физики изучаемых явлений (в физике-то частоты не равноправны)... но с точки зрения матаппарата это же просто кривая подпорка к неработающему легаси...
Но всем пофиг...
Я в прошлом году пару статей на основе этой идеи написал. Думал, отдам в журнал, там рецензенты прочтут и в ужас придут. А потом, глядишь, и что-нибудь посоветуют.
Однако же замечания и советы были о чем угодно, но только не про этот больной (для меня) вопрос. Обе статьи (в разных журналах!) уже напечатаны. Я уже не знаю, к кому теперь обращаться... Физики меня прокатили, а к математикам лезть - это дословно получится со свиным рылом в калашный ряд (с)
Ну и по пп.[2] все еще проще. Чем ближе степенной параметр [альфа] к 2.0, тем больше распределение
уходит от Гаусса в сторону равномерного
Вот для примера распределения для ФШ рядов с <альфа> = 1 и 2
Интуитивно это можно понять: чем больше <альфа>, тем сильнее персистентность, тем активнее самоподдерживается тенденция к росту или спаду. В результате сигнал начинает "гулять" от минимума до максимума. В пределе (при <альфа> порядка 4) это уже начинает напоминать линейный тренд, у которого, как известно, распределение равномерное. Ну а в нашем случае (когда <альфа> 1.5..2.0) - что-то промежуточное