Comments 69
> средней мощности гауссового шума N
Везунчики вы! :-)
А фликкер-шум в канал не хотите? Да еще с показателем степени ближе к 2...
И вот уже горькими слезами плачут все формулы. Так как для подавления такого шума избыточность кода должна быть гораздо выше. Ведь фликкерный (=автокоррелированный) шум не давится накоплением, как корень из N.
А серьезный вопрос в том, во сколько именно раз выше?
Точнее, как это отношение зависит от степенного параметра над частотой (=степенного параметра спектра шума)?
У меня не хватает мозгов эту формулу вывести. Хотя бы асимптотику. И найти ее нигде не могу. Есть только смутное подозрение, что когда степенной параметр приближается к 2, это отношение стремится к бесконечности.
Вы не думал в эту сторону? Или может в литературе что-то встречали?
P.S. Кстати, корни проблемы ложных корреляций растут отсюда же...
Ведь фликкерный (=автокоррелированный) шум не давится накоплением, как корень из N.
А серьезный вопрос в том, во сколько именно раз выше?
я могу только предположить что давить тогда надо не накоплением, а как-то иначе. Мне кажется надо куда-то в сторону адапивных алгоритмов копать, или книжку на которую я ссылаюсь в статье до самого конца надо читать, там по моему что-то для таких случаев должно рассматриваться как раз под конец. Но точно я не знаю, конечно - такую тему надо детально разбирать по формулам и по цифрам, внимательно смотреть что откуда берется...
Я припоминаю что был какой то адаптивный алгоритм который адаптивно запрещает к использованию частоты на которых обнаружены помехи, возможно это то что вам нужно, как минимум лишним знание не будет, думаю. Но это все что я помню сейчас, это у меня коллеги занимались, я только со стороны видел, хотя мне было бы очень интересно тоже реализовать для какой-то практической задачи.
> алгоритм который адаптивно запрещает к использованию частоты на которых обнаружены помехи,
В том-то и дело, что у ФШ не выделенных частот.
Это абсолютно случайный процесс, НО с автокорреляцией.
Почему с ним и сложно бороться.
Простейший пример: берем БШ, затем интегрируем. Получаем т.н. процесс с независимыми случайными приращениями. Кстати, у него степенной параметр спектра как раз 2.0. Теперь подаем этот шум в канал связи... Есть идеи, как изменятся приведенные в статье формулы?
:
Кстати, у него степенной параметр спектра как раз 2.0
это понятно что если проинтегрировать белый шум на выходе будет шум с АЧХ интегратора. Нет я с таким не встречался, не знаю. Интересно еще шум отдельно от сигнала фильтруется-интегрируется, если да то как это возможно (может ответ натолкнет на какую то идею)? Еще вопрос почему вы выбрали именно этот частотный диапазон с этим шумом, этот шум же убывает, что мешает передвинуться вправо, чтобы просто уйти от него?
Да, выгоднее уйти от него. В настоящее время в системах радиосвязи обработка в приемнике ведётся на промежуточной частоте.
Даже при оптимальной обработке - в плане максимального отношения сигнал шум после обработки -, последний будет меньше, чем с/ш при чисто белом шуме. А если приемник неоптимальный, то ещё меньше. В итоге, с/ш может запросто упасть в разы (3...20).
> Еще вопрос почему вы выбрали именно этот частотный диапазон с этим шумом, этот шум же убывает, что мешает передвинуться вправо, чтобы просто уйти от него?
Да это не я выбрал ;-) Помните
такой лозунг
Берегите природу, мать вашу!
так вот, это она, родимая. Вся геофизика - это
один сплошной фликкер-шум.
Подробнее, например, вот в этой статье 1997г (текста нет, но по ссылке можно найти версию на английском языке). Или вот коротенькая статья 2003г с текстом. Ну или вот этот талмуд 1996 года (наш текст там смотреть не стоит, основное луче глянуть в статьях, а вот за обзором приглашаю в талмуд. Текст там есть).
И еще довольно много материалов по теме в моей папке на Я-диске.
Короче, здесь частотный диапазон выбираем не мы (с) ;-)
Так что я рад за
связистов, которым не надо ждать милостей от природы (с)
хотя по моим представлениям, ФШ открыли именно в радиофизике, и для аналоговых устройств он там до сих пор актуален
но вот у нас так не получится :-(
Вся геофизика - это
ну насколько я понимаю если вы занимаетесь
ПРИ ИЗУЧЕНИИ ПРИЧИННО-СЛЕДСТВЕННЫХ СВЯЗЕЙ МЕЖДУ ПРИРОДНЫМИ ПРОЦЕССАМИ
то главной проблеммой у вас будет определить, что из сигнала является шумом, а что полезным сигналом который подлежит исследованию. Насколько я могу себе представить даже АЧХ вот того интегратора через который проходит шум и динамика ее изменений может представлять интерес.
То есть у вас же нет специально сформированного аналогово сигнала который несет цифровую информацию, зачем же вам битовая скорость по Шеннону?
> что из сигнала является шумом, а что полезным сигналом который подлежит исследованию.
Если б мы это знали!
То есть, в отдельных случаях - да, вполне себе знаем. Например, есть приливный сигнал, он теоретически считается, поэтому наблюдая отклик на этот сигнал на выходе черного ящика, можно довольно много узнать про наш этот ЧЯ (=геофизическую среду).
Но очень много задач относится к поисковым. То есть мы не знаем, как выглядит этот полезный сигнал, а скорее гадаем. И, обнаружив подозрительный паттерн, затем прикладываем его к разным гипотезам: согласуется ли? А если да, то какие будут оценки вот у этих параметров вот у этой модели?
Но в целом это действительно немного напоминает поиск сигналов от инопланетного разума. С той разницей, что мы почти уверены в существовании огромного количества всевозможных сигналов, возникающих по ходу разных процессов в Земле. Некоторые из них настолько сильны, что С/Ш изначально >>1, и тогда проблем нет. Накопление не нужно вообще. Но такие явления уже в основном все изучены и известны. Сейчас фронт смещается к порогу С/Ш=1, и даже хотелось бы немного ниже забраться. Проблема в том, что даже на уровне С/Ш=1 мы не можем ничего сказать про сигнал без его накопления, так как априорные данные и про С, и про Ш очень скудны.
Откуда и вытекает вопрос про подавление ФШ накоплением...
> Насколько я могу себе представить даже АЧХ вот того интегратора через который проходит шум и динамика ее изменений может представлять интерес.
Да, именно так.
То есть у вас же нет специально сформированного аналогово сигнала который несет цифровую информацию, зачем же вам битовая скорость по Шеннону
Собственно битовая скорость - да, не нужна. Но вопрос в сущности очень близкий (и там, и там мы фактически давим шум избыточным кодом, в простейшем случае - накоплением, и оцениваем необходимую степень избыточности). А поскольку у меня паранойя, то когда я вижу толпу специалистов из соседней области, то в воспаленном воображении сразу начинаешь подозревать: а вдруг они эту задачу уже решили?!
Ну вот я и лезу к ним со своими вопросами...
Если шум аддитивный и стационарный, то особых сложностей с оптимальным приемом нет. В этом случае нужен фильтр с импульсной характеристикой, равной произведению обратной корреляционной матрицы R шума на полезный сигнал, который хотим обнаружить в шуме:
Здесь результат выражен в дискретном виде. Имея экспериментальные реализации шума, можно оценить элементы корреляционной матрицы. Для белого шума матрица R будет единичной, и обратная к ней совпадет с прямой; для окрашенного шума, к сожалению, нет, поэтому нет (или трудно найти) каких-либо готовых формул. Я дал результат в дискретном виде, потому что явное выражение для импульсной характеристики не выражается в непрерывном виде (надо выражать подынтегральную функцию, что нетривиально...).
Соотношение сигнал-шум после обработки будет равно:
Для упрощения численных расчетов лучше взять вектор сигнала, состоящий из единиц. Далее выбрать размерность (количество отсчетов, например, перебирая и сравнивая кейсы 32, 64, 128 и т.п.). И можно численно оценивать проигрыш в отношении сигнал-шум по отношению к случаю белого шума. И это при условии, что приемник оптимальный.
Формула Шеннона при этом не изменится, изменится лишь отношение сигнал-шум.
> Если шум аддитивный и стационарный, то особых сложностей с оптимальным приемом нет.
ФШ по определению нестационарный. Матожидание модуля формально рассчитанной АКФ никогда, даже на бесконечно больших лагах, до нуля не спадает.
Пример двух ФШ сигналов и их АКФ. Конечные модельные реализации
Поэтому сама идея понятна, но напрямую неприменима. Если я правильно понимаю, то корреляционная матрица R шума у нас будет вырожденной?
А модифицировать этот подход так, чтобы оно худо-бедно работало и в варианте с ФШ, у меня мозгов не хватает. Я не прошу строгие формулы (для нестационарных процессов их наверное вообще не бывает?). Но хотя бы какие-то полуэмпирические алгоритмы возможны? Типа того, что мы
приспособили
идея в том, что мы берем обычную формулу для рядов без NaN и подмухлевываем ее таким образом, чтобы вычисляемая оценка оказалась несмещенной, даже если в сигналах есть NaN-ы. Ну и чтобы формула сходилась к классической по мере уменьшения количества Nan до нуля. В общем случая задача, разумеется, некорректная. Но для многих практических случаев алгоритмы вполне работают. PDF статьи тут.
для различных расчетов при наличии Nan-значений в сигналах.
Да, матрица будет плохо обусловленной.
Если нестационарный, то даже корреляционной матрицы не существует (видимо только бесконечный набор матриц...). В Вики для фликкер-шума ничего про нестационарность нет. Скорее всего, интервал стационарности большой, но не бесконечный. Это приводит к особенностям в спектре вблизи низких частот. И эта особенность очень чувствительна: она сильно влияет на результат обработки, и ее трудно измерить, чтобы составить правильную модель спектра. Со стороны области времени надо всё-таки оценивать АКФ до момента, когда она начнет существенно падать по уровню.
Чтобы создать алгоритм (метод), надо четко оформить мат. модель сигнала и шума, сделать постановку задачи. Я пока что не понял чем полезный сигнал отличается от шума. Формой? Полосой частот? АКФ? Средним значением?
> В Вики для фликкер-шума ничего про нестационарность нет.
Ну так там много чего нет ;-)
Но по определению, ФШ это процесс со степенным спектром при показателе степени от 0.5 до 2.0. Отсюда следует, что в нуле он ВСЕГДА расходится (мощность уходит в бесконечность). Поэтому нестационарность по среднему в любом ФШ будет на абсолютно любом масштабе времени. Можно сказать, что для ФШ-процесса X(t) матожидание E(X(t)) /= E((X(t+dt)) при любом сколь угодно малом dt .
А вот насколько сильно они не равны (точнее, асимптотика по dt), зависит уже от степенного параметра спектра ФШ.
Но на самом деле все еще гораздо хуже. Логическое противоречие начинается уже на этапе определения. Ведь понятие спектра мы изначально вводим для стационарных (периодических) процессов. А потом через него (sic!) определяем ФШ. Который по определению нестационарен. Не удивительно, что в Вики этого нету ;-)
Впрочем, для реализаций конечной длины (которые "не дотягиваются" до нулевой частоты) все это прекрасно работает. Могу показать идеально прямолинейные (в билогарифмических координатах, конечно) спектры реальных (измеренных экспериментально) процессов. Которые твердо лежат на этой прямой на протяжении 4-5 порядков масштаба. ВЧ граница проходит по Найквисту, НЧ - по длине ряда.
И что прикажете с ними делать?
> Со стороны области времени надо всё-таки оценивать АКФ до момента, когда она начнет существенно падать по уровню.
Ну вот увы. По мере стремления частоты к нулю амплитуда спектра у нас уходит на бесконечность. И это не просто заумная абстракция (ведь бесконечной мощности не бывает!), а определение. А самое ужасное в том, что целая куча экспериментальных сигналов (в геофизике - так вообще практически все) в точности ложится на эту модель. Хотя мы точно знаем, что
бесконечных амплитуд не бывает
Даже просто очень больших не бывает (физически невозможно). Но - за время наблюдений (100 лет) мы до таких амплитуд (где ФШ закон нарушается) мы пока еще нигде не дошли. Кстати, есть надежда, что уже скоро (надо еще лет 100) к ним по крайней мере приблизимся. Очень интересно, как тогда тогда поведут себя наши сигналы...
> Чтобы создать алгоритм (метод), надо четко оформить мат. модель сигнала и шума, сделать постановку задачи. Я пока что не понял чем полезный сигнал отличается от шума. Формой? Полосой частот? АКФ? Средним значением?
Отличный вопрос! И ответы под стать вопросу: нет, нет, нет и нет! Прекрасная стартовая позиция для создания оптимального фильтра ;-)))
Для начала я бы сформулировал более простую задачку: у нас есть случайные сигналы и известным спектром. Он степенной. Больше про эти сигналы ничего не известно.
Можем ли мы что-то сказать про разные статистики (функции) этих сигналов?
В общем случае - я подозреваю, что нет. Так как есть расходимость спектра в нуле и все вытекающие из этого бесконечности.
Ну а если у нас есть лишь ограниченные по времени фрагменты реализаций таких процессов?
Тогда - можем?
Тогда тут ключ - существование интеграла
Если параметр меньше единицы, то всё нормально. С другой стороны интеграл
для этих параметров расходится... Так я попытался вычислить значение АКФ в нуле, то есть R(0) - среднюю энергию,- через Фурье-связь АКФ и спектральной плотности мощности (энергии в данном случае).
Для ограниченных по времени фрагментов их надо центрировать по фактическому среднему значению. И перед накоплением выравнивать по сезонам, то есть синхронизировать по периодам. И, фактически, если вы взяли, например, за один месяц, то будут месячные оценки: модель сигнала периодическая с основным периодом T = 1 месяц. Тогда статистики будут конечные. У Б. Скляра кажется есть такие модели: энергетический сигнал (непериодическая модель, одиночный импульс) и мощностной сигнал (конечный период T, либо бесконечный случайный процесс).
> Тогда тут ключ - существование интеграла
В теории, фликкер-шумом называют целое семейство процессов со степенным параметром от 0.5 до 2. Получается, что интеграл в любом случае разойдется... Не в нуле, так на бесконечности. Хотя, глядя на БШ, чего же тут удивительного. Он же тоже при бесконечной ширине полосы дает
бесконечную мощность...
Даже интересно стало - почему в варианте с БШ теория не замечает вообще никаких проблем? Т.е. для сигналов с наложенным белым шумом абсолютно любые фильтры запросто строятся и работают? Для дискретного сигнала - понятно, там найквист и бесконечностей нет. А для аналогового (если его теоретически рассмотреть) почему бесконечности исчезают? Или там тоже полосу частот при расчетах ограничивают каким-то способом? Подскажете книжку "для чайников", где это разжевано?
> Для ограниченных по времени фрагментов их надо центрировать по фактическому среднему значению.
Это само собой.. но с точки зрения поставленного вопроса о глубине подавления ФШ при накоплении (=избыточности кодирования) такое центрирование ни на что не влияет. Увы.
> И перед накоплением выравнивать по сезонам, то есть синхронизировать по периодам. И, фактически, если вы взяли, например, за один месяц, то будут месячные оценки: модель сигнала периодическая с основным периодом T = 1 месяц.
Тут я не очень понял мысль. Допустим, я считаю месячную периодичность (я ее реально считаю, только годовую). Я беру данные за 100 месяцев и накладываю эпохи (=суммирую), потом делю на 100. Т.е. что-то вроде синхронного детектирования.
Если у меня в сигнале имеется строго периодическая составляющая с периодом 1 мес, то после такой процедуры она никак не изменится (амплитуда "сигнала" после суммирования 100 периодов и деления на 100 = амплитуде исходной периодичности).
А вот с шумом сложнее. Если он некоррелированный, и удовлетворяет условиям ЦПТ, то он должен подавиться (по амплитуде) в корень из N = 100 раз. Дисперсия, соответственно, в 100 раз. А во сколько раз подавится дисперсия ФШ? Чую, что ответ (формула) должен быть совсем простой и вытекать из корреляционных свойств этого самого ФШ. Но вот как именно? АКФ-то у него бесконечная...
Кстати, о предварительном центрировании фрагментов
Тут есть такой нюанс, что если нас интересует только амплитуда/дисперсия шума, то центрирование фрагментов вообще пофиг. Так как после наложения (суммирования) эпох оно (или его отсутствие) выразится в добавлении некой константы к накопленному среднему сигналу.
> Тогда статистики будут конечные.
По идее, реальные сигналы всегда имеют конечную амплитуду и длительность. Проблемы начинаются, когда мы хотим построить для них теоретическую модель. И вот тогда появляется странность: на конечных интервалах времени ограниченные по амплитуде сигналы лучше всего аппроксимируются теоретическим моделями, в которых из каждого угла выглядывают расходимости.
Кстати, очень похожую фичу обнаружил М.Родкин с колегами: ущерб от стихийных бедствий (реальные данные!) лучше всего описывается распределениями с бесконечной дисперсией. Там, между прочим,
целая куча нетривиальных следствий из этого вытекает
Например, несмотря на стационарность процесса, средний ущерб в расчете на одно событие растет по мере увеличения длины ряда. Любой нормальный человек, который в данных этот рост обнаружит, сразу же заподозрит нестационарность процесса,
правда?
А уж с какой безмерной радостью бросаются на этот результат алармисты! "Природа пошла в разнос" и т.д..
Однако же на самом деле для распределений с такими свойствами из описанного (доказанного!) факта, что средний ущерб растет, процесса совершенно не следует. вывод о нестационарности.
Как, впрочем, не следует и обратное (что вывод о нестационарности некорректный ;-)
Но... это мы далеко от темы ушли. Если интересно, можно в отдельной ветке обсудить поподробнее. И ссылок при желании накидаю.
> У Б. Скляра кажется есть такие модели: энергетический сигнал (непериодическая модель, одиночный импульс) и мощностной сигнал (конечный период T, либо бесконечный случайный процесс).
Книжку скачал, буду курить. Только надо нормальную
djvu-читалку поставить
у меня такой формат в экзотике до сих пор - мы, научники, как-то все больше на PDF нажимаем...
Отвечу без цитат, одним скопом.
Когда мы говорим о спектре шума, мы подразумеваем спектральную плотность мощности (СПМ). Обозначают ее как G(f). Она связана с автокорреляционной функцией (АКФ) шума парой интегральных преобразований Фурье. Думаю, Вы матан знаете :).
СПМ белого шума - константа, которую как правило обозначают N0, [Вт/Гц]. Это не мощность, это плотность мощности. Она конечна для любых реальных шумовых процессов; определяется качеством приема: приемником, антенной, каналом (например, есть или нет радиозасветки Солнца и др. космических объектов). Заметьте, тут про дискретизацию вообще нет речи, и она по сути не требуется. Это уже нюансы цифровой обработки сигналов и их лучше опустить.
СПМ фликкер-шума, допустим, степенная функция
Она конечная всюду, кроме полюса f = 0. Этот полюс - наш выбор. Мы можем регуляризовать модель, добавив туда малую константу
В реальности имеется проблема оценить эту константу (и, вообще, подобрать корректную модель такого "плохого" шума). И проблема найти интеграл аналитически для любого параметра "альфа".
Согласитесь, интегрировать константу N0 проще, чем витиеватую СПМ фликкер-шума? АКФ белого шума - дельта-функция Дирака
то есть мощность шума, действительно, равна бесконечности. Это нереальный физ. процесс, это модель, работающая достаточно точно в рабочей полосе частот многих радиоустройств (важна форма СПМ шума). Для оценки качества работы многих радиосистем важна именно СПМ шума, а не мощность. Также важна энергия принимаемого сигнала, которая, конечно, зависит от его мощности (но не только). Это касается цифровой связи, радиолокации и радионавигации по крайней мере. В "старой" аналоговой связи важно соотношение мощностей. Для обнаружения "вообще неизвестных сигналов", скорее, тоже важно соотношение мощностей - дисперсий случайного процесса.
Во сколько раз подавится ФШ? Надо знать АКФ или матрицу R. Либо можно численно оценить, проводя статистический эксперимент и составляя таблицы. Но нужен генератор фликкер-шума => надо иметь точную модель такого шума.
По поводу простых книг... Могу посоветовать Гоноровского и Баскакова, "Радиотехнические цепи и сигналы". Там где-то есть материал про случайные процессы. Если по сложнее, то "Статистическая радиотехника", В. Тихонов, Горяинов.
> СПМ белого шума - константа, которую как правило обозначают N0, [Вт/Гц]. Это не мощность, это плотность мощности. Она конечна для любых реальных шумовых процессов;
Разумеется. Расходимость возникает в одной точке (на нулевом периоде). Однако, это лишает нас права написать неопределенный интеграл. И, видимо, как-то мешает перейти к общим формулам.
Точнее, в случае с БШ это как-то уже преодолено, а вот в случае с ФШ - поему-то нет. Я сам не слишком хорошо в этом разбираюсь. но по факту есть масса литературы, вышедшей в нормальных журналах, где авторы берут ФШ и путем элементарных и очевидных преобразований выписывают связь между его степенным спектральным параметром <бета>, фрактальной "размерностью" такого сигнала D и его показателем Херста H. Причем написано все настолько просто и очевидно, что только у дурака могут возникнуть сомнения в этих формулах. И авторы вроде бы неплохие - от Туркотта до Фосса и Федера. Беда только в том, что формулы (связывающие три эти величины) у разных авторов получаются разными. А главное, дают странные ответы в граничных случаях. Например, большинство авторов считает, что 2D+<бета>=5, а другая половина - что 2D+<бета>=4. Но, первая формула дает странный ответ для белого шума (если <бета>=0, то D=2.5, и это на плоскости!), а вторая дает аналогичный глюк для броуновского шума (у него <бета>=2, но тогда D=1.0, хотя на самом деле там D=1.5). Ссылки на публикации упомянутых авторов с этими формулами можно найти вот тут.
Да, эти работы достаточно древние, но с тех пор никто так и не удосужился уточнить: а как же на самом деле? Вот я и подозреваю, что общие формула не выводятся из-за расходимости с неопределенными интегралами. Если же брать конечные реализации, особенно модельные, то с ними и
у меня все более-менее норм
Глядя на этакие картинки, я даже могу предположить, какие формулы к этому численному моделированию лучше подходят. Только вот теоретически сам их вывести не могу. И, соответственно, не могу обосновать асимптотику подавления ФШ накоплением...
> определяется качеством приема: приемником, антенной, каналом (например, есть или нет радиозасветки Солнца и др. космических объектов).
Вы уверены, что шум во всех этих случаях именно белый? Я вот в этом весьма сомневаюсь. Так как в случае БШ фон спектра должен становиться плоским, начиная с какого-то уровня, где сигнал исчезает, и дальше (на более высоких частотах) доминирует шум. Но при обработке реальных рядов и почти никогда не встречал подобные спектры. В моих данных они билогарифмически-линейно спадают с ростом частоты вниз вплоть до найквиста. Но тогда кто дал нам право экстраполировать выполаживание спектра левее доступного изучению диапазона частот (что эквивалентно допущению о "белости" шума)? По Оккаму, гораздо логичнее просто продолжить эту тенденцию в бесконечность. Да и здравый смысл намекает, что это правдоподобнее. Ведь дискретизация измеряемого сигнала - это наше над ним надругательство, а в действительности-то аналоговый сигнал всегда непрерывный. Поэтому гораздо логичнее взять в качестве "базовой модели" исходного (а не измеренного!) сигнала именно ФШ, у которого нет бесконечной мощности при интегрировании вплоть до нулевого периода.
Но, рассуждая аналогично, на другом (НЧ) конце спектра мы тогда тоже должны допустить аналогичную экстраполяцию "без новых сущностей". И тогда уже она приведет к бесконечной мощности на нулоевой частоте. практически всегда вижу спадающую кривую на билогарифмитческом графике. рядов
> Заметьте, тут про дискретизацию вообще нет речи, и она по сути не требуется. Это уже нюансы цифровой обработки сигналов и их лучше опустить.
Именно так - это наш способ работы с данными. Но когда мы хотим вывести теоретическую формулу, мы же работаем с абстракцией. И для БШ (который теоретически имеет бесконечную мощность, если не ограничивать диапазон частот) все эти формулы почему-то выписываются без проблем. Проблема "нулевого периода" никому не мешает. А вот в варианте с ФШ (где по сути все то же самое, только проблема на нулевой частоте вместо нулевого периода) формулы почему-то не пишутся. Я так и не могу понять - почему.
Вы меня правильно поймите: я сам не смогу вывести нужные формулы ни в одном случае, ни в другом. Но:
(1) я запросто использую те формулы, которые написаны для БШ. Они в любом учебнике есть, причем на все случаи жизни; они прекрасно работают, и никогда (если шум действительно белый) не вступают ни в какое в противоречие ни с здравым смыслом, ни с численными моделями.
(2) С другой стороны, я легко могу показать, что при замене БШ на ФШ все эти формулы работать перестают. И это нельзя исправить никакими "маленькими поправками". Там просто катастрофические расхождения возникают. В варианте ФШ формулы для БШ больше не работают ни в каком приближении.
(3) Ну и с третей стороны, подавляющее большинство временных рядов долговременного мониторинга - это либо строго ФШ, либо почти ФШ. Тут просто нет ни малейших сомнений - достаточно на спектр посмотреть.
А теперь вопрос: почему, несмотря на (2) и (3), у нас нигде нет разумных формул для варианта с ФШ? См., например, мой исходный вопрос про подавление ФШ накоплением. Ну ведь наболело же! Я рецензирую кучу статей в журналах, где авторы на полном серьезе применяют в подобных случаях формулы для БШ. Хотя бред очевидный. И в каждом конкретном случае его можно продемонстрировать элементарно. Вот ваши яблоки, берем из них два, складываем с другими двумя. Теперь видите, что в ответе НЕ 5?
А общей формулы нет!
Чтобы не разбирать в стопятсотый раз в точности одну и ту же ошибку, складывая чемоданы, груши и финики.
> СПМ фликкер-шума, допустим, степенная функция
Она конечная всюду, кроме полюса f = 0.
Именно так!
> Этот полюс - наш выбор.
А вот тут уже не совсем. Это при работе с искусственными сигналами можно выбрать подходящую полосу частот, приладить туда источник-приемник, и не париться обо всем, что правее-левее. С одной стороны защищаемся найквистом, с другой - ФНЧ, и поехали проходить через квест, имея уровень "бог".
При экспериментальном мониторинге мы чем дольше наблюдаем, тем больше знаем. А проблема ФШ в том, что на любом масштабе времени (при любой длине ряда) наибольшую амплитуду (мощность) имеют периоды, сопоставимые с этой длиной ряда. Поэтому ограничивать спектр со стороны минимальных частот (=максимальных периодов) неверно как философски, так и технически. Философски мы теряем главную ценность данных - продолжительность непрерывно наблюдаемого процесса, а технически - теряем наибольшую часть измеренного сигнала в плане его дисперсии (мощности).
Так что это не выбор. Это данность, с которой приходится жить...
> Мы можем регуляризовать модель, добавив туда малую константу
Я совсем плохой теоретик, поэтому мне непонятно: как добавление этой константы поможет упростить формулы/выкладки. Навскидку - я совсем не уверен, что упростит. Но в любом случае, за идею спасибо. Если когда-нибудь я смогу найти математика, который заинтересуется моими вопросами, то я ему обязательно эту переписку покажу. Возможно, он оценит и использует Вашу идею.
> В реальности имеется проблема оценить эту константу
Ну, для теоретических выкладок можно наверно просто приравнять ее неизвестному малому значению <дельта>.
;-)))
Что же касается практических случаев, то там будет за счастье даже не точные формулы, а хотя бы асимптотика. Возможно, там получится какой-то другой параметр прикрутить, который будет легко оцениваться и даст нужные поправки к решению.
> (и, вообще, подобрать корректную модель такого "плохого" шума).
Тут вопрос в том, что нам надо от эксперимента идти. Мы знаем, что СПМ реальных сигналов ведет себя определенным образом. Больше того, даже знаем некоторые модели процессов (их много!), которые к такой СПМ приводят. Только вот плясать конкретно от этих моделей нельзя, так как их целая куча, и следствия из них разные. Например, модель с независимыми случайными приращениями - это совершенно не то же самое, что модель с перемежаемостью по Тимашеву... Поэтому в идеале надо бы исходить из эмпирик-факта, и только лишь из него...
> И проблема найти интеграл аналитически для любого параметра "альфа".
Тут ничего не могу сказать: я не математик. Но вообще, сидя на берегу реки (с), кажется странным, что такая простая на вид задачка может представлять реальную трудность. Возможно, она просто была особо никому не нужна?
> Согласитесь, интегрировать константу N0 проще, чем витиеватую СПМ фликкер-шума?
Спасибо, но Вы мои способности явно переоцениваете ;-) Я даже во временной области с большим трудом могу ФШ из "примитивов" собрать. А уж в частотной...
По поводу накопления пришла мысль. При накоплении ведь складываются отсчеты, разнесенные достаточно длинным интервалом времени? Например, один год как Вы говорили (годичные выборки). Если так, то шумовые значения некоррелированы (читай белый шум). Если при этом эти отсчеты имеют нормальную плотность вероятностей, то они и независимы.
Надо различать ось времени и ось амплитуд. То, что называют оптимальным приемом (корреляционный прием, согласованный фильтр) не является накоплением при обработке рядов. Это разные вещи.
У меня получилось найти АКФ для фликкер-шума, но для ограниченного параметра "альфа". Спасибо справочнику по интегралам Градштейн, Рыжик.
при
Только что это даст?..
Для белого шума АКФ - дельта-функция, и там работает фильтрующее свойство дельта-функции: например, двойной интеграл превращается в одинарный вне зависимости от подынтегральной функции
Поэтому для БШ формулы очень простые.
Прошу прощения, но
буду отвечать по частям
Очень длинный коммент мне технически сложно запостить (спасибо, редактор Хабра!)
> При накоплении ведь складываются отсчеты, разнесенные достаточно длинным интервалом времени (...) Если так, то [1] шумовые значения некоррелированы (читай белый шум). Если при этом эти отсчеты [2] имеют нормальную плотность вероятностей, то они и независимы [цифры мои]
К сожалению, оба предположения не выполняются.
[1]. В моем случае корреляция с ростом лага уменьшается, но очень медленно. На самом деле эта скорость определяется значением степенного параметра спектра <альфа>. Пока он маленький (порядка 0.5), все более-менее норм. Корреляция и правда уменьшается настолько быстро, что это даже можно в расчетах использовать. Обосновать не могу, но численное моделирование подтверждает. Например, для метеопараметров такое приближение (в виде поправки к формулам для БШ) отлично работает.
Но вот в моем случае параметр <альфа> обычно
близок к 2.0
Если интересно, вот тут или вот тут есть таблички степенных параметров для сигналов из нашей вотчины. Почти всегда там что-то
от 1.7 до 2.0.
Только если правда туда в эти таблички полезете, то учитывайте, что мы там в считали не степенной параметр спектра мощности <альфа>, а степенной параметр амплитудного спектра к=<альфа>/2. Так как мне хотелось читать спектр в тех же размерных физических единицах, что и исходный сигнал (а не в квадратичных)
Это совершенно типично для большинства рядов в твердой Земле, магнитосфере и пр. Турбулентность тоже, кстати, дает 5/3 (спектр Колмогорова). Но, когда значение <альфа> близко к 2.0, корреляция остается неприемлемо высокой для любых разумных лагов.
Увы.
Я пытаюсь с этим бороться с помощью разных трюков. Например, отрезаю НЧ, оставляю только узкую полосу, потом пытаюсь работать в этой узкой полосе. Благо, после такой процедуры (выделение узкополосного сигнала) дальние корреляции действительно хорошо давятся
Но, с точки зрения здравого математического смыла отписанный трюк больше похож на какое-то надругательство над сигналом. Ведь в ФШ-сигнале нет никаких выделенных частотных полос! Когда я такие полосы искусственно вырезаю - то это же полный произвол! Так как никаких разумных аргументов для выбора этих частотных полос исходный сигнал не содержит.
Я, конечно, пытаюсь отталкиваться от физики изучаемых явлений (в физике-то частоты не равноправны)... но с точки зрения матаппарата это же просто кривая подпорка к неработающему легаси...
Но всем пофиг...
Я в прошлом году пару статей на основе этой идеи написал. Думал, отдам в журнал, там рецензенты прочтут и в ужас придут. А потом, глядишь, и что-нибудь посоветуют.
Однако же замечания и советы были о чем угодно, но только не про этот больной (для меня) вопрос. Обе статьи (в разных журналах!) уже напечатаны. Я уже не знаю, к кому теперь обращаться... Физики меня прокатили, а к математикам лезть - это дословно получится со свиным рылом в калашный ряд (с)
Ну и по пп.[2] все еще проще. Чем ближе степенной параметр [альфа] к 2.0, тем больше распределение
уходит от Гаусса в сторону равномерного
Вот для примера распределения для ФШ рядов с <альфа> = 1 и 2
Интуитивно это можно понять: чем больше <альфа>, тем сильнее персистентность, тем активнее самоподдерживается тенденция к росту или спаду. В результате сигнал начинает "гулять" от минимума до максимума. В пределе (при <альфа> порядка 4) это уже начинает напоминать линейный тренд, у которого, как известно, распределение равномерное. Ну а в нашем случае (когда <альфа> 1.5..2.0) - что-то промежуточное
> Надо различать ось времени и ось амплитуд. То, что называют оптимальным приемом (корреляционный прием, согласованный фильтр) не является накоплением при обработке рядов. Это разные вещи.
А вот тут не понял.
Мы при зондировании земной коры пытались просвечивать очаг землетрясения электрическим током. Сперва была идея, что для повышения отношения сигнал/шум надо увеличить мощность источника тока. Для этого на Памир затащили МГД-генератор. Он давал ток в сотни ампер. Но, каждый пуск был праздником. Он требовал большой подготовки и происходил в лучшем случае раз в две недели. А последняя стадия подготовки землетрясения - это часы-сутки (как тогда думали).Т.е. сопротивление очаговой зоны надо измерять ежедневно, хотя бы.
И вот как раз мой многолетний шеф А.Я.Сидорин, насчитавшись книг по радиофизике, предложил вместо однократного жутко сильного импульса послать в породу гораздо более слабый (и поэтому легко генерируемый), но очень длинный знакопеременный сигнал из прямоугольных импульсов длительностью пару секунд каждый, но суммарно длиной в полчаса. А на приемной станции выполнялось измерение напряжения на положительной и отрицательной фазе питающего импульса. И высчитывалась разница между ними. И эта разница суммировалась по паре тысяч импульсов (получасовой цикл). Заодно такая схема решала проблему с поляризацией среды, переходными процессами (ток на выходе МГД-генератора меняется по очень хитрым законам, и такой сигнал не так просто пересчитать в напряжение на приемнике из-за индуктивности), и пр.
В общем, при многократном понижении стоимости и снижении силы тока в 100 раз мы улучшили отношение сигнал/шум на два порядка за счет накопления. Подробности раскиданы по разным работам, но если интересно, можно для начала вот тут посмотреть (текст выложен).
Так вот.
Разве эту схему измерений нельзя называть синхронным детектированием? Мы всегда думали, что можно. И что накопление и синхронное детектирование - это очень близкородственные понятия (хотя и разные, разумеется). Но в нашем случае описанная схема зондирования в каком-то смысле обобщает первое и второе в единый процесс (алгоритм).
Или это только у нас такая специфика?
> У меня получилось найти АКФ для фликкер-шума, но для ограниченного параметра "альфа". Спасибо справочнику по интегралам Градштейн, Рыжик.
Спасибо!!! А можете еще подсказать,
как я могу на это Ваше сообщение сослаться, если понадобится?
Я пока не знаю, как я смогу эту формулу использовать, но если смогу, то я бы хотел в дополнение к
ссылке на
Градштейн И.С., Рыжик И. М. Таблицы интегралов, сумм, рядов и произведений / Перераб. при участии Ю. В. Геронимуса и М. Ю. Цейтлина. — 5-е изд., стер. — М.: Наука, 1971. — 1108с.
добавить ссылку на "личное сообщение" (в журналах их обычно оформляют в виде подстраничных сносок). Но, в такой ссылке надо указать ФИО автора сообщения. Если Вы не против,
напишите мне данные в ЛС?
В научной публикации такая ссылка будет выглядеть примерно вот так (реальный пример:)
Глухов В.Е. [https://www.elibrary.ru/author_items.asp?authorid=1072618], личное сообщение
> Только что это даст?
Это интересный вопрос, так как мне на самом деле нужны значения <альфа> от 1.5 до 2.0. Но и соседний случай полезен для сравнения!
Единственное, я с хода не смог разобраться: какая там будет асимптотика по тау, когда <альфа> снизу приближается к 1?
(....)
> (..) Поэтому для БШ формулы очень простые.
Да, видимо это и есть ключевое отличие между БШ и ФШ.
Единственное, я с хода не смог разобраться: какая там будет асимптотика по тау, когда <альфа> снизу приближается к 1?
Там проблема, потому что гамма-функция в нуле расходится... Это надо глубже копать, поискать асимптотики для гамма-функции.
У меня есть идея оценивать АКФ (дискретную правда) через алгоритм БПФ, вводя дискретный спектр прямо по "непрерывной" формуле СПМ для любого параметра "альфа". Но постоянную составляющую обнулять, потому что ее невозможно задать. Меняя альфу 0.9, 0.95, 0.99 и т.п. можно сравнивать значения АКФ возле нуля, например, первые два отсчета, R_0 и R_1. Убирая постоянную составляющую, мы просто убираем "полочку" у АКФ. Чтобы точнее оценить АКФ на дальних дистанциях, надо брать чаще отсчеты по частоте (при этом верхняя частота должна быть выбрана заранее и зафиксирована). Период АКФ равен обратному "шагу" (дискрету) по частоте. Этот период, естественно, ложный, и это надо учитывать - брать только половинку АКФ.
Про асимптотику по тау при альфа возле единицы слева
У числа пи там степень чуть меньше половины, но это не важно). Я это определил, используя SymPy shell online.
> Про асимптотику по тау при альфа возле единицы слева
Очень интересно и неожиданно!
Спасибо!
Только с константой не очень понятно. Мы же про АКФ говорим, она нормированная же? Тогда при <тау>=0 должно быть АКФ=1,
что и определяет константу слева?
Я так понял, там еще должен быть какой-то член типа 1/R(0), который в формулах в явном виде не выписан? Или я что-то путаю?
Но в любом случае получается, что при <альфа>, близких к 1, зависимость АКФ от <тау> (на больших <тау>, естественно)
почти исчезает, так?
Ведь <тау> в знаменателе будет в околонулевой степени
Другими словами, при <альфа>, близких к 1, мы просто не можем уйти на такие большие лаги, при которых АКФ можно считать малой. А при меньших <альфа> это (в теории) потенциально возможно. Это интересный нюанс!
Получается. что ФШ
1) с <альфа> < 1 и
2) с <альфа> >= 1
это два совершенно разных ФШ?!
В первом случае дальние корреляции (при неограниченном росте <тау>) присутствуют, но все-таки связь ослабляется с ростом лага. А во втором - все, хана... даже этого нет.
Я правильно интерпретирую формулу?
И еще одно уточнение. SymPy shell online - это ведь лишь инструмент, так? Он не поясняет, какой именно математический метод (подход) использован для расчета асимптотики?
Только с константой не очень понятно. Мы же про АКФ говорим, она нормированная же?
Выводя асимптотики, я ничего не нормировал.
Но в любом случае получается, что при <альфа>, близких к 1, зависимость АКФ от <тау> почти исчезает
Да, так.
это два совершенно разных ФШ?!
Да, я тоже к этому пришел. Хотя случай "альфа" большего единицы я не до исследовал - пока что не понял зависимость от тау.
Я правильно интерпретирую формулу?
Да. Но повторю, случай большого "альфа" не до исследован.
SymPy shell online - это ведь лишь инструмент, так? Он не поясняет, какой именно математический метод (подход) использован для расчета асимптотики?
Да, вероятно. Я так глубоко не копал.
Посмотрел случай "альфы" больше единицы. Исходный интеграл равен бесконечности для любых "тау", то есть АКФ в ее классическом определении не существует. Но если рассмотреть дискретный спектр с нижней частотой (малой, но ненулевой) 
, то появится искусственный период АКФ
который в идеале стремится к бесконечности.
Приняв такое соображение, интеграл можно записать не от нуля до бесконечности, а от нижней частоты F0. Пакеты типа SymPy позволяют оценить численно значения интегралов, и "на глазок" я получил оценку этой бесконечности (по крайней мере для конечных 
, рассматривал значения около единицы)
То есть если у Вас заведомо известно, что степень спектра ФШ больше единицы, то при оценивании дискретной АКФ (через БПФ или напрямую) ее надо пронормировать на найденную оценку - тогда удастся увидеть "истинную" форму АКФ, как бы заглянуть за сингулярность. Каков при этом физический смысл найденной формы АКФ - не могу сказать... Даже не знаю как выглядит эта форма :).
В общем, исследовать ФШ ещё то занятие... Можно целую библиотеку написать.
> Посмотрел случай "альфы" больше единицы. Исходный интеграл равен бесконечности для любых "тау", то есть АКФ в ее классическом определении не существует.
Что, собственно, было вполне ожидаемо уже после первой части ответа (про альфа возле единицы слева) ;-))
> (по крайней мере для конечных , рассматривал значения около единицы)
А вот тут
не врубаюсь
У нас же <альфа> больше 1, т.е. (<альфа>-1) > 0. Получается положительное число в положительной степени. При T0 > 1 будет что-то строго больше 1. Тут тоже для перехода к обычной АКФ надо на R(0) поделить?
Но главное, я вообще не вижу зависимости от <тау>. Получается, в этом приближении АКФ(<тау>) = константа? Которая после нормировки будет точно равна 1?
Глядя на формальные оценки АКФ для реальных реализаций ФШ, я в общем-то легко готов в это поверить. Но Ваши расчеты добавляют важный нюанс: что этот эффект наблюдается для любых <альфа>, начиная с 1.0 и больше. Так?
Это уже вполне себе Результат!
Тут тоже для перехода к обычной АКФ надо на R(0) поделить?
Повторю, я нигде не нормировал оценки АКФ. Даже в точной формуле (где-то выше) АКФ в нуле равна бесконечности.
Но главное, я вообще не вижу зависимости от <тау>. Получается, в этом приближении АКФ(<тау>) = константа? Которая после нормировки будет точно равна 1?
Я это не доисследовал.
Я думаю если подключить к этой проблеме математика-практика, то он много может наисследовать, в т.ч. и с помощью профессиональных инструментов. SymPy это так, бесплатно и ладно).
Глядя на формальные оценки АКФ для реальных реализаций ФШ, я в общем-то легко готов в это поверить. Но Ваши расчеты добавляют важный нюанс: что этот эффект наблюдается для любых <альфа>, начиная с 1.0 и больше. Так?
Да, неожиданно, но так. Я только что численно доисследовал интеграл :)...
Я отнормировал АКФ к выше найденной бесконечности, и предел получился таким
Это константа.
Низкие частоты видимо настолько сильные, что маскируют все особенности других частот. Видимо да, точка альфа равная единице, это своего рода точка бифуркации. В реальности, наверное, всё таки есть минимальная нижняя частота, которая связана с размерами Земли :), но я в геофизике дилетант.
> В реальности, наверное, всё таки есть минимальная нижняя частота, которая связана с размерами Земли :)
Ну да. И еще одна, связанная с ее возрастом ;-)
А если чуть серьезнее, Вы уже настолько обширную работу провели, что очень хочется увидеть небольшую статью, где все эти результаты были бы собраны в единое целое. Понимаю, что тема весьма специфичная, и что миллионную аудиторию такая публикация соберет вряд ли. Но вообще-то тема достаточно актуальная в определенных кругах. Только вот большинство из этих потенциальных читателей - не на Хабре. И в здешних комментариях они никогда Ваши результаты не увидят. А вот в формате статьи - найдут!
Может, подумаете об этом при случае?
Очень прошу...
Материал могу собрать. А статью на хабре? Если не на хабре, то там вряд ли примут. Я давно не отслеживаю мир науки и мне трудно подобрать журнал. Да и надо ли? Это всего лишь заметка.
> Материал могу собрать. А статью на хабре?
Проще и быстрее всего - на Хабре. Это, конечно, не рецензируемый ресурс, но достаточно уважаемый, так как вместо "допечатного рецензирования" тут хорошо работает механизм "послепечатного комментирования". Я в научных журналах несколько раз ссылался на Хабр, и такие ссылки никаких возражений не вызывали.
> Если не на хабре, то там вряд ли примут. Я давно не отслеживаю мир науки и мне трудно подобрать журнал.
С журналом не подскажу. В геофизических наверняка скажут, что это непрофильная тематика, если не будет конкретного применения в геофизике. А тут пока есть определенный разрыв.
Что же касается математических журналов, то я их просто не знаю. "Высоких" математиков я практически не читаю (очень уж далеки они от народа, да и язык непонятный). Ну и их тоже вряд ли такая частноприкладная задача заинтересует.
> Это всего лишь заметка.
Ну так на Хабре вроде нет ограничения по размеру статьи (что если объем не тянет на полновесную монографию, то публиковать нельзя ;-).
Но если Вам интересен вид с моей колокольни, то вот он:
1) Тема узконишевая, но внутри этой ниши весьма актуальна;
2) Общедоступная информация по теме практически отсутствует, что провоцирует недоразумения и заблуждения;
3) Выведенные формулы, с одной стороны, априори неочевидны, а с другой - дают пищу для размышлений
4) Идея с малым параметром F0 в этом контексте мне вообще никогда не встречалась;
5) Результаты полезные и нетривиальные
Поэтому просто потерять сделанное (а если оно останется только в комментариях, то для большей части человечества будет утрачено) было бы обидно.
P.S.
Если Вам для оформления публикации понадобятся картинки с временными рядами, спектрами или АКФ - только намекните! Сделаю в течение пары дней!
Ну да. И еще одна, связанная с ее возрастом ;-)
Не ожидал.
Еще, вероятно, что эти процессы, которые вы изучаете, самоподобны, и корреляционная теория к ним не применима...
... Сдается мне, что длинные хвосты АКФ - влияние полезного сигнала. Вам надо как-то измерить чистый шум полноценно работающей аппаратуры, когда полезного сигнала нет априори (либо датчики экранированы или как там у вас).
> Сдается мне, что длинные хвосты АКФ - влияние полезного сигнала.
Хорошая попытка "хакнуть" Природу, но нет. ФШ по определению дает именно такие хвосты. Если простыми словами, у ФШ-процессов бесконечная память. То есть, автокорреляция не равна нулю на сколь угодно больших лагах.
А насчет полезного сигнала еще веселее. Мы даже этого (какая ПРИМЕРНО у него АКФ) не знаем. Не исключено, что у него то же самое. По крайней мере на доступных для измерения временах...
> Вам надо как-то измерить чистый шум полноценно работающей аппаратуры, когда полезного сигнала нет априори (либо датчики экранированы или как там у вас).
Идея понятная и логичная, у нас даже об этом (про приборные эффекты и соответствие результата измерений фактическим процессам в геосреде) только что была
дискуссия на два номера журнала
Вот эти номера (N3 и N4 за 2024г), там можно скачать постатейно. Ну или можно взять макеты номеров в целом вот тут
Но это не меняет картину принципиально. Так как ФШ идет не от приборных шумов и других подобных эффектов, а непосредственно из изучаемого объекта (планета Земля).
Да, я понял, посмотрел одну статейку... Эх, наука.
А может быть у вас полезный сигнал - гармонический неизвестной амплитуды, частоты и фазы? Тогда задачу можно решить, правда при условии, что корреляционную матрицу остаточной компоненты (фликкер шума) Вам удастся как-то правдоподобно оценить. В этом случае можно поставить банк параллельных фильтров для заданной сетки частот, вычислив ИХ фильтра по формуле, которую я приводил ранее. Фильтры будут парными: sin- и cos- компоненты, выходы которых надо будет превратить в модуль соответствующего комплексного числа. Этот модуль сравнить с пороговым уровнем и принять решение о наличии текущей гармоники)
> А может быть у вас полезный сигнал - гармонический неизвестной амплитуды, частоты и фазы?
Да, такие сигналы есть ;-) Например, приливные волны. Но для них все давным-давно построено и посчитано. Частота известна априори, причем абсолютно точно. Амплитуда и фаза - оцениваются, причем борьба идет за пятый-шестой знак в зависимости от качества данных. Основная сложность там даже не в шуме, а в том, что этих волн много, и они не ортогональны. Поэтому процедура оценивания опирается на некоторые трюки. Но в целом эта задача уже решена.
> Тогда задачу можно решить, правда при условии, что корреляционную матрицу остаточной компоненты (фликкер шума) Вам удастся как-то правдоподобно оценить.
Для приливных волн все немного проще: мы там точно знаем частоты, поэтому начинается все с узкополосной фильтрации, после чего наиболее неприятная НЧ-составляющая шума уходит, и все значительно упрощается.
> В этом случае можно поставить банк параллельных фильтров для заданной сетки частот (...)
;-)
Сейчас главная проблема с другими сигналами, которые описанной выше модели не соответствуют. И про которые мы мало что знаем. Поэтому работа с ними строится в "инвертированной" логике: вместо нормальной фильтрации мы хотим сперва подавить шум (про который заранее предположили, что это ФШ), а потом посмотреть - а что там останется?
И уже на основании впечатлений от этого "остатка" абсолютно неформальным образом строить гипотезы про сигнал.
> я могу только предположить что давить тогда надо не накоплением, а как-то иначе.
Но как?
Вот у нас (в геодинамическом мониторинге) есть измеренный многолетний ряд. Навскидку это ФШ. Есть версия, что там присутствует полезный сигнал. Причем мы даже не знаем, какой именно. Есть только гипотеза, что он с какими-то вариациями повторяется время от времени (например, во время землетрясений). Дальше мы накладываем несколько эпох и надеемся, что ФШ при этом подавится (он же случайный), а сигнал останется. И вот дальше возникает вопрос: а во сколько раз мы подавили ФШ? На сколько процентов результат накопления - это искомый сигнал, а на сколько - остаток от неподавленного ФШ?
Я, конечно, пытаюсь на него отвечать численным моделированием. Но если честно, мне это больше напоминает
анекдот про профессора с обезьяной
Удивительно, но не нашел в сети
полной версии этого анекдота
Впрочем, возможно ее и не было никогда - а дополнения самостоятельно приросли к базовой версии в нашей компании?
Короче, у нас его рассказывали вот так:
Диссертант исследует творческие способности обезьян. В пустой комнате пальма с бананом (ствол обмотан скользкой пленкой, залезть нельзя), в одном углу стул, в другом углу палка. Впускают обезьяну. Она прыгает (не достала), трясет пальму (не падает), берет палку (не достает), кидает палку (не попадает), пододвигает стул (не достает), берт палку и со стула сбивает банан. Обезьяне дают премиальный банан и уводят, аспирант готовится запустить следующую особь.
Тут приходит профессор (шеф), и говорит: а давайте я проверю Вашу методику? Аспирант соглашается, пускает его в комнату, показывает лабораторное оборудование. Вот говорит, надо достать приманку. Профессор прыгает (не достал), трясет пальму (не падает). Профессор в задумчивости: да, хороший эксперимент, тут и правда надо подумать!
Аспирант уходит за обезьяной, но там какие-то накладки, и вынужденно возвращается только вечером, так как его срочно зовут в учебный корпус: профессор куда-то пропал, и надо за него провести семинар. По дороге проходит мимо своей лаборатории. Там в комнате профессор с криками "Чего там думать, РАБОТАТЬ надо!" уже полдня остервенело трясет пальму...
А мне все-таки хочется хоть немного понятной теории от умных людей...
У вас тяжелый случай... сигнал неизвестен.
> У вас тяжелый случай... сигнал неизвестен.
Спасибо за понимание ;-)
В контексте статьи это наверное даже смешно ;-) Но мир настолько разнообразен, что даже в такой ситуации обработка рядов порой приносит ощутимую пользу с точки зрения научного знания... Попросту говоря, "искали то не знаю что", а там и правда что-то интересное обнаружилось ;-)
"Главное к чему надо прилагать усилия это то чтобы декодировать этот смысл из многоумных математических формул которые подобны кодам шифрования и выразить его обычным человеческим языком " - принципиально неправильно. Если бы "обычный человеческий язык" был способен выразить корректно хотя бы корень квадратный из минус единицы, то математика уже была не нужна. Я не говорю уж об отрицательной вероятности. Для формализации абстрактных сущностей необходим язык абстракций.
Если бы "обычный человеческий язык" был способен выразить корректно хотя бы корень квадратный из минус единицы,
а что нечеловеческого вы видите в понятии "мнимая единица"?
Потом, то что нужно в конечном итоге посчитать на практике, всегда можно выразить простым человеческим (не профессииональным) языком без всяких заумных абстракций, по крайней мере у меня никогда с этим не было проблем.
Теорема Шеннона вообще говоря рассматривает не дискретизацию какого-то сигнала, а формирование дискретного сигнала, который состоит из элементарных сигналов (аналоговых дискретов), которые формируют суммарный аналоговый сигнал пригодный (наиболее подходящий) для извлечения из него цифровой информации в приемнике.
Первый раз такое слышу. Для формирования такого сигнала никаких теорем не требуется, кроме теоремы отсчетов (Найквиста-Котельникова). В реальности там просто формула (таблица LUT), позволяющая формировать элементарные импульсы с учетом входных символов (цифр), и далее ЦАП, фильтры и т.д.
Б. Скляра (и других англоязычных) лучше читать в оригинале.
Первый раз такое слышу. Для формирования такого сигнала никаких теорем не требуется
Я поэтому и написал, потому что нигде не видел формулировки для разделения областей применения теоремы Шеннона и теоремы Найквиста-Котельникова.
Но я честно говоря не понял что вам не понравилось. Формирование какого "такого сигнала" ?
Для формирования сигнала который передает биты ЦАП не нужен, нужен переключатель который выбирает сигнал соответствующий нулю или единице, на каждом такте передачи.
Оцифровка, конечно, тоже нужна, например сигнал звука надо перевести в биты, но этот этап уже отделяется от собственно передачи, вообще говоря, любых цифровых данных.
Есть же разница: передавать речь как аналоговый сигнал и как набор чисел после оцифровки, как вы считаете?
В первом случае не обойтись без теоремы отсчетов, во втором нужна еще и теорема Шенона. Но теорема отсчетов тоже не теряет своей актуальности, конечно, но применяется как бы на другом уровне. Системы цифровой связи действительно сложнее чем аналоговой связи, но у них есть множество преимуществ и дополнительных возможностей которые заставляют мириться с этой дополнительной и достаточно значительной дополнительной сложностью.
Какого такого? Цифрового естественно)
Да, цифровые системы передачи информации сложнее аналоговых, но оно того стоит.
Теоремы Шеннона скорее для выбора параметров помехоустойчивого кодирования.
Вообще, Вы выбрали опасную тему, которая если и не криптография, но приближается к ней. Для начинающих достаточно знать, то как бы вы не расширяли канал, качество приема будет ограничено уровнем шума при прочих равных условиях. Я в студенчестве это примерно понял и всё. И только потом, после преподавания этой дисциплины и возни с этими формулами получил дополнительное понимание. Его конечно можно брать из хороших статей, но там порог входа определённый.
В целом, отличие аналоговых систем передачи информации от цифровых состоит во влиянии энергии полезного сигнала на качество приёма, а не мощности. Энергия в свою очередь зависит от длительности сигнала, которая определяет скорость передачи информации. То есть в цифровых системах передачи информации больше степеней свободы, которыми можно рулить, но ценой большего потребления ресурсов.
И только потом, после преподавания этой дисциплины и возни с этими формулами получил дополнительное понимание.
А мне всегда хотелось поделиться с кем-то, если я получил дополнительное понимание, даже чтобы, просто, еще раз убедиться, что я все правильно понял. И я честно говоря не понимаю почему надо ограничивать начинающих, которые, к тому же, кроме своих методичек, решили почитать Хабр, например. Я исхожу из того, что даже если они что-то сразу не поймут, у них будет к чему стремиться, раз уж они действительно интересуются темой. Вы же не думаете что ваш путь освоения материала идеально подходит абсолютно всем?
Предлагаю ещё одно определение информации: информация это результат взаимодействия.
Набрел на вашу статью и даже достал из ящика Б.Скляра "Цифровая связь" )))
я как всегда не предлагаю верить мне на слово
На слово верить не буду, ибо формула Шеннона и его же предел доказан практикой, так сказать . У Скляра написано, что "формула 9.2 устанавливает пределы скорости передачи, а не вероятности ошибки. Шеннон использовал уравнение для графического представления доступности производительности прикладных систем". Поэтому вывод из этой формулы C/N=(Eb/No)(bitrate/bandwidth) используется, как говорится, в ежедневной практической работе ))
А что касаемо Eb/No >1/log2(e) , то использование кодирования по Риду-Соломону, турбокодеков, кодов БЧХ LDPC только приближает схемы передачи данных к пределу Шеннона.
а в этом месте читали:
Да, видел, вы этот пример тоже разбираете. Но я что-то его не понял. Вернее сказать, не совсем мне ясно практическое применение данной разобранной задачи.
до меня стало доходить как связаны условная (а в приемнике она именно условная) вероятность приема правильных значений битов и предельная величина сигнал-шума эффективная, когда я делал, проверял, просчитывал реальный декодер LDPC-кодов. Ключом к пониманию как раз стало то, что там считать (и формулы анализировать) приходится именно условные вероятности из формулы 9.10.
Только после таких упражнений с реальным декодером и с реальными расчетами, я смог обратить внимание на эту, действительно, как бы, странную задачку, и осознать то, на что в ней акцентируется внимание. Это действительно очень не очевидно, это же такой очень хитрый математический трюк с точки зрения привычного восприятия. Но когда осознаешь что это действительно ТАК работает среди вероятностей, все встает на свои места.
В цифровых системах связи есть так называемый пороговый эффект: при снижении сигнал-шум ниже некоторого порога происходит резкое увеличение вероятности ошибки - система попросту выключается. При превышении порога система включается и работает как ни в чем не бывало. В теории там скачок, а на практике естественно есть переходная зона, но она все равно небольшая. Ну и сам пороговый уровень определяется качеством системы, чем меньше, тем качественнее. Это хорошо видно на примере цифрового ТВ вещания.
Это да, есть Eb/No пороговое, есть "запас" на погоду. И ниже порога Eb/No "картинка идет в квадраты", tcp/ip не работает...
Просто условные вероятности из теоремы Шеннона не видны в работе инженера, так как все уже заложено в то, что, например, для QPSK 3/4 LDPC пороговое Eb/No = 2.66 dB и от этого уже и "пляшем".
Не очень понимаю про условные вероятности. Я думаю, что отношение Eb/N0, даваемое пределом Шеннона, это величина, рассчитанная по отношению к информационному биту. В этом и есть особенность. Например, у нас плохие условия приёма, но мощный корректирующий код. Тогда, допустим, на 1000 принятых канальных битов мы получим 5 информационных. Текущая энергия принятого сигнала - 1000 импульсов для двоичной модуляции - будет участвовать в распознавании 5 битов. Естественно, на один информационный бит будет условно много энергии - именно это соотношение участвует в пределе Шеннона. Я рассмотрел для простоты случай, когда скорость кодирования равна пропускной способности канала. В действительности коэффициент пересчёта - скорость передачи информации, которая определяется каналом передачи, который характеризуется матрицей переходный вероятностей, и естественно, источником информации. Но последний можно считать случайным, имеющим максимальную энтропию. Здесь скорость передачи информации это и есть пропускная способность канала, то есть то, что доходит до абонента условно говоря. Скорость кодирования должна быть ниже этой пропускной способности, иначе канал безвозвратно съест часть битов и никакой декодер не даст нулевой вероятности ошибки.
Предел Шеннона. Математика компромиссов. Пушкин и Толстой это конечно наша гордость, но считать-то тоже надо учиться