По поводу накопления пришла мысль. При накоплении ведь складываются отсчеты, разнесенные достаточно длинным интервалом времени? Например, один год как Вы говорили (годичные выборки). Если так, то шумовые значения некоррелированы (читай белый шум). Если при этом эти отсчеты имеют нормальную плотность вероятностей, то они и независимы.
Надо различать ось времени и ось амплитуд. То, что называют оптимальным приемом (корреляционный прием, согласованный фильтр) не является накоплением при обработке рядов. Это разные вещи.
У меня получилось найти АКФ для фликкер-шума, но для ограниченного параметра "альфа". Спасибо справочнику по интегралам Градштейн, Рыжик.
при
Только что это даст?..
Для белого шума АКФ - дельта-функция, и там работает фильтрующее свойство дельта-функции: например, двойной интеграл превращается в одинарный вне зависимости от подынтегральной функции
Когда мы говорим о спектре шума, мы подразумеваем спектральную плотность мощности (СПМ). Обозначают ее как G(f). Она связана с автокорреляционной функцией (АКФ) шума парой интегральных преобразований Фурье. Думаю, Вы матан знаете :).
СПМ белого шума - константа, которую как правило обозначают N0, [Вт/Гц]. Это не мощность, это плотность мощности. Она конечна для любых реальных шумовых процессов; определяется качеством приема: приемником, антенной, каналом (например, есть или нет радиозасветки Солнца и др. космических объектов). Заметьте, тут про дискретизацию вообще нет речи, и она по сути не требуется. Это уже нюансы цифровой обработки сигналов и их лучше опустить.
СПМ фликкер-шума, допустим, степенная функция
Она конечная всюду, кроме полюса f = 0. Этот полюс - наш выбор. Мы можем регуляризовать модель, добавив туда малую константу
В реальности имеется проблема оценить эту константу (и, вообще, подобрать корректную модель такого "плохого" шума). И проблема найти интеграл аналитически для любого параметра "альфа".
Согласитесь, интегрировать константу N0 проще, чем витиеватую СПМ фликкер-шума? АКФ белого шума - дельта-функция Дирака
то есть мощность шума, действительно, равна бесконечности. Это нереальный физ. процесс, это модель, работающая достаточно точно в рабочей полосе частот многих радиоустройств (важна форма СПМ шума). Для оценки качества работы многих радиосистем важна именно СПМ шума, а не мощность. Также важна энергия принимаемого сигнала, которая, конечно, зависит от его мощности (но не только). Это касается цифровой связи, радиолокации и радионавигации по крайней мере. В "старой" аналоговой связи важно соотношение мощностей. Для обнаружения "вообще неизвестных сигналов", скорее, тоже важно соотношение мощностей - дисперсий случайного процесса.
Во сколько раз подавится ФШ? Надо знать АКФ или матрицу R. Либо можно численно оценить, проводя статистический эксперимент и составляя таблицы. Но нужен генератор фликкер-шума => надо иметь точную модель такого шума.
По поводу простых книг... Могу посоветовать Гоноровского и Баскакова, "Радиотехнические цепи и сигналы". Там где-то есть материал про случайные процессы. Если по сложнее, то "Статистическая радиотехника", В. Тихонов, Горяинов.
Тогда вам надо выполнить фильтрацию в частотной области: если Вы знаете амплитудный спектр фликкер-шума, то можно найти обратную функцию - это даст АЧХ оптимального фильтра.
А может быть у вас полезный сигнал - гармонический неизвестной амплитуды, частоты и фазы? Тогда задачу можно решить, правда при условии, что корреляционную матрицу остаточной компоненты (фликкер шума) Вам удастся как-то правдоподобно оценить. В этом случае можно поставить банк параллельных фильтров для заданной сетки частот, вычислив ИХ фильтра по формуле, которую я приводил ранее. Фильтры будут парными: sin- и cos- компоненты, выходы которых надо будет превратить в модуль соответствующего комплексного числа. Этот модуль сравнить с пороговым уровнем и принять решение о наличии текущей гармоники)
Да, цифровые системы передачи информации сложнее аналоговых, но оно того стоит.
Теоремы Шеннона скорее для выбора параметров помехоустойчивого кодирования.
Вообще, Вы выбрали опасную тему, которая если и не криптография, но приближается к ней. Для начинающих достаточно знать, то как бы вы не расширяли канал, качество приема будет ограничено уровнем шума при прочих равных условиях. Я в студенчестве это примерно понял и всё. И только потом, после преподавания этой дисциплины и возни с этими формулами получил дополнительное понимание. Его конечно можно брать из хороших статей, но там порог входа определённый.
В целом, отличие аналоговых систем передачи информации от цифровых состоит во влиянии энергии полезного сигнала на качество приёма, а не мощности. Энергия в свою очередь зависит от длительности сигнала, которая определяет скорость передачи информации. То есть в цифровых системах передачи информации больше степеней свободы, которыми можно рулить, но ценой большего потребления ресурсов.
Если параметр меньше единицы, то всё нормально. С другой стороны интеграл
для этих параметров расходится... Так я попытался вычислить значение АКФ в нуле, то есть R(0) - среднюю энергию,- через Фурье-связь АКФ и спектральной плотности мощности (энергии в данном случае).
Для ограниченных по времени фрагментов их надо центрировать по фактическому среднему значению. И перед накоплением выравнивать по сезонам, то есть синхронизировать по периодам. И, фактически, если вы взяли, например, за один месяц, то будут месячные оценки: модель сигнала периодическая с основным периодом T = 1 месяц. Тогда статистики будут конечные. У Б. Скляра кажется есть такие модели: энергетический сигнал (непериодическая модель, одиночный импульс) и мощностной сигнал (конечный период T, либо бесконечный случайный процесс).
... Сдается мне, что длинные хвосты АКФ - влияние полезного сигнала. Вам надо как-то измерить чистый шум полноценно работающей аппаратуры, когда полезного сигнала нет априори (либо датчики экранированы или как там у вас).
Если нестационарный, то даже корреляционной матрицы не существует (видимо только бесконечный набор матриц...). В Вики для фликкер-шума ничего про нестационарность нет. Скорее всего, интервал стационарности большой, но не бесконечный. Это приводит к особенностям в спектре вблизи низких частот. И эта особенность очень чувствительна: она сильно влияет на результат обработки, и ее трудно измерить, чтобы составить правильную модель спектра. Со стороны области времени надо всё-таки оценивать АКФ до момента, когда она начнет существенно падать по уровню.
Чтобы создать алгоритм (метод), надо четко оформить мат. модель сигнала и шума, сделать постановку задачи. Я пока что не понял чем полезный сигнал отличается от шума. Формой? Полосой частот? АКФ? Средним значением?
Теорема Шеннона вообще говоря рассматривает не дискретизацию какого-то сигнала, а формирование дискретного сигнала, который состоит из элементарных сигналов (аналоговых дискретов), которые формируют суммарный аналоговый сигнал пригодный (наиболее подходящий) для извлечения из него цифровой информации в приемнике.
Первый раз такое слышу. Для формирования такого сигнала никаких теорем не требуется, кроме теоремы отсчетов (Найквиста-Котельникова). В реальности там просто формула (таблица LUT), позволяющая формировать элементарные импульсы с учетом входных символов (цифр), и далее ЦАП, фильтры и т.д.
Б. Скляра (и других англоязычных) лучше читать в оригинале.
Если шум аддитивный и стационарный, то особых сложностей с оптимальным приемом нет. В этом случае нужен фильтр с импульсной характеристикой, равной произведению обратной корреляционной матрицы R шума на полезный сигнал, который хотим обнаружить в шуме:
Здесь результат выражен в дискретном виде. Имея экспериментальные реализации шума, можно оценить элементы корреляционной матрицы. Для белого шума матрица R будет единичной, и обратная к ней совпадет с прямой; для окрашенного шума, к сожалению, нет, поэтому нет (или трудно найти) каких-либо готовых формул. Я дал результат в дискретном виде, потому что явное выражение для импульсной характеристики не выражается в непрерывном виде (надо выражать подынтегральную функцию, что нетривиально...).
Соотношение сигнал-шум после обработки будет равно:
Для упрощения численных расчетов лучше взять вектор сигнала, состоящий из единиц. Далее выбрать размерность (количество отсчетов, например, перебирая и сравнивая кейсы 32, 64, 128 и т.п.). И можно численно оценивать проигрыш в отношении сигнал-шум по отношению к случаю белого шума. И это при условии, что приемник оптимальный.
Формула Шеннона при этом не изменится, изменится лишь отношение сигнал-шум.
Да, выгоднее уйти от него. В настоящее время в системах радиосвязи обработка в приемнике ведётся на промежуточной частоте.
Даже при оптимальной обработке - в плане максимального отношения сигнал шум после обработки -, последний будет меньше, чем с/ш при чисто белом шуме. А если приемник неоптимальный, то ещё меньше. В итоге, с/ш может запросто упасть в разы (3...20).
Там дело не только в бесконечном количестве частот: дело ещё в том, что частота гармоники растет как степень номера - нереальный сигнал, если опираться на ряды Фурье. Точнее, там хоть и бесконечный, но очень прореженный набор частот, причем амплитуда этих гармоник падает очень медленно, и при этом они все выровнены по фазе... Фактически да, нереальный сигнал в плане его формирования на практике.
У Вас система ограничена тем, что фактически это просто гаммирование. Можно хотя бы добавить нелинейность: делать циклический сдвиг входного байта перед его ксором. При этом величина сдвига будет зависеть от байта гаммы (по модулю 8).
Но лучше всё-таки двойное гаммирование: первое обычное, второе - с циклическим сдвигом, потому что при сообщении из нулей на выходе будет голая гамма. Первое гаммирование при этом фактически будет неким скремблером, защищающим от детерминированных данных (известных паттернов).
По поводу накопления пришла мысль. При накоплении ведь складываются отсчеты, разнесенные достаточно длинным интервалом времени? Например, один год как Вы говорили (годичные выборки). Если так, то шумовые значения некоррелированы (читай белый шум). Если при этом эти отсчеты имеют нормальную плотность вероятностей, то они и независимы.
Надо различать ось времени и ось амплитуд. То, что называют оптимальным приемом (корреляционный прием, согласованный фильтр) не является накоплением при обработке рядов. Это разные вещи.
У меня получилось найти АКФ для фликкер-шума, но для ограниченного параметра "альфа". Спасибо справочнику по интегралам Градштейн, Рыжик.
при
Только что это даст?..
Для белого шума АКФ - дельта-функция, и там работает фильтрующее свойство дельта-функции: например, двойной интеграл превращается в одинарный вне зависимости от подынтегральной функции
Поэтому для БШ формулы очень простые.
Еще, вероятно, что эти процессы, которые вы изучаете, самоподобны, и корреляционная теория к ним не применима...
Отвечу без цитат, одним скопом.
Когда мы говорим о спектре шума, мы подразумеваем спектральную плотность мощности (СПМ). Обозначают ее как G(f). Она связана с автокорреляционной функцией (АКФ) шума парой интегральных преобразований Фурье. Думаю, Вы матан знаете :).
СПМ белого шума - константа, которую как правило обозначают N0, [Вт/Гц]. Это не мощность, это плотность мощности. Она конечна для любых реальных шумовых процессов; определяется качеством приема: приемником, антенной, каналом (например, есть или нет радиозасветки Солнца и др. космических объектов). Заметьте, тут про дискретизацию вообще нет речи, и она по сути не требуется. Это уже нюансы цифровой обработки сигналов и их лучше опустить.
СПМ фликкер-шума, допустим, степенная функция
Она конечная всюду, кроме полюса f = 0. Этот полюс - наш выбор. Мы можем регуляризовать модель, добавив туда малую константу
В реальности имеется проблема оценить эту константу (и, вообще, подобрать корректную модель такого "плохого" шума). И проблема найти интеграл аналитически для любого параметра "альфа".
Согласитесь, интегрировать константу N0 проще, чем витиеватую СПМ фликкер-шума? АКФ белого шума - дельта-функция Дирака
то есть мощность шума, действительно, равна бесконечности. Это нереальный физ. процесс, это модель, работающая достаточно точно в рабочей полосе частот многих радиоустройств (важна форма СПМ шума). Для оценки качества работы многих радиосистем важна именно СПМ шума, а не мощность. Также важна энергия принимаемого сигнала, которая, конечно, зависит от его мощности (но не только). Это касается цифровой связи, радиолокации и радионавигации по крайней мере. В "старой" аналоговой связи важно соотношение мощностей. Для обнаружения "вообще неизвестных сигналов", скорее, тоже важно соотношение мощностей - дисперсий случайного процесса.
Во сколько раз подавится ФШ? Надо знать АКФ или матрицу R. Либо можно численно оценить, проводя статистический эксперимент и составляя таблицы. Но нужен генератор фликкер-шума => надо иметь точную модель такого шума.
По поводу простых книг... Могу посоветовать Гоноровского и Баскакова, "Радиотехнические цепи и сигналы". Там где-то есть материал про случайные процессы. Если по сложнее, то "Статистическая радиотехника", В. Тихонов, Горяинов.
Тогда вам надо выполнить фильтрацию в частотной области: если Вы знаете амплитудный спектр фликкер-шума, то можно найти обратную функцию - это даст АЧХ оптимального фильтра.
Рано вам делиться на эту тему, а может быть это вообще не ваша тема. Это просто факт, мы все разные.
Главное принять на грудь глубоко под шубой 😅 и никакие шумы не будут страшны.
А может быть у вас полезный сигнал - гармонический неизвестной амплитуды, частоты и фазы? Тогда задачу можно решить, правда при условии, что корреляционную матрицу остаточной компоненты (фликкер шума) Вам удастся как-то правдоподобно оценить. В этом случае можно поставить банк параллельных фильтров для заданной сетки частот, вычислив ИХ фильтра по формуле, которую я приводил ранее. Фильтры будут парными: sin- и cos- компоненты, выходы которых надо будет превратить в модуль соответствующего комплексного числа. Этот модуль сравнить с пороговым уровнем и принять решение о наличии текущей гармоники)
Какого такого? Цифрового естественно)
Да, цифровые системы передачи информации сложнее аналоговых, но оно того стоит.
Теоремы Шеннона скорее для выбора параметров помехоустойчивого кодирования.
Вообще, Вы выбрали опасную тему, которая если и не криптография, но приближается к ней. Для начинающих достаточно знать, то как бы вы не расширяли канал, качество приема будет ограничено уровнем шума при прочих равных условиях. Я в студенчестве это примерно понял и всё. И только потом, после преподавания этой дисциплины и возни с этими формулами получил дополнительное понимание. Его конечно можно брать из хороших статей, но там порог входа определённый.
В целом, отличие аналоговых систем передачи информации от цифровых состоит во влиянии энергии полезного сигнала на качество приёма, а не мощности. Энергия в свою очередь зависит от длительности сигнала, которая определяет скорость передачи информации. То есть в цифровых системах передачи информации больше степеней свободы, которыми можно рулить, но ценой большего потребления ресурсов.
Да, я понял, посмотрел одну статейку... Эх, наука.
Тогда тут ключ - существование интеграла
Если параметр меньше единицы, то всё нормально. С другой стороны интеграл
для этих параметров расходится... Так я попытался вычислить значение АКФ в нуле, то есть R(0) - среднюю энергию,- через Фурье-связь АКФ и спектральной плотности мощности (энергии в данном случае).
Для ограниченных по времени фрагментов их надо центрировать по фактическому среднему значению. И перед накоплением выравнивать по сезонам, то есть синхронизировать по периодам. И, фактически, если вы взяли, например, за один месяц, то будут месячные оценки: модель сигнала периодическая с основным периодом T = 1 месяц. Тогда статистики будут конечные. У Б. Скляра кажется есть такие модели: энергетический сигнал (непериодическая модель, одиночный импульс) и мощностной сигнал (конечный период T, либо бесконечный случайный процесс).
... Сдается мне, что длинные хвосты АКФ - влияние полезного сигнала. Вам надо как-то измерить чистый шум полноценно работающей аппаратуры, когда полезного сигнала нет априори (либо датчики экранированы или как там у вас).
Да, матрица будет плохо обусловленной.
Если нестационарный, то даже корреляционной матрицы не существует (видимо только бесконечный набор матриц...). В Вики для фликкер-шума ничего про нестационарность нет. Скорее всего, интервал стационарности большой, но не бесконечный. Это приводит к особенностям в спектре вблизи низких частот. И эта особенность очень чувствительна: она сильно влияет на результат обработки, и ее трудно измерить, чтобы составить правильную модель спектра. Со стороны области времени надо всё-таки оценивать АКФ до момента, когда она начнет существенно падать по уровню.
Чтобы создать алгоритм (метод), надо четко оформить мат. модель сигнала и шума, сделать постановку задачи. Я пока что не понял чем полезный сигнал отличается от шума. Формой? Полосой частот? АКФ? Средним значением?
Первый раз такое слышу. Для формирования такого сигнала никаких теорем не требуется, кроме теоремы отсчетов (Найквиста-Котельникова). В реальности там просто формула (таблица LUT), позволяющая формировать элементарные импульсы с учетом входных символов (цифр), и далее ЦАП, фильтры и т.д.
Б. Скляра (и других англоязычных) лучше читать в оригинале.
У вас тяжелый случай... сигнал неизвестен.
Если шум аддитивный и стационарный, то особых сложностей с оптимальным приемом нет. В этом случае нужен фильтр с импульсной характеристикой, равной произведению обратной корреляционной матрицы R шума на полезный сигнал, который хотим обнаружить в шуме:
Здесь результат выражен в дискретном виде. Имея экспериментальные реализации шума, можно оценить элементы корреляционной матрицы. Для белого шума матрица R будет единичной, и обратная к ней совпадет с прямой; для окрашенного шума, к сожалению, нет, поэтому нет (или трудно найти) каких-либо готовых формул. Я дал результат в дискретном виде, потому что явное выражение для импульсной характеристики не выражается в непрерывном виде (надо выражать подынтегральную функцию, что нетривиально...).
Соотношение сигнал-шум после обработки будет равно:
Для упрощения численных расчетов лучше взять вектор сигнала, состоящий из единиц. Далее выбрать размерность (количество отсчетов, например, перебирая и сравнивая кейсы 32, 64, 128 и т.п.). И можно численно оценивать проигрыш в отношении сигнал-шум по отношению к случаю белого шума. И это при условии, что приемник оптимальный.
Формула Шеннона при этом не изменится, изменится лишь отношение сигнал-шум.
Да, выгоднее уйти от него. В настоящее время в системах радиосвязи обработка в приемнике ведётся на промежуточной частоте.
Даже при оптимальной обработке - в плане максимального отношения сигнал шум после обработки -, последний будет меньше, чем с/ш при чисто белом шуме. А если приемник неоптимальный, то ещё меньше. В итоге, с/ш может запросто упасть в разы (3...20).
Получается, в z-области задача факторизуется, а в области индексов - нет. Классика)
И ещё непонятно что означают квадратные скобки при n_i. А так - полезная заметка.
У вас ключевая сумма не отображается, видно только n_i
Там дело не только в бесконечном количестве частот: дело ещё в том, что частота гармоники растет как степень номера - нереальный сигнал, если опираться на ряды Фурье. Точнее, там хоть и бесконечный, но очень прореженный набор частот, причем амплитуда этих гармоник падает очень медленно, и при этом они все выровнены по фазе... Фактически да, нереальный сигнал в плане его формирования на практике.
У Вас система ограничена тем, что фактически это просто гаммирование. Можно хотя бы добавить нелинейность: делать циклический сдвиг входного байта перед его ксором. При этом величина сдвига будет зависеть от байта гаммы (по модулю 8).
Но лучше всё-таки двойное гаммирование: первое обычное, второе - с циклическим сдвигом, потому что при сообщении из нулей на выходе будет голая гамма. Первое гаммирование при этом фактически будет неким скремблером, защищающим от детерминированных данных (известных паттернов).