Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток Промышленная инженерия доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 18
Для тех, кому лень вникать в содержание статьи:
Что сделано хорошо:
Теоретическая база в целом корректна. Автор справедливо указывает, что реальные сигналы не могут иметь строго ограниченный спектр, а значит, теорема Котельникова в точном виде физически нереализуема. Анализ динамической погрешности дискретизации при неидеальной весовой функции (φ(t) ≠ δ(t)) — это вполне устоявшаяся тема в метрологии. Ссылки на работы по дискретизации с прямоугольной и косинусоидальной весовыми функциями — реальные направления исследований.
Центральная идея — что увеличение частоты дискретизации снижает погрешность от потери спектра, но одновременно расширяет полосу регистрируемого шума, и в итоге существует оптимум — физически верна.
Где начинаются проблемы:
Главная «теорема» о верхней границе частоты дискретизации подаётся значительно драматичнее, чем заслуживает. На практике инженеры давно решают эту задачу через проектирование антиалиасинговых фильтров, передискретизацию с децимацией, шейпинг шума и сигма-дельта архитектуры. Описанный компромисс — не пробел в теории, а стандартная инженерная практика. Оформлять это как новый результат уровня теоремы — преувеличение.
Примеры в конце — самое слабое место. Называть DSD с частотой 5,6 МГц и камеры на 200 Мп «неоправданным завышением» — серьёзное упрощение. DSD использует 1-битную сигма-дельта модуляцию, где высокая частота дискретизации — это не наивное следование Найквисту, а фундаментальная часть механизма шейпинга шума. А высокое разрешение камер в смартфонах служит не только пространственной детализации — оно используется для вычислительной фотографии, цифрового зума, биннинга пикселей при слабом освещении. Эти примеры не подтверждают, а скорее подрывают аргументацию автора.
Также статья никак не соотносится с обширной существующей литературой по оптимальной дискретизации в условиях шума (плотность Ландау, теория rate-distortion и т.д.), из-за чего заявленный результат выглядит оторванным от контекста.
Итог: физика в целом верная, но статья выдаёт известный инженерный компромисс за новую теорему, а практические примеры выбраны неудачно и работают скорее против автора.
Спасибо за внимательное прочтение и за отзыв. Для меня основное значение имеет интегрирующая дискретизация с косинусоидальной весовой функцией, она так и не нашла своего применения - всем удобнее ждать выхода нового параллельного АЦП (сейчас появился АЦП с частотой дискретизации 10 ГГц), чем усложнять свою жизнь сложными методами обработки. Тема дискретизации с шумом - это просто информация для тех, кто "наивно следует Найквисту" и предостережение от слепой веры рекламируемым характеристикам. 200 Мп камера по отзывам дает картинку хуже, чем камеры с меньшим разрешением. DSD эксплуатирует устоявшееся понимание по умолчанию скорости в бодах или байтах и 5,6 МГц выглядит круче, чем 466 кбит/с, которые получатся при 12-разрядном кодировании звука. Но это информация не для серьезных профессионалов.
Динамическая погрешность дискретизации в этом случае может быть оценена отношением апертурного времени к времени корреляции. Действительно, при φ(t) = δ(t) апертурное время и апертурный сдвиг устройства дискретизации равны нулю и динамическая погрешность отсутствует при любой скорости изменения входного сигнала. Для реальных весовых функций, когда τφ ≠ 0, динамическая погрешность отсутствует только при дискретизации постоянных сигналов.
Мне кажется автор никогда не работал с АЦП. Апертурное время никаких динамических искажений не привносит ни для постоянного, ни для переменного входного сигнала. "Задержка" отсчёта не является искажением. Источником динамических искажений являются внутренние и внешние факторы, влияющие на апертурную дрожь - джиттер, приводящие к изменению момента фиксации выборки. Это и вызывает ошибку дискретизации, растущую с частотой входного сигнала
Мне кажется автор никогда не работал с АЦП.
Автор защитил диссертацию по методам повышения динамической точности быстродействующих АЦП с реальным внедрением - собственноручно разработанным АЦП с частотой дискретизации 560 МГц (еще в СССР), был членом комиссии по приемке параллельного АЦП в Вильнюсской Венте и т.д.
Апертурное время никаких динамических искажений не привносит
У всех быстрых АЦП на входе стоит УВХ (устройство выборки и хранения), даже если о нем не говорят. Играет роль именно апертурное время УВХ. При постоянном входном сигнале оно никак не влияет на результат, время появления сигнала на выходе АЦП определяется моментом прихода тактового импульса. При изменяющемся входном сигнале напряжение на емкости отстает от сигнала и образует динамическую погрешность, пропорциональную апертурному времени. Ее, в отличие от джиттера, можно учесть последующей обработкой и практически полностью избавиться от нее при использовании интегрирующей дискретизации с косинусоидальной весовой функцией.
Тогда я ещё больше удивлён статьёй. И термины вроде корректные по отдельности, а вместе больше напоминает какое то ими жонглирование.
Ну к примеру - дискретизация это свёртка сигнала с весовой фунцией, в идеале дельта функцией. Почему свёртка, а не перемножение на периодическую дельта функцию? И зачем тут вообще понятие весовая функция и свёртка? Для научности?
Что такое ширина пространственного спектра сигнала, например? Я такой термин встречал только в приложениях пространственно-временной обработки, самое простое из которых это ширина диаграммы направленности фар. Вот там, кстати, да - пространственный спектр это свёртка спектра выборок пространства (элемента антенны) и самой решетки.
В инженерных приложениях влияние апертуры увх я встречал только у коллег, которые разрабатывали стробоскоб для 1 нс диапазона, и то для них более сложным было борьба с джиттером, а не с апертурой ключей. В остальных случаях, а это диапазоны 70 и 140 МГц, никаких проблем с влиянием апертуры не было кроме, опять таки, джиттера, а было это аж 25 лет назад при использовании коммерчески доступных ацп.
Зачем под функциями корреляции маскировать стандартные параметры ацп типа полосы? Понятно что они связаны, но полоса входного сигнала это число, а вот его автокорреляционную функцию ещё оценить надо суметь.
Ни разу не слышал про интегрирующую дискретизацию, да ещё в контексте повышения частоты преобразования.
Ну а про повышение частоты дискретизации выше Найквиста и существование оптимума из за шума - ну ведь явное жонглирование разными фактами. В любой мурзилке по применению АЦП всё это давно расписано - поставьте фнч (или фпч), рассчитайте спады ачх и насколько эти шумы и внеполосные сигналы будут влиять на с/ш в полосе сигнала, выберете частоту дискретизации с этим запасом чтобы сохранить динам диапазон, можете выбрать её выше, но тогда поставьте цифровой фильтр, чтобы подавить внеполосовые внешние шумы и шум квантования для расширения динам диапазона, - всё, ничего нового там уже давно нет.
Статья претендует на открытие какой то сакральной истины, но в чём она заключена непонятно, имхо
Почему свёртка, а не перемножение на периодическую дельта функцию? И зачем тут вообще понятие весовая функция и свёртка? Для научности?
Потому что именно свертка с дельта-функцией дает мгновенное значение сигнала, а перемножение даст импульс бесконечной амплитуды. В этом чисто практический смысл, начиная с 1933 года (с подачи Котельникова).
Что такое ширина пространственного спектра сигнала,
Да, слово "пространственный" сюда попало из статьи про параллельную передачу, которую писал одновременно с этой, там оно нужно, здесь нет.
стробоскоб для 1 нс диапазона, и то для них более сложным было борьба с джиттером, а не с апертурой ключей. В остальных случаях, а это диапазоны 70 и 140 МГц, никаких проблем с влиянием апертуры не было кроме, опять таки, джиттера, а было это аж 25 лет назад
В АЦП, который я сделал 43 года назад, интервал дискретизации был равен 1,7 наносекунды. Он фиксировал 20 точек импульсного сигнала с этим интервалом в одном канале и синхронно - 20 точек производной сигнала в другом канале. Длительность окна анализа была 34 наносекунды и в этом окне фиксировалась форма однократного импульсного сигнала. По отсчетам самого сигнала и интеграла от его производной в последующей цифровой обработке восстанавливалась форма сигнала с большей точностью, потому что для каждой точки выбирался тот отсчет, в котором в данный момент меньше динамическая погрешность - при малой скорости изменения входного сигнала брался отсчет самого сигнала, при большой - отсчет интеграла производной. Борьба была с динамической погрешностью, вызванной апертурой. С джиттером в случае однократного импульсного сигнала ничего не сделаешь.
Ни разу не слышал про интегрирующую дискретизацию, да ещё в контексте повышения частоты преобразования
Потому что я не занимался ее популяризацией, переключился на другие задачи.
выберете частоту дискретизации с этим запасом чтобы сохранить динам диапазон, можете выбрать её выше, но тогда поставьте цифровой фильтр
Вот про это и речь. Когда выбирается частота дискретизации с запасом, фильтр ставится на половину частоты дискретизации и в полосе сигнала оказывается шум, которого бы не было при меньшей частоте дискретизации. Если оставлять фильтр с меньшей полосой, то повышение частоты дискретизации - деньги на ветер.
Статья претендует на открытие какой то сакральной истины
Нет, она напоминает о давно известных вещах немного с другой точки зрения.
Потому что именно свертка с дельта-функцией дает мгновенное значение сигнала, а перемножение даст импульс бесконечной амплитуды.
А соседнее значение результата дискретизации откуда возьмётся при свёртке?
И насчёт Котельникова - его теорема была про восстановление сигнала, а не про его дискретизацию. Поэтому Найквист подходит для дискретизации узкополосных сигналов, а Котельников не очень, требует переформулирования.
А соседнее значение результата дискретизации откуда возьмётся при свёртке?
Свертка производится с последовательностью импульсов весовой функции, следующих с частотой дискретизации.
И насчёт Котельникова - его теорема была про восстановление сигнала, а не про его дискретизацию.
В статье Котельникова говорится именно про дискретизацию (слово "дискретизация" придумали позже, но процесс именно этот):
"Теорема II. Любую функцию F(t), состоящую из частот от 0 до f1, можно непрерывно передавать с любой точностью при помощи чисел, следующих друг за другом через 1/(2/f1) секунд."
Свертка производится с последовательностью импульсов весовой функции, следующих с частотой дискретизации.
Тогда на выходе каждый отсчёт будет сумма значений сигнала с весами этой дискретизирующей функции.
Для каждого отсчёта - отдельный интеграл. И если в качестве весовой функции используется дельта-функция, этот интеграл равен мгновенному значению сигнала (потому что площадь дельта-функции равна 1). Если весовая функция - прямоугольник, то отсчёт равен интегралу сигнала по длительности прямоугольника. И т. д.
Реальные физические сигналы не могут иметь неограниченный спектр.
Это вопрос к Фурье. Ограниченный спектр (одну палочку в спектре) имеет синусоида - неограниченный во времени бесконечный периодический сигнал. Любой конечный во времени сигнал выражается интегралом Фурье с бесконечными пределами интегрирования, поэтому спектр бесконечный. Кстати, спектр - единственная бесконечная вещь в нашей конечной во времени Вселенной.
Повышение частоты дискретизации увеличивает диапазон частот регистрируемого шума, что приводит к снижению отношения сигнал/шум дискретного сигнала.
Это казуистика, которой вряд ли найдётся применение[*]. Если нас интересует один диапазон частот, зачем учитывать мощность шума в другом, более широком? Если интересует весь диапазон, то нельзя сделать этот вывод, потому что на высоких частотах могли быть части полезного сигнала, вносящие свой вклад в полезную мощность. А если не могли, то всё-таки что мы делаем? Оверсемплинг, но избегаем этого слова, избегаем последующего выкидывания избыточной полосы через downsampling, и смысла оверсемплинга тоже избегаем - ослабить требования к антиалиасинговому фильтру (крутизна ~ ширина переходной полосы), уменьшить алиасинг, ну и заходя дальше (квантования по уровню нет в хабростатье и у Котельникова) - шум квантования уменьшить благодаря принципу:
картинка
При дискретизации реальных сигналов ... применяют антиалиасинговый фильтр ... Это приводит к искажениям сигнала, восстановленного по дискретным значениям
Нет, без фильтра вопрос "как правильно соединять точки" останется. Это ведь общее, фундаментальное про пустоту между точками и потерю высоких (/внеполосных) частот. Выполняются условия теоремы - сигнал восстанавливается однозначно. Не выполняются - так не удивительно, через точки проводится бесконечное число синусоид с частотой 
.
действует однозначное правило – чем больше частота дискретизации, тем меньше погрешность дискретизации, вызванная потерей части спектра сигнала выше половины частоты дискретизации.
Т.е. чем выше частота среза ФНЧ, тем меньше он срезает. Что оправдывает утяжеление этой фразы? И если говорить как о погрешности, то это количественная характеристика, но изменения бывают качественными. Оцифровываем квадрофоническую пластинку и от 
зависит, два звуковых канала получим или четыре.
~~~
[*]
существуют примеры ее неоправданного завышения:
• аудиоформат DSD [DSD128] с частотой дискретизации звука 5,6 МГц
По вашей методике у него SNR, который хуже, чем у DSD64, который хуже, чем у CD. И куда его? Если за сигнал принять синусоиду и за шум - шум квантования, то SNR ухудшаться перестанет, но будет 7.8 дБ (из-за однобитности) независимо от частоты дискретизации. Снова куда? Смысл в виде настоящих 100+ дБ появится после игнорирования шума на >20 кГц (или >>20 кГц) и учёта спектра шума.
Если нас интересует один диапазон частот, зачем учитывать мощность шума в другом, более широком?
Речь идет о том, что у реальных сигналов спектр неограничен, поэтому для полного восстановления сигнала нас интересует бесконечный диапазон частот. Показано, что увеличивая диапазон дискретизируемых частот, можно уменьшить объем получаемой информации (увеличить потери из-за шума). Понимание этого никак не ухудшит ситуацию, но может помочь ее улучшить. Цель - осознанный подход к выбору всех параметров.
Речь идет о том, что у реальных сигналов спектр неограничен, поэтому для полного восстановления сигнала нас интересует бесконечный диапазон частот.
Это другое.
Этим нельзя пренебречь в редких случаях - например, аудиодорожка фильма не сможет сохранить частоты ниже 200 микрогерц (ну, 1/(1.5 часа))
увеличивая диапазон дискретизируемых частот, можно уменьшить объем получаемой информации
Если потом в цифре сделать downsampling (благо в цифре совершенство ФНЧ никуда явно не упирается), то SNR вырастет - мы возвращаем уничтоженную информацию?
А если взять сигнал с возрастающим спектром вместо убывающего как у вас, объём информации станет увеличиваться вместо уменьшения?
Если шум приходит в наш дискретизатор извне, то чем он не часть сигнала?
Если мы не пренебрегаем бесконечностью спектра (не вводим понятие интересующей нас полосы), то сигналы после ФНЧ с разной частотой среза - это разные сигналы, их нельзя сравнивать (сюда же пример с пластинкой - разница между сигналами качественная, не количественная).
Шум и сигнал существуют в привязке к полосе, ширина измеряемой полосы выбирается с каким-то смыслом ("звуковой диапазон") и после дискретизации (в цифре) имеется простор для манипуляций (может, нас интересует SNR не во всём слышимом диапазоне, а в 10 частотных интервалах по отдельности (гугл на "sub-band SNR" хорошо отзывается) или даже непрерывный спектр SNR).
А если ширину полосы выбрать без смысла, то смысла не будет.
Вот кто-то про сонары то же самое замечает:
SNR values quoted without reference to the bandwidth of the measurement system are highly misleading or even meaningless.
UPD: или вот этот трюк со слышимостью тонов с уровнем гораздо ниже шума квантования (слышимость тона на -115 дБ на 16 битах, например). SNR около -20 дБ, но слышно. Почему? Потому что это не тот SNR - это SNR по всему диапазону частот, а по узкой полосе вокруг тона (как работает ухо) SNR уже вполне положительный. То есть чтобы создать смысл - оценить реальную слышимость, мы должны считаться со спектром сигнала (1 синусоида, допустим) и с шириной зоны ушного спектроанализатора (сколько шума вокруг тона он захватит и с каким окном) и учесть это при вычислении SNR.
У каждой задачи есть свои особенности и условия. В статье описывается общий подход к теореме Котельникова, не привязанный конкретно к обработке звука.
Если потом в цифре сделать downsampling (благо в цифре совершенство ФНЧ никуда явно не упирается), то SNR вырастет - мы возвращаем уничтоженную информацию?
SNR - это параметр канала связи. Если в канале есть шум, то для использования информации, уже задавленной шумом, фильтры бесполезны, необходимо при передаче использовать помехоустойчивое кодирование.
А если взять сигнал с возрастающим спектром вместо убывающего как у вас, объём информации станет увеличиваться вместо уменьшения?
Если антиалиасинговым фильтром отрезать возрастающий спектр, потери информации увеличатся.
Если шум приходит в наш дискретизатор извне, то чем он не часть сигнала?
Именно этот вариант и рассматривается. Шум приходит с сигналом, но нужен только сигнал. Мощность фиксируемого шума пропорциональна ширине спектра, которая попадает в обработку. Поэтому естественное желание - уменьшить потери от шума. Для этого необходимо уменьшить полосу антиалиасингового фильтра. А если это сделано, то тратить деньги на частоту дискретизации, превышающую удвоенную полосу фильтра не имеет смысла.
Поэтому необходимо выбирать частоту дискретизации для получения требуемого качества сигнала с учетом того, что превышение частоты сверх необходимой величины увеличит уровень шума, проникающего в систему со входа.
В статье описывается общий подход к теореме Котельникова, не привязанный конкретно к обработке звука.
...
SNR - это параметр канала связи ... помехоустойчивое кодирование
А где этот канал связи у DSD, камеры Xiaomi и выпрямленной синусоиды? В статье описывается частный... нет, там вообще Шеннон-Хартли-ALT0105-Котельников.
Если антиалиасинговым фильтром отрезать возрастающий спектр, потери информации увеличатся.
Но отклонение в статье уменьшается, потому что обрезаемый спектр убывает с частотой.
Вы взяли теорему Шеннона-Хартли, забыли часть про спектр SNR (wiki - Shannon–Hartley_theorem - where ... S/N is not constant with frequency over the bandwidth) и как-то это всё к Котельникову изолентой...
Именно этот вариант и рассматривается. Шум приходит с сигналом, но нужен только сигнал. Мощность фиксируемого шума пропорциональна ширине спектра, которая попадает в обработку.
И где Котельников? Здесь Шеннон-Хартли, которому нет дела до вещей за пределами "фиксированная мощность передатчика (где он?) на всю полосу пропускания B (не больше, не меньше - речь не о звуке, не о DSD, не о выпрямленных синусоидах), зашумлённый канал связи, сколько можем передать битов в секунду (с некой оптимальной модуляцией)".
Поэтому естественное желание - уменьшить потери от шума. Для этого необходимо уменьшить полосу антиалиасингового фильтра.
Так шум после дискретизации прекрасно убирается. У вас он не убирается, потому что в Шенноне-Хартли не работают с имеющимися сигналами, а расширяют сигнал на всю доступную полосу.
тратить деньги на частоту дискретизации, превышающую удвоенную полосу фильтра не имеет смысла.
АЦП так не работают, а как вы собираетесь дискретизировать без АЦП? То есть вы совсем про работу АЦП не знаете? Сигма-дельта, зачем там оверсемплинг...
А где этот канал связи у DSD, камеры Xiaomi и выпрямленной синусоиды? В статье описывается частный... нет, там вообще Шеннон-Хартли-ALT0105-Котельников.
В статье идет речь только о вариантах теоремы Котельникова в его формулировке 1933 г. (когда Шеннон об этом еще не думал, а Хартли только разработал способ количественной оценки информации и ее передачи по линии) - двух вариантах использования интегральных значений функции вместо мгновенных значений и учете отличия реального случая от идеального (наличия шума). В конце приведены два примера из области дискретизации звука и изображения потому, что в области передачи данных по зашумленным каналам (в радиосвязи) их найти не удалось - там слишком дорого обходится увеличение частоты дискретизации выше необходимого минимума.
Но отклонение в статье уменьшается, потому что обрезаемый спектр убывает с частотой
В радиосвязи всегда так, никто никогда не обрезает растущий спектр, потому что увеличится потеря информации. Во всех видах связи стремятся передать информацию с минимальными искажениями, поэтому отрезают антиалиасинговым фильтром хвост спектра, без которого можно обойтись в рамках допустимой погрешности.
Вы взяли теорему Шеннона-Хартли, забыли часть про спектр SNR (wiki - Shannon–Hartley_theorem - where ... S/N is not constant with frequency over the bandwidth) и как-то это всё к Котельникову изолентой...
По этой ссылке в Википедии предупреждают: "Не следует путать с теоремой Найквиста–Шеннона о выборке" и я не путаю, разделяю их и говорю только о теореме отсчетов.
И где Котельников? Здесь Шеннон-Хартли, которому нет дела до вещей за пределами "фиксированная мощность передатчика (где он?) на всю полосу пропускания B (не больше, не меньше - речь не о звуке, не о DSD, не о выпрямленных синусоидах), зашумлённый канал связи, сколько можем передать битов в секунду (с некой оптимальной модуляцией)".
Именно поэтому здесь рассматриваются вопросы, до которых нет дела закону Шеннона-Хартли.
И мне в этой статье нет дела до скорости передачи, а есть только до потери информации от невыполнения в реальной жизни главного условия теоремы отсчетов - ограниченности спектра - и от наличия нерассматриваемого в теореме Котельникова (а не в теореме Шеннона-Хартли) шума. А о скорости передачи в условиях шума я напишу другую статью.
Так шум после дискретизации прекрасно убирается.
Шум как случайный процесс фильтрами подавить можно, даже в ноль, но восстановить потерянную из-за его наложения информацию можно только с помощью помехоустойчивого кодирования, вводящего избыточность, понижающую скорость передачи в канале.
АЦП так не работают, а как вы собираетесь дискретизировать без АЦП?
Ни Котельников, ни Найквист, ни Шеннон не рассматривают операцию квантования (использование АЦП) - это отдельная операция, которая выполняется и рассматривается отдельно. И раз возникают не первый раз вопрос на эту тему (я выше уже отвечал про мои отношения с АЦП), я, пожалуй, напишу о нестандартных способах повышения их быстродействия.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Расширение вариантов применения теоремы Котельникова в современных телекоммуникациях