Комментарии 9
Конспект Шеннона, это хорошо. Поправьте меня, если ошибаюсь, Вы энергией энтропию назвали?
Насколько Вы глубоко во всём этом?
Мне пришлось столкнуться с этой областью, но несколько с другой стороны. Знакомы ли вы с трудами Бонгарда сотоварищи, когда важнее оценить не просто количество переданной информации, а именно её полезность в контексте определённой задачи? Вот это на мой взгляд более интересно было-бы рассмотреть.
Насколько Вы глубоко во всём этом?
Мне пришлось столкнуться с этой областью, но несколько с другой стороны. Знакомы ли вы с трудами Бонгарда сотоварищи, когда важнее оценить не просто количество переданной информации, а именно её полезность в контексте определённой задачи? Вот это на мой взгляд более интересно было-бы рассмотреть.
Хотел именно энергию рассматривать, энтропийная запись у Шеннона кажется относится к сжатию информации.
Глубоко ли… Проходили много чего, выглядело красиво, когда возникла необходимость применять на практике возникло много вопросов, пытаюсь разбираться глубже и заодно оставить описание «на пальцах».
С трудами Бонгарда не знаком, можете пояснить про полезность?
Глубоко ли… Проходили много чего, выглядело красиво, когда возникла необходимость применять на практике возникло много вопросов, пытаюсь разбираться глубже и заодно оставить описание «на пальцах».
С трудами Бонгарда не знаком, можете пояснить про полезность?
Энтропия не для сжатия, а для оценки количества информации. Какое количество информации несёт каждый переданный по каналу бит. С её помощью можно перейти от оценки непосредственной пропускной способности канала в сигналах к информационной пропускной способности. Чем большую неопределённость ликвидировало поступившее сообщение, тем большим было количество переданной им информации.
Все эти вещи очень базовые для теории передачи информации. Используются очень широко.
Но вот, что интересно, все оценивают информационную пропускную способность и никого не волнует, а на сколько полезна переданная информация. Т.е. информации передали много, ОК, круто, всё.
Понятно, что полезность одной и той же информации зависит от решаемой задачи и уже имеющейся информации. Она может быть даже отрицательной — дезинформация. М.Бонгард в книге «Проблемы узнавания» предложил формальную модель для описания всего этого. Но к сожалению погиб не продвинувшись в этом. А его продолжатели ушли в сторону. Сейчас появляются попытки работать в этой области, но больше все в семантический анализ копают…
Вот я и спросил, может Вы слышали что-либо об этом, раз занимаетесь в этой сфере, может что-то новое появилось.
Такие дела…
Все эти вещи очень базовые для теории передачи информации. Используются очень широко.
Но вот, что интересно, все оценивают информационную пропускную способность и никого не волнует, а на сколько полезна переданная информация. Т.е. информации передали много, ОК, круто, всё.
Понятно, что полезность одной и той же информации зависит от решаемой задачи и уже имеющейся информации. Она может быть даже отрицательной — дезинформация. М.Бонгард в книге «Проблемы узнавания» предложил формальную модель для описания всего этого. Но к сожалению погиб не продвинувшись в этом. А его продолжатели ушли в сторону. Сейчас появляются попытки работать в этой области, но больше все в семантический анализ копают…
Вот я и спросил, может Вы слышали что-либо об этом, раз занимаетесь в этой сфере, может что-то новое появилось.
Такие дела…
Энтропия больше относится к источнику и выбору алфавита, пропускная способность канала должна согласовываться с итоговой скоростью передачи информации в системе. Я старался рассматривать кодер канала.
Рекомендую Колмогорова почитать, он как раз полезность рассматривал. Насколько я помню, полезность, правда, больше характеризует потребителя/наблюдателя чем сам сигнал, поэтому либо надо делать модель пары источник-наблюдатель, что в общем случае невозможно, т.к. потребует составить чуть ли не модель всего окружающего, либо забыть этот страшный сон и ограничиться сигналом, что неверно в полной очевидности — без наблюдателя информации не существует в принципе. Колмогоров предлагал компромисс — длина алгоритма позволяющего восстановить данный сигнал средствами получателя. Так себе, ни лево, ни право, но работает лучше чем Шеннон, как раз в описываемом вами случае. Намного лучше. И формализации поддается со всех сторон, что приятно. У него же я первый раз встретил термин «качество информации», видимо он его и ввел, хронологически. Но математика и кругозор там такие, что тонкости я ниасилил, а философия там сугубо математически-прикладная. Воды нет вообще. Судя по тому, что данное предложение что-то не развилось никуда, наверное не только я ничего там не понял, остальные тоже. Все таки вопрос инженерный, а там Математик с большой буквы. Жалко, что Неш этим делом не занялся, а ведь как близко был…
И это не новое, да. И Бонгарда я читал. Не понравилось.
И это не новое, да. И Бонгарда я читал. Не понравилось.
Начиная с названия, автор не определяет, что такое эффективность передачи данных.
Не определяет автор и данные. Какие задачи теории информации (опять же, что это
означает для автора) рассматриваются в работе не определено.
>Таким образом видим, что существует предел отношения сигнал/шум в канале (Eb/N0) такой, что невозможно построить систему передачи данных, в которой можно добиться сколь угодно малой вероятности ошибки, при большем уровне шума (может существовать система с просто малой вероятностью ошибки, при предельном отношении!).
О какой и чего ошибке идет речь? Как вычисляется вероятность? Каким методом?
Если можете поясните, Спасибо.
Не определяет автор и данные. Какие задачи теории информации (опять же, что это
означает для автора) рассматриваются в работе не определено.
>Таким образом видим, что существует предел отношения сигнал/шум в канале (Eb/N0) такой, что невозможно построить систему передачи данных, в которой можно добиться сколь угодно малой вероятности ошибки, при большем уровне шума (может существовать система с просто малой вероятностью ошибки, при предельном отношении!).
О какой и чего ошибке идет речь? Как вычисляется вероятность? Каким методом?
Если можете поясните, Спасибо.
Эффективность сама по себе может подразумевать эффективность использования спектра/мощности/скорости передачи данных при прочих раных условиях.
Данные как и информация сущность абстрактная, в данном случае я попытался описать процесс кодирования источника и в дальнейшем рассматривал цифровую информацию.
Задача — определение границы Шеннона для канала передачи данных с белым гауссовым шумом.
Ошибка передачи данных суть сравнение набора переданных бит с принятым (отношение числа ошибочно принятых к общему числу).
Вероятность ошибки для канала с АБГШ рассчитывается теоретически исходя из распределения шума.
Данные как и информация сущность абстрактная, в данном случае я попытался описать процесс кодирования источника и в дальнейшем рассматривал цифровую информацию.
Задача — определение границы Шеннона для канала передачи данных с белым гауссовым шумом.
Ошибка передачи данных суть сравнение набора переданных бит с принятым (отношение числа ошибочно принятых к общему числу).
Вероятность ошибки для канала с АБГШ рассчитывается теоретически исходя из распределения шума.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Эффективность передачи данных и теория информации