Визуальная теория информации (часть 1)

[3263927]

спасибо большое! в такой форме очень удобно воспринимать!

[NightShad0w]

А существуют подходы с неоднозначным кодированием? Если на выходе получается не стотысячмильонов вариантов — то для коротких сообщений в принципе можно по смыслу потом выбрать истинное сообщение.

[QGorbovsky]

Если я правильно помню, то нет. Наша задача: сделать автоматическое кодирование и декодирование, потому и неоднозначности там нет места. Отсюда и условие на префиксность кода.

В статье был пример не префиксного кода и как мы получим несколько вариантов. И перебирать их потом будет не оптимально. Особенно при большом количестве сообщений.

[Akon32]

Ну, каждый убранный из сообщения 1 бит информации повышает неоднозначность (количество вариантов интерпретации) в 2 раза. Но в том-то и суть информации, что когда её нет, выбрать из вариантов никак нельзя.
Такие простейшие коды, как те, что рассматриваются в статье, обычно не предусматривают избыточности и хранят сообщения максимально сжато, часто на теоретическом пределе. А вот например речь — избыточна, и биты из неё можно выкидывать разными методами. В конце концов и получится плотный код, подобный описанным.

[darkAlert]

Вот как же я нелюблю советско-российский метод преподавания матана, когда одна сплошная теория, формулы, теорема, намешенные с практическими задачами в вакууме. И в противоположность этому — западный подход, где всегда теория сопровождается понятными интуитивными примерами. Лично я ненавидел матан в школе и универе. Зато когда начал читать западные книжки, сразу полюбил.

Ну и статья отличная.

[stabuev]

Да мне тоже очень понравилась манера подачи информации у автора. Все наглядно и понятно.

[mac_md]

«Давайте рассмотрим пример. Если мы выберем случайный день, с вероятностью 38% я буду носить плащ. Если мы знаем, что я в плаще, насколько вероятно, что идет дождь? Я скорее надену плащ в дождь, чем на солнце, но дождь в Калифорнии редкость, и получается, что с вероятностью 50% идет дождь. Итак, вероятность того, что идет дождь, и я ношу плащ, — это вероятность того, что я буду носить плащ (38%), умноженная на вероятность того, что будет дождь, если я буду носить плащ (50%), что составляет примерно 19%.»
Откуда взялось 50%? я что-то пропускаю?