В мозге обнаружен механизм видеокомпрессии



    Оказывается, мозг осуществляет эффективную компрессию сигнала, который поступает от органов зрения. Учёные из института невральных вычислений при Рурском университете (Германия) доказали, что зрительная кора подавляет избыточную информацию и сохраняет энергию, передавая лишь изменения между картинками. Примерно такие же методы используются в современных видеокодеках.

    На иллюстрации вверху показано, как первичная зрительная кора обрабатывает последовательность изображений, на одном из которых недостаёт вертикальных элементов. В этом случае мозг вычисляет разницу между полным и неполным изображениями и в определённых случаях передаёт только эту разницу (третье изображение).

    Для проверки гипотезы учёные записывали ответы нейронов в мозге кошки на демонстрацию последовательности изображений, таких как растения, пейзажи и здания. Было создано две версии изображений: полная версия и версия без вертикальных/горизонтальных элементов. При показе изображений с частотой 33 Гц (33 картинки в секунду, примерно по 30,3 миллисекунды на кадр) была зафиксирована максимальная активность нейронов, которая линейно зависела от количества изображений. Но когда скорость показа изображений снизили до 10 Гц (10 картинок в секунду по 100 миллисекунд на каждую), то активность нейронов снизилась в случае изображений с недостающей информацией. Учёные предполагают, что кошачий мозг, получив время на обработку данных, принял энергоэффективное решение закодировать разницу между кадрами.

    Визуализация нейронов на площади в несколько квадратных миллиметров осуществлялась с помощью специальной краски, чувствительной к напряжению тока. В случае, если по нейрону проходил импульс, он начинал светиться.

    Научная работа опубликована в журнале Cerebral Cortex (свободный доступ).
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More
    Ads

    Comments 97

      +30
      Как они заставили кошку смотреть на картинки?
        +2
        Очень негуманно закрепили ее и раскрыли веки щипцами? Я, конечно, далеко не гуманист, но даже представлять такое жутко…
          +10
          Ну куда же без этой картинки
            –18
            Слабо вставить как картинку?
              +38
              Не хотел занимать ей пол страницы.
                –4
                Виноват… image надо было поджать
                  +7
                  Можно было под спойлер спрятать
            +4
              +4
              Кошечке еще череп вскрыли и мозги покрасили
              The skull was opened above area V1 (A18, occasionally parts of A17), the dura was removed, a chamber was mounted, the cortex was stained for 3 h (and occasionally re-stained) with voltage-sensitive dye (RH-1691), and unbound dye was washed out
                –3
                image
                +46
                image
                  +11
                  Про кошек не знаю, но знаю, как обезьян заставляют. За смотрение на картинку (причем это важно, не «вообще» на картинку, а на маленькую метку в ее центре) животному дается премия в виде глотка воды (им не дают пить помимо сеансов тренировок или записи сигналов). А жажда — то еще удовольствие. Хочешь пить — будешь смотреть. Голова фиксируется, а за направлением взгляда следит система Eye tracking. Оператор задает допуски, в пределах которых взгляд может отклоняться от центральной точки без потери премии. Премия (глоток) генерируется периодически под управлением компьютера. Оператор может дать глоток и вручную.
                    0
                    Как-то так.
                      –1
                      Надеюсь, что не как-то так...
                      image
                      +30
                      ну так это понятно — если посмотреть пропускную способность глазного нерва и объем данных, который нужно передавать — окажется, что это на порядки разные величины. Во первых прямо в глазу происходит компрессия некоторая, во вторых — сам глаз таки паршивую картинку выдает — рваная, разрешение более менее хорошее только по центру — все что мы видим — мозг склеивает из этих кусочков. Попробуйте закрыть по очереди глаза — вы когда вперед смотрите — видите свой нос всегда на самом деле, но мозг его вырезает и не замечает. Или слепое пятно ru.wikipedia.org/wiki/%D0%A1%D0%BB%D0%B5%D0%BF%D0%BE%D0%B5_%D0%BF%D1%8F%D1%82%D0%BD%D0%BE например — целая область, в которой вообще ничего не видно, но мозг делает так, что мы ничего этого не замечаем
                        +15
                        А если отрезать нос, можно расширить обзор?
                        • UFO just landed and posted this here
                            +7
                            Теперь ясно отчего Буратино временами так сильно тупил — мозгу приходилось длинный нос обсчитывать.
                            +8
                            Обалдеть! И правда есть слепое пятно, никогда про это не слышал. Вот это фокус.

                            Но повторить опыт для правого глаза, используя эти две картинки не получается. Слепое пятно не настолько большое, чтобы не замечать круга.
                              +1
                              Да, все верно. Из правой картинки пропадает только крестик, и возможно часть окружности.
                                0
                                У меня все выпало из правой картинки, правда это тонкий момент, если чуть подвинуть голову вбок или вперед, то начинают виднеться края круга
                                +3
                                ощущения ещё нереальнее, если приложить на место левого крестика свой палец
                                  0
                                  Держите голову подальше и получится.
                                  +2
                                  Компрессия прямо в глазу сжимает намного лучше у тех, у кого не идеальное зрение )
                                    0
                                    Да-да-да, я ещё это называю «аппаратный антиалиасинг».
                                    +19
                                    Из-за вашего комментария мне теперь нос мешает ><
                                      +7
                                      А теперь подумайте о своем дыхании…
                                      0
                                      так же можно на очки наклеить небольшой кружочек и через какое то время перестанешь его замечать.
                                      так же сохранение стереоскопического зрения при 1 закрытом глазе, за счет памяти и за счет самостоятельного постоянного движения глаза которых пытается вцепить недостающую 3д информацию.
                                      Ну а то что поток данных от глаза в мозг ничтожно мал по сравнению с тем что принимает глаз и там адскисжатая картинка идет это по вроде известно уже лет 10
                                        0
                                        Нос также не видно, если закрывать глаза ладонями, следовательно — мозг тут ни при чем, просто меняется фокус от движения глазного яблока во время открытия века.
                                          0
                                          Я замучился пробовать…
                                          У меня ничего не исчезает, что я делаю не так?
                                          +9
                                          На основе только этих данных можно сделать много разных выводов…

                                          Наконец-то я в полной мере прочувствовал, что люди имеют ввиду когда пишут: «а-а-а, автор Ализар». Дальше развивать мысль, думаю, смысла не имеет.
                                            +11
                                            У меня один глаз дальнозоркий, второй близорукий, так вот в даль я вижу двумя глазами лучше, чем одним дальнозорким, хотя если его закрыть картинка в близоруком не позволяет видеть деталей 100%, однако мозг умудряется ее использовать для улучшения видеоряда от дальнозоркого глаза :)
                                              +5
                                              Вот, Вы бесценный ресурс для диссертаций!
                                                +5
                                                Вы тоже будете нейроны красить?
                                                  +1
                                                  И жаждой морить.
                                                    0
                                                    Красить, красьте, но жаждой я не согласный!
                                                0
                                                Та же фигня. После травмы и последовавших за ней двух операций на правом глазу он видит только размытые контуры и не умеет фокусироваться (то есть читать им можно, но с очень большим трудом и надо очень точно подбирать расстояние до текста), однако этого вполне хватает для дополнения картинки мозгом.

                                                А ещё я заметил очень интересную штуку — в очках, когда зоркость зрения обоих становится одинаковой, картинка конечно получается более объёмной, но при этом гораздо, гораздо менее заметны косяки предметов. Доходит до смешного. Садишься в чужую машину в очках, осматриваешься, «вау! какой пепелац!». Садишься в неё же без очков — «блин, и тут пластик дерьмо! верните мне мою E38». То есть получается, что снижается ощущение объёма, но при этом резко вырастает ощущение фактуры. Не знаю, чем вызвано, но вот так.
                                                  +2
                                                  Зато без очков девушки кажутся красивее. :) Моя учительница литературы однажды предположила обратную корреляцию количества произведений романтического характера с модой на ношение очков.
                                                    0
                                                    Еще эффект как то попробовал носить очки с астигматическими линзами, все бы ничего, но монитор в них выглядел как трапеция, потом привык. А сменив очки на обычные долго привыкал к трапеции в обратную сторону, которую заботливо построил мозг для компенсации прежних очков :)
                                                      0
                                                      Ага, когда подходишь к коллеге и минут 5-10 смотришь в его монитор под углом сверху-сбоку, а потом возвращаешься за свой монитор, он кажется параллелограммом :)).
                                                  +2
                                                  Очередное пополнение в копилку MPEG LA для патентных атак?
                                                  • UFO just landed and posted this here
                                                      +1
                                                      Правообладатели ответили новым коллективным иском, в котором требуют взыскать сумму ущерба с владельцев всех кошек.
                                                      • UFO just landed and posted this here
                                                    0
                                                    Как называются такие краски которые светятся при прохождении тока? По какому запросу гуглить чтоб узнать о них больше?
                                                      +1
                                                      За эффектом электролюминесценции вам стоит обратиться сюда, сюда и сюда.
                                                        0
                                                        Они называются
                                                        voltage sensitive dye или Voltage Sensor Probe
                                                        вот это и гуглите. публикаций полно в pubmed
                                                        вот тут их продают и можно почитать
                                                          0
                                                          RH-1691 использовали в представеной работе

                                                          и тут посмотрите
                                                          +1
                                                          «при Рурском университете (Германия)» А я сразу прочитал при Русском, и даже успел порадоваться за родную науку :)
                                                            0
                                                            Так же фигня была
                                                            habrahabr.ru/post/137633/#comment_4586150
                                                              +1
                                                              Можно порадоваться за родную науку. Еще в 1979 году была выпущена научно-популярная книжка на тему работы зрения. Автор: Вячеслав Демидов. «Как мы видим, то что видим»
                                                                0
                                                                Как здорово, что вы о ней вспомнили. Восхитительная книга, 3 раза перечитывал. Мне, правда, её по специальности читать полагается, но рекомендовал бы читать всем.
                                                              +1
                                                              В компьютерных видеокодеках сжатие сильно дороже восстановления.
                                                              А у животных как? Может глазные протезы стоит подключать уже после блока сжатия и гнать туда уже сжатое видео? ;-)
                                                                0
                                                                Мне h265, пожалуйста.
                                                                +61
                                                                image
                                                                  +8
                                                                  У врача тоже уже заметно.
                                                                    +4
                                                                    Так водушно-капельным же.
                                                                  0
                                                                  Насколько я читал, есть специальные «дифференцирующие» рецепторы в сетчатке, которые реагируют именно на изменение яркости.
                                                                    0
                                                                    Природе вообще свойственно минимизировать затрачиваемую энергию и это касается не только зрения. Попробуйте вспомнить позавчерашний день — вы скорее всего вспомните не ежедневную рутину, а события, которые ярче всего из неё выбиваются.

                                                                    И вообще представление зрительной информации в глазу сильно отличается от того, с чем мы привыкли работать на компьютере. Например, помимо рецепторов, улавливающих определённую яркость или изменение яркости, есть рецепторы реагирующие на определенное направление изменения яркости — то есть в мозг поступает не растровое изображение, а скорее набор контуров.
                                                                      0
                                                                      >Природе вообще свойственно минимизировать затрачиваемую энергию.
                                                                      Тогда вопрос, если электричество — это движение заряженных частиц, то где энергия, которая заставляет их двигаться? Или какая энергия заставляет рости дерево.
                                                                        +2
                                                                        >расти!
                                                                          0
                                                                          Не вижу противоречия. Деревья растут, но за миллионы лет они неплохо оптимизировали энергоэффективность механизмов роста.
                                                                            0
                                                                            И минимум не значит нуль!
                                                                            0
                                                                            Электроны заставляет двигаться электромагнитное поле. Поэтому они и движутся, что сопротивляться ему — слишком затратно.
                                                                              0
                                                                              Разве электромагнитное поле не продукт движения электронов? Да и влюбом случае, откуда берется первичный источник энергии?
                                                                              0
                                                                              Или какая энергия заставляет роасти дерево.

                                                                              Солнечная
                                                                              +1
                                                                              Ну, если так подходить к вопросу, то стоит еще упомянуть об интерпретации. Та картинка, которая возникает в нашем сознании, очень сильно отличается от того, как это выглядит на самом деле. Сознание интерпретирует сигналы, поступающие по зрительному нерву и может дополнять их информаций, накопленой в процессе жизни. Эта способность может быть использована для вызова галюцинаций, в определенных условиях. И такой параметр, как внимательность, есть ни что иное, как детализация интерпретации.
                                                                              Беря во внимание это — энерго-эффективность, с учетом «кэширования реальности», может подскочить в разы.

                                                                              Наш препод по психофизиологии любил приводить пример «своей матрицы» по части восприятия — есть не нулевая вероятность, что мы просто мозги в банке, с подключенными к нему электродами, а все что мы воспринимаем как реальность — генерируется неким «компьютером»
                                                                                +1
                                                                                То, что изображение ещё происходит постобработку в мозгу несомненно, но это область изученная мало либо пока не поддающаяся математическому описанию. А вот модели зрения, основанные на устройстве глаза, уже применяют, например, при восстановлении изображений.
                                                                                  0
                                                                                  А Вы точно уверены, что все можно описать математически?
                                                                                  Свое «Я» и жизненный опыт, на основании которого мы принимаем решения, зачастую противоречащие логике, желания, любовь, личность и т.д.

                                                                                  На самом деле принципы восприятия — довольно изученный вопрос, так как возникает на грани философии и психологии. Есть описанные модели поведения человека, сенсорика и моторика, типы поведения и культурные зависимости. На этих исследованиях, к стати, по большей части и основан сериал «Обмани меня».

                                                                                  Вот еще один интересный факт, подтвержденный: Человек может не видеть того, чего не знает или не хочет знать.
                                                                                  Например у взрослого человека нет в прошлом переживаний или опыта связанного с чем-то подобным тому, что происходит на его глазах сейчас. И человек просто не видит очевидного. Нет, глаз видит и передает это в мозг, однако сознание зафильтровывает. Соответственно человеком не воспринимается часть реальности. И только обратив внимание этого индивида на предмет, объяснив что происходит — человек начинает воспринимать происходящее. Зачастую искаженно и не адекватно.
                                                                                  Причиной тому уже сформированное мировосприятие, прокачанное комплексами, стереотипами, привычками, убеждениями и т.п.
                                                                                  Раньше это считалось лишь психологическим расстройством, но после эксперементального подтверждения, теперь считается и физиологическим.
                                                                              +1
                                                                              Вообще-то, довольно очевидно, что мозг различает не само изображение, а лишь разницу. И дело не в энергосбережении, а в нашем прошлом. Человек — охотник, и ему нужно быстро заметить сорвавшуюся с места лань и бросить в нее копье. Лань же должна заметить бегущую на нее кошку. Это все — резкие изменения в поле зрения и именно их мозг замечает лучше всего. Человек с самым ужасным зрением заметит, как на него резко поднимают пистолет.
                                                                                +4
                                                                                Насколько мне известно, при рождении мозг не имеет эти фильтры. Именно поэтому у маленьких детей плохо с вниманием. Они видят сразу все вместе. Здесь же есть и минус для взрослых — они со временем начинают думать в уже сформировавшимся восприятии в отличии от детей.
                                                                                  0
                                                                                  Эту особенность очень любят упоминать художники. Т.е. с детства нам говорят что трава зеленая, небо голубое, солнце желтое и так далее, штампы восприятия. И как мне рассказывали(ну в около художественных кругах вращаюсь), художник должен научится смотреть глазами, а не сознанием, этими самыми штампами. Иначе говоря искусство это не фотография, и реализм возможен, но не обязателен, и может быть очень правильным решением взять и изобразить траву фиолетовой, небо зеленым, солнце синим.
                                                                                0
                                                                                Вот так всегда, сперва изучают мозг кошек, собак, обезьян, а потом говорят что и у людей так же. А по факту то, коты очень сильно отличаются от людей, ведь видят они черно-белым и гораздо приспособленей к ночи и охоте. К примеру, могут подметить малейшее движение в темноте.
                                                                                  0
                                                                                  Мозг — крайне адаптируемая сволочь. Рецепторы у обезьяны, ставшей потом человеком, различающие синий и зелёный цвета появились относительно недавно с точки зрения эволюции. Мне кажется, что если «модифицировать» глаз для восприятия 4х длин волн — мозг вполне сможет обработать полученный сигнал. И будет ваша радуга несколько интереснее… Прямо как у Пратчетта.
                                                                                0
                                                                                ой, а бутылка водки жмет изображение очень неплохо…
                                                                                а большее количество ужимает в пиксель
                                                                                  0
                                                                                  чёрный
                                                                                • UFO just landed and posted this here
                                                                                    0
                                                                                    Да такой же механизм. С постобработкой только.
                                                                                    • UFO just landed and posted this here
                                                                                    +3
                                                                                    Странно. Мне друг с упоением рассказывал как глаз сжимает изображение упаковывая его по глазным нейронам так, что практически нет потерь в области, куда мы смотрим. А области периферические теряют и цвета и качество. И рассказывал как все упаковывается в зрительный канал. И книги были 80-х годов, где все это описывалось.
                                                                                    Я про то, что вроде это как и не новость…
                                                                                      0
                                                                                      это были косвенные факты и неполная теория, а в статье реальный эксперимент это подтверждающий.
                                                                                        0
                                                                                        Да, в 80х было много исследовано как изображение передаётся по зрительному нерву и что сразу после этого происходит (очень здорово это описано в книге Хьюбела Глаз, мозг, зрение). А здесь говорится что же с ним происходит на ещё более позднем этапе. Выходит, компрессия есть на разных уровнях обработки визуального сигнала.
                                                                                        –1
                                                                                        Мне кажется, картинки с иллюзией движения «ломают» как раз этот механизм сжатия.

                                                                                        Вынос мозга

                                                                                        Вещества, после которых начинается вальс узоров на обоях, — тоже, но уже на аппаратном уровне.
                                                                                          0
                                                                                          Читал я как-то довольно давно книгу «Как мы видим то, что видим» (В. Е. Демидов). Теперь, конечно, она довольно сильно устарела, но, чтобы понять, насколько всё сложнее, чем учат в школе, вполне достаточно. В интернете она встречается.
                                                                                            –1
                                                                                            Еще мозг делает что-то очень похожее на быстрое преобразование Фурье. Но это уже для слухового канала. Похоже, мозг большой специалист по части оптимизации :).
                                                                                              0
                                                                                              Мозгу не нужно делать преобразование Фурье для звуков, ибо оно уже сделано механически ресничками внутреннего уха.
                                                                                                0
                                                                                                Думал, это мозг. Можно ссылочку, интересно как это происходит.
                                                                                                  0
                                                                                                  Там всё настолько просто, что читать нечего. Каждая ресничка (а всего их десятки тысяч) начинает колебаться только от определённой частоты звуковых колебаний. К каждой ресничке подведено по нерву. Т.е. звуковые колебания раскладываются на спектр чисто механическим путём.
                                                                                                    0
                                                                                                    Ага, но всё гораздо круче, «реснички» базилярной мембраны ещё и демпфируются, в некоторой степени, таким образом осуществляется дифференцирование.
                                                                                              +2
                                                                                              Кстати, в детстве проводил такой опыт: если долго и не мигая смотреть в одну точку, то через некоторое время изображение становится равномерно серым и микродвижения глаз превращают его в нечто похожее на картинку.

                                                                                                0
                                                                                                Да, а смотришь на солнце — потом зеленая точка. Все цвета глаз инвентирует при долгом восприятии. Особенно очень яркие.
                                                                                                Красное солце — зеленый зайчик. Это какая то блокирующая функция глаза для компенсации или адаптации. Так и не дошли руки найти что это такое вообще и зачем оно нужно. Возможно это для HDR нужно. Все таки у глаза оно неимоверное.
                                                                                                  +4
                                                                                                  Насколько мне известно, это чисто химический процесс — «выгорание» зрительного пигмента, отвечающего за генерацию нейронного импульса. Вообще он постоянно вырабатывается и разлагается под светом, но яркая вспышка может «засветить» участок сетчатки, и на восстановление пигмента уйдёт время. Аналогично объясняется привыкаение к темноте и яркому свету.
                                                                                                    0
                                                                                                    А я полагаю, что краткосрочные эффекты как раз из за механизма «компрессии» в мозге.
                                                                                                  0
                                                                                                  Если тремор прекратится вообще, то будет просто серый экран. Полезное упражнение, кстати, для психики. Главное только по чуть-чуть.
                                                                                                  +1
                                                                                                  Извиняюсь за такой вопрос, только где на этой картинке «вертикальные элементы»?
                                                                                                    0
                                                                                                    Сделали бы слепое пятно в том месте, где мы видим нос. Был бы профит.

                                                                                                    Only users with full accounts can post comments. Log in, please.