Технологии сенсорного замещения позволят видеть мир с помощью звуков: как работает нейропластичность человеческого мозга

    Всем известно, что человек использует пять чувств восприятия, чтобы познавать окружающее пространство. По мере необходимости он опирается то на одно из них, то на несколько, а иногда и на все чувства сразу, ограничиваясь лишь законами физики и собственными физическими возможностями.



    А что будет если научиться обходить и эти ограничения? Например, заменять одно чувство другим? Не вычёркивать, а именно заменять, считывая информацию с двух органов восприятия, при этом используя только один? Кажется – чем-то невероятным. Но именно этому учит онлайн курс «Звуковое зрение vOICe».

    Такое обучение для слепых и слабовидящих запустила команда проекта vOICe, создающая устройства, способные преобразовывать изображение окружающего мира в комплекс звуков, с помощью которых человек может видеть мир, без использования зрения и тактильного взаимодействия.


    На фото: Слепой чемпион Нейротлона проходит испытание по распознаванию предметов, 2018 год


    Это достигается посредством перекодировки видеосигнала, снятого при помощи небольшой камеры с высоким разрешением, размещенной в очках vOICe, в звуковую дорожку, которая меняет своё звучание в зависимости от того, какие предметы и объекты попадают в фокус камеры.

    Чтобы расшифровать картинку используются звуки различной длительности и высоты. Более яркий фрагмент изображения сопровождается более коротким и сильным сигналом, причем с той стороны, с которой расположен объект. Если предмет в поле зрения движется, то движется и сигнал. Два отдельных объекта расшифровываются двумя сигналами, три – тремя и так далее. Длинный звук соответствует горизонтальной линии, вертикальная воспроизводится отрывистым сигналом характерной силы. Повышение тональности «соседних» звуков означает препятствие, при этом чем выше тон – тем выше препятствие перед человеком.

    Технология «Звукового зрения» основана на механизме нейропластичности человеческого мозга. Этот механизм позволяет отдельным зонам мозга меняться под действием опыта, а также восстанавливать утраченные связи после повреждения или вырабатывать новые связи.


    Посредством последнего свойства те участки мозга, которые отвечают за слух, учатся преобразовывать звуковые сигналы в зрительные образы. В результате, через несколько недель тренировки, полностью незрячий человек начинает «видеть» на уровне слабовидящего, в частности различать образы, а со временем и предметы быта, вывески с крупным шрифтом и глубину пространства.

    Миссия vOICe – реабилитация незрячих людей. Но возможность научиться по желанию заменять один орган восприятия другим – слишком заманчивая перспектива для многих. Поэтому разработчики предлагают научить алгоритмам vOICe любого желающего. Необязательно быть слепым, чтобы освоить устройство, способное в любой момент заменить глаза.

    Изучить алгоритмы «звукового зрения» могут даже те, у кого ещё нет такого устройства. Пройдя виртуальное обучение, они овладеют нужным алгоритмом и при необходимости приобретут и легко воспользуются очками vOICe.



    Для зрячих людей курс станет неплохим тестом на внимательность, а также познакомит с оригинальной разработкой учёных. Кроме того, обучаясь «звуковому зрению», люди помогут авторам довести учебную программу до совершенства, поделившись своими впечатлениями и советами. А желающие поддержать разработчиков и их проект приглашаются на бета-тестирование.

    В настоящий момент на официальном сайте Проекта vOICe доступны две формы обучения:

    • Базовый курс «Звуковое зрение vOICe», обучающий основным алгоритмам;
    • расширенный курс – для тех, кто уже готов приобрести очки vOICe Vision и использовать их в деле.

    Тренером курса выступит клинический психолог Светлана Лебедева. Обучение проводится в форме онлайн-конференций, с практикой в реальном мире.

    Желающим пройти обучение или подробнее познакомиться с технологией достаточно оформить заявку на сайте или связаться с разработчиками.
    Реабилитационная индустрия России
    36,35
    Новые технологии в реабилитации
    Поделиться публикацией

    Комментарии 17

      0
      Но возможность научиться по желанию заменять один орган восприятия другим

      Помню где-то года 3-4 назад видел презентацию спортивных наушников, излучатель которых не закрывают ухо, а находится возле входа в ушное отверстие. Излучатель не был простым динамиком, а работал как-то иначе. Но суть в том, что используя такие наушники спортсмены(да и не только) могли слушать музыку и при этом слышать окружающие звуки. Зачем? Чтобы ты мог услышать приближающуюся машину например.

      Возможно не за горами совмещение этих технологий.
        0
        Это не проблема, снизить громкость и\или использовать костную проводимость, но есть нюансы, психоакустические… Сигналы так или иначе будут маскировать друг друга…
        Слепые с детства, привыкают ориентироваться в пространстве по слабым звукам окружения, и оттенкам реверберации, это не то-же что услышать звук приближающейся машины который сам по себе громкий.
          0
          Есть наушники, работающие через кость черепа. Они одеваются не на уши, а за них.
          Тоже, кстати, позиционируются как спортивные, ну и стоят немного дороже обычных.
            0
            Да, я пользуюсь такими. Наушники с костной проводимостью звука. У меня Aftershok. Честно говоря полный шлак по качеству звука, а я ну ооооочень не привередлив к звучанию наушников. Кроме того, если громкость не большая, не слышно музыку. Если поставить на максимум, один черт не слышно машины. А в самолете или в автобусе, вас будет слышать весь салон.
            +2
            Ну, вот опять, кто-то пытается возродить эту баянистую, мёртворождённую тему…

            1. Слух для слепого важен ОЧЕНЬ, он у них гипертрофирован и позволяет ориентироваться в пространстве в реальном времени.
            А вы хотите им наушник вставить и спектром шуметь!

            2. Зрение это сложный физиологический акт, глаза сканируют пространство, мозги склеивают данные с глаз в воображаемую картинку, при всём при этом, временной лаг для восприятия объектов в фокусе внимания, сравнительно мал.
            У вас-же происходит развёртка изображения во времени, и скорость этой развёртки лимитирована скоростью восприятия звука. (в отличии от других способов) Это как игра в режиме лютого слайд шоу.

            3. Нейропластичность возможна только тогда, когда для этого есть техническая возможность, грубо говоря, все информационные сигналы доходят не блокируясь по дороге, и имеют временные характеристики в определённых физиологических рамках.
            Перед тем как продавать людям очки разворачивающие картинку во времени на спектр, попробуйте лучше научиться слышать музыку и речь с помощью анализатора спектра в реальном времени, или хотя бы по записанной спектрограмме, или рассматривая в микроскоп дорожки на виниловых дисках, говорят они сейчас в моде ;-)
              +3
              попробуйте лучше научиться слышать музыку и речь с помощью анализатора спектра в реальном времени, или хотя бы по записанной спектрограмме

              Таким навыком многие люди обладают. "Чтение" называется :)

              0
              если у слепых людей деградировали нейроны в зрительных полях. они ничего не увидят толком
                0
                Вопросы восприятия пространства связаны с законами биологической обратной связи. С детства зрячие люди учатся тому, что если они видят что-то с помощью зрения, то, приблизившись к этому объекту, они совершенно точно смогут с ним провзоимодействовать.
                Незрячие люди хорошо понимают концепцию пространства, но они полагаются на иные «датчики», органы чувств.
                В этом смысле vOICe vision органично вписывается в группу органов восприятия — если вы слышите изменения в звучании, то соответственно поменялось что-то в окружающей среде. Протяните руку — и Вы это почувствуете. Наш мозг пластичен, и обучится этому навыку при должной мотивации и тренировке не составляет труда. Звучание vOICe является новым дополнительным стимулом, под который выделяются новые ассоциативные связи мозга.
                  0
                  Наш мозг пластичен, и обучится этому навыку при должной мотивации и тренировке не составляет труда.

                  А какие-то публикации по этой теме есть?

                    0
                    Конечно! Очень много англоязычных публикаций Вы найдёте в www.seeingwithsound.com/extra/CV_Meijer_PBL.pdf
                    посмотрите статьи A. Haigh, D. J. Brown, P. Meijer and M. J. Proulx, «How well do you see what you hear? The acuity of visual-to-auditory sensory substitution» Frontiers in Cognitive Science, June 2013. — dx.doi.org/10.3389/fpsyg.2013.00330
                    и Striem-Amit and A. Amedi, «Visual Cortex extrastriate body-selective area activation in congenitally blind people „seeing“ by using sounds,'' Current Biology, March 2014. — dx.doi.org/10.1016/j.cub.2014.02.010
                    0
                    Вопросы восприятия пространства связаны с законами биологической обратной связи. С детства зрячие люди учатся тому, что если они видят что-то с помощью зрения, то, приблизившись к этому объекту, они совершенно точно смогут с ним провзоимодействовать.

                    это лингвистические упражнения такие?
                    Звучание vOICe является новым дополнительным стимулом, под который выделяются новые ассоциативные связи мозга.
                    ассоциативные связи? где расположены эти связи?
                  0
                  На велосипеде можно будет ездить как Дэниэл Киш?
                  TED: Дэниэл Киш: Как я использую эхолокатор, чтобы ориентироваться в мире

                    0
                    конечно! сейчас Вадим Арцев бегает с помощью очков vOICe.
                      0
                      Поподробнее можно? Публикации, результаты применения людьми итп.
                      На сайте только запись на курсы.
                      Есть коллега, которому это очень поможет.
                        0
                        Статья готовится к публикации, результаты применения людьми можно увидеть в наших официальных группах на ФБ ( www.facebook.com/groups/voicevision ) и ВК ( vk.com/voicevision ). Там можно познакомиться с историями Вадима Арцева, Николая Чикляева, Ильи Найдна и других.

                        После регистрации на обучающем сайте ( lc.voicevision.ru ) Вам становится доступен курс «Знакомство со звуковым зрением» — там Вы можете узнать и попробовать в работе алгоритмы vOICe. Заходите, регистрируйтесь, приглашайте своего коллегу!

                    0
                    Примерная стоимость курсов и очков? Существуют ли другие подобные устройства?
                      0
                      Общая стоимость очков и курса обучения до продвинутого уровня составляет около 100000 рублей. Мы рассматриваем льготные условия, а в случае невозможности подобной оплаты, но при наличии огромного желания обучаться, мы можем помочь сбором денег на краудфандинге.
                      Другие высокотехнологичные устройства суррогатного зрения для помощи незрячим людям — навигатор OrNavi и камера OrCV, имплант для сетчатки Pixium Vision/Argus II, устройство сенсорного замещения BrainPort — хороши по-своему, но зачастую они либо не передают ощущения пространства, либо требуют хирургического вмешательства, либо не позволяют говорить во время использования устройства. Стоимость многих из них превышает стоимость обучения в vOICe vision.
                      Помимо этого, по результатам Нейротлона-2018, vOICe vision опережает все существующие на данный момент высокотехнологичные средства реабилитации незрячих людей.

                    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                    Самое читаемое