Pull to refresh

Comments 14

Как только в массовой продаже появятся доступные и дешевые (и не сильно громоздкие/заметные, как к примеру современные экшн-камеры, или встроенные к примеру в аксессуары типа очков, наголовного обруча или предметы одежды) носимые камеры, с трансляцией изображения в смартфон, то можете вспомнить об этом проекте, я думаю тогда он взлетит.

Основная сложность и предмет для исследования, по моему, тут форма преобразования изображения в звук. Например в какой координатной системе необходимо перекодировать изображение, стоит ли вести разложение по частотам видео изображения и как это делать, с целью обратного их преобразования уже в звуковой спектр и т.п.

p.s. Мне понравилась идея, озвученная тут (перевод Vert Dider), когда человек мог чувствовать предметы, изображение которых переводилось фактически один к одному на матрицу соленоидов, размещенных на спине.
Вообще то основная идея выступления была в том что мозг переварит практически любой способ подключения органов чувств, не удивлюсь если и обоняние можно завести через слух, а осязание через зрение (если кто то решится на такой эксперимент), и массив соленоидов (по мне так достаточно любой матрицы слабых раздражителей) на любой части тела, хоть к примеру и на обратной стороны ладони.

Извините, не удержался
Монстр из фильма, у которого глаза были в ладонях
переводилось фактически один к одному на матрицу соленоидов, размещенных на спине.

Почему на спине? Нервные окончания пальцев рук более развиты. Сделать экран 10-10 см. из тех же соленоидов или подобного. Помоему даже зрячий сможет понять что за картинка, а слепой так и подавно (со шрифтом брайля они натренировались).

Основная проблема — где взять такой экран.
оказывается видеть можно и животом

balintomsk.livejournal.com/?skip=100
Скажите, а почему вы не нашли добровольца из людей, потерявших зрение? Это бы дало вашему проекту второе дыхание, и стало бы доказательством идеи? Общества слепых есть везде.
Они находили и активно до сих пор ходят по обществам слепых. Просто люди им отвечают, что это не помогает в реальной жизни, но они до сих пор этого не хотят принять, считая, что им лучше знать, что нужно слепым и как им удобнее.

Сюда же вылезли для PR'а своей краудфандинговой компании. Самое же интересное в том, что деньги на всё это дают зрячие, которые просто не понимают, что технология мёртвая. Практически уверен, что среди спонсоров нет ни одного незрячего.
Честно сказать, это очень любопытное заявление. А чем обосновано то, что «это не помогает в реальной жизни»?

vxsw, дайте, пожалуйста, собственные комментарии. Вы проводили консультации с потенциальными пользователями, они видели прототип, пользовались им? Вы можете привести хоть какие-нибудь реальные отзывы незрячих людей из тех, кто знаком с проектом и пользовался прототипом?
Ну вы себе вообще представляете, как работает эта технология?

Там всего лишь посредством звукового сигнала описывается контур предмета в фокусе камеры. Слева направо постоянно пробегает звук изменяющейся высоты — это координата x. Ну а высота сигнала описывает координату y. Скорость прохождения сигнала по условному кадру можно настроить, но у этого есть очевидный предел воспринимаемости. В итоге, технология лишь может описать контур предмета перед камерой примерно каждую секунду.

Есть дополнительные функции, типа произнести голосом доминирующий цвет в кадре, но это уже вторичная функция. Кстати, вот она как раз незрячими иногда реально используется посредством мобильного приложения.

А теперь просто представьте: у человека нет зрения, то есть минус 85-90% информации проходит мимо. Он начинает ориентироваться наслух. Слух становится главным чувством. Данная же технология предлагает забить канал слухового восприятия, подсунув вместо этого медленное покадровое описание контура предмета в фокусе камеры. Это просто неэквивалентная замена, поэтому у незрячих всего мира за эти несколько десятилетий данная технология и не нашла отклика.

Самое главное в том, что чистый ярко выраженный контур есть только на тех самых карточках, на которых часто и демонстрируют эту технологию. В реальной жизни, например, когда ходите по комнате или улице, в кадре такая мешанина, что и сигнал получается неинформативным.

По поводу отзывов реальных пользователей и консультации с ними — это бессмысленный разговор. Эти люди, форсят данную технологию уже очень много лет. Я их помню ещё в 2008-2009 году, но по-моему началось всё ещё раньше. Помню девочку по имени, если не ошибаюсь, Кристина, которая активно окучивала сетевые сообщества инвалидов лет пять назад. Помню и их главного — Данилу Медведева, который как-то пришёл на радио передачу для незрячих и рассказывал, что белой тростью можно отмахиваться от хулиганов, а вот для ориентирования в городе слепым нужно использовать звуковое зрение. При этом, там были и звонки реальных незрячих, в том числе пробовавших эту технологию. Они ему говорили, что это бред, но его это не смутило.

Так что с реальными пользователями они сталкивались и не раз, просто считают, что им виднее. Есть ли за этим какой-то меркантильный подтекст или это просто упрямство и желание облагодетельствовать насильно и на своих условиях, я не знаю. Таких оценок давать здесь не готов. Но люди реально уже много лет не хотят признать, что это не реальный инструмент, а всего лишь академический эксперимент одного человека, который сделал его в качестве хобби и сам на него забил уже много лет назад.
Спасибо за развёрнутый ответ, очень любопытно. Технологию в общих чертах представляю, но предполагал, что вопрос с окружающим звуком как-то решён.
Какое-то время назад видел описание аналогичного проекта (зарубежного). Там время освоения называлось, если не ошибаюсь, ~70 часов.

Сейчас сходу не гуглится ничего конкретного… Зато наткнулся на описание приложения для смартфона с аналогичной задачей. Это, кстати, очень крутая идея – в принципе, кроме смартфона больше ничего и не нужно. Никаких сложных медицинских девайсов, ничего такого. Только смартфон с камерой и наушниками + приложение.
К сожалению, в форумах незрячих мы не нашли поддержки. Не нашлось даже людей, которым бы было интересно опробовать систему.


Ну вот только не надо лукавить: были и люди, которые это пробовали, и активная информационная компания с вашей стороны некоторое время назад. Видимо сейчас вы пошли на очередной заход.

Просто сама технология мертворождённая, что вам неоднократно говорили представители целевой аудитории, которые её пробовали, но почему-то вы тут об этом скромно умалчиваете.

Забивать слепым канал слухового восприятия, подсовывая вместо него плохой суррогат зрения, — это априори проигрышный вариант, но вы продолжаете насиловать эту старую технологию, которая была разработана уже несколько десятилетий назад и убедительно показала свою нежизниспособность. Распознавать с её помощью фигуры на специально подготовленных карточках — это абсолютно не то, что интересует слепых людей.
(задумчиво)
Аудиоканал даёт нам порядка 2х16000х8 бит информации в секунду (я беру реальную частоту и более-менее различимые уровни громкости). Это 256килобит/с. Предположим, что мы делаем моно-картинку. Насколько я понимаю, никакого MPEG в мозг передать не удаётся, то есть сигнал идёт некодированным. Если мы хотим передавать разрешение 320х240 (76 килопикселей), хотя бы два раза в секунду то имеем примерно 1-2 бита на пиксел.

В принципе, проходит, да, но едва-едва.

Но лучше мозг учить декодировать компрессированное видео. В 200 килобит вполне себе 360p можно закодировать разборчиво.
Неверно мыслите!

Информации на картинке может быть заметно меньше. Если вы привыкли считать килобитами, попробуйте оценить, сколько будет весить отвекторизованная картинка, в которой обведены только актуальные объекты?

p.s. я бы смотре в сторону разложение в ряд фурье (или другой ряд) изображения во времени и/или локальные изменения интенсивности/цвета в двухмерном пространстве (есть то же разложение фурье в 2д варианте). Прямая аналогия — есть импульсно-кодовое кодирование звука (обычно в wav хранится) а есть сохранение звука в виде разложения по спектру — mpeg, компактнее на порядок.
Это называется «компрессия» и предполагается, что мозг это сумеет декодировать.

Заметим, что приемлимо работать будет только на тех условиях, где предполагается монотонный фон. То есть цветастый зонтик у дамы впереди — и бедный пациент сворачивается клубочком из-за невозможности декодировать ЭТО.
Ухо — не сэмплер, а спектроанализатор, если грубо, а там ещё есть регулировка чувствительности входа и отдельных полос.
Глаз то-же не камера, там достаточно много предварительной обработки, а про зрительную кору я вообще молчу.
Человека всякому можно научить, но лучше всего он учится и воспринимает когда информация поступает если не в доступной, то хотя бы в привычной форме.

От первого поколения имплантантов для не зрячих и глухих, было мало толку именно по этой причине.
Sign up to leave a comment.

Articles