Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 14
Как только в массовой продаже появятся доступные и дешевые (и не сильно громоздкие/заметные, как к примеру современные экшн-камеры, или встроенные к примеру в аксессуары типа очков, наголовного обруча или предметы одежды) носимые камеры, с трансляцией изображения в смартфон, то можете вспомнить об этом проекте, я думаю тогда он взлетит.
Основная сложность и предмет для исследования, по моему, тут форма преобразования изображения в звук. Например в какой координатной системе необходимо перекодировать изображение, стоит ли вести разложение по частотам видео изображения и как это делать, с целью обратного их преобразования уже в звуковой спектр и т.п.
p.s. Мне понравилась идея, озвученная тут (перевод Vert Dider), когда человек мог чувствовать предметы, изображение которых переводилось фактически один к одному на матрицу соленоидов, размещенных на спине.
Вообще то основная идея выступления была в том что мозг переварит практически любой способ подключения органов чувств, не удивлюсь если и обоняние можно завести через слух, а осязание через зрение (если кто то решится на такой эксперимент), и массив соленоидов (по мне так достаточно любой матрицы слабых раздражителей) на любой части тела, хоть к примеру и на обратной стороны ладони.
Основная сложность и предмет для исследования, по моему, тут форма преобразования изображения в звук. Например в какой координатной системе необходимо перекодировать изображение, стоит ли вести разложение по частотам видео изображения и как это делать, с целью обратного их преобразования уже в звуковой спектр и т.п.
p.s. Мне понравилась идея, озвученная тут (перевод Vert Dider), когда человек мог чувствовать предметы, изображение которых переводилось фактически один к одному на матрицу соленоидов, размещенных на спине.
Вообще то основная идея выступления была в том что мозг переварит практически любой способ подключения органов чувств, не удивлюсь если и обоняние можно завести через слух, а осязание через зрение (если кто то решится на такой эксперимент), и массив соленоидов (по мне так достаточно любой матрицы слабых раздражителей) на любой части тела, хоть к примеру и на обратной стороны ладони.
Извините, не удержался
переводилось фактически один к одному на матрицу соленоидов, размещенных на спине.
Почему на спине? Нервные окончания пальцев рук более развиты. Сделать экран 10-10 см. из тех же соленоидов или подобного. Помоему даже зрячий сможет понять что за картинка, а слепой так и подавно (со шрифтом брайля они натренировались).
Основная проблема — где взять такой экран.
Скажите, а почему вы не нашли добровольца из людей, потерявших зрение? Это бы дало вашему проекту второе дыхание, и стало бы доказательством идеи? Общества слепых есть везде.
Они находили и активно до сих пор ходят по обществам слепых. Просто люди им отвечают, что это не помогает в реальной жизни, но они до сих пор этого не хотят принять, считая, что им лучше знать, что нужно слепым и как им удобнее.
Сюда же вылезли для PR'а своей краудфандинговой компании. Самое же интересное в том, что деньги на всё это дают зрячие, которые просто не понимают, что технология мёртвая. Практически уверен, что среди спонсоров нет ни одного незрячего.
Сюда же вылезли для PR'а своей краудфандинговой компании. Самое же интересное в том, что деньги на всё это дают зрячие, которые просто не понимают, что технология мёртвая. Практически уверен, что среди спонсоров нет ни одного незрячего.
Честно сказать, это очень любопытное заявление. А чем обосновано то, что «это не помогает в реальной жизни»?
vxsw, дайте, пожалуйста, собственные комментарии. Вы проводили консультации с потенциальными пользователями, они видели прототип, пользовались им? Вы можете привести хоть какие-нибудь реальные отзывы незрячих людей из тех, кто знаком с проектом и пользовался прототипом?
vxsw, дайте, пожалуйста, собственные комментарии. Вы проводили консультации с потенциальными пользователями, они видели прототип, пользовались им? Вы можете привести хоть какие-нибудь реальные отзывы незрячих людей из тех, кто знаком с проектом и пользовался прототипом?
Ну вы себе вообще представляете, как работает эта технология?
Там всего лишь посредством звукового сигнала описывается контур предмета в фокусе камеры. Слева направо постоянно пробегает звук изменяющейся высоты — это координата x. Ну а высота сигнала описывает координату y. Скорость прохождения сигнала по условному кадру можно настроить, но у этого есть очевидный предел воспринимаемости. В итоге, технология лишь может описать контур предмета перед камерой примерно каждую секунду.
Есть дополнительные функции, типа произнести голосом доминирующий цвет в кадре, но это уже вторичная функция. Кстати, вот она как раз незрячими иногда реально используется посредством мобильного приложения.
А теперь просто представьте: у человека нет зрения, то есть минус 85-90% информации проходит мимо. Он начинает ориентироваться наслух. Слух становится главным чувством. Данная же технология предлагает забить канал слухового восприятия, подсунув вместо этого медленное покадровое описание контура предмета в фокусе камеры. Это просто неэквивалентная замена, поэтому у незрячих всего мира за эти несколько десятилетий данная технология и не нашла отклика.
Самое главное в том, что чистый ярко выраженный контур есть только на тех самых карточках, на которых часто и демонстрируют эту технологию. В реальной жизни, например, когда ходите по комнате или улице, в кадре такая мешанина, что и сигнал получается неинформативным.
По поводу отзывов реальных пользователей и консультации с ними — это бессмысленный разговор. Эти люди, форсят данную технологию уже очень много лет. Я их помню ещё в 2008-2009 году, но по-моему началось всё ещё раньше. Помню девочку по имени, если не ошибаюсь, Кристина, которая активно окучивала сетевые сообщества инвалидов лет пять назад. Помню и их главного — Данилу Медведева, который как-то пришёл на радио передачу для незрячих и рассказывал, что белой тростью можно отмахиваться от хулиганов, а вот для ориентирования в городе слепым нужно использовать звуковое зрение. При этом, там были и звонки реальных незрячих, в том числе пробовавших эту технологию. Они ему говорили, что это бред, но его это не смутило.
Так что с реальными пользователями они сталкивались и не раз, просто считают, что им виднее. Есть ли за этим какой-то меркантильный подтекст или это просто упрямство и желание облагодетельствовать насильно и на своих условиях, я не знаю. Таких оценок давать здесь не готов. Но люди реально уже много лет не хотят признать, что это не реальный инструмент, а всего лишь академический эксперимент одного человека, который сделал его в качестве хобби и сам на него забил уже много лет назад.
Там всего лишь посредством звукового сигнала описывается контур предмета в фокусе камеры. Слева направо постоянно пробегает звук изменяющейся высоты — это координата x. Ну а высота сигнала описывает координату y. Скорость прохождения сигнала по условному кадру можно настроить, но у этого есть очевидный предел воспринимаемости. В итоге, технология лишь может описать контур предмета перед камерой примерно каждую секунду.
Есть дополнительные функции, типа произнести голосом доминирующий цвет в кадре, но это уже вторичная функция. Кстати, вот она как раз незрячими иногда реально используется посредством мобильного приложения.
А теперь просто представьте: у человека нет зрения, то есть минус 85-90% информации проходит мимо. Он начинает ориентироваться наслух. Слух становится главным чувством. Данная же технология предлагает забить канал слухового восприятия, подсунув вместо этого медленное покадровое описание контура предмета в фокусе камеры. Это просто неэквивалентная замена, поэтому у незрячих всего мира за эти несколько десятилетий данная технология и не нашла отклика.
Самое главное в том, что чистый ярко выраженный контур есть только на тех самых карточках, на которых часто и демонстрируют эту технологию. В реальной жизни, например, когда ходите по комнате или улице, в кадре такая мешанина, что и сигнал получается неинформативным.
По поводу отзывов реальных пользователей и консультации с ними — это бессмысленный разговор. Эти люди, форсят данную технологию уже очень много лет. Я их помню ещё в 2008-2009 году, но по-моему началось всё ещё раньше. Помню девочку по имени, если не ошибаюсь, Кристина, которая активно окучивала сетевые сообщества инвалидов лет пять назад. Помню и их главного — Данилу Медведева, который как-то пришёл на радио передачу для незрячих и рассказывал, что белой тростью можно отмахиваться от хулиганов, а вот для ориентирования в городе слепым нужно использовать звуковое зрение. При этом, там были и звонки реальных незрячих, в том числе пробовавших эту технологию. Они ему говорили, что это бред, но его это не смутило.
Так что с реальными пользователями они сталкивались и не раз, просто считают, что им виднее. Есть ли за этим какой-то меркантильный подтекст или это просто упрямство и желание облагодетельствовать насильно и на своих условиях, я не знаю. Таких оценок давать здесь не готов. Но люди реально уже много лет не хотят признать, что это не реальный инструмент, а всего лишь академический эксперимент одного человека, который сделал его в качестве хобби и сам на него забил уже много лет назад.
Какое-то время назад видел описание аналогичного проекта (зарубежного). Там время освоения называлось, если не ошибаюсь, ~70 часов.
Сейчас сходу не гуглится ничего конкретного… Зато наткнулся на описание приложения для смартфона с аналогичной задачей. Это, кстати, очень крутая идея – в принципе, кроме смартфона больше ничего и не нужно. Никаких сложных медицинских девайсов, ничего такого. Только смартфон с камерой и наушниками + приложение.
Сейчас сходу не гуглится ничего конкретного… Зато наткнулся на описание приложения для смартфона с аналогичной задачей. Это, кстати, очень крутая идея – в принципе, кроме смартфона больше ничего и не нужно. Никаких сложных медицинских девайсов, ничего такого. Только смартфон с камерой и наушниками + приложение.
К сожалению, в форумах незрячих мы не нашли поддержки. Не нашлось даже людей, которым бы было интересно опробовать систему.
Ну вот только не надо лукавить: были и люди, которые это пробовали, и активная информационная компания с вашей стороны некоторое время назад. Видимо сейчас вы пошли на очередной заход.
Просто сама технология мертворождённая, что вам неоднократно говорили представители целевой аудитории, которые её пробовали, но почему-то вы тут об этом скромно умалчиваете.
Забивать слепым канал слухового восприятия, подсовывая вместо него плохой суррогат зрения, — это априори проигрышный вариант, но вы продолжаете насиловать эту старую технологию, которая была разработана уже несколько десятилетий назад и убедительно показала свою нежизниспособность. Распознавать с её помощью фигуры на специально подготовленных карточках — это абсолютно не то, что интересует слепых людей.
(задумчиво)
Аудиоканал даёт нам порядка 2х16000х8 бит информации в секунду (я беру реальную частоту и более-менее различимые уровни громкости). Это 256килобит/с. Предположим, что мы делаем моно-картинку. Насколько я понимаю, никакого MPEG в мозг передать не удаётся, то есть сигнал идёт некодированным. Если мы хотим передавать разрешение 320х240 (76 килопикселей), хотя бы два раза в секунду то имеем примерно 1-2 бита на пиксел.
В принципе, проходит, да, но едва-едва.
Но лучше мозг учить декодировать компрессированное видео. В 200 килобит вполне себе 360p можно закодировать разборчиво.
Аудиоканал даёт нам порядка 2х16000х8 бит информации в секунду (я беру реальную частоту и более-менее различимые уровни громкости). Это 256килобит/с. Предположим, что мы делаем моно-картинку. Насколько я понимаю, никакого MPEG в мозг передать не удаётся, то есть сигнал идёт некодированным. Если мы хотим передавать разрешение 320х240 (76 килопикселей), хотя бы два раза в секунду то имеем примерно 1-2 бита на пиксел.
В принципе, проходит, да, но едва-едва.
Но лучше мозг учить декодировать компрессированное видео. В 200 килобит вполне себе 360p можно закодировать разборчиво.
Неверно мыслите!
Информации на картинке может быть заметно меньше. Если вы привыкли считать килобитами, попробуйте оценить, сколько будет весить отвекторизованная картинка, в которой обведены только актуальные объекты?
p.s. я бы смотре в сторону разложение в ряд фурье (или другой ряд) изображения во времени и/или локальные изменения интенсивности/цвета в двухмерном пространстве (есть то же разложение фурье в 2д варианте). Прямая аналогия — есть импульсно-кодовое кодирование звука (обычно в wav хранится) а есть сохранение звука в виде разложения по спектру — mpeg, компактнее на порядок.
Информации на картинке может быть заметно меньше. Если вы привыкли считать килобитами, попробуйте оценить, сколько будет весить отвекторизованная картинка, в которой обведены только актуальные объекты?
p.s. я бы смотре в сторону разложение в ряд фурье (или другой ряд) изображения во времени и/или локальные изменения интенсивности/цвета в двухмерном пространстве (есть то же разложение фурье в 2д варианте). Прямая аналогия — есть импульсно-кодовое кодирование звука (обычно в wav хранится) а есть сохранение звука в виде разложения по спектру — mpeg, компактнее на порядок.
Ухо — не сэмплер, а спектроанализатор, если грубо, а там ещё есть регулировка чувствительности входа и отдельных полос.
Глаз то-же не камера, там достаточно много предварительной обработки, а про зрительную кору я вообще молчу.
Человека всякому можно научить, но лучше всего он учится и воспринимает когда информация поступает если не в доступной, то хотя бы в привычной форме.
От первого поколения имплантантов для не зрячих и глухих, было мало толку именно по этой причине.
Глаз то-же не камера, там достаточно много предварительной обработки, а про зрительную кору я вообще молчу.
Человека всякому можно научить, но лучше всего он учится и воспринимает когда информация поступает если не в доступной, то хотя бы в привычной форме.
От первого поколения имплантантов для не зрячих и глухих, было мало толку именно по этой причине.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Краудфандинг технологии звукового зрения vOICe — для слепых и не только