Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 9
У меня два вопроса:
1) Как зависит яркость пиксела от геометрического положения объекта, отразившего свет? Задумывались ли вы об этом? Там зависимость сложная, опосредованная и должна учитывать кучу иных факторов. А бездоказательное утверждение «яркость прямо пропорциональна расстоянию» — это ничто.
2) Где оценка качества работы алгоритма. Вы хотя бы пытались понять, корректные результаты он дает или нет. Где критерий оценки качества?
1) Как зависит яркость пиксела от геометрического положения объекта, отразившего свет? Задумывались ли вы об этом? Там зависимость сложная, опосредованная и должна учитывать кучу иных факторов. А бездоказательное утверждение «яркость прямо пропорциональна расстоянию» — это ничто.
2) Где оценка качества работы алгоритма. Вы хотя бы пытались понять, корректные результаты он дает или нет. Где критерий оценки качества?
1) подобного утверждения не было вроде, меня заинтересовала сама возможность подобного. Если объект монотонный(кожа, стол, стена) то градиент будет заметен, а следовательно положение данных пикселей будет разным.
2) Не знаю по каким параметрам надо, результаты визуально корректны, что видно из фото в статье. С удовольствием узнаю по каким критериям надо оценивать.
2) Не знаю по каким параметрам надо, результаты визуально корректны, что видно из фото в статье. С удовольствием узнаю по каким критериям надо оценивать.
1) подобного утверждения не было вроде, меня заинтересовала сама возможность подобного. Если объект монотонный(кожа, стол, стена) то градиент будет заметен, а следовательно положение данных пикселей будет разным.
Ну как это не было, прямо в заголовке статьи написано «3D сканер из камеры» и далее в тексте:
у каждого приходящего пикселя берется освещенность одного из цветов или их совокупность и этот пиксель выносится перпендикулярно из плоскости изображения на число освещенности (0-255).
напомню, что 3D сканер должен на выходе давать форму реального объекта, а не некие абстрактные поверхности.
Не знаю по каким параметрам надо, результаты визуально корректны, что видно из фото в статье. С удовольствием узнаю по каким критериям надо оценивать.
Ну во-первых надо подумать головой и вспомнить хотя бы школьный курс геометрии. Потом можно почитать что-нибудь про компьютерную графику и освещение. Составить матмодель и обосновать, по каким законам меняется освещенность.
Критерии оценки тоже надо придумать и обосновать. Ну хотя бы на уровне «взял куб 10x10x10 см, оцифровал, измерил размеры граней и проверил ориентацию». Даже такой простой тест предложенная система провалит напрочь.
Так же в заголовке было указано- v 0.1, то есть концепт есть, идея реализации есть, простая реализация есть.(забыл уточнить что обработка там в реальном времени почти)
На предпоследнем изображении явно видно, что размеры и ориентация правильная. И если вы хотите готовый продукт, полностью восстанавливающий 3Д поверхность из изображения с одно камеры, цветное, с размерами и дополненной реальности, то исходники лежат чуть выше — буду рад вашей помощи, мне знаний и времени не хватает.
На предпоследнем изображении явно видно, что размеры и ориентация правильная. И если вы хотите готовый продукт, полностью восстанавливающий 3Д поверхность из изображения с одно камеры, цветное, с размерами и дополненной реальности, то исходники лежат чуть выше — буду рад вашей помощи, мне знаний и времени не хватает.
Концепт — это когда подумали головой, подвели какую-то теоретическую основу и сделали прототип, проверяющий корректность предположений. Вы же взяли с потолка очевидно неверную гипотезу и, не проверив корректность полученных результатов, начали её продавать.
Вот картинка, чтобы было нагляднее:
Во-первых, ваш алгоритм на ней выдаст поверхность с разрывами, которая ни при какой расстановке источников освещения не будет выглядеть так, как на картинке.
Во-вторых, существует уйма поверхностей, которые будут выглядеть так. А если разрешить произвольные цвета и произвольное освещение, то вариантов еще больше.
Вот картинка, чтобы было нагляднее:
Во-первых, ваш алгоритм на ней выдаст поверхность с разрывами, которая ни при какой расстановке источников освещения не будет выглядеть так, как на картинке.
Во-вторых, существует уйма поверхностей, которые будут выглядеть так. А если разрешить произвольные цвета и произвольное освещение, то вариантов еще больше.
Частично могу ответить на первый вопрос. Когда писал диссертацию, то встала проблема определения высоты свода стопы по изображению. Вот фрагмент текста оттуда:
Пусть J есть сила света точечного источника, а r — расстояние от источника до освещаемой поверхности (рис. 3.8), при этом освещенность поверхности равна
(3.9)
где
— угол падения лучей в данной точке поверхности.
Рис. 3.8. Источник света создаёт на площадке dS освещенность, определяемую формулой (3.9).
Законы освещенности для точечного источника сводятся к двум утверждениям. Освещенность поверхности:
1) обратно пропорциональна квадрату расстояния и
2) прямо пропорциональна косинусу угла падения лучей в данной точке поверхности. [81]
Таким образом, освещенность участка изображения, получаемого на сканере, зависит от расстояния предмета от стекла сканера: чем дальше сканируемый предмет, тем темнее он выглядит на снимке. Тогда, зная зависимость освещенности от расстояния и освещенность исследуемого участка изображения, можно получить, на каком расстоянии находится исследуемый предмет от сканера. Однако непосредственному применению этого способа для определения высоты свода стопы по ее изображению мешают несколько обстоятельств:
1. Лампа сканера не является точечным источником света, причем часть стопы может заслонять часть света от лампы. Поэтому получить точное аналитическое выражение для зависимости освещенности предмета от высоты весьма сложно.
2. Цвет фрагмента стопы отличается от человека к человеку.
3. Свод стопы не имеет ровной поверхности, которую можно считать одной высоты, чтобы найти среднюю освещенность этой поверхности.
Поэтому для измерения высоты оптическим методом был создан специальный маркер высоты (рис. 3.9), который представляет из себя пластину из матового оргстекла, расположенную параллельно поверхности сканера.
Рис. 3.9. Маркер высоты.
Маркер высоты устанавливается напротив места пересечения костей стопы, таким образом, для измерения высоты свода стопы необходимо измерить расстояние от маркера высоты до поверхности сканера.
Для исследования зависимости освещенности пластины маркера высоты от расстояния до поверхности сканера был проведен ряд сканирований маркера высоты на разных расстояниях. При этом чтобы избавиться от неоднородности освещенности маркера, изображение в окрестности маркера усреднялось, как показано на рис. 3.10 по формуле:
(3.10)
Рис. 3.10.
В результате был получен график зависимости освещенности маркера от его высоты над поверхностью сканера, показанный на рис. 3.11.
Рис. 3.11. Зависимость освещенности маркера от высоты над поверхностью сканера
Видно, что зависимость освещенности маркера от высоты над поверхностью сканера близка к линейной, следовательно, можно использовать линейную интерполяцию для нахождения высоты маркера в промежуточных точках. Эксперименты показали, что таким образом можно найти высоту маркера с точностью ± 1 мм, что вполне достаточно для определения высоты свода стопы в диагностических целях.
Таким образом, высоту по освещенности определять можно, но при условиях постоянного освещения и однородности поверхности. А в общем случае точность такого подхода будет совсем приблизительной. Хотя некоторое подобие рельефности получить возможно…
Пусть J есть сила света точечного источника, а r — расстояние от источника до освещаемой поверхности (рис. 3.8), при этом освещенность поверхности равна
(3.9)где
— угол падения лучей в данной точке поверхности.Рис. 3.8. Источник света создаёт на площадке dS освещенность, определяемую формулой (3.9).
Законы освещенности для точечного источника сводятся к двум утверждениям. Освещенность поверхности:
1) обратно пропорциональна квадрату расстояния и
2) прямо пропорциональна косинусу угла падения лучей в данной точке поверхности. [81]
Таким образом, освещенность участка изображения, получаемого на сканере, зависит от расстояния предмета от стекла сканера: чем дальше сканируемый предмет, тем темнее он выглядит на снимке. Тогда, зная зависимость освещенности от расстояния и освещенность исследуемого участка изображения, можно получить, на каком расстоянии находится исследуемый предмет от сканера. Однако непосредственному применению этого способа для определения высоты свода стопы по ее изображению мешают несколько обстоятельств:
1. Лампа сканера не является точечным источником света, причем часть стопы может заслонять часть света от лампы. Поэтому получить точное аналитическое выражение для зависимости освещенности предмета от высоты весьма сложно.
2. Цвет фрагмента стопы отличается от человека к человеку.
3. Свод стопы не имеет ровной поверхности, которую можно считать одной высоты, чтобы найти среднюю освещенность этой поверхности.
Поэтому для измерения высоты оптическим методом был создан специальный маркер высоты (рис. 3.9), который представляет из себя пластину из матового оргстекла, расположенную параллельно поверхности сканера.
Рис. 3.9. Маркер высоты.
Маркер высоты устанавливается напротив места пересечения костей стопы, таким образом, для измерения высоты свода стопы необходимо измерить расстояние от маркера высоты до поверхности сканера.
Для исследования зависимости освещенности пластины маркера высоты от расстояния до поверхности сканера был проведен ряд сканирований маркера высоты на разных расстояниях. При этом чтобы избавиться от неоднородности освещенности маркера, изображение в окрестности маркера усреднялось, как показано на рис. 3.10 по формуле:
(3.10)Рис. 3.10.
В результате был получен график зависимости освещенности маркера от его высоты над поверхностью сканера, показанный на рис. 3.11.
Рис. 3.11. Зависимость освещенности маркера от высоты над поверхностью сканера
Видно, что зависимость освещенности маркера от высоты над поверхностью сканера близка к линейной, следовательно, можно использовать линейную интерполяцию для нахождения высоты маркера в промежуточных точках. Эксперименты показали, что таким образом можно найти высоту маркера с точностью ± 1 мм, что вполне достаточно для определения высоты свода стопы в диагностических целях.
Таким образом, высоту по освещенности определять можно, но при условиях постоянного освещения и однородности поверхности. А в общем случае точность такого подхода будет совсем приблизительной. Хотя некоторое подобие рельефности получить возможно…
Для усреднения цвета почему не использовали размытие?( сам не использовал ибо руки не дошли)
Линейную зависимость можно только в узких условиях получить, а нужен был носимый вариант.
Да, нужно не полное сканирование рельефа, а его подобие, чтобы при небольшом повороте были видимы градиенты, как на втором скриншоте. В итоге 2 немного сдвинутых изображения должны создать стереопару.
Попробую раскрасить в реальные цвета и выложить получившиеся стереопары.
Линейную зависимость можно только в узких условиях получить, а нужен был носимый вариант.
Да, нужно не полное сканирование рельефа, а его подобие, чтобы при небольшом повороте были видимы градиенты, как на втором скриншоте. В итоге 2 немного сдвинутых изображения должны создать стереопару.
Попробую раскрасить в реальные цвета и выложить получившиеся стереопары.
Если я не ошибаюсь, то на таком принципе основанна технология перевода фотографий в стекло (наверняка многие видели такие сувениры). Там переводят картинку в YUV цветовое пространство и по Y компоненте задают «глубину» для каждой точкии. Кроме как для игрушек такое «псевдо» 3D больше ни на что не годится… Ну и 3D сканером, по моему, такое называть не корректно.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
3D сканер из камеры, но без лазера v 0.1