Хочу написать о том, чем занимаюсь в Тех. Университете Тампере.
Стереопсис (стерео-эффект) — ощущение протяжённости пространства и рельефности, возникающие при наблюдении реальных объектов, рассматривании стереопар, стереофотографий, стереоизображений и голограмм. Часто упомянается как «восприятие глубины».
Как известно (во-всяком случае большинство из нас что то про это слышали), изображение видимое левым глазом слегка отличается от изображения, получаемого правым глазом. Благодаря чему наш мозг в состоянии восстановить «глубину» наблюдаемой сцены. Однако как именно он это делает, да и как это вообще возможно знают далеко не многие.
В 1838 году, английский ученый Charles Wheatstone открыл (точнее объяснил) природу 3х-мерного зрения.
Если представить оптическую систему человека из двух глаз с более или менее параллельными оптическими осями (parallax), то оказывается что различие в изображениях (disparity) как раз оределяется глубиной. Если быть точнее, диспарити (или диспаратность) обратно пропорциональна глубине (расстоянию), т.е. например бесконечно удаленная точка будет проецироваться одинаково на обе сетчатки (диспарити=0), а близко-лежащая точка будет проецироваться в совсем разные места сетчаток (большой диспарити). Это приблизительно нарисовано на картинке утянутой с русской википедии. (Подробнее см. Диспаратность)
Несмотря на давнюю историю стерео-технологий, в последнее несколько лет воколонаучных кругах замечен всплеск популярности к stereo-vision. С изобретением и усовершенствованием компьютеров, стало возможным измерять глубину сцен с помощью машин, оснащенных цифровыми фото/видео камерами. Можно утверждать, что в последнее десятилетие количество научных публикаций, посвященных stereo-vision возрастает экспоненциально. Очень заметен прогресс в создании алгоритмов для восстановления глубины по заданной стерео-паре.
Естественно, там где есть две камеры (стерео), для компьютера не сложно добавить еще двадцать две чтобы повысить качество восстановления глубины (как и делают многие 3-х мерные сканеры), однако с научной точки зрения, стерео-видение является наиболее фундаментальной (и следовательно интересной) задачей поскольку любые мульти-камерные подходы можно рассматривать как набор из нескольких стерео-камер, и обрабатывать их независимо.
Более того, считается, что человеческий мозг прекрасно справляется с задачей восстановления глубины по двум картинкам (на самом деле очень спорное утверждение), то и компьютерные программы (stereo-matching, dense depth estimation) должны восстанавливать глубину с вполне хорошим результатом.
В научной среде есть специальный сайт, где разные группы ученых сравнивают достигнутые результаты (в оценке глубины) между собой: vision.middlebury.edu/stereo/eval
Так что прогресс в этой области очень хорошо отслеживается по таблице результатов, что накопилась за несколько лет. Вот пара результатов:
Это результаты алгоритма Scanline optimization (1D optimization using horizontal smoothness terms), 2002 года
Это результаты алгоритма «Double Belief Propagation», публикация 2007 года. Как говорится почуствуйте разницу.
(Источник: vision.middlebury.edu/stereo/eval)
(Примечание 1: Настоящие диспарити (ground truth) и фреймы тестовых картинок, из которых получены оценки глубины, можно посмотреть на этой же странице)
(Примечание 2: Поскольку в данном фреймворке оценивается именно диспарити, а не расстояние, то светлые области на картинке соответствуют близлежащим объектам, темные области соответствуют далеким)
Как видите, за последние 5 лет, качество восстановления глубины сцены на основе стерео-пары практически приблизилось к максимально возможному. Тем не менее в этой области есть еще много мест, где необходимо приложить усилия исследователям. Что, вероятно, и будет проделано в ближайшие годы. Дальнейшим развитием этой области могло бы стать Scene Understanding, когда компьютер не только «видит», но и «понимает» что за объекты находятся перед ним.
Если читателям этого блога понравится новая тема, то я готов и в дальнейшем поднимать темы по Digital Image Processing. В частности, я бы хотел осветить тему о теории (и может о практике) Image Denoising, Image Deblurring/focusing и пр.
Что читать дальше:
en.wikipedia.org/wiki/Stereopsis
en.wikipedia.org/wiki/Binocular_disparity
ru.wikipedia.org/wiki/%D0%94%D0%B8%D1%81%D0%BF%D0%B0%D1%80%D0%B0%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C
vision.middlebury.edu/stereo
www.stereoscopy.com
scholar.google.fi/scholar?q=Stereo+matching&hl=en&lr=&btnG=Search
Wheatstone Charles, Contributions to the Physiology of Vision. Part the First. On some remarkable, and hitherto unobserved, Phenomena of Binocular Vision.
Стереопсис (стерео-эффект) — ощущение протяжённости пространства и рельефности, возникающие при наблюдении реальных объектов, рассматривании стереопар, стереофотографий, стереоизображений и голограмм. Часто упомянается как «восприятие глубины».
Как известно (во-всяком случае большинство из нас что то про это слышали), изображение видимое левым глазом слегка отличается от изображения, получаемого правым глазом. Благодаря чему наш мозг в состоянии восстановить «глубину» наблюдаемой сцены. Однако как именно он это делает, да и как это вообще возможно знают далеко не многие.
В 1838 году, английский ученый Charles Wheatstone открыл (точнее объяснил) природу 3х-мерного зрения.
Если представить оптическую систему человека из двух глаз с более или менее параллельными оптическими осями (parallax), то оказывается что различие в изображениях (disparity) как раз оределяется глубиной. Если быть точнее, диспарити (или диспаратность) обратно пропорциональна глубине (расстоянию), т.е. например бесконечно удаленная точка будет проецироваться одинаково на обе сетчатки (диспарити=0), а близко-лежащая точка будет проецироваться в совсем разные места сетчаток (большой диспарити). Это приблизительно нарисовано на картинке утянутой с русской википедии. (Подробнее см. Диспаратность)
Несмотря на давнюю историю стерео-технологий, в последнее несколько лет в
Естественно, там где есть две камеры (стерео), для компьютера не сложно добавить еще двадцать две чтобы повысить качество восстановления глубины (как и делают многие 3-х мерные сканеры), однако с научной точки зрения, стерео-видение является наиболее фундаментальной (и следовательно интересной) задачей поскольку любые мульти-камерные подходы можно рассматривать как набор из нескольких стерео-камер, и обрабатывать их независимо.
Более того, считается, что человеческий мозг прекрасно справляется с задачей восстановления глубины по двум картинкам (на самом деле очень спорное утверждение), то и компьютерные программы (stereo-matching, dense depth estimation) должны восстанавливать глубину с вполне хорошим результатом.
В научной среде есть специальный сайт, где разные группы ученых сравнивают достигнутые результаты (в оценке глубины) между собой: vision.middlebury.edu/stereo/eval
Так что прогресс в этой области очень хорошо отслеживается по таблице результатов, что накопилась за несколько лет. Вот пара результатов:
Это результаты алгоритма Scanline optimization (1D optimization using horizontal smoothness terms), 2002 года
Это результаты алгоритма «Double Belief Propagation», публикация 2007 года. Как говорится почуствуйте разницу.
(Источник: vision.middlebury.edu/stereo/eval)
(Примечание 1: Настоящие диспарити (ground truth) и фреймы тестовых картинок, из которых получены оценки глубины, можно посмотреть на этой же странице)
(Примечание 2: Поскольку в данном фреймворке оценивается именно диспарити, а не расстояние, то светлые области на картинке соответствуют близлежащим объектам, темные области соответствуют далеким)
Как видите, за последние 5 лет, качество восстановления глубины сцены на основе стерео-пары практически приблизилось к максимально возможному. Тем не менее в этой области есть еще много мест, где необходимо приложить усилия исследователям. Что, вероятно, и будет проделано в ближайшие годы. Дальнейшим развитием этой области могло бы стать Scene Understanding, когда компьютер не только «видит», но и «понимает» что за объекты находятся перед ним.
Если читателям этого блога понравится новая тема, то я готов и в дальнейшем поднимать темы по Digital Image Processing. В частности, я бы хотел осветить тему о теории (и может о практике) Image Denoising, Image Deblurring/focusing и пр.
Что читать дальше:
en.wikipedia.org/wiki/Stereopsis
en.wikipedia.org/wiki/Binocular_disparity
ru.wikipedia.org/wiki/%D0%94%D0%B8%D1%81%D0%BF%D0%B0%D1%80%D0%B0%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C
vision.middlebury.edu/stereo
www.stereoscopy.com
scholar.google.fi/scholar?q=Stereo+matching&hl=en&lr=&btnG=Search
Wheatstone Charles, Contributions to the Physiology of Vision. Part the First. On some remarkable, and hitherto unobserved, Phenomena of Binocular Vision.
