Выпущенный на рынок в ноябре 2010 года игровой контроллер Kinect является первым недорогим бытовым устройством для прямого дистанционного трехмерного измерения объектов и сцен. Я искренне благодарен компании Microsoft за этот шаг.
Первым устройством такого типа являлись любые разновидности радаров и сонаров, начиная от устройств системы ПВО и заканчивая парктроником на автомобиле. Если известна скорость распространения зондирующего импульса в среде, то умножение скорости на половину времени между моментами излучением и приема импульса даст расстояние от излучателя до объекта, который отразил сигнал. Ориентируя по-разному систему излучатель-приемник в пространстве, можно промерять набор расстояний до отражающих объектов в данном направлении.
Производство компактных твердотельных лазеров позволило создать системы измерения, которые в качестве зондирующего импульса использовали свет. Тот или иной механический способ ориентирования светового луча позволил таким системам производить последовательные измерения в пространственном секторе (или сканировать его, соответственно устройства измерения стали называться лазерными сканерами).
Любой сканер выдает набор трехмерных координат точек отражения лазерного луча относительно точки излучения. Представление в такой локальной системе координат является вполне достаточным для измерений локальных размеров вплоть до здания (стационарный сканер). Если же снабдить такой сканер достаточно точным GPS приемником и системой измерений его угловой ориентации по трем направлениям, то его можно устанавливать на самолет как аэросъемочный сканер или на на автомобиль как мобильный сканер.
Рабочей длиной волны сканеров является ближний инфракрасный свет с длиной волны около 1 мкм для авиационных сканеров (меньшее рассеивание в парах атмосферы) и больше 1 мкм для стационарных сканеров (более безопасно для зрения).
Результатом работы лазерных сканеров является облако трехмерных точек (point cloud).
Вся история лазерного сканирования произошла буквально «вот только что», прямо на моих глазах, и укладывается в 20 лет.
Достоинств много:
— Прямой метод измерения трехмерных координат, в отличие от стереомтерии.
— Возможность измерять сквозь оптически прозрачные покровы. В частности, воздушное лазерное сканирование позволяет получать координаты рельефа под покровом растительности.
— Высокая производительность, что особенно важно для мобильных систем.
Но есть и недостатки, можно выделить три основных:
— Длительность процесса механического сканирования назначенного пространственного сектора (полного пространства для стационарного сканера, полосы или окружности для мобильного). К тому же дополнительные системы развертки могут вносить искажения в путь распространения луча, что требует отдельной обработки.
— Отсутствие яркостной информации. Современные сканеры позволяют измерять интенсивность отраженного света, что только в некоторой степени способно заменить яркостное изображение, но полностью не решают проблемы интерпретации точек отражения.
— Сочетание лазерного сканера с параллельным цифровым фотографированием позволяет получить яркостную характеристику сцены только косвенным методом путем проецирования фотографии на соответствующие участки облака точек. Особенно трудоемок это процесс для
— Большие габариты и энергопотребление, хотя в последнее время производители работают над этим вопросом. Этой зимой я видел электрический беспилотный вертолет с очень компактным сканером на борту, которым обследовали участок леса в Лапландии.
Совершенно очевидным подходом к дистанционному трехмерному измерению является использование оптической фокусирующей системы и цифровой матрицы. Если известны параметры оптической системы, то задача восстановления пространственного положения любого пришедшего на матрицу луча является тривиальной. Дело остается за тем, что бы создать вспышку света на корпусе измеряющего аппарата и каким-то образом измерить задержку в приходе отраженного от объекта света на каждый пиксель цифровой матрицы.
В 2006 году, на одной из отраслевых конференций, случилось обсуждение только что взошедшей звезды Google Maps вкупе с понятием «неогеографии». Практически каждое выступление сопровождалось упоминанием о необходимости перехода на истинно трехмерные текстурированные данные. Слушая докладчиков, я ясно ощутил, что лет через пять-семь портативные бытовые трехмерные камеры выйдут на рынок. Но сканерные решения на эту роль подходят плохо.
Идея нового решения приходила в голову многим, при этом инвестиционный план предлагался по одной и той же схеме: «сейчас вы нам дадите миллион (или десять, или сто), а мы вам аппарат через десять лет (или пять, или через год)». Мы не стали инвестировать.
Весной 2009 года компания приобрела израильскую фирму 3DV Systems. Израильтяне до того выпустили на рынок свою дальномерную камеру ZCam и нацелились на рынок игровых контроллеров. Судя по всему, Microsoft оценила технологию, как перспективную и решила использовать ее для внедрения в новый контролер для игровой приставки Xbox 360, назвав эту разработку «проект Наталь»
Конструкция камеры позволяет отнести ее к так называемым «времяпролетным», что, по сути, означает параллельную реализацию указанных выше принципов.
Основными узлами камеры являются излучатель, оптическая система, специальная цифровая матрица и электронная измерительная и вычислительная система.
Необходимо отметить, что характерные размеры области измерений (несколько метров) и требуемая точность (несколько сантиметров) выдвигают очень жесткие требования к временной точности работы всех измерительных устройств.
Например, для обнаружения объекта, находящегося на расстоянии нескольких метров от камеры, характерное время запаздывания отражения составляет всего 10 нс (при скорости света c = 3 108 м/с). Соответственно, можно посчитать, что заявленная точность определения расстояния требует определять момент прихода отклика с точностью на два порядка больше. Характерные рабочие частоты электронной схемы лежат в области гигагерц.
Внешний вид объектива и вспышки
Излучатель создает очень короткую равнонаправленную световую вспышку (по длительности эквивалентную расстоянию в несколько метров, что определяет максимально дальность камеры, например 7.5 метров при длительности вспышки t0 =50 нс). Рабочая длина волны составляет, скорее всего, 1.5 мкм. Отраженный от сцены свет возвращается обратно и фокусируется оптической системой так, что бы падать на цифровую матрицу.
Эта матрица имеет специальный тип и состоит из фотодиодов. При попадании света на фотодиод, он начинает вырабатывать ток, который через ключ передается на накопительные элементы (конденсаторы). В простейшем случае можно использовать два конденсатора
Первоначально заряжается первый конденсатор S1, через 50 нс после начала световой вспышки ключ переключается на зарядку второго конденсатора S2. Еще через 50 нс ключ переходит в нейтральное положение.
Через небольшой интервал весь процесс повторяется снова. Так как частота следования вспышек достаточно большая и всю сцену можно считать неподвижной, то заряды конденсаторов S1 и S2 накапливаются от вспышки к вспышке, тем самым повышая уровень сигнал/шум и увеличивая надежность расчета. Для накопления используются несколько тысяч циклов.
В результате, соотношение между зарядами S1 и S2 позволяет определить положение фронта отраженного импульса относительно вспышки. Окончательно рассчитать расстояние D вдоль луча, пришедшего к данному пикселю, можно по формуле
D = c t0 S2 / 2(S1 + S2)
Временные диаграммы (из Википедии)
Согласно заявленным техническим характеристикам, контролер Kinetic поддерживает рабочий диапазон дальностей от 1 до 6 метров и имеет поле зрения примерно 50 угловых градусов в обоих направлениях. Разрешение дальномерной матрицы невелико и составляет, скорее всего, 320 х 240 пикселей.
Одновременно со сбором дальностной информацией, обычная цифровая матрица выполняет видеосъемку сцены.
Облака точек как результат работы Kinect
Ими являются паразитная засветка, которая может превышать яркость вспышки и множественные отражения света, что дает фальшивые точки отражений. В принципе, бороться с этим можно, вводя ту или иную модуляцию сигнала для выделения его из фона.
Среди них я бы назвал компактные трехмерные домашние сканеры и использование в робототехнике и транспорте (вспоминается трехмерный сканер, установленный на скейте И.В. в «Лавине» Стивенсона)
Меня поражает, что уровень развития электроники позволяет сейчас напрямую измерить время, необходимое самому быстрому в мире процессу для распространения на нескольких метров. Надеюсь, что серия подобных устройств одним Kinect-ом не ограничится и предлагаемая технология займет свое достойное место.
Совсем недавняя история
Первым устройством такого типа являлись любые разновидности радаров и сонаров, начиная от устройств системы ПВО и заканчивая парктроником на автомобиле. Если известна скорость распространения зондирующего импульса в среде, то умножение скорости на половину времени между моментами излучением и приема импульса даст расстояние от излучателя до объекта, который отразил сигнал. Ориентируя по-разному систему излучатель-приемник в пространстве, можно промерять набор расстояний до отражающих объектов в данном направлении.
Производство компактных твердотельных лазеров позволило создать системы измерения, которые в качестве зондирующего импульса использовали свет. Тот или иной механический способ ориентирования светового луча позволил таким системам производить последовательные измерения в пространственном секторе (или сканировать его, соответственно устройства измерения стали называться лазерными сканерами).
Любой сканер выдает набор трехмерных координат точек отражения лазерного луча относительно точки излучения. Представление в такой локальной системе координат является вполне достаточным для измерений локальных размеров вплоть до здания (стационарный сканер). Если же снабдить такой сканер достаточно точным GPS приемником и системой измерений его угловой ориентации по трем направлениям, то его можно устанавливать на самолет как аэросъемочный сканер или на на автомобиль как мобильный сканер.
Рабочей длиной волны сканеров является ближний инфракрасный свет с длиной волны около 1 мкм для авиационных сканеров (меньшее рассеивание в парах атмосферы) и больше 1 мкм для стационарных сканеров (более безопасно для зрения).
Результатом работы лазерных сканеров является облако трехмерных точек (point cloud).
Вся история лазерного сканирования произошла буквально «вот только что», прямо на моих глазах, и укладывается в 20 лет.
Достоинства и недостатки лазерного сканирования
Достоинств много:
— Прямой метод измерения трехмерных координат, в отличие от стереомтерии.
— Возможность измерять сквозь оптически прозрачные покровы. В частности, воздушное лазерное сканирование позволяет получать координаты рельефа под покровом растительности.
— Высокая производительность, что особенно важно для мобильных систем.
Но есть и недостатки, можно выделить три основных:
— Длительность процесса механического сканирования назначенного пространственного сектора (полного пространства для стационарного сканера, полосы или окружности для мобильного). К тому же дополнительные системы развертки могут вносить искажения в путь распространения луча, что требует отдельной обработки.
— Отсутствие яркостной информации. Современные сканеры позволяют измерять интенсивность отраженного света, что только в некоторой степени способно заменить яркостное изображение, но полностью не решают проблемы интерпретации точек отражения.
— Сочетание лазерного сканера с параллельным цифровым фотографированием позволяет получить яркостную характеристику сцены только косвенным методом путем проецирования фотографии на соответствующие участки облака точек. Особенно трудоемок это процесс для
— Большие габариты и энергопотребление, хотя в последнее время производители работают над этим вопросом. Этой зимой я видел электрический беспилотный вертолет с очень компактным сканером на борту, которым обследовали участок леса в Лапландии.
Очевидное решение
Совершенно очевидным подходом к дистанционному трехмерному измерению является использование оптической фокусирующей системы и цифровой матрицы. Если известны параметры оптической системы, то задача восстановления пространственного положения любого пришедшего на матрицу луча является тривиальной. Дело остается за тем, что бы создать вспышку света на корпусе измеряющего аппарата и каким-то образом измерить задержку в приходе отраженного от объекта света на каждый пиксель цифровой матрицы.
В 2006 году, на одной из отраслевых конференций, случилось обсуждение только что взошедшей звезды Google Maps вкупе с понятием «неогеографии». Практически каждое выступление сопровождалось упоминанием о необходимости перехода на истинно трехмерные текстурированные данные. Слушая докладчиков, я ясно ощутил, что лет через пять-семь портативные бытовые трехмерные камеры выйдут на рынок. Но сканерные решения на эту роль подходят плохо.
Идея нового решения приходила в голову многим, при этом инвестиционный план предлагался по одной и той же схеме: «сейчас вы нам дадите миллион (или десять, или сто), а мы вам аппарат через десять лет (или пять, или через год)». Мы не стали инвестировать.
А Microsoft вложилась
Весной 2009 года компания приобрела израильскую фирму 3DV Systems. Израильтяне до того выпустили на рынок свою дальномерную камеру ZCam и нацелились на рынок игровых контроллеров. Судя по всему, Microsoft оценила технологию, как перспективную и решила использовать ее для внедрения в новый контролер для игровой приставки Xbox 360, назвав эту разработку «проект Наталь»
Устройство дальнометрической камеры ZCam (по материалам из интернета)
Конструкция камеры позволяет отнести ее к так называемым «времяпролетным», что, по сути, означает параллельную реализацию указанных выше принципов.
Основными узлами камеры являются излучатель, оптическая система, специальная цифровая матрица и электронная измерительная и вычислительная система.
Необходимо отметить, что характерные размеры области измерений (несколько метров) и требуемая точность (несколько сантиметров) выдвигают очень жесткие требования к временной точности работы всех измерительных устройств.
Например, для обнаружения объекта, находящегося на расстоянии нескольких метров от камеры, характерное время запаздывания отражения составляет всего 10 нс (при скорости света c = 3 108 м/с). Соответственно, можно посчитать, что заявленная точность определения расстояния требует определять момент прихода отклика с точностью на два порядка больше. Характерные рабочие частоты электронной схемы лежат в области гигагерц.
Внешний вид объектива и вспышки
Общие принцип работы камеры
Излучатель создает очень короткую равнонаправленную световую вспышку (по длительности эквивалентную расстоянию в несколько метров, что определяет максимально дальность камеры, например 7.5 метров при длительности вспышки t0 =50 нс). Рабочая длина волны составляет, скорее всего, 1.5 мкм. Отраженный от сцены свет возвращается обратно и фокусируется оптической системой так, что бы падать на цифровую матрицу.
Эта матрица имеет специальный тип и состоит из фотодиодов. При попадании света на фотодиод, он начинает вырабатывать ток, который через ключ передается на накопительные элементы (конденсаторы). В простейшем случае можно использовать два конденсатора
Первоначально заряжается первый конденсатор S1, через 50 нс после начала световой вспышки ключ переключается на зарядку второго конденсатора S2. Еще через 50 нс ключ переходит в нейтральное положение.
Через небольшой интервал весь процесс повторяется снова. Так как частота следования вспышек достаточно большая и всю сцену можно считать неподвижной, то заряды конденсаторов S1 и S2 накапливаются от вспышки к вспышке, тем самым повышая уровень сигнал/шум и увеличивая надежность расчета. Для накопления используются несколько тысяч циклов.
В результате, соотношение между зарядами S1 и S2 позволяет определить положение фронта отраженного импульса относительно вспышки. Окончательно рассчитать расстояние D вдоль луча, пришедшего к данному пикселю, можно по формуле
D = c t0 S2 / 2(S1 + S2)
Временные диаграммы (из Википедии)
Согласно заявленным техническим характеристикам, контролер Kinetic поддерживает рабочий диапазон дальностей от 1 до 6 метров и имеет поле зрения примерно 50 угловых градусов в обоих направлениях. Разрешение дальномерной матрицы невелико и составляет, скорее всего, 320 х 240 пикселей.
Одновременно со сбором дальностной информацией, обычная цифровая матрица выполняет видеосъемку сцены.
Облака точек как результат работы Kinect
Недостатки схемы
Ими являются паразитная засветка, которая может превышать яркость вспышки и множественные отражения света, что дает фальшивые точки отражений. В принципе, бороться с этим можно, вводя ту или иную модуляцию сигнала для выделения его из фона.
Перспективы
Среди них я бы назвал компактные трехмерные домашние сканеры и использование в робототехнике и транспорте (вспоминается трехмерный сканер, установленный на скейте И.В. в «Лавине» Стивенсона)
Меня поражает, что уровень развития электроники позволяет сейчас напрямую измерить время, необходимое самому быстрому в мире процессу для распространения на нескольких метров. Надеюсь, что серия подобных устройств одним Kinect-ом не ограничится и предлагаемая технология займет свое достойное место.
