Comments 46
«выполнять сегментацию и трекинг объектов»
Отлично, теперь можно будет при помощи компьютера найти второй носок, ключи и севший мобильник, как давно я это ждал!)
Отлично, теперь можно будет при помощи компьютера найти второй носок, ключи и севший мобильник, как давно я это ждал!)
На Kinect есть обычная камера, оттуда берется цвет и строятся текстуры. На картинке справа – текстурированная модель, вокруг которой летает источник света.
т.е. теперь чтобы запилить GTA не нужны 3Д модельеры, а просто нужно походить с Kinect'ом по городу? Да, вот это курто +)
т.е. теперь чтобы запилить GTA не нужны 3Д модельеры, а просто нужно походить с Kinect'ом по городу? Да, вот это курто +)
Только нужен не такой, а какой-нить промышленный кинетк =) мощный!
Если мне память не изменят, для четвёртой GTA как раз ездил минивэн и сканировал NY. Что именно он делал — не знаю, может просто фотографировал здания для текстур, но люди с таким бюджетом могли пойти и дальше. Пруфа сейчас не найду.
Результат сканирования думаю все равно требует доработки для построения легких качественных моделей, иначе модель тяжелая получится. Острые углы надо восстановить, убрать шумы. Т.е. начальная сетка — это хорошая отправная точка для дизайнеров.
Для сканирования улиц мне кажется можно обойтись стереокамерой на машине (или даже одной, но в движении). 3D можно попытаться восстановить как это делает photosynth — это когда совмещаем обычные фотографии сделанные под разными ракурсами и получаем 3D точки. Тут ведь еще проблема в том, что сканер работающий на большом расстоянии стоит довольно дорого, да и вообще мне кажется там есть какое-то ограничение.
Для сканирования улиц мне кажется можно обойтись стереокамерой на машине (или даже одной, но в движении). 3D можно попытаться восстановить как это делает photosynth — это когда совмещаем обычные фотографии сделанные под разными ракурсами и получаем 3D точки. Тут ведь еще проблема в том, что сканер работающий на большом расстоянии стоит довольно дорого, да и вообще мне кажется там есть какое-то ограничение.
Обойтись-то можно и камерой какой ноклы с полифонией, но здесь же речь идёт об огромных обьёмах данных, как «фасад здания»/сек. Более того, взгляните, на что у них клавиатура похожа, её проще с вафлей спутать. Там нужна бешенная разрешающая способность и много дублирующих девайсов, работающих асинхронно и с разных ракурсов. Плюс, где-то это надо сжимать и хранить. Вырисовывается мобильный кластер, со своим дизелем на борту :) я этим комментарием скорее не возражаю, а дополняю.
Да, если сканировать с высоким разрешением, то поток данных может быть огромным. При работе сканера постобработку оставляют на потом, а здесь им удалось строить модель сразу, что очень экономно, т.к. они нигде не хранят поток точек 640x480 30 fps, но с другой стороны возникнет ограничение на сложность самой сетки, когда система начнет подтормаживать, тогда придется применять всякие ухищрения.
По детализации мне кажется они упираются в число сканирующих точек в датчике глубины. Еще конечно влияет зашумленность данных и необходимость аппроксимации нормали к поверхности по окрестности точки, т.е. получается, что разрешение по точкам должно быть с некоторым запасом. Можно найти в интернете фотки комнаты подсвеченной kinect в ик диапазоне — там видна плотность точек, она не очень высокая. Но с другой стороны сблизи от камеры она может быть достаточно большой, если поставить правильную оптику. Было бы очень удобно — провести kinect близко перед объектом и получить более детальную модель.
По детализации мне кажется они упираются в число сканирующих точек в датчике глубины. Еще конечно влияет зашумленность данных и необходимость аппроксимации нормали к поверхности по окрестности точки, т.е. получается, что разрешение по точкам должно быть с некоторым запасом. Можно найти в интернете фотки комнаты подсвеченной kinect в ик диапазоне — там видна плотность точек, она не очень высокая. Но с другой стороны сблизи от камеры она может быть достаточно большой, если поставить правильную оптику. Было бы очень удобно — провести kinect близко перед объектом и получить более детальную модель.
«но с другой стороны возникнет ограничение на сложность самой сетки, когда система начнет подтормаживать, тогда придется применять всякие ухищрения»
LOD? Строим сразу 2 мира: 1 с качественной детализацией, а второй — с наименьшей основной детализацией по каким-нибудь опорным точкам. Например клавиатуру в клипе при значительном расстоянии до кинекта можно спокойно заменить паралеллепипедом, тем самым сократив кол-во опорных точек всего до 6. И основной мир подгружать только определенном радиусе, а все остальные дальние точки — LOD модели, как это сделано в той самой GTA про которую все говорили =) про остальные игры не знаю, т.к. не замечал, а вот в SA это очень выделяется при имеющихся мощах и быстром полёте на гидре)))
LOD? Строим сразу 2 мира: 1 с качественной детализацией, а второй — с наименьшей основной детализацией по каким-нибудь опорным точкам. Например клавиатуру в клипе при значительном расстоянии до кинекта можно спокойно заменить паралеллепипедом, тем самым сократив кол-во опорных точек всего до 6. И основной мир подгружать только определенном радиусе, а все остальные дальние точки — LOD модели, как это сделано в той самой GTA про которую все говорили =) про остальные игры не знаю, т.к. не замечал, а вот в SA это очень выделяется при имеющихся мощах и быстром полёте на гидре)))
Что-то типа того.
Человек с Kinect-ом не может мгновенно переместится в другое место, за счет этого они так быстро совмещают (регистрируют в терминологии реверса) облако точек с существующей сеткой. Для совмещения используется алгоритм ICP, это по сути специальный тип минимизации для которой самое важное — хорошее начальное приближение. При локальном движении им удалось достаточно эффективно находить это начальное приближение.
Вот и получается, что обновление сетки носит локальный характер, а для работы с большими моделями типа целых зданий нужно реализовать эффективный механизм подгрузки геометрии, ну и конечно LOD нужен, чтобы видеть то что вдали находится.
Не знаю уж насколько критична проблема выбора начального приближения у них, но например за счет добавления акселерометров можно точность выбора начального приближения повысить, тем самым сократив число итераций ICP и ускорив алгоритм. Но повторю — может это и не является узким местом.
Человек с Kinect-ом не может мгновенно переместится в другое место, за счет этого они так быстро совмещают (регистрируют в терминологии реверса) облако точек с существующей сеткой. Для совмещения используется алгоритм ICP, это по сути специальный тип минимизации для которой самое важное — хорошее начальное приближение. При локальном движении им удалось достаточно эффективно находить это начальное приближение.
Вот и получается, что обновление сетки носит локальный характер, а для работы с большими моделями типа целых зданий нужно реализовать эффективный механизм подгрузки геометрии, ну и конечно LOD нужен, чтобы видеть то что вдали находится.
Не знаю уж насколько критична проблема выбора начального приближения у них, но например за счет добавления акселерометров можно точность выбора начального приближения повысить, тем самым сократив число итераций ICP и ускорив алгоритм. Но повторю — может это и не является узким местом.
«Трахни наконец, кого мечтал!»
«Трахни наконец, кого мечтал!»
Проектор+Kinect получиться большущий мульти-тач дисплей.
UFO just landed and posted this here
Порадовал в ролике реальный чайник Юта
Компьютеры начинают видеть мир как люди…
Вау! Офигеть!
Огромное не паханное поле дл прогресса…
Круто, спору нет. Но, я так подозреваю, что за пределы лабораторий оно выйдет еще очень и очень не скоро. Достаточно статическая сцена с твердыми объектами и небольшим количеством динамики в виде людей и двигающихся чашек — это хорошо, только вот реальный мир далеко не такой статичный и очень часто не твердый:) Но, все равно, круто!
В играх наверняка постараются использовать. В прошлом году они показывали возможности взаимодействия с предметами из реального мира, но там было что-то простое — типа показываем фотку и листок с изображением забирает себе виртуальный персонаж. Здесь же можно передавать небольшие 3D предметы и использовать их в игре. Загрузка больших пространств — это уже задача посложнее, но думаю и этому найдут применение.
Это очень круто, поскольку это по сути 3D сканер по цене, не сопоставимой с реальными моделями…
Интересно, а движения человека можно оцифровать таким способом?
С движением не просто, тут надо строить модель и отслеживать ее параметры. Собственно Kinect SDK это умеет, но он это делает более хитрым и дешевым способом, не прибегая к построению и совмещению 3D поверхности. Возможно, что при наличии подобного нового алгоритма и отслеживание движения вывести на новый уровень.
В этом видео показан трекинг пальцев руки и вероятно, что он делается новым методом.
В этом видео показан трекинг пальцев руки и вероятно, что он делается новым методом.
Ждем гугломобилей с 3D сканерами и обновление Street View. )
Порвало! А теперь представьте, 3D фото с места преступления у криминалиста. И какие по качеству и реальности уровни интерьеров можно будет бацать в шутерах.
Теперь вместе с сьемкой фильма можно сразу снимать сцены кинектом, для будущей игры по этому фильму, кинект упрощает жизнь)
Если только в русских малобюджетных фильмах =)
Если серьезно, то можно так делать, но не для игры, а для упрощения работы CGI&Compositing Department :)
А еще можно интерактивные кино-ролики снимать, походить по смотреть со всех ракурсов, кто первый это реализует произведет революцию в порноиндустрии.
Щикарно, будущее за этой технологией на мобилке.
Вспомнился «Iron man», где таким макаром корпорация добра получала real-time 3d картинку мира
Интересно когда эта разработка появится у нас чтобы купить. Я бы взял сразу.
Как я понял, кинект в первую очередь составляет Raw Normal Map. Каким образом?
В общей задаче reverse engineering CAD модели (облако точек -> сетка -> параметрические поверхности) первым шагом строят сетку из облака точек, там существует ряд подходов, можно поискать по словам «triangle mesh point cloud». Как часть этих алгоритмов или как отдельный метод существуют подходы для аппроксимации нормалей. Как вариант — берем точку с соседями и пытаемся построить поверхность, потом вычисляем нормаль. Искать можно по «point cloud normals».
Видео очки + кинект на голове = почти Матрица
Sign up to leave a comment.
KinectFusion — построение 3D сцены в реальном времени