Всем привет!
Меня зовут Илья и я являюсь одним из разработчиков в команде in3D - мы делаем технологию по созданию 3D модели человека с помощью телефона. Мы начали еще в далеком 2019 году и с тех пор мы сильно продвинулись вперед. Давайте вместе посмотрим на прогресс нашей технологии и на основные шаги улучшения.
Спойлер для самых нетерпеливых, тут можно посмотреть как выглядит наше приложение и результат, а так же сравнение с некоторыми другими приложениями для сканирования:
2019
Сначала был взрыв.
Совсем первые эксперименты от основателя in3d были сделаны на основе пары облаков точек, сделанных с помощью Kinect. Дальше через они совмещались и делалась попытка симуляции пары кусков ткани. Было принято стратегическое решение - сделать продукт, который позволит каждому человеку сделать свою фотореалистичную 3D модель. Так сказать, начало Metaverse.
Одна из основных проблем, с которой мы столкнулись в самом начале была связана с качеством датчика глубины на телефоне, он был слишком шумным. Для создания хорошей модели нужно уметь соединять облака точек с разных кадров, убирать шум и оставлять максимально много деталей, что оказалось не очень-то и просто. Первые аватары были без текстуры и основная работа была по созданию правильной формы.
![Пример промежуточного результата сканирования сделанного в 2019 году Пример промежуточного результата сканирования сделанного в 2019 году](https://habrastorage.org/getpro/habr/upload_files/754/eae/410/754eae4103521686c3568f5368605dae.png)
2020
Потом появилась форма.
![Примеры аватаров сделанных в 2020 году Примеры аватаров сделанных в 2020 году](https://habrastorage.org/getpro/habr/upload_files/22e/ca0/523/22eca0523dcc552c14ec9c98e0364232.png)
Нам удалось побороть шум и склеить много кадров во что-то похожее на тело человека, дальше началось большое количество итеративных улучшений, решений технологических проблем и создания расширяемой инфраструктуры для приложения. Так как наша технология действительно сложная, на всем протяжении обработки данных используются видеокарты, и часть команды сфокусировалась на ускорении, другая продолжала улучшать качество моделей.
![](https://habrastorage.org/getpro/habr/upload_files/c24/02f/791/c2402f79169daa267395e70830e20471.png)
Удалось пробить большую технологическую преграду - мы смогли очень хорошо и консистентно понимать все про форму человека из данных. Дело осталось за малым - убедить мир, что мы делаем это лучше всех на таких шумных данных.
Основной майлстоун в 2020 году это запуск приложения, нам удалось довести все до финального продукта, попасть в App Store и начать тестировать технологию на разных юзерах. Выходило все лучше и лучше, но все еще были разные случаи, когда алгоритм не справлялся и модель не собиралась. Мы набирались данных и опыта решения множества граничных случаев. Так же из основного - у нас выделился в отдельный этап процесс сканирования головы и визуальный результат сильно улучшился.
В этом же году начались первые реальные применения нашей технологии - аватары стали насколько точными (ошибка до 1 см), что стартап unspun начал с помощью наших моделей считать мерки людей для пошива джинсов, ведь началась пандемия - сложно приехать в офис в Калифорнии, особенно если ты не в Калифорнии.
Так же мы старались найти другие интересные применения, экспорт в игры (Second Life, VRChar, GTA V).
![](https://habrastorage.org/getpro/habr/upload_files/913/b1c/5dc/913b1c5dc8d9480aa59a3b6163fe27b1.png)
2021
И пришел текстурированный фотореалистичный аватар.
![Примеры аватаров сделанных в 2021 году Примеры аватаров сделанных в 2021 году](https://habrastorage.org/getpro/habr/upload_files/83a/58b/925/83a58b9256671bb462a47716643809f0.png)
У наших аватаров теперь есть отличная форма, сильно улучшенная за предыдущий год - с это формы можно снимать мерки тела, много работы проводилось над визуальным улучшением аватаров и их текстуры.
Основной вехой прогресса в 2021 году на данный момент стало создание виртуальной примерочной - как по мне, так это что-то вроде проекта, о котором сотни стартапов говорило, но ни у кого не получилось распространенного продукта. Сделали мы это вместе с командой digital дизайнеров Replicant.
Нам удалось реализовать автоматизированную примерку одежды на персональные аватары и оформить это в весьма приятный опыт для пользователя (тут я предлагаю взять и оценить самому).
Ну и напоследок, видео про все фичи, которые есть в приложении на сегодняшний день: