Работа с 3D-графикой *

В предыдущей статье мы уже затрагивали задачу реконструкции 3D-объектов по их 2D-изображениям. В этой же углубимся в реконструкцию с головой! Вообще говоря, как мне кажется, сейчас мы рассмотрим гораздо более концептуально интересные методы, а именно - HSP и Mesh R-CNN. Это база, которая просто должна осесть в головах всех любителей ИИ в 3D!

Всем привет! На связи Саша Сырков из 2ГИС, и это рассказ, как чуть больше недели мы разрабатывали приложение на Vision OS, разбирались в особенностях Reality Composer Pro, ловили всевозможные текстурные баги, а в итоге всё же получили заветный апрув от Apple за 17 часов до официального открытия продаж VR-гарнитуры.

Под катом хронология событий от идеи до рабочего продукта и технические подробности создания нашего первого VisionOS-приложения — краткого справочника с 3D-моделями достопримечательностей.

P.S. для самых пытливых в конце вопрос: кто первый отгадает ответ, тому подарим нашего гуся.

Эд Катмулл — один из основоположников современной компьютерной графики. Он создал Z-buffer и наложение текстур. Возглавил разработку стандарта киноиндустрии Renderman, использующегося для создания визуальных эффектов. Катмулл соосновал студию Pixar. За свою карьеру он получил четыре «Оскара» и премию Тьюринга за выдающийся вклад в области информатики.

Александр Лонин, руководитель группы по полигональному моделированию, к. ф.-м. н., C3D Labs, представляет обзор топологии полигональной сетки, делится информацией об усовершенствованиях и новом функционале, а также знакомит с планами развития направления полигонального моделирования.

Для работы большинства алгоритмов недостаточно иметь представление о сетке только как о наборе треугольников, примером чего служит результат ее конвертации из формата STL. Единственное, что можно сделать с такой сеткой, — это нарисовать ее и посчитать площадь. Для всего остального в нашем распоряжении должна быть некая топологическая структура, которая и является фундаментом в полигональном моделировании.

В последнее время мы оцениваем на удивление много проектов, так или иначе связанных с 3D-пространством и ML-моделями. По всей видимости по прошествии 2023 года люди воодушевились и начали видеть возможность реализации тех идей, которые ранее просто-напросто казались научной фантастикой - и они не ошибаются! Исследователи и разработчики последних технологий достигли сногсшибательных результатов. В связи с этим хотел бы накидать цикл обзорных статей, которых как мне лично, так и нашей рабочей группе очень сильно недоставало в процессе ресёрча. 

В начале сентября мы выпустили новую версию системы КОМПАС-3D Home для любительского 3D-моделирования и домашнего использования. Мейкерам, умельцам, 3D-печатникам, домашним мастерам и блогерам доступны все возможности профессиональной САПР.

Что же нового появилось в КОМПАС-3D v22 Home?

Качество и объем датасетов играют решающее значение для обучения нейросетей. Разметка данных для датасетов это очень трудоемкая работа, для которой необходим ручной труд тысяч человек. Когда пользоватьель вводит капчу типа «укажите светофоры» на сайтах, он помогает ИТ‑компаниям размечать данные для датасетов. 20 лет назад считалось, что роботы не могут играть в шахматы, писать симфонии и рассказы. Сегодня в 2024 оказалось, что роботы могут писать симфонии, но не могут указать на каких картинках изображены светофоры. Поэтому для разметки датасетов используется люди. Для определения наличия на картинке светофора или пожарного гидранта используется низкоквалифицированная рабочая сила. Для определения признаков заболевания на рентгеновском снимке используются высококвалифицированные врачи. В любом случае используются люди. Поэтому данные для обучения нейросетей получаются очень дорогими. Есть даже поговорка: «Данные‑это новая нефть». Я бы уточнил, что «Размеченные данные‑это новая нефть».

Под катом будет описана методика добычи (или, как говорят нефтянники, дОбычи) относительно недорогих, но объемных датасетов для систем распознавания лиц.

Я люблю трассировщики лучей и даже посвятил им половину своей книги. Менее известна моя любовь к ZX Spectrum — домашнему компьютеру 1982 года, с которым я вырос и с которого начался мой интерес к графике и программированию. По современным стандартам эта машина столь смехотворно слаба (и даже по стандартам 1980-х), поэтому возникает неизбежный вопрос: в какой степени удастся портировать трассировщик лучей из книги Computer Graphics from Scratch на ZX Spectrum?

В ZX Spectrum установлен процессор Z80 на 3,5 МГц (в тысячу раз медленнее, чем современные компьютеры), который не может умножать числа (!!!), и 48 КБ ОЗУ (в миллион раз меньше); он имеет графический режим 256x176 (примерно в двести раз меньше современного разрешения), способный отображать 15 цветов (в миллион раз меньше, к тому же с довольно необычными особенностями). Интересная машина для графического приложения, активно задействующего CPU!

Я планирую реализовать его на Sinclair BASIC — встроенном языке программирования Spectrum. Это не просто BASIC, а древний, очень ограниченный диалект BASIC. Например, единственные структуры управления в нём — это FOR и IF (а у IF нет ELSE и даже ENDIF); все переменные глобальны; не существует вызовов функций, только GO TO и GO SUB; и так далее. Кроме того, он интерпретируемый, то есть сверхмедленный. Но, по крайней мере, он реализует программное умножение! Если мне нужна будет производительность, то я всегда могу переписать трассировщик на ассемблере.

Я настроил минимально необходимую среду: код на BASIC я пишу в VS Code, компилирую его с помощью BAS2TAP и запускаю в эмуляторе FUSE. Благодаря этому скорость итераций оказалась достаточно высокой.

Привет, Хабр! Я Михаил Солуянов, ведущий разработчик в МТС Авто — занимаюсь генерацией синтетических изображений для обучения нейросетей. В рабочее время я Unity-разработчик, а в свободное — инди-аниматор мультфильмов. Сегодня расскажу о том, как сделать складки на одежде без симуляции ткани в Blender.

В 2020 году я сделал мультфильм «Мышиный Новый год» (ru, en), который попал на фестиваль Giffoni-50 — один из самых крутых фестивалей, специализирующихся на детской анимации. В мультфильме у меня были герои — антропоморфные мыши в миниатюрных одеждах. И мне захотелось добавить им складки на одежде, которые правдоподобно реагировали бы на их движения. Расскажу о том, как использовал Tension Map и почему перешёл в итоге на Geometry Nodes. Поехали!

Люблю Blender. Он мощный, а в последних версиях красивый! А ещё он бесплатный. И даже становится удобнее. Но, если посмотреть на то, сколько вопросов в интернете про то, как сделать что-то вполне тривиальное, начинаешь понимать, что до реального удобства там ещё далеко. С последними версиями эти вопросы становятся менее актуальными, потому что часть этих проблем уже кто-то решил за вас, написав аддон, который и только ждет что бы его активировали!

А что делать, если руками никак, а нужного функционала нет? Написать свой аддон!

Привет, дорогие пользователи мира IT!

В эпоху активного развития веб-технологий и интерактивных приложений, 3D-графика становится всё более актуальной и востребованной. Но как создать 3D-приложение, не теряя преимуществ веб-разработки? В этой статье мы рассмотрим, как сочетать мощь Three.js с гибкостью React, чтобы создать собственную игру прямо в браузере.

В статье вы познакомитесь с библиотекой React Three Fiber и научитесь создавать интерактивные 3D-игры.

Спустя полгода после выхода публикации 3D Gaussian Splatting лавина препринтов на его основе накрыла область 3D-реконструкции. Какие задачи теперь решаются проще, и как именно Gaussian Splatting помогает в приложениях реального времени?

Древний Вавилон. Дерзкий строительный проект потерпел неудачу. Проблема, говоря современным языком, заключалась в отсутствии у строителей общего языка для обмена информацией. Они не могли объединить свои умственные усилия для достижения поставленной цели.

С тех пор строители не оставили попыток обойти древнее проклятие и найти подходящий способ объяснить свои ожидания от объекта строительства.

В книге «Руководство BIMcert — Базовые сведения openBIM (издание 2023 г.)» Леон ван Берло (Léon van Berlo), технический директор BuildingSMART International, и Симон Фишер (Simon Fischer), ассистент университета в области исследований цифрового строительного процесса Венского технического университета в Главе 3.7. объясняют, какие перспективы строительной отрасли даёт стандарт IDS. Рассмотрены примеры использования данного стандарта при формировании требований к автоматизированному обмену сведениями компонентов модели.

«Руководство BIMcert — Базовые сведения openBIM (издание 2023 г.)» доступно для бесплатной загрузки по адресу https://www.buildingsmart.co.at/downloads

3.7. Регламент передачи информации
3.7.1. Структура данных
3.7.2. Взаимосвязь со словарем данных buildingSmart
3.7.3. Фасет-параметры
3.7.4 Простые и составные ограничения
3.7.5. Область применения и использование IDS
3.7.6. Новые возможности с IDS
3.7.7. IDS в деталях
3.7.8. Альтернативные варианты
3.7.9. Возможности визуализации IDS
3.7.10. Взаимосвязь IDS с IFC

В этой небольшой заметке хотелось бы поделиться результатами реализаций нескольких технологий из gamdev-а. В основном коснёмся двух тем. Первая тема - это использование navmesh-ей для нахождения путей в пространстве трёхмерной сцены. Вторая тема - это использование lightmap и lightprob-ов для освещения динамических объектов. По каждой из этих тем обсудим немного теории и то, как всё это можно использовать в браузерном игровом 3d-движке Playcanvas.

Часто когда зрители видят наши трансляции с виртуальными аватарами, у них бывает две реакции. Они думают, что это заранее записанное видео, или что весь стрим делает нейросеть. Но обе эти гипотезы не имеют ничего общего с реальностью.

В статье подробно расскажу, как работают трансляции с виртуальными персонажами и какими знаниями надо обладать для их запуска.