Как стать автором
Обновить

Google представила нейромодель Pathdreamer для ориентации в помещениях

Время на прочтение 3 мин
Количество просмотров 1.4K

В Google AI Research представили нейромодель Pathdreamer, которая генерирует визуальные сцены помещений, учитывая невидимые области, с использованием ограниченных исходных данных и навигации. Pathdreamer может синтезировать иммерсивную сцену с одной точки обзора, предсказывая, что агент может увидеть, если он переместится в другое место или в совершенно невидимую область, например, за угол. Помимо приложений для редактирования видео и оживления фотографий, модель можно задействовать в обучении роботов для работы в реальном мире. 

Как работает Pathdreamer
Как работает Pathdreamer

Основная проблема на сегодняшний день заключается в том, что роботизированным агентам сложно использовать семантические подсказки в новых зданиях. Типичный подход состоит в том, чтобы использовать такие сигналы посредством обучения с подкреплением. Однако навигационные подсказки, полученные таким образом, трудно проверять и повторно использовать для другого агента без повторного обучения с нуля. 

Семантические подсказки может заменить модель визуального мира, которая позволила бы агенту делать конкретные прогнозы. Однако игровые среды все еще относительно просты по сравнению со сложностью и разнообразием реальных.

Pathdreamer, к примеру, позволит роботу найти определенную комнату или объект в незнакомом здании путем симуляции для определения ее/его вероятных местоположений. Нейромодель также можно использовать для увеличения объема обучающих данных для агентов.

Работа Pathdreamer включает два этапа
Работа Pathdreamer включает два этапа

Используя RGB, глубину, сегментацию и предлагаемую навигационную траекторию в качестве входных данных, Pathdreamer синтезирует сцены на 360º с высоким разрешением на расстоянии до 6-7 метров от исходного местоположения, в том числе из-за угла. Pathdreamer создает трехмерное облако точек для представления поверхностей в окружающей среде. Точки в облаке помечаются значением цвета RGB и по семантическим признакам, например, как стена, стул или стол.

Направляющие изображения в крайнем левом столбце представляют пиксели, которые агент ранее видел. Черные пиксели представляют области, которые ранее были невидимы, и для них Pathdreamer визуализирует различные выходные данные путем выборки нескольких векторов случайного шума
Направляющие изображения в крайнем левом столбце представляют пиксели, которые агент ранее видел. Черные пиксели представляют области, которые ранее были невидимы, и для них Pathdreamer визуализирует различные выходные данные путем выборки нескольких векторов случайного шума

Облако точек сначала повторно проецируется в 2D в новом месте, чтобы получить «навигационные» изображения, из которых Pathdreamer затем генерирует реалистичный RGB с высоким разрешением, семантическую сегментацию и глубину. По мере «движения» модели новые наблюдения накапливаются в облаке точек. Pathdreamer работает в два этапа: на этапе генерации структуры создаются изображения сегментации и глубины, а на этапе генерации изображений их преобразуют в выходные сигналы RGB. Концептуально первый этап обеспечивает правдоподобное высокоуровневое семантическое представление сцены, а второй этап преобразует его в реалистичное цветное изображение. Оба этапа основаны на сверточных нейронных сетях.

В областях с высокой степенью неопределенности, таких как места за углом или в невидимой комнате, возможно множество различных сцен. Генератор структуры в Pathdreamer обусловлен шумовой переменной, которая представляет стохастическую информацию о следующем местоположении. Выбирая несколько переменных шума, Pathdreamer может синтезировать различные сцены, позволяя агенту выбирать несколько вероятных результатов для заданной траектории. 

Pathdreamer обучается с изображениями и реконструкциями трехмерной среды из Matterport3D, а также способен синтезировать реалистичные изображения в виде непрерывных видеопоследовательностей. 

В Google нейромодель уже применяют в задаче визуальной и языковой навигации (VLN), где агент должен следовать инструкциям на естественном языке, чтобы перейти к местоположению в реалистичной трехмерной среде. При предварительном планировании на три шага вперед (примерно 6 м) агент VLN достигает показателя успешности навигации 50,4 %, что значительно выше, чем показатель успешности 40,6 % в других случаях. Максимальный коэффициент успеха агента составляет 59 %, хотя он тратит немного больше времени на принятие решения.

Планирование наперед с использованием навигационного графика с соответствующими визуальными наблюдениями оказалось более эффективно, чем планирование с использованием одного только навигационного графа
Планирование наперед с использованием навигационного графика с соответствующими визуальными наблюдениями оказалось более эффективно, чем планирование с использованием одного только навигационного графа

Код Pathdreamer выложили на GitHub.

В августе Google Research представила аудиокодек SoundStream на нейросети, который обрабатывает речь и музыку и может работать в режиме реального времени на процессоре смартфона. SoundStream будет выпущен как часть следующей улучшенной версии Lyra. Интегрируя его, разработчики смогут использовать существующие API-интерфейсы Lyra. Кроме того, SoundStream выйдет как отдельная модель TensorFlow для экспериментов.

Теги:
Хабы:
+12
Комментарии 0
Комментарии Комментировать

Другие новости

Истории

Работа

Data Scientist
75 вакансий

Ближайшие события

Московский туристический хакатон
Дата 23 марта – 7 апреля
Место
Москва Онлайн