Совсем скоро, уже в сентябре 2021 года пройдут полуфинальные отборочные тесты, проводимого некоммерческим фондом XPRIZE всемирного конкурса ANA Avatar с призовым фондом в 10 миллионов долларов. Целью соревнования является разработка системы аватаров, которые позволили бы человеку не только виртуально присутствовать, но и действовать в режиме реального времени в том месте, где находится управляемый им робот-аватар.

Такие системы могут использоваться уже сегодня, о чем свидетельствуют успехи многих команд участниц. А разработка более совершенного варианта значительно расширяет возможности подобных технологий. Они найдут применение в тех случаях, когда специалист не имеет возможности физического присутствия на месте работ, но может сделать это с помощью аватара. Покупатель сможет, хотя и виртуально, детально оценить приобретаемый в магазине товар. Виртуальный путешественник без особого труда посетит и при этом прочувствует колорит заморских стран, сможет почти реально прикоснуться к удаленным музейным экспонатам.

Серия полуфинальных тестов ANA Avatar XPRIZE пройдет с 10 по 21 сентября 2021 в Майами в США. Отбор финалистов конкурса будет происходить по результатам оценок, которые предстоит получить аватарам 37 участников в тестовом испытании. Тестовое испытание предполагает выполнение одного из трех сценариев, которые были разработаны консультационным советом и жюри ANA Avatar XPRIZE с привлечением отраслевых экспертов. Сценарии представляют собой перспективные для использования аватаров сферы деятельности, сюда входят коммуникации в бизнесе, культурные обмены, различные виды обучения и социального взаимодействия.

Эксперты подготовили реалистичные сценарии жизни робота аватара среди людей, таким образом, чтобы оценить возможность оператора, управляющего аватаром, ощущать присутствие, как если бы он находился в данной удаленной локации. Они призваны продемонстрировать способен ли робот-аватар сегодня поддерживать общение и донести такой же уровень реалистичности для двух сторон, как при живом общении: общение, жестикуляция, понимание и оценка окружающей обстановки, способность ориентироваться в пространстве и взаимодействовать с предметами.

Задания в каждом сценарии разбиты на шесть отдельных этапов – подзадач. Помимо иммерсивности взаимодействия жюри будет оценивать общую способность аватаров команд выполнить поставленные задачи.

Действующими лицами во всех сценариях являются Оператор и его Собеседник (это может быть коллега, партнер, друг и др.). Аватар является посредником между ними. Давайте подробнее рассмотрим сценарии, которые предстоит пройти командам в полуфинале соревнования ANA Avatar XPRIZE.

#1: Социальное взаимодействие и кооперация

Сценарий 1 называется «Собираем пазл вместе». Он призван показать пригодность аватара для совместной деятельности его удаленного оператора с находящимся на месте действия коллегой. Аватар и его коллега по сборке располагаются за столом друг напротив друга. Они должны совместно собрать деревянный пазл, вложив фигурные детали в соответствующие по форме отверстия.

Задача 1. Оператор/аватар приветствует собеседника-коллегу, представляется и предлагает вместе собрать пазл.

Задача 2. Собеседник кладет на стол перед аватаром набор деталей для пазла, объясняет процесс и очередность совместных действий. Оператор/аватар устно подтверждает понимание правил.

Задача 3. Оператор/аватар кладет в нужное место деталь пазла, проговаривая, что на нем изображено.

Задача 4. Оператор/аватар указывает коллеге на следующую деталь пазла, которую следует использовать

Задача 5. Затем он передает еще одну деталь коллеге и просит его завершить оставшуюся часть головоломки.

Задача 6. По завершению сборки пазла оператор/аватар и его коллега вместе радуются успеху, демонстрируя жест «high five» (дай пять).

#2: Бизнес взаимодействие

Сценарий 2 связан с взаимодействием людей в коммерческих структурах и называется «Заключительная стадия сделки». Удаленный бизнесмен (Оператор) присутствует с помощью аватара в офисе своего партнера, который вместе с аватаром сидит за накрытым обеденным столом с пластиковыми стаканами для напитков: кофейные стаканчики, пластиковые стаканы для вина и обыкновенные пластиковые стаканчики

Задача 1. С помощью аватара бизнесмен приветствует своего партнера взмахом руки.

Задача 2. И выражает на словах удовлетворение своим присутствием на встрече.

Задача 3. Партнер просит бизнесмена выбрать напиток. Бизнесмен/аватар указывает на стакан с напитком.

Задача 4. Партнер подвигает выбранный стакан с напитком к аватару и выбирает себе подобный стакан.

Задача 5. Аватар/бизнесмен и партнер поднимают стаканы, партнер произносит тост. Сheers - cтаканы должны соприкоснуться, как при обычном тосте.

Задача 6. Аватар/бизнесмен прощается и выходит из-за стола.

#3: Культура, путешествия, преподавание

Сценарий 3 называется «Посещение исторического музея» и связан с использованием аватаров для удаленного обучения, посещения музеев, других учреждений культуры, в процессе путешествий, преподавания. Посетитель/аватар входит в музей, чтобы изучить имеющиеся там экспонаты и пообщаться с встречающим его сотрудником музея. Сотрудник музея стоит за столом, на котором разложены экспонаты, а сзади него развешены плакаты, рассказывающие о текущих выставочных коллекциях. Аватар располагается с другой стороны стола.

Задача 1. Сотрудник музея просит посетителя/аватар указать на желаемый для просмотра объект. Посетитель/аватар указывает на постер выставочной коллекции, представленный на стенде.

Задача 2. Сотрудник указывает на экспонат, лежащий на столе и относящийся к данной выставке, он просит посетителя/аватара описать его внешний вид. Что тот и должен будет сделать

Задача 3. Посетитель/аватар прикасаясь к экспонату исследует его.

Задача 4. Ему необходимо описать ощущаемую текстуру экспоната.

Задача 5. Сотрудник музея берет в руки и передает экспонат посетителю/аватару, который оценивает вес предмета и кладет его обратно на стол.

Задача 6. Посетитель/аватар благодарит сотрудника. Тот указывает ему позицию начала осмотра выставки (метка на полу). Аватар перемещается на эту отметку.

Эти тестовые сценарии призваны помочь организаторам в объективной оценке возможностей технологий разных аватаров. В идеале аватар должен предоставлять оператору максимальную полноту сенсорных и тактильных ощущений при перемещении предметов, при взаимодействии с исследуемыми объектами и другими людьми.

Сценарии выглядит достаточно просто с точки зрения выполнения подобных операций реальным человеком, но для робота, эти задачи представляются в совершенном ином свете. Работая над сценариями полуфинальных тестов, важно осознавать роли и действия всех участников процесса и адаптироваться. Приходится одновременно рассматривать процесс с трёх сторон: оператор, человек, взаимодействующий с аватаром, и сама система в целом.

При выполнении сценариев XPRIZE, необходимо анализировать и разбивать все действия на отдельные этапы, шаги. Элементарное для человека действие «перевернуть стакан, стоящий на столе» распадается на серию маленьких задач для оператора: подойти к столу в зоне досягаемости стакана, взять стакан, перевернуть его, поставить на стол, отойти от стола.

О сложности сценариев, также свидетельствует тот факт, что в процессе организаторам пришлось убрать из общего задания четвертый сценарий, связанный с медициной.

Справочно прилагаем его описание:

Сценарий #4: Медицина «Эксперт тренирует стажера». Удаленный эксперт в области здравоохранения демонстрирует стажеру с помощью аватара процедуру снятия показаний с медицинского прибора. В качестве пациента будет использован манекен в виде верхней части туловища человека, с вмонтированным устройством для снятия медицинских показаний пациента

Задача 1.Врач/аватар здоровается и представляется стажеру, затем вводит его в курс дела.

Задача 2. Врач/аватар выбирает медицинский инструмент для снятия показаний пациента.

Задача 3. Врач/аватар объясняет работу прибора и снимает показания прибора.

Задача 4. Врач/аватар спрашивает стажера, понятны ли ему инструкции, и далее просит повторить действия.

Задача 5. Стажер берет устройство и повторяет действия инструктажа, врач/аватар оценивает их корректность и дает заключительные инструкции.

Задача 6. Врач/аватар прощается и покидает зону обучения.

Также как и остальные полуфиналисты конкурса, команда Dragon Tree Labs сейчас продолжает работать над усовершенствованием своего аватара Джонни для решения поставленных организаторами конкурса задач.

Минимальная задержка в передаче аудио и видео информация с места событий усложняет оператору распознавание жестов и намерений собеседника, и не позволяет быстро установить с ним визуальный контакт. Над этой задачей сейчас активно работает наша команда. Мы также тестируем разные платформы для движения и манипуляторы для работы с мелкими предметами, чтобы реалистично оперировать рукой робота. Сегодня мы испытываем различные виды платформ для передвижения в разных условиях окружающей среды (офис, улица), чтобы сделать движения робота адекватными решаемым задачам и обеспечить оператору аватара реалистичное погружение в удаленную среду.

В работе над всем комплексом стоящих перед нами задач мы открыты к любому взаимодействию и сотрудничеству с заинтересованными в реализации этих идей робототехников. Будем рады взаимодействию с увлеченными специалистами и коллективами, чтобы сообща работать над внедрением в жизнь технологий удаленных аватаров. Пишите нам на почту: Join@dtlabs.tech

Что ждет команды на полуфинальных тестах четырехлетнего соревнования ANA Avatar XPRIZE