Comments 45
Лидарный слой. Создание этого слоя полностью автоматизировано.
(...) достаточно один раз проехать по всем тротуарам и пешеходным дорожкам в ручном режиме,Векторный слой HD‑карты создаётся картографами
Т.е. робот в состоянии ездить только про предварительно тщательно размеченным маршрутам, и впадёт в ступор если дорожники за ночь всё перекопают и передвинут дорогу. Насколько я понимаю, беспилотные автомобили работают по тому же принципу? Интересно, что случится, если например поставят новый светофор, или старый уберут, или сместят стоп-линию..
Если дорогу перекопают, то мы обнаружим это с помощью восприятия, и на уровне планирования маршрут будет перестроен. Если перестроить маршрут невозможно, то подключится удалённый оператор и проведёт робота по временным мосткам, которые обычно устанавливают в таких местах.
Что касается изменений, таких как установка нового или удаление старого светофора, ситуация более сложная. В таких случаях у нас есть ответственные за конкретную локацию, которые на основе различных метрик анализируют её состояние и информируют команду технологий. Это позволяет, например, обновить карту и учесть новые условия в этом месте.
Удивительно, как на всё это хватает энергии. Столько датчиков, плюс моторы, и плюс все эти вычисления, преобразования, ML - весьма энергетически недёшевы.
Насколько я понял, если данные поступающие с датчика GNSS не корректны (данная ситуация сейчас довольно типична для центра Москвы, даже навигатор в садовом кольце работает так себе), то он пытается сопоставить данные с лидара с уже известными лидарными слоями, часты-ли ситуации, когда ровер теряется и не понимает, где он находится?
Как обрабатываются такие ошибки? Кто-то подключается к нему удаленно и доводит до "стабильной" позиции, где ровер уже может определить положение?
Да, при некорректных данных с GNSS мы сопоставляем информацию с лидара с уже существующей лидарной картой и используем данные с других датчиков, таких как IMU и одометрия. Ситуации, когда ровер полностью теряет локализацию, случаются редко. В крайнем случае к роботу подключается удалённый оператор и корректирует положение, обычно проезжая некоторое расстояние вручную, пока система не восстановит точную локализацию.
А расстояния до сотовых вышек и стационарные WiFi точки имеет смысл использовать или вы полагаетесь на непрерывность траектории и предварительно размеченную карту?
p.s. очень интересная статья, спасибо
Да, в этом есть смысл, и мы активно работаем над внедрением в нашу локализацию показания от яндексового lbs: https://yandex.ru/maps-api/products/locator
Как это устройство юридически классифицируется при движении по дорогам общего пользования? Будь то тротуар или проезд через проезжую часть по пешеходному переходу?
Что будет при ДТП с пешеходом, велосипедом/самокатом и автомобилем?
Ой, любимый вопрос скептиков автопилотов - искать виноватого. Не всё ли равно, кто будет отвечать, если переход трафика на беспилотность снизит ДТП на порядки? Сама технология наэкономит столько жизней и денег, что немногим пострадавшим будет чем компенсировать.
Интересно, кстати, по нынешним законам, если самолёт рухнет во время управления автопилотом - то кто отвечает?
Ой, любимый вопрос скептиков автопилотов - искать виноватого.
Так ведь никто и не ищет. Но вопрос интересный, как это классифицируется? Как квадроцикл неригестрат? Многоногий автопилотный электровелосипед?
Интересно, кстати, по нынешним законам, если самолёт рухнет во время управления автопилотом - то кто отвечает?
Отвечает пилот. Так же, как и уже нынешний автопилот может не хуже среднего водителя ездить, но тогда непонятно кто виноват будет. По м4 и по Фрунзенской беспилотники яндекса давно сами ездят, но там сидит водитель как раз из соображений подстраховки и ответственности.
Не всё ли равно, кто будет отвечать, если переход трафика на беспилотность снизит ДТП на порядки?
Кстати, нет, вооообще не все равно. Это здесь все равно, а когда вашу машину переедет беспилотный КАМАЗ, то непонятно с кого деньги получать. Беспилотник, сам по себе, денег не имеет. Имхо самое нормальное - это изучать проценты ДТП относительно среднего водителя и добавлять такое поле в страховку. Тогда материально будет отвечать страховая, иначе владелец. А вот кого судить за нанесение вреда здоровью - вопрос открытый.
P.S. Я вообще ни разу не скептик автопилотов, и каждый день пользуюсь благами доступного мне в машине. И очень надеюсь, что доживу до момента, когда машина сама привозит к дому, а дальше я жму кнопку и она уезжает на парковку искать место сама. А потом по требованию приезжает к дому снова и везет куда надо, я читаю книжку.
Я лишь хотел сказать, что проблема поиска "углеродного", которого можно осудить за проделки "кремниевого" - не причина ставить на паузу автопилоты. На круг же общество получится только в выигрыше - и из этого выигрыша можно будет процентик отстегнуть пострадавшим - и вопрос закрыть. Обязательно искать тушку, которую можно упрятать за решётку? Да, должен быть "канал обратной связи", т.е. ответственность тех же программистов, но тут скорее вопрос стандартов, которые будут формироваться по ходу развития отрасли. И автопилот не будут выпускать наружу, пока стандартные тесты не покажут его безопасность.
Если не это не секретная информация, то какие камеры вы используете на этих роботах? Правильно ли я понимаю, что глубина определяется по лидару, что будет если на него попадет снег или пыль?
Мы используем камеры собственного производства, о чем давным-давно писали здесь: https://habr.com/ru/companies/yandex/articles/590997/
Сейчас глубина определяется по лидару, но мы активно работаем над решениями на основе камер. Лидар может "ослепнуть" из-за сильной грязи или снега — обычно это проявляется в том, что в некоторых секторах лидарного облака точек становится меньше или они пропадают вовсе. Это плохо сказывается на восприятии и лидарной локализации, поэтому при таких деградациях мы призываем удалённого оператора в помощь.
Однако обычный дождь, снегопад или пыль не создают больших проблем для лидара, разве что он немного намокнет или испачкается xD
Я так понимаю, собирают заказ тоже роботы на колёсиках, осталось придумать как доставить.
Грамотный инженер думает как улучшить труд человека, айтишьнег придумывает как заменить человека, зарплата капает, а недовольные клиенты пусть долбятся в автоответчик.
Яндекс проделал огромную работу по созданию роботизированной самодвижущейся платформы.
Есть ли у Яндекса планы стандартизировать платформу?
Если добавить возможности расширений, например, сменные манипуляторы и дообучение Computer Vision модели на дополнительные объекты, то платформа может быть востребована в различных областях.
Для личного хозяйства я бы с удовольствием заимел платформу с парой сменных манипуляторов: один для стрижки травы, а второй для удаления сорняков (вместе с дообученной моделью идентификации сорняков).
Аналогичных роботов-доставщиков в достатке, а уж тем более простых роботов, с манипуляторами - более чем. На них цены негуманные - за миллион рублей я сам сорняки прополю. Или найму человека, который это будет делать, и миллиона хватит на мой век с запасом.
Но для покоса травы есть готовые решения - робогазонокосилки существуют, и цены их обычно влезают в айтишную з/п.
Аналогичных роботов-доставщиков в достатке ...
Вопрос в наборе сенсоров, отлаженности алгоритмов, цене при серийном производстве, и, конечно, расширябильности.
... с манипуляторами - более чем.
С фиксированными манипуляторами - не выгодно.
Платформа дорогая и сложная. Занимает место.
Серийное произвоство снизит цену, но все равно держать зоопарк - усложнение в обслуживании.
... за миллион рублей я сам сорняки прополю.
Это пока цена девайсов высокая и цена вашего труда дешевле девайса.
Хорошая статья, спасибо.
В следующий раз проверьте черновик на тёмной теме, текст на прозрачных картинках не читается)
Подскажите, а какие именно? Включил тёмную тему на Хабре. Картинка вроде как все на месте.
Вот например
Это тёмная тема Хабра? У меня потому что совсем иначе в ней.
поправила, спасибо!
Пока эти системы в комплексе с GPS будут доводиться до уровня минимизации затрат и исключения уязвимостей, в бой вступит технология MAGNAV, которая практически полностью исключает все, что сегодня задействовано в традиционных алгоритмах навигации в основе которой присутствует GPS ориентация.
Расскажите как теперь работают роботы в условиях повального глушения GNSS в столице.
tayapenskaya, Hello! Спасибо Вам и Вашей команде за статью, интересно было почитать как работают роботы-доставщики. Скажите, а если какой-нибудь вандал перевернет робота или его куда-то отвезет, то что в таком случае происходит? Работник Яндекса выезжает, чтобы его поправить? Планируется ли добавление какой-то сигнализации или голосового помощника, который попросит перевернуть робота?
Также вопрос: с точки зрения построения оптимального маршрута, робот должен объезжать лестницы, что может сильно увеличить время ожидания. Планируется ли работа в этом направлении?
Привет!
Скажите, а если какой-нибудь вандал перевернет робота или его куда-то отвезет, то что в таком случае происходит?
Для таких случаев у нас существует специально обученная нейронка под названием "инцидент детектор". Когда детектор срабатывает, мы призываем удалённого оператора, который анализирует ситуацию. Если понимаем, что робот сам не справится, то наш техник едет на локацию и помогает на месте.
Планируется ли добавление какой-то сигнализации или голосового помощника, который попросит перевернуть робота?
Мы активно работаем над этим! Вдохновляемся примером наших коллег, который уже используют голосовых помощников для самокатов в подобных ситуациях.
с точки зрения построения оптимального маршрута, робот должен объезжать лестницы, что может сильно увеличить время ожидания. Планируется ли работа в этом направлении?
Лестницы на улицах в наших текущих локациях не особо влияют на время доставки. Чаще слышу об этой проблеме в контексте заезда в жилые дома или ТЦ. Думаем, знаем и активно работаем над новой версией робота, но пока не могу сказать точно, какой она будет.
А как много таких роботов и в каких городах? И наверняка вы сравнивали с зарубежными аналогами. Чем ваши лучше/хуже?
P.S. Отличная статья!
> А как много таких роботов и в каких городах?
Сейчас у нас больше 100 роботов. Они работают в Москве (Хамовники, Раменки, Аэропорт, Сити и рядом с метро Белорусская), а также в Иннополисе, Казани, Мурино под Санкт-Петербургом, и недавно начали ездить по улицам Алматы!
> И наверняка вы сравнивали с зарубежными аналогами. Чем ваши лучше/хуже?
Конечно, мы в курсе всех ключевых игроков на рынке, таких как Starship, Cartken, Serve Robotics, Kiwi и другие. Однако единственное, что мы можем анализировать, — это сенсорсет. В остальном компании достаточно закрыты и редко публикуют статьи о своих технологиях, особенно о проблемах в продакшене.
Интересно, какая ориентировочно-приблизительная цена таких роботов. И что мешает их масштабировать уже вчера чтобы профессия курьера ушла в прошлое и продавать-сдавать в аренду другим компаниям.
Возможно, я упустил это в статье, но где происходят все вычисления? Робот шлёт данные на сервер и они возвращают ответ, либо все делается в коробке? Если второй вариант, то хватает ли вычислительных мощностей и какое "железо" нужно такому роботу?
Все вычисления происходят локально на роботе. Про железо, к сожалению, мы не раскрываем подробностей :(
В этой статье было про железо рассказано.
Растеризуем лидарные точки в 2D‑плоскость камер, после чего объединяем их в общей плоскости с признаками, полученными с изображений.
Можно здесь подробнее? Вы используете ML-подходы к конкатенации облаков точек и признаков, полученных с изображений в пространстве времени (PointPainting, 4D-Net) или классические преобразования?
Молодец, Тая! :)
Не в контексте развития технологий, а в контексте обычной жизни - не проще и дешевле было бы выкинуть из каждого робота мозги, обеспечить максимально возможно надежными каналами связи и персональным оператором? Сколько, хотя бы, инвалидов по домам сидят...
Подскажите, пожалуйста, если это не секрет, какие нейросетевые модели использовались в задаче 3d детекции объектов?
Зимой, учитывая, как у нас чистят, тяжело им... Видимо использование ограничено теплым временем года?
Как устроен робот-доставщик Яндекса: от восприятия до планирования движения