Apple на конференции разработчиков WWDC представила инструмент RoomPlan на базе ARKit 6, который использует LiDAR на iPhone и iPad для создания 3D-планов комнат. Теперь сотрудник компании Shopify Русс Машмайер показал, как работает опция RoomPlan, которая даёт возможность «сбросить комнату к заводским настройкам».
Как мы собираем данные для Nokia Maps

Картография, известная каждому с детских атласов наука, возраст которой – более 5 тысяч лет, в связке с компьютерами оказывается самым передовым рубежом совмещенных реальностей, превращением нашего мира в базы данных, пригодные для обработки. Самая прекрасная часть в создании карт состоит в том, что индексация физического мира по-прежнему требует от людей разъездов на автомобилях и обработки собранного материала за компьютером.
Они киборги! Немного о том, как устроены системы в картографических автомобилях HERE
Есть один факт в современной истории картографического сервиса HERE, который мало кому известен: согласно собственному плану мирового господства, компания создала целую армию роботов с лазерами.

А теперь, когда мы привлекли ваше внимание, позвольте нам объяснить под катом, что мы имели ввиду.
Достаточно лазерной указки, чтобы запутать так называемый «смарт-автомобиль»

Помимо радаров, камер или GPS-системы, Google решил установить на крышу своего беспилотного автомобиля также мощный глаз, способный иметь обзор на 360 градусов. Вышеупомянутый глаз — это LIDAR (Light Detection and Ranging), который способен измерять расстояния с помощью лазерного света, в результате чего формируется 3D-карта всего, что окружает автомобиль.
Несмотря на эту технологию, которая позволяет автомобилю ехать по дороге без водителя, исключая любые ошибки, свойственные людям-водителям, тем не менее, производители таких автономных машин пока не празднуют победу, т.к. сенсоры LIDAR не являются полностью безупречными. Джонатан Пети, эксперт по безопасности, продемонстрировал их уязвимости и показал, что их можно достаточно легко обмануть.
Гепарда МТИ научили определять и перепрыгивать препятствия
Исследователи Массачусетского технологического института опубликовали увлекательный видеоролик. В нём демонстрируется результат работы по обучению робогепарда перепрыгиванию препятствий на своём пути. Для этого робот оценивает расстояние до барьера и его высоту с помощью лидара, затем, подобно живому существу, находит лучшую позицию для прыжка. Происходит коррекция шагов для её достижения. Гепард совершает прыжок, мягкое приземление и продолжает бежать, восстанавливая свой изначальный темп хода.
Исследователь научился обманывать лазерную навигацию робомобилей

Специалист из компании Security Innovation, занимающейся безопасностью в сфере ПО, указал на недостатки в лазерной системе ориентирования LiDAR, используемой некоторыми разработчиками робомобилей. Изготовив простое устройство из указки и одноплатного компьютера Raspberry Pi, можно легко обманывать датчик автомобиля.
Джонатан Пети (Jonathan Petit), исследователь компании, утверждает, что при помощи такого набора возможно воссоздать эхо сигналов от несуществующего автомобиля и «поместить его в любую точку» – то есть, заставить систему навигации робомобиля «видеть» несуществующее препятствие. При помощи подобного можно заставить робомобиль маневрировать, останавливаться или стоять на месте, поскольку его компьютер будет считать, что он окружён объектами, не существующими в действительности.
Некоторые разработчики робомобилей пытаются использовать в их конструкции радары ближнего действия, но работа на радиочастотах требует лицензирования. Использовать же лазерный дальномер очень просто – он отправляет импульсы и изучает отражённый свет.
Научную работу, описывающую устройство и схему работы, Пети делал во время своей учёбы в Ирландском национальном университете в Корке. Она будет представлена на международной конференции по компьютерной безопасности Black Hat Europe в ноябре. Пети увлёкся исследованиями безопасности робомобилей и почти сразу пришёл к выводу, что их самое уязвимое место – лазерная система навигации.
Главное о самоуправляемых автомобилях на CES 2016

CES 2016 не только познакомила общественность с самыми интересными новинками рынка, но и позволила узнать, какие технотренды будут задавать тон в ближайшие годы.
Самодельный сканирующий лазерный дальномер
В этой статье я расскажу о том, как я делал самодельный лазерный сканирующий дальномер, использующий триангуляционный принцип измерения расстояния, и об опыте его использования на роботе.
LIDAR от Mazda. Тестируем, ставим на Lada

Здравствуйте.
В этот раз мне в руки попал самый настоящий LIDAR от автомобиля Mazda CX5, примерно 2012г. выпуска. В этой статье я намерен разобрать модуль и включить его на столе. И самое смешное, я установлю сей LIDAR в Datsun Mido (Лада Калина в девичестве).
Как десяток ведущих компаний пытаются создать мощный и недорогой лидар
Лидар совершенно необходим для робомобилей – и вот, как работают некоторые из ведущих датчиков

Лидар, или световой радар, это технология, критически важная для создания робомобилей. Датчики предоставляют компьютеру трёхмерное облако точек, обозначающее окружающее автомобиль пространство, а его концепт помог командам выиграть конкурс DARPA Urban Challenge в 2007 году. С тех пор системы лидаров стали стандартом для робомобилей.
В последние годы были созданы десятки стартапов, работающих с лидарами, и соревнующимися с лидером индустрии Velodyne. Все они наобещали более приемлемые цены и улучшенную эффективность работы. В 2018 году журнал Ars уже делал подборку основных тенденций в индустрии лидаров, и описал, почему эксперты ожидали появления улучшенных и менее дорогих систем в ближайшие несколько лет. В той статье не было подробностей по поводу самих компаний – в основном потому, что они держали информацию о работе своей технологии в тайне.
Камеры глубины — тихая революция (когда роботы будут видеть) Часть 2

В первой части этого текста мы рассмотрели камеры глубины на основе структурного света и измерения round-trip задержки света, в которых в основном применяется инфракрасная подсветка. Они отлично работают в помещениях на расстояниях от 10 сантиметров до 10 метров, а главное — весьма дешевы. Отсюда массовая волна их текущего применения в смартфонах. Но… Как только мы выходим на улицу, солнце даже сквозь облака засвечивает инфракрасную подсветку и их работа резко ухудшается.
Как говорит Стив Бланк (по другому поводу, впрочем): «Хотите успеха — выходите из здания». Ниже речь пойдет про камеры глубины, работающие вне помещений. Сегодня эту тему сильно двигают автономные автомобили, но, как мы увидим, не только.

Источник: Innoviz Envisions Mass Produced Self-Driving Cars With Solid State LiDAR
Итак, камеры глубины, т.е. устройства снимающие видео, в каждом пикселе которого расстояние до объекта сцены, работающие при солнечном свете!
Кому интересно — добро пожаловать под кат!
Intel RealSense LiDAR L515 — еще один новый RealSense

В прошлый раз мы уже отмечали, что в последнее время Intel существенно изменила подход к линейке устройств RealSense: если раньше мы наблюдали планомерное совершенствование характеристик в рамках одной доктрины, то сейчас в линейке могут появиться модели с самым различным принципом действия. В начале этого года мы анонсировали Tracking Camera T265 на базе пары широкоугольных камер, теперь же дело дошло до классической LIDAR схемы — естественно, творчески осмысленной.
Лидары на CES

Несмотря на то, что CES – выставка потребительской электроники, лидары и другие компоненты роботизированных автомобилей стали важной частью того, что на ней демонстрируется. По меньшей мере 43 компании представили свои лидары на CES, и некоторые источники утверждают, что в настоящее время еще около 150 различных компаний работают в этой области. Если посмотреть на продукты этих компаний, то можно увидеть, что у них на удивление редко повторяются дизайны – почти каждое устройство сделано по-своему, и каждая компания считает, что у их подхода есть шанс принести им победу.
Главной новостью этой CES стало участие лидара для машин-роботов от Bosch, рост производительности, недорогие лидары от различных компаний и несколько новых участников, представляющих свои варианты дизайна.
Компании, производящие лидары, стремятся выиграть в одной или нескольких из следующих категорий:
- Основной успех для компании – использование их лидаров для полноценного роботизированного автомобиля
- Другие компании стремятся к созданию лидаров для «автопилота», который помогает водителю, хотя некоторые из таких систем (например, в Tesla) не используют лидары.
- Более дешевые устройства с меньшим радиусом действия, которые могут обеспечить обзор для навигации на низких скоростях и наблюдения за близкими к автомобилю объектами, которые пропали из поля зрения основного лидара.
- Некоторые компании надеются на хороший бизнес в других областях. Примерами таких областей являются низкоскоростная робототехника, интеллектуальное распознавание городов и обеспечение безопасности.
Илон Маск против лидаров: Псевдолидар

Всем хорошо известно, что думает Илон Маск о применении лидара (технологии трехмерного изображения) в беспилотных автомобилях. Он не планирует использовать ее в Tesla и считает костылем. Это очень спорная точка зрения, только время покажет прав ли он.
Tesla продвигает технологию, называемую псевдо-лидаром или виртуальным лидаром. Эта технология заключается в построении инструментов для создания снимков с камеры (стерео или обычных). Нужно выяснить насколько далеко находится каждый пиксель на снимке. Лидар вычисляет расстояние до каждого пикселя. Он определяет сколько времени требуется световому импульсу, чтобы попасть в пиксель и вернуться обратно со скоростью света. Люди оценивают расстояние, используя мозг. Мы знаем насколько большие те или иные предметы и как они движутся. Это дает нам представление о том насколько далеко они находятся. Мы также используем стереозрение, потому что у нас два глаза. Однако стереозрение работает только на относительно близком расстоянии. Еще есть параллакс движения — вы наблюдаете за тем как движутся предметы на фоне и используете некоторые другие подсказки, чтобы определить расстояние до объекта.
Что делают 3D-сенсоры в смартфонах? РАЗБОР
Сегодня обсудим, зачем нужны 3D-сенсоры в смартфонах, как это работает, ну и конечно, проведем несколько тестов и проверим заявления производителей.
Снежная слепота беспилотных авто

У природы нет плохой погоды, каждая погода благодать. Слова этой лирической песни можно понимать образно, интерпретировав погоду как отношения между людьми. Можно понимать и буквально, что также верно, ибо не было бы снежной и холодной зимы, мы бы не так ценили лето, и наоборот. Но беспилотные автомобили лишены лирических чувств и поэтического мироощущения, для них далеко не вся погода благодать, особенно зимняя. Одной из основных проблем, с которыми сталкиваются разработчики «робомобилей», это снижение точности датчиков, указывающих машине куда ей ехать, во время плохих погодных условий. Ученые из Мичиганского технологического университета создали базу данных погодных условий на дорогах «глазами» беспилотных авто. Эти данные были нужны дабы понять что нужно изменить или улучшить, чтобы зрение робомобилей во время снежной бури было не хуже, чем в ясный летний день. Насколько плохая погода влияет на датчики беспилотных авто, какой метод решения проблемы предлагают ученые, и насколько он эффективен? Ответы на эти вопросы мы найдем в докладе ученых. Поехали.
Навигатор для бездорожья, бульдозеры и дроны

Offroad Navigator — это как городской навигатор, только для бездорожья, для которого нет карт, да и маршруты прокладываются не всегда по дорогам, а с учетом проходимости местности.
Расскажу о первом этапе работы над проектом: как мы создаем трехмерную карту местности с использованием дрона, анализируем её проходимость, планируем маршрут движения для бульдозера, и как это все отлаживаем с помощью специального симулятора.
Такой планировщик — часть системы роботизированного строительства в будущем и визуальный интерфейс оператора на переходном этапе отладки и внедрения.
Семантическая сегментация 4D сцен с лидаров и прогресс в разработке беспилотных автомобилей

Прежде чем стать достоянием общества, беспилотные автомобили, роботы и автономные системы должны обеспечить высокий уровень восприятия и понимания окружающего их мира. Как же достичь этого уровня? Сегодня мы реализуем его при помощи компьютерного зрения, машинного обучения и множества датчиков. Обычно в качестве таких датчиков используются камеры, радары, сонары и лидары (LiDAR, Light Detection and Ranging).
У каждой компании-разработчика БА (беспилотных автомобилей) есть собственный подход к выбору подходящего датчика, расположению датчиков и использованию общего массива собираемых данных. Лидар, прошедший за последние годы долгий путь развития, становится всё более важным устройством, поскольку играет фундаментальную роль в обеспечении безопасного перемещения БА по дорогам. Несмотря на заявления Илона Маска, отрасль БА в целом убеждена в том, что этот датчик и его возможности — ключ к успеху автономности. И в самом деле, в отличие от камер, датчики-лидары способны хорошо проявлять себя в условиях плохой видимости, например, в плохую погоду, или даже лучше разбираться с тенями и сложным освещением, с которыми камеры испытывают трудности.
Не совсем очевидные тренды развития рынка приложений, как к ним подготовиться мобильному разработчику?

Меня зовут Ексей Пантелеев, я 12 лет программирую мобильные приложения, а всего зарабатываю программированием почти 20 лет и как профессионал пережил несколько платформ (например Flash Player, AIR, Stage3D), под которые я разрабатывал приложения. До мобайла я делал веб и игры, настраивал и создавал с нуля 2D и 3D движки.
Когда платформа погибает, вакансий становится мало, и остается пару лет подумать куда идти. С какого-то момента я стал заранее анализировать куда пойдет платформа, на которой я зарабатываю деньги. Мобильные приложения это растущий рынок: за 2021 пользователи потратили в 142 млрд. долларов в App Store (92B $) и Google Play (50B $) на цифровые сервисы. Сегодня регуляторы вынуждают магазины приложений добавлять сторонние платежные сервисы, что создает хорошую перспективу для развития индустрии. Я преподаю разработку под iOS 8 лет, и в своих поздних авторских курсах мне уже удается прогнозировать рынок на несколько лет вперед и заранее готовить студентов к технологическому стеку, который будет востребован в будущем.
Хочу не просто рассказать про тренды, а проанализировать, какой технический стек будет важен на первых этапах развития ниши.
Объединение данных с датчиков и интерполяция для Autonomous Vehicles

Товарищи, рассказываю о нюансах сбора и работы с данными для Autonomous Vehicles. Как правило, для создания обучающего датасета используют данные с датчиков LIDAR и камер. Но полученные данные в сыром виде очень разрознены ,и чтобы решить эту проблему, их нужно правильно объединить и интерполировать. И только после этого приступать к 3D Point Cloud разметке.