В статьях моих коллег про беспилотные трамваи и тепловозы были упомянуты радары. Они широко применяются в автомобильной отрасли для реализации стандартных функций активной и пассивной безопасности. Решения для высокоавтоматизированных систем управления (включая беспилотный транспорт) требуют более гибких и продвинутых технологий. В Cognitive Pilot радарами занимается специальное подразделение, которое до конца 2019 года работало как Design House, выпуская по контрактной модели решения для автопроизводителей и поставщиков компонентов. Сейчас мы переходим на новую бизнес-модель и готовим к серийному производству линейку радаров для широкого круга заказчиков — от проектов DIY до стартапов и опытных парков. На базе использующихся в проектах Cognitive Pilot решений будут созданы готовые продукты для пользователей, которые можно условно разделить на 3 категории: «MiniRadar», «Industrial» и «Imaging 4D». Подобные устройства активно применяются в самых разных отраслях, поэтому стоит рассказать о них подробнее.
Обычно автомобильные радары не могут определять высоту объекта, хотя в индустрии к ним принято применять обозначение 3D, что непосвященным может показаться маркетинговой уловкой. За счет физических свойств сигнала (эффект Доплера) они измеряют 3 параметра [R, Az, V]: расстояние и угол (азимут) до объекта, а также скорость и ее знак (удаляется или приближается объект к излучателю). Типичный набор сенсоров для самоуправляемого автомобиля включает видеокамеры, а также работающие на дальней дистанции в любую погоду радары в системах активной безопасности и способный делать точные измерения трехмерной сцены лидар. Последний стоит недешево (скажем, Uber устанавливает устройства по цене ~$120000), но нужен только для получения трехмерного облака точек и не позволяет отказаться от прочих сенсоров.
Мы задумались о выпуске радара, способного заменить дорогостоящий лидар: пропуская промежуточные этапы анализа, расчетов и оценок, сразу скажу, что сделать его оказалось вполне возможно. Уже летом 2017 года был создан первый рабочий макет proof-of-concept с внешней антенной системой на волноводных трактах. Изготавливать ее под наши частоты (до 77 ГГц) пришлось на прецизионном оборудовании — для серийных моделей такая конструкция не годилась из-за громоздкости и дороговизны, но целью первых образцов обычно является проверка концепции. К тому же радар был построен на не самой совершенной элементной базе с активным использованием аналоговых решений. При этом он не содержал движущихся частей и был основан на архитектуре цифровой решетки и цифрового диаграммообразования — примерно так работают радары в истребителях. Главное, что макет позволил доказать принципиальную возможность реализации продукта.
Вот так выглядит кусочек волноводного тракта многоканальной антенной системы
Затем мы решили к CES 2018 сделать первую в мире промышленную версию 4D-радара с планарной антенной системой (о ней расскажем ниже), способного измерять дальность, азимут, угол места и скорость [R, Az, Ev, V]. Чтобы успеть к началу мероприятия, нужно было полностью переработать СВЧ-часть в сжатые сроки. Проблемой стали партнеры: изготовление платы из специального СВЧ-материала по нашему проекту занимало полтора месяца, а для получения рабочей версии требовалось несколько итерацией. От услуг иностранных подрядчиков пришлось отказаться, а в России именно с таким материалом заводы не работают. Для промышленного образца (но тоже уровня proof-of-concept в части материала печатной платы) мы решили выбрать близкого и понятного партнера — томскую компанию АО «НИИПП». Все итерации по изготовлению антенны на производственной линии низкотемпературной керамики LTCC заняли около месяца, за что хочется сказать отдельное спасибо лично Евгению Александровичу Монастыреву.
В итоге мы получили тончайшую керамическую пластину большой площади, на которой была разведена планарная антенна. Ее требовалась вклеить в корпус радара, закрепив на титановом (из-за КТР титана и керамики, чтобы плату не порвало при перепадах температур) основании: поскольку сроки горели, пришлось везти его самолетом из Москвы в багаже. Потом нам нужно было собрать радар, успеть испытать его и сделать демонстрационный ролик к 4 января.
Хрусть… как говорится, разбили «тарелку» на счастье. кусочек той самой платы из керамики
Снимок под микроскопом сопряжения керамической антенны и платы с микросхемами приемо-передатчика, выполненного с помощью золотых проволочек толщиной с волос
Несущая способность у керамической платы невысока, поэтому ее необходимо приклеить к жесткому основанию. Для этой операции использовался специальный пресс — этим тоже занимались специалисты НИИПП. Самый драматичный момент наступил 27 — 28 декабря, когда в процессе сборки устройства лопнуло изготовленное в единственном экземпляре изделие. Коллеги из Томска вошли в наше положение: с криками «своих не бросаем» и «наши в Лас-Вегасе», ребята запустили технологическую линию и работали 30 и 31 декабря, чтобы к 1 января мы получили собранную систему. За 2 дня мы полностью смонтировали, настроили и отладили «железо», а к 4 января сделали показывающий его работу демо-ролик. Конечно дальше мы использовали все тот же импортный материал с нужными радиочастотными свойствами, но в конце 2017 года изготовить подходящий прототип в срок смогла только отечественная компания.
Так выглядел законченный прототип радара: по сути мы взяли собственное шасси и встроили в него антенную систему, использовав наши аппаратные модули стриминга данных и т.д.
Уже доработанная версия «после CES» выглядела так
Нам потребовалось создать относительно недорогие компактные устройства без движущихся частей, чтобы их могли себе позволить небольшие стартапы и даже самодельщики. Поскольку законы физики обмануть невозможно, разработка СВЧ-части стала серьезной проблемой: для получения высокого углового разрешения потребовалась полноценная фазированная антенная решетка. Во все радары мы устанавливаем планарные (микрополосковые) антенные системы, реализованные в виде дорожек особой формы на платах. Из-за высоких радиочастот (до 81 ГГц) использующийся в обычной электронике текстолит для их изготовления не подходит — необходим специальный материал, обеспечивающий низкий уровень затухания сигнала на погонный сантиметр.
Другая проблема связана с электронной начинкой устройства, которая должна быть компактной, но довольно функциональной. Радары обрабатывают информацию на борту, а не просто выдают некий аналоговый сигнал — на выходе пользователю необходимо получать координаты объектов, а также направление и скорость их движения. Микроэлектроника в последние десятилетия шагнула далеко вперед и сейчас на рынке доступны высокоинтегрированные системы, позволяющие реализовать многие нужные функции. Модели последнего поколения позволяют сделать радар на одном чипе, правда это будет относительно простое устройство. В чипе есть аналоговая часть, включающая блоки приемников и передатчиков, АЦП, а также аппаратные ускорители, которые делают, в частности, быстрое преобразование Фурье. В цифровом блоке имеются процессор DSP (Digital Signal Processing) и ARM-процессор. Уровень обработки информации согласован с возможностями самого датчика: в радары с небольшим количеством каналов и наименьшим разрешением по углу устанавливаются соответствующие их потребностям чипы.
Все радиолокационные датчики Cognitive Pilot работают по принципу MIMO (Multiple Input Multiple Output; множественные входы, множественные выходы — метод пространственного кодирования сигнала, позволяющий увеличить полосу пропускания канала). Блоки приемников и передатчиков разнесены геометрически, при этом передатчики могут излучать сигнал по очереди (временное разделение каналов) или в виде разных кодовых последовательностей (кодовое разделение каналов), а также сочетая эти подходы. Таким способом можно улучшить характеристики радара без усложнения и удорожания конструкции. Главный плюс здесь — уменьшение необходимого количества приемных каналов. В самых маленьких наших радарах, к примеру, 3 передатчика и 4 приемника. Передатчики одновременно излучают разные кодовые последовательности, нечто подобное сделано в стандартах 3G и CDMA. Четыре физических приемника отдельно принимают их и собирают сигнал от каждого передатчика — в итоге получается 12 виртуальных приемных каналов, в результате чего разрешение увеличивается втрое без модификации физической конструкции. В противном случае для достижения аналогичного результата потребовалось бы еще 8 приемных трактов, линий и дополнительных АЦП, что усложнило бы дизайн и увеличило бы стоимость радара кратно.
Весь стек разработки мы делаем сами: проектируем часть СВЧ, электронную начинку и прочие аппаратные компоненты, а также создаем дизайн устройства. Железо — очень важная, но только составная часть радара. Как он работает и какие данные можно из него вытащить, зависит от алгоритмов: детектирование объектов, фильтры вторичной обработки, кодовые последовательности — это все мы также проектируем сами. Всю алгоритмику математической модели, начиная от формирования сигналов. Для этого в однокристальном решении, на котором основаны радары Cognitive Pilot серии Mini, зашито довольно сложное микропрограммное обеспечение. В нем можно выделить различные подсистемы, например, для управления аналоговой периферией или аппаратными ускорителями. Решение гибко настраивается, позволяя оптимизировать потоки данных и их перемещение между разными блоками.
Радары серии Mini — это готовые одноплатные решения, которые можно подключить через разъем CAN или SPI (в зависимости от модификации), скажем, к бортовому компьютеру автомобиля и даже к популярному у самодельщиков микроконтроллеру Arduino. Другие серии похожи на них с точки зрения антенных систем (горизонтальный угол обзора у всех моделей составляет от 120° до 150°), но это уже более сложные решений из нескольких модулей (СВЧ, цифровая обработка, питание и интерфейсы). В них значительно больше каналов, а значит гораздо выше и угловое разрешение: в моделях Industrial, например, уже 32 приемника, что требует серьезных вычислительных мощностей. Помимо основной аналогово-цифровой платы с набором приемопередатчиков и антенной системой здесь приходится устанавливать дополнительные блоки (платы) цифровой обработки с довольно мощным процессором DSP и адаптером Ethernet с подачей питания по сетевому кабелю.
Радар Imaging 4D при горизонтальном угле обзора в 120° — 150° еще качает луч в вертикальной плоскости. Зная, в какой момент появляется и пропадает отраженный сигнал, можно взять пеленг, понять вертикальный угол направленного на объект луча и определить третью координату точки. Доведенная до серийного исполнения версия 4D-радара первого поколения была лицензирована с несколькими нашими заказчиками. С тех пор мы продвинулись дальше и сейчас готовим новое решение с более совершенными чем использованные в 2017 году технологиями. Которые, к слову, не будут иметь контрактных ограничений, а потому станут доступными для широкого круга пользователей.
Фото актуальной модели Imaging 4D
Устройства различных серий отличаются функциональностью, а также качеством выдаваемых результатов. Серия Mini предназначена для реализации в автомобилях системы экстренного торможения, адаптивного круизконтроля или контроля слепых зон. Датчики Industrial можно использовать в автоматизированных промышленных комплексах, в системах мониторинга или, скажем, на тепловозах, а продвинутые решения Imaging 4D предназначены для самоуправляемого транспорта.
С начала 2020 года мы пытаемся сделать радарные технологии Cognitive Pilot доступными массовому заказчику. Наработок довольно много: синтезированная апертура для изображений ультравысокого разрешения, оценка сигнатур объектов по возмущениям микро-допплера, сверхразрешение, локализация на основе радарных данных.
Высокое разрешение — так радар видит припаркованные автомобили в режиме синтеза апертуры
Мы создаем решения в разных технических и ценовых сегментах, чтобы пользователи могли выбрать оптимальное для своих проектов. В общем планов много, классных задач еще больше (R&D у нас не скучает), так что в следующих статьях мы подробнее расскажем читателям об используемых нами технологиях.
Выход в четвертое измерение
Обычно автомобильные радары не могут определять высоту объекта, хотя в индустрии к ним принято применять обозначение 3D, что непосвященным может показаться маркетинговой уловкой. За счет физических свойств сигнала (эффект Доплера) они измеряют 3 параметра [R, Az, V]: расстояние и угол (азимут) до объекта, а также скорость и ее знак (удаляется или приближается объект к излучателю). Типичный набор сенсоров для самоуправляемого автомобиля включает видеокамеры, а также работающие на дальней дистанции в любую погоду радары в системах активной безопасности и способный делать точные измерения трехмерной сцены лидар. Последний стоит недешево (скажем, Uber устанавливает устройства по цене ~$120000), но нужен только для получения трехмерного облака точек и не позволяет отказаться от прочих сенсоров.
Мы задумались о выпуске радара, способного заменить дорогостоящий лидар: пропуская промежуточные этапы анализа, расчетов и оценок, сразу скажу, что сделать его оказалось вполне возможно. Уже летом 2017 года был создан первый рабочий макет proof-of-concept с внешней антенной системой на волноводных трактах. Изготавливать ее под наши частоты (до 77 ГГц) пришлось на прецизионном оборудовании — для серийных моделей такая конструкция не годилась из-за громоздкости и дороговизны, но целью первых образцов обычно является проверка концепции. К тому же радар был построен на не самой совершенной элементной базе с активным использованием аналоговых решений. При этом он не содержал движущихся частей и был основан на архитектуре цифровой решетки и цифрового диаграммообразования — примерно так работают радары в истребителях. Главное, что макет позволил доказать принципиальную возможность реализации продукта.
Вот так выглядит кусочек волноводного тракта многоканальной антенной системы
Затем мы решили к CES 2018 сделать первую в мире промышленную версию 4D-радара с планарной антенной системой (о ней расскажем ниже), способного измерять дальность, азимут, угол места и скорость [R, Az, Ev, V]. Чтобы успеть к началу мероприятия, нужно было полностью переработать СВЧ-часть в сжатые сроки. Проблемой стали партнеры: изготовление платы из специального СВЧ-материала по нашему проекту занимало полтора месяца, а для получения рабочей версии требовалось несколько итерацией. От услуг иностранных подрядчиков пришлось отказаться, а в России именно с таким материалом заводы не работают. Для промышленного образца (но тоже уровня proof-of-concept в части материала печатной платы) мы решили выбрать близкого и понятного партнера — томскую компанию АО «НИИПП». Все итерации по изготовлению антенны на производственной линии низкотемпературной керамики LTCC заняли около месяца, за что хочется сказать отдельное спасибо лично Евгению Александровичу Монастыреву.
В итоге мы получили тончайшую керамическую пластину большой площади, на которой была разведена планарная антенна. Ее требовалась вклеить в корпус радара, закрепив на титановом (из-за КТР титана и керамики, чтобы плату не порвало при перепадах температур) основании: поскольку сроки горели, пришлось везти его самолетом из Москвы в багаже. Потом нам нужно было собрать радар, успеть испытать его и сделать демонстрационный ролик к 4 января.
Хрусть… как говорится, разбили «тарелку» на счастье. кусочек той самой платы из керамики
Снимок под микроскопом сопряжения керамической антенны и платы с микросхемами приемо-передатчика, выполненного с помощью золотых проволочек толщиной с волосНесущая способность у керамической платы невысока, поэтому ее необходимо приклеить к жесткому основанию. Для этой операции использовался специальный пресс — этим тоже занимались специалисты НИИПП. Самый драматичный момент наступил 27 — 28 декабря, когда в процессе сборки устройства лопнуло изготовленное в единственном экземпляре изделие. Коллеги из Томска вошли в наше положение: с криками «своих не бросаем» и «наши в Лас-Вегасе», ребята запустили технологическую линию и работали 30 и 31 декабря, чтобы к 1 января мы получили собранную систему. За 2 дня мы полностью смонтировали, настроили и отладили «железо», а к 4 января сделали показывающий его работу демо-ролик. Конечно дальше мы использовали все тот же импортный материал с нужными радиочастотными свойствами, но в конце 2017 года изготовить подходящий прототип в срок смогла только отечественная компания.
Так выглядел законченный прототип радара: по сути мы взяли собственное шасси и встроили в него антенную систему, использовав наши аппаратные модули стриминга данных и т.д.
Уже доработанная версия «после CES» выглядела так
Конструкция и принцип работы радаров
Нам потребовалось создать относительно недорогие компактные устройства без движущихся частей, чтобы их могли себе позволить небольшие стартапы и даже самодельщики. Поскольку законы физики обмануть невозможно, разработка СВЧ-части стала серьезной проблемой: для получения высокого углового разрешения потребовалась полноценная фазированная антенная решетка. Во все радары мы устанавливаем планарные (микрополосковые) антенные системы, реализованные в виде дорожек особой формы на платах. Из-за высоких радиочастот (до 81 ГГц) использующийся в обычной электронике текстолит для их изготовления не подходит — необходим специальный материал, обеспечивающий низкий уровень затухания сигнала на погонный сантиметр.
Другая проблема связана с электронной начинкой устройства, которая должна быть компактной, но довольно функциональной. Радары обрабатывают информацию на борту, а не просто выдают некий аналоговый сигнал — на выходе пользователю необходимо получать координаты объектов, а также направление и скорость их движения. Микроэлектроника в последние десятилетия шагнула далеко вперед и сейчас на рынке доступны высокоинтегрированные системы, позволяющие реализовать многие нужные функции. Модели последнего поколения позволяют сделать радар на одном чипе, правда это будет относительно простое устройство. В чипе есть аналоговая часть, включающая блоки приемников и передатчиков, АЦП, а также аппаратные ускорители, которые делают, в частности, быстрое преобразование Фурье. В цифровом блоке имеются процессор DSP (Digital Signal Processing) и ARM-процессор. Уровень обработки информации согласован с возможностями самого датчика: в радары с небольшим количеством каналов и наименьшим разрешением по углу устанавливаются соответствующие их потребностям чипы.
Все радиолокационные датчики Cognitive Pilot работают по принципу MIMO (Multiple Input Multiple Output; множественные входы, множественные выходы — метод пространственного кодирования сигнала, позволяющий увеличить полосу пропускания канала). Блоки приемников и передатчиков разнесены геометрически, при этом передатчики могут излучать сигнал по очереди (временное разделение каналов) или в виде разных кодовых последовательностей (кодовое разделение каналов), а также сочетая эти подходы. Таким способом можно улучшить характеристики радара без усложнения и удорожания конструкции. Главный плюс здесь — уменьшение необходимого количества приемных каналов. В самых маленьких наших радарах, к примеру, 3 передатчика и 4 приемника. Передатчики одновременно излучают разные кодовые последовательности, нечто подобное сделано в стандартах 3G и CDMA. Четыре физических приемника отдельно принимают их и собирают сигнал от каждого передатчика — в итоге получается 12 виртуальных приемных каналов, в результате чего разрешение увеличивается втрое без модификации физической конструкции. В противном случае для достижения аналогичного результата потребовалось бы еще 8 приемных трактов, линий и дополнительных АЦП, что усложнило бы дизайн и увеличило бы стоимость радара кратно.
Весь стек разработки мы делаем сами: проектируем часть СВЧ, электронную начинку и прочие аппаратные компоненты, а также создаем дизайн устройства. Железо — очень важная, но только составная часть радара. Как он работает и какие данные можно из него вытащить, зависит от алгоритмов: детектирование объектов, фильтры вторичной обработки, кодовые последовательности — это все мы также проектируем сами. Всю алгоритмику математической модели, начиная от формирования сигналов. Для этого в однокристальном решении, на котором основаны радары Cognitive Pilot серии Mini, зашито довольно сложное микропрограммное обеспечение. В нем можно выделить различные подсистемы, например, для управления аналоговой периферией или аппаратными ускорителями. Решение гибко настраивается, позволяя оптимизировать потоки данных и их перемещение между разными блоками.
Модельный ряд
Радары серии Mini — это готовые одноплатные решения, которые можно подключить через разъем CAN или SPI (в зависимости от модификации), скажем, к бортовому компьютеру автомобиля и даже к популярному у самодельщиков микроконтроллеру Arduino. Другие серии похожи на них с точки зрения антенных систем (горизонтальный угол обзора у всех моделей составляет от 120° до 150°), но это уже более сложные решений из нескольких модулей (СВЧ, цифровая обработка, питание и интерфейсы). В них значительно больше каналов, а значит гораздо выше и угловое разрешение: в моделях Industrial, например, уже 32 приемника, что требует серьезных вычислительных мощностей. Помимо основной аналогово-цифровой платы с набором приемопередатчиков и антенной системой здесь приходится устанавливать дополнительные блоки (платы) цифровой обработки с довольно мощным процессором DSP и адаптером Ethernet с подачей питания по сетевому кабелю.
Радар Imaging 4D при горизонтальном угле обзора в 120° — 150° еще качает луч в вертикальной плоскости. Зная, в какой момент появляется и пропадает отраженный сигнал, можно взять пеленг, понять вертикальный угол направленного на объект луча и определить третью координату точки. Доведенная до серийного исполнения версия 4D-радара первого поколения была лицензирована с несколькими нашими заказчиками. С тех пор мы продвинулись дальше и сейчас готовим новое решение с более совершенными чем использованные в 2017 году технологиями. Которые, к слову, не будут иметь контрактных ограничений, а потому станут доступными для широкого круга пользователей.
Фото актуальной модели Imaging 4D
Устройства различных серий отличаются функциональностью, а также качеством выдаваемых результатов. Серия Mini предназначена для реализации в автомобилях системы экстренного торможения, адаптивного круизконтроля или контроля слепых зон. Датчики Industrial можно использовать в автоматизированных промышленных комплексах, в системах мониторинга или, скажем, на тепловозах, а продвинутые решения Imaging 4D предназначены для самоуправляемого транспорта.
Планы на будущее
С начала 2020 года мы пытаемся сделать радарные технологии Cognitive Pilot доступными массовому заказчику. Наработок довольно много: синтезированная апертура для изображений ультравысокого разрешения, оценка сигнатур объектов по возмущениям микро-допплера, сверхразрешение, локализация на основе радарных данных.
Высокое разрешение — так радар видит припаркованные автомобили в режиме синтеза апертуры
Мы создаем решения в разных технических и ценовых сегментах, чтобы пользователи могли выбрать оптимальное для своих проектов. В общем планов много, классных задач еще больше (R&D у нас не скучает), так что в следующих статьях мы подробнее расскажем читателям об используемых нами технологиях.