Лидары будущего: 11 000 лазеров вместо 128

Автор оригинала: TIMOTHY B. LEE
  • Перевод
image

Принцип работы лидарных датчиков заключается в отражении света лазеров от окружающих объектов и создании трехмерного облака точек. Первый современный трехмерный лидар был создан для конкурса DARPA Grand Challenge 2005 года, основного конкурса среди беспилотных автомобилей. В наши дни многие эксперты продолжают рассматривать лидары в качестве ключевой технологии для беспилотных машин.

Оригинальный лидар 2005 года, созданный компанией Velodyne, имел вертикальный массив из 64 лазеров, которые вращались на 360 градусов, и каждый лазер в массиве должен быть тщательно выровнен с соответствующим детектором. Эта сложность привела к тому, что цена достигла $75 000. В наши дни высококлассные лидары по-прежнему стоят десятки тысяч долларов.

Сейчас десятки стартапов пытаются создать более дешевые лидары. Многие из них пытаются снизить цену, используя один лазерный луч, который сканируется в двухкоординатной модели.

Однако другие компании, работающие с лидарами, двигаются в другом направлении: они строят лидары с тысячами лазеров. Компания Sense продает лидары с 11 000 лазеров по цене $3000. Другая компания под названием Ibeo работает над лидаром, в котором будет более 10 000 лазеров.

Для ясности отметим, что новый лидар от Ibeo еще не выпущен, а потому мы не знаем насколько хорошо он будет работать, а показатели лидаров от Sense далеки от производительности лучших лидаров от Velodyne. Дальность лидаров от Sense – от 15 до 40 метров, в то время как некоторые модели Velodyne работают на расстоянии 200 метров.

Тем не менее, генеральный директор Sense Скотт Берроуз говорит, что их компания только начинает свою работу. Sense работает над новым датчиком c дальностью работы в 200 метров, который должен выйти в следующем году. Планируется, что эта модель сможет соревноваться с лидерами рынка. В свою очередь, Ibeo имеет глубокие связи с автомобильной промышленностью, что позволяет компании заключать крупные сделки с автопроизводителями-партнерами.

Микротрансферная печать


И Sense, и Ibeo используют недорогой тип лазеров – лазеры с вертикальным излучением (VCSEL). Эти лазеры могут производиться с использованием привычных полупроводниковых технологий, что позволяет разместить тысячи или даже миллионы устройств на одной пластине. Ранее мы рассказывали о другом стартапе под названием Ouster, их лидар основан на VCSEL.

В лидаре от Sense намного больше лазеров, чем в лидаре от Ouster. Чтобы добиться этого, Sense используют технологию, которая называется микротрансферная печать.

Разместить несколько тысяч VCSEL на одном чипе нетрудно. Но при изготовлении чипа, на котором плотно расположены 11 000 лазеров, у вас могут возникнуть проблемы. Лазеры в таком количестве на малой площади могут выделять большой объем тепла. Также у вас могут возникнуть проблемы с безопасностью для глаз. Лазеры с вертикальным излучением работают на частоте, которая может повредить сетчатку, а 11 000 лазеров, направленных на человеческий глаз, могут привести к необратимым травмам.

У Sense есть разумное решение этой проблемы: распределение лазеров. После установки тысяч лазеров с вертикальным излучением на пластину из арсенида галлия, Sense переносит их на новую теплопроводящую керамическую подложку, разрежая плотность установки лазеров.

image


В этот момент в дело вступает микротрансферная печать. В этой технологии используется резиновый штамп, на дне которого расположена сетка с резиновыми выступами. Когда один из выступов касается лазера с вертикальными излучением, он может приподнять его с помощью силы статического электричества.

image

Выступы расположены так, что один из каждых n чипов (отсчитывая и по горизонтали, и по вертикали) приподнимается с исходной пластины и помещается на новую подложку. Далее, штамп собирает набор чипов из идущих далее слотов для следующего лидара. Таким образом, одна кремниевая пластина может образовывать сборки на 11 000 лазеров для множества лидаров.

Sense стремится увеличить радиус действия своих лидаров


image

Вместо того чтобы сканировать сцену последовательно (так, как это делают большинство лидаров), лидары от Sense используют свои 11 000 лазеров чтобы осветить всю сцену за одну вспышку, после чего датчик измеряет время, за которое обратная вспышка отражается со всех направлений.

Вспышечные лидары вроде этого, как правило, имеют малую дальность действия, поскольку освещение всей сцены приводит к тому, что свет теряется в промежутках между пикселями. По сути, Sense решают эту проблему методом грубой силы, используя большое количество света для освещения сцены. Распределение лазеров помогает справляться с выделяемым теплом и вредом для человеческих глаз – проблемами, которые могли бы возникать при подобном подходе.

Тем не менее, генеральный директор Ouster Ангус Паскала отмечает, что подход Sense имеет существенный недостаток: высокое энергопотребление. “Чем больше электроэнергии, тем больше датчики” – комментарий Ангуса для Ars. “Чем больше датчики, тем выше цена и больше сложность интеграции”.

Несмотря на то, что нынешние продукты Sense потребляют больше электроэнергии, чем лидары от ведущих компаний, они имеют меньшую дальность действия. Также лидары от Ouster и Velodyne вращаются на 360 градусов, в то время как вам понадобится несколько лидаров от Sense для того, чтобы получить аналогичное покрытие.

Берроуз планирует выпустить лидар с дальностью действия в 200 метров в 2021 году. У этого лидара будет более 11 000 лазеров, хотя точное количество еще неизвестно. Основной задачей будет достижение большей дальности действия без столь же значительного увеличения энергопотребления.

Однофотонные лавинные диоды входят в моду


image

Один из вариантов решения этой задачи – использование массива однофотонных лавинных диодов (SPAD) для определения отраженных лазерных лучей в лидарных датчиках нового поколения. Это еще одно сходство с лидарами от Ouster, в которых используются SPAD. В интервью Ars Technica в 2018 году Пакала сказал, что его долгосрочная стратегия заключается в использовании двумерных массивов лазеров с вертикальным излучением и датчиков на однофотонных лавинных диодах, что позволит создать лидары, которые работают как камеры – продукт, который Sense планирует представить в следующем году.

Как следует из названия, датчики на однофотонных лавинных диодах достаточно чувствительны, чтобы засечь один фотон. Как и лазеры с вертикальным излучением, они могут быть изготовлены с использованием привычных технологий работы с кремнием, что позволяет им быть дешевыми в терминах масштабирования. Большая чувствительность этих датчиков может помочь Sense достичь большей дальности действия для имеющегося количества лазерного света.

Интересно, что Ibeo также планируют использовать однофотонные лавинные диоды в своих лидарах следующего поколения.

Ibeo – это не стартап. Некоторые из их лидаров участвовали в DARPA Grand Challenge 2005 года, хотя участие компании упущено из виду, потому что их лидары имели всего 4 линии сканирования, в то время как у лидаров Velodyne было 64. Ibeo совершили крупный переворот несколько лет назад, когда они получили контракт на поставку лидаров для Audi – первый случай, когда лидары были установлены в серийных автомобилях. Также миноритарным акционером Ibeo является ZF Friedrichshafen, что помогает им заключать еще больше контрактов на поставки датчиков для автомобилей.

В своем интервью, данном в четверг, операционный директор Ibeo Марио Брамм рассказал Ars, что лидар следующего поколения от Ibeo должен выйти в конце этого года и будет иметь массивы лазеров вертикального излучения и однофотонных лавинных диодов размерности 128 на 80. Ibeo стремятся к модульному дизайну, который позволит компании использовать различную оптику для создания диапазона моделей с разными возможностями – от лидаров дальнего действия с малым углом обзора, до широкоугольных лидаров с более коротким радиусом действия. Ibeo хотят сделать эти лидары достаточно дешевыми, чтобы их можно было продавать автомобильным концернам для массового производства, начиная с конца 2022 или начала 2023 года.

Очевидный вопрос заключается в том, как Ibeo будут решать проблемы с температурой и безопасностью для глаз, которые Sense решает с помощью микротрансферной печати. Одно из решений – использование высокочувствительных однофотонных лавинных диодов, благодаря чему Ibeo смогут уменьшить выходную мощность своих лазеров достаточно для того, чтобы избежать проблем с питанием и опасностью для человеческих глаз. Другим вариантом решения является использование непосредственного соединения между каждым лазером и датчиком, что приведет к уменьшению количества “потерянных” фотонов. Во время нашего разговора Брамм сказал, что низкая мощность является приоритетом для клиентов, представляющих автомобильный рынок.

С другой стороны, может оказаться, что этот подход трудно реализовать без технологии микротрансферной печати, которой пользуются Sense, в то время как Ibeo и Ouster будут пытаться создать твердотельные лидары без нее.

Поправка: сначала я заявил, что лазеры с вертикальным излучением, которыми пользуются Sense сделаны из кремния – на самом деле они основаны на арсениде галлия.



image

О компании ИТЭЛМА
Мы большая компания-разработчик automotive компонентов. В компании трудится около 2500 сотрудников, в том числе 650 инженеров.

Мы, пожалуй, самый сильный в России центр компетенций по разработке автомобильной электроники. Сейчас активно растем и открыли много вакансий (порядка 30, в том числе в регионах), таких как инженер-программист, инженер-конструктор, ведущий инженер-разработчик (DSP-программист) и др.

У нас много интересных задач от автопроизводителей и концернов, двигающих индустрию. Если хотите расти, как специалист, и учиться у лучших, будем рады видеть вас в нашей команде. Также мы готовы делиться экспертизой, самым важным что происходит в automotive. Задавайте нам любые вопросы, ответим, пообсуждаем.

Читать еще полезные статьи:

НПП ИТЭЛМА
Компоненты для роботизированного транспорта

Комментарии 58

    +4
    Мне вот интересно, а как автомобили будут отличать свой сигнал, отраженный от объектов, от сигналов лидаров других авто едущих навстречу? Единственный способ, который приходит на ум — сигналы должны быть модулированы какой-то псевдослучайной последовательностью, чтобы по корелляции различать свои сигналы от чужих. Но как это будет сделано на самом деле?
      0

      Алгоритмы и модуляция, как Вы и указали. Здесь говорится о массиве излучающих лазеров, это не лидар с одним мощным источником-лазером, где имеет место когерентность сигнала.

        0
        Ну будет в лидар поступать разом несколько отражённых сигналов, каждый со своей модуляцией. Датчик то получит только их сумму. Если для вычленения «своего» сигнала из этой мешанины придётся давать несколько сотен/тысяч импульсов, то быстродействие снизится в соответствующее количество раз.
        И ещё ситуация — луч послали, а на его пути зеркало. Луч ушёл вбок и не вернулся. Какое расстояние до зеркала?
          +1
          И ещё ситуация — луч послали, а на его пути зеркало. Луч ушёл вбок и не вернулся. Какое расстояние до зеркала?
          Классически-программисткое: NULL!=0
          В остальном — так же, как поступает мозг со слепым пятном: выдумывает, что бы это там могло быть.
          0
          авто едущих навстречу?
          C учётом V2V всё будет ещё красивее: поймав сигнал встречного издали, ему можно будет ответить по V2V: «вижу тебя». Так дальность взаимного опознавания вырастет значительно больше дальности работы собственно лидара (то есть дальности, когда отражённый сигнал придёт с достаточной мощностью).
            0
            В мире есть миллионы фотографов, и тысячи из них прямо в этот момент фотографируют что-нибудь. Почему они не засвечивают друг-другу фотографии, если пользуются вспышками? Да потому что они все фотографируют в разных местах и в разных направлениях и в разные моменты времени.

            То же самое и с лидарами. Они не работают на каких-то когерентных частотах как радары, а просто посылают короткие (очень короткие) импульсы туда-сюда, и принимают отражение. В инфакрасном диапазоне линзы тоже работают, поэтому фотодетектору не надо обозревать 360 градусов вокруг себя, просто смотреть примерно туда-же куда отправили, что и делается с помощью линзы. В следующий момент времени приемо-передатчик уже слегка повернется и снова отправит импульс, который улетит уже в другую сторону.

            Чтобы задетектировать чужой импульс, нужно чтобы в той самой стороне куда только что отправили сигнал стоял еще один такой-же лидар и чтобы он был очень точно отсинхранизирован по времени и выстрелил обратно в тот же самый момент. Это крайне маловероятно, а если и произойдет то получится что одна точка в полученном поинт-клауде будет испрочена. Следующее измерение уже пойдет в сторону и не затронет тот второй лидар никак. Даже если у вас миллион лидаров в одной комнате, они будут продолжать работать нормально, максимум что может случиться — повысится уровень шумов в принимаемых клаудах.
              0
              не скажу насчет «миллиона в одной комнате», но вот встанут такие машинки в пробке — там засветка прилетит не только по отраженной точке, а еще и напрямую в камеру лидара.
                0
                совсем не правильно. приемник ловит отражение и считает расстояние по времени. если приемник уловил чужой сигнал то выбудете знать что там что то есть но не знать на каком расстоянии. уже при трех лидарах работающих рядом начинаются проблемы.
                  0
                  Непосредственно работаю с лидарами. Больше всего с Velodyne и Ouster. 4 лидара ставил в одну комнату, никаких проблем не видел. ЧЯДНТ? Большее количество в одном месте пока не использовали — нет надобности. Если появится — гарантирую что никаких проблем не появится. Еще раз повторю — на фото-детекторе стоит гребанная линза, фотодетектор не смотрит вокруг себя во все стороны — только туда откуда ожидается отражение.
                    0
                    не видел раньше ответа… мы тоже работаем с лидарами и как не странно тоже не с копеечными… Velodyne Alpha Prime… os-1-128 тогда не доехали до нас
                    мы не ставим лидары — в одну комнату… мы моделируем реальную обстановку…
                    с установкой в светлом помещении с требуемым уровнем освещенности, лидары на карусельках с имитацией движения на необходимой скорости, мишень на рельсах с заданным расстоянием… — проблемы с точностью определения расстояния есть…
                    зависимость проблем от плотности сигнала — прямо пропорциональная…
              +3
              Всегда было интересно, как эти системы работают в тяжелых погодных условиях. Например, несколько раз попадал в такие снегопады за городом, когда видимость была на уровне какого-то десятка метров… А как лидары «видят» в таких условиях? И вообще, есть ли какой-то вид сигнала, который «пробивает» сильный снегопад хотя бы на 100 метров?
                0
                Метеорадар пробивает на сотни километров.
                  0
                  Ясно, то есть миллиметровый-сантиметровый диапазоны. Может быть, для таких редких случаев, когда не справляется лидар можно было бы и такой вариант использовать.
                    +2
                    Утащил с какого-то форума:
                    Метеорадар работает на частоте 5,65 ГГц с импульсной мощностью 900 кВт (!) импульсами по 60 мкс на быстро вращающейся антенне (1 оборот в 10 секунд)

                    Хозяйке на заметку: если вокруг радара построить стандартный трек, то среднестатистический спортсмен сварится, не успев проехать даже трети круга
                      +1
                      размер и мощность у него какие?
                        +1
                        В вопросе этого не уточняли :)
                      0
                      Примерно так же, как у людей: прицепил сварочно-белые фары, стало красиво, но нифига не видно. Прицепил жёлтые — не понтово, зато в дождь/снег видно гораздо лучше.
                      Так и бабочки использование частоты пониже, вплоть до ИК и микроволн, гарантирует дальность выше, чем это возможно в видимом диапазоне.
                        0

                        Это решается переходом в диапазон частот, волны которого проникают через среду. Ближний ИК-диапазон неплохо проявляет себя с пылью, дальний и через пакеты пластиковые пробивает, миллиметровые волны мало обращают внимания на широкий спектр материалов и их геометрии. Дальнейшее увеличение волны возможно, но нужно учитывать наличие разумных источников излучения и приёмников (для ближнего ИК — полупроводниковые приборы, для дальнего ИК — лазеры на СO2 и микроантенны, ну а дальше из изведанных — гигагерцовые системы, те же радары на 77 ГГц). Сложность той или иной технологии лидара/радара идёт в ногу с компромисами в компактности, стоимости, наличия проверенных технологий и т.п.

                          0
                          А не пробовал по видеокамере ехать? Она снег не видит…
                          +3
                          11 000 лазеров в одно место.
                            0
                            Дайте угадаю без перехода: NIF?
                              0
                              зашел за этим комментом (точнее, собирался такой коммент написать)
                              0
                              «Сейчас десятки стартапов пытаются создать более дешевые лидары.»
                              Подскажите два три из них, у меня есть идея для удешевления лидара.
                              Хочется проверить и если получится, то продать (на икру последнее время не хватает)
                                0
                                Патент оформили?
                                  0
                                  Смысла нет, стоимость патентования слишком большая.
                                  Российский патент не имеет «хождения» в мире (тоже муторно и не дешево), а «международный» слишком дорого.
                                  Для таких случаев производится процедура депонирования, но этот подход из разряда: «Так не доставайся ж ты никому! ». Подожду немного и статью напишу на HABR.
                                    +1
                                    А как вы собрались тогда продать идею? В США можно оформить предварительный патент за 80 USD, можете даже описать его на русском отправив по почте. В течении года можете смело выставить идею на продажу. Через год должны переоформить черновик в патент.

                                    >Российский патент не имеет «хождения» в мире
                                    Имеет. Вначале оформляете российский патент, затем у вас есть три года, чтобы оформить патенты в других странах.

                                    >тоже муторно и не дешево
                                    Что значит «не дешево»? Патент можно самостоятельно написать изучив чужие по схожей тематике. Стоимость заявки, что-то в районе 10 000 руб. или даже дешевле (не помню сейчас точно). Всё можно подать через интернет и отправить почтой.
                                      0
                                      Идей много, оформлять на каждую патент — замучаешься.
                                      Решил просто предлагать профильным организациям и если нет заинтересованности, то публиковать на хабре (например). Если кто заинтересуется, просто как инженера или консультанта наймут.
                                        0
                                        Если кто хочет свой стартап «замутить» на тему дешевого лидара — пишите.
                                        Проверите идею и со мной поделитесь ))).
                                        Одно непременное условие — указывать автора, те меня любимого.
                                    0
                                      0
                                      не братья они (буржуины) нам, по разуму.
                                    +2
                                    Все же сомневаюсь я в необходимости лидара в авто. У человека всего 2 глаза, но этого более чем хватает для хорошего вождения даже в хреновых условиях. Камеры давно превосходят по качеству картинки человеческий глаз, так что дело остается в нейросетях и ии. Для безопасности можно удвоить количество камер и добавить камеры по периметру. Можно добавить курсовой радар, для определения препятствий. Но лидару практически нет места в этой схеме. Просто дорогая игрушка, возможно пригодится для 3D съемки местности для последующего моделирования, когда нужна точность положения объектов…
                                      0
                                      Насчет лидара я согласен. С одной поправкой. Камером до глаза пока еще очень далеко по конструкции.
                                        0
                                        камера и не должна повторять все ошибки природы
                                          0
                                          Глаз гораздо круче по конструкции, чем наши камеры. Из глаза информация передается параллельно, сразу с сетчатки, причем обработка информации начинается уже в сетчатке. В наших камерах информация передается последовательно.
                                          До повторения таких «ошибок», нам довольно-таки далеко еще.
                                            0
                                            да ладно? прям в сетчатке? и чем позволите поинтересоваться она там обрабатывается?))) или вы имеете в виду преобразование: полученного света в химию а потом в электричество?
                                            и чем же круче — сколько кадров в секунду можем воспринять? как точно определяем расстояние по стерео взгляду? что делать с большим слепым пятном? а саккады? а выключение зрения в конце цикла на обработку?
                                              0
                                              В самой сетчатке есть нейроны, которые связаны между собой.
                                              В том-то и крутота, что мы в камере последовательно опрашиваем светочуствительные элементы и передаем информацию по последовательному интерфейсу. А потом уже, если нужно скажем распознать что-то опять запихиваем в двумерную структуру, а глаз во первых что-то обрабатывает уже на месте, а потом передает информацию параллельно. Поэтому кадры в секунду бессмысленный термин для глаза, глаз это не камера, это составная часть системы распознавания, ИМХО это первый-второй слой нейронной сети, хотя я не большой спец, могу ошибаться.
                                              Что касается точности/скорости определения расстояния, то например хватает, чтобы обезьяне прыгать в кроне дерева с ветка на ветку.
                                              Добавил:
                                              Вот, нашел некоторые цифры, в глазу порядка 100 миллионов светочуствительных клеток, а в мозг уходит порядка 1 миллиона нервов, сокращение количества сигналов за счет обработки в сетчатке, ИМХО.
                                                0
                                                Эмм… как бы камеры сейчас умеют обрабатывать входящее изображение на ходу навешивая эффекты и делая коррекции.
                                                То-есть от того что часть обрабатывающих мощностей встроена в глаз не меняется вообще ничего. Какая разница, где именно будет обработано изображение. Тут главное как — а это уже дело техники. У нас ТПУ то появились не так давно, надо подождать еще лет пять.
                                                Кстати количество клеток в глазу избыточно и взято с запасом в расчете на деградацию. Мы не используем и четверти реальных возможностей глаза, а с возрастом все становится еще печальней. Это как на профессиональную камеру одеть китайский детский пластиковый объектив, который еще и б/у
                                                  0
                                                  То-есть от того что часть обрабатывающих мощностей встроена в глаз не меняется вообще ничего.

                                                  Меняется скорость обработки. Повышается на порядки.
                                                  Нейробиологи из Массачусетского технологического института установили минимальное время, в течение которого человеку нужно показывать изображение, чтобы мозг сумел его обработать. Показатель равен 13 миллисекундам. Это значительно меньше, чем предполагалось. Раньше учёные оценивали время обработки информации примерно в 100 миллисекунд.

                                                  Это значит, что нам пока рано задирать нос.
                                                  0
                                                  еще раз глаз не обрабатывает сигнал на месте чуть меньше чем никак — все что мы видим это работы коры головного мозга…
                                                  Кадры в секунду бесполезный термин?))) да ладно? вся система видео построена на том что глаз неспособен разделить менее 24 кадров в секунду)
                                                  прыгать интуитивно? да. ну-ка посмотрите на предмет и скажите сколько до него сантиметров точно? сравните с рулеткой. а вот комп на базе изображений стереокамеры — может.
                                                  и вообще вы через чур оптимистичны насчет глаз и мозга…
                                                  почитайте: о Слепота невнимания и другие исследования о проблемах фактического зрения человека
                                                    0
                                                    глаз не обрабатывает сигнал на месте чуть меньше чем никак

                                                    Горизонтальные клетки
                                                    Биполярные клетки
                                                    Амакриновые клетки

                                                    и т.д. — и это всё еще до того, как сигнал покинул глаз…

                                                    «24 кадра» — это изза сознания. Глаз — умеет «замечать» и более короткие промежутки между изменениями светового потока, вот только в сознание они не смогут попасть. (В сознание вообще много чего не попадает — взять хотя бы моргания или саккады)
                                                      0
                                                      еще раз — глаз не обрабатывает сигнал…
                                                      все ваши цитаты википедии — помещаются в мой вопрос с самого начала
                                                      «или вы имеете в виду преобразование: полученного света в химию, а потом в электричество?»
                                                      эти клетки используются только для формирования нервного сигнала передаваемого в кору мозга- именно там происходит обработка сигнала и понимание что же такое видим…
                                                      глаз человека вообще ничего не понимает что видит…
                                                        +1
                                                        хм, у нас с вами разные определения — что такое «обрабатывать\не обрабатывать сигнал»
                                                        У меня — клетки, которые «преобразовывают свет в химию» — это палочки и колбочки, а все остальные за ними — преобразовывают их сигналы (как второй, третий и т.д. каскады).
                                                        «Понимать» глаз разумеется ничего не понимает, но он обрабатывает сигналы, и не все сигналы, которые он получает, беспрепятственно проходят дальше в мозг.
                                                          0
                                                          +1 Пока точных данных, что там происходит ИМХО нет, но судя по тому, что в глазу имеется слой (слои?) поперечно соединенных клеток, там находится первый слой нейронной сети.
                                                          С инженерной точки зрения это как раз и позволяет значительно умерьшить количество информации, передаваемой на большое расстояние (в мозг).
                                                            0
                                                            скорее наоборот…
                                                            преобразование света в сигнал… колбочки
                                                            накопление сигнала...(биполярные, горизонтальные клетки)
                                                            считывание накопленного потенциала сигнала ( амакриновые и ганглионарные клеитки) и передача его в мозг…
                                                            то есть наше зрение не что иное как обычная матрица — вот только процессоров обработки сигнала в ней больше
                                                            0
                                                            ваша гипотеза прямо противоречит согласию биологов об отсутствии нервной активности в глазе… Из чего сделано ваше предположение об обработке сигнала в глазу?
                                                              0
                                                              Ну, из статей типа таких:
                                                              Физиология зрения

                                                              Обработка информации в сетчатке
                                                              Элементы нейронной сети сетчатки и их функции

                                                              Ссылка
                                                                0
                                                                рисунок 6 и таблица 2 как раз пересказ христаматийного представления о глазе как матрице… преобразование света — создание и накопление сигнала — считывание сигнала и передача его в кору…
                                                                но про обработку — наличие нейронной сети связанной с обработкой информации — как раз никто не пишет…
                                                                  0
                                                                  Обрати внимание на:
                                                                  Горизонтальные клетки соединяют расположенные рядом фоторецепторы. От тела горизонтальной клетки отходит несколько отростков, которые образуют синаптические контакты с фоторецепторами. Основная функция горизонтальных клеток – осуществление латеральных взаимодействий фоторецепторов.

                                                                  ИМХО, горизонтальное взаимодействие, это и есть обработка.
                                                                  0
                                                                  Вот еще нашел интересную статью:
                                                                  Сетчатка дрозофил показала автономность в распознавании образов
                                                                  Оттуда:
                                                                  По словам исследователей, нелинейное кодирование на периферии ЦНС упрощает детализацию визуальных стимулов. Такое устройство зрительного анализатора повышает эффективность восприятия, в том числе краев движущихся объектов. Прежде считалось, что фоторецепторы лишь преобразуют свет в электрические сигналы.
                                                                    0
                                                                    «метода нелинейного авторегрессионного скользящего математического ожидания с внешними входами (NARMAX)»
                                                                    — что хотели получить то и получили…
                                                                    A similar analysis carried out using recordings from blind hdcJK910 mutant flies, indicates that the nonlinear transformations underlying the detection of phase correlations in the temporal light stimuli are performed by phototransduction alone, and do not require synaptic interactions between neighbouring neurons.
                                                                      0
                                                                      Вот еще интересное:
                                                                      Среди других свойств нейронов, связанных с организацией их рецептивных полей, следует отметить избирательность к направлению движения видимых объектов. Такие клетки дают максимальные разряды, когда стимул движется через рецептивное поле в строго определенном направлении, которое таким образом, оказывается предпочитаемым для данного нейрона. Ганглиозные клетки сетчатки обладающие избирательностью к направлению движения, изучены в сетчатках многих видов млекопитающих, в том числе и в сетчатке кошки.

                                                                      Ссылка
                                                                        0
                                                                        как думаете на основании чего придуман автофокус в матрицах? или автофокус понимает на чем фокусируется?
                                            0
                                            Интересно, но те картинки с камер самобеглых автомобилей что я видел (приходилось по работе) — очень низкого качества (чб, низкое разрешение) и вообще требуется их неслабая обработка перед тем, как живому человеку показывать, чтобы без боли на них смотреть. А для AI — вполне норм, чтобы машину по ним водить.
                                              +1
                                              Но с лидаром еще хуже. Тесла уже доказала, что можно кататься с одними камерами.
                                              Проблема лидара в том, что он не может заменить ни камеры, ни радар, при этом стоит раза в четыре больше, чем сборка с системами обработки, камерами и радаром. Лидар не видит знаки, разметку и светофоры при всем желании — значит без камер машина в принципе ездить не сможет. И в отличии от радара на него сильнее влияет погода. Данные от лидара просто избыточны, машине вовсе ненужна такая точность, а остальное могут собрать камеры. У лидара плюс в том, что он хорошо отслеживает движение объектов вокруг, выкидывая много лишней информации в отличии от камер, что делает обработку его сигнала проще… но опять же без камер машина ездить не может, как и без обработки изображения с них.
                                              Вот и выходит, что лидар — просто костыль, которым пытаются компенсировать несовершенство ИИ, который разбирает изображения с камер. Думаю лет через пять, когда ТПУ как следует войдут в нашу жизнь и работа с изображением от видеокамер станет куда лучше — лидары с машин начнут исчезать.
                                                0
                                                лидаров работающих с эффектом Доплера чуть меньше чем ничего. Точность нужна в городской застройке, но не по его стоимости — 35 т за комплект из 2 лидаров 128 разрядников
                                            0
                                            Скорей всего для самобеглых автомобилей будут делать отдельную инфраструктуру, что-то вроде железной дороги, наверно, с подводом электричества, а по обычным асфальтовым дорогам авто будет доезжать только последние метры на небольшой скорости(дворы, парковки и т.д.). Пути для будущего транспорта будут ограждены от людей и случайных столкновений (тоннели маска?) (как у поезда) и точно размечены, поэтому потребность в сверхточных лидарах и камерах завышена.

                                            Во времена гоэлро-2 считалось полным бредом, что в каждый дом проведут медный провода, молчу про оптический кабель, канализацию и водопровод))
                                              0
                                              Маловероятно. Это какие-то нереальные инвестиции нужны, если и будут — то возможно дооснащение крупных магистралей какими-то активными системами передачи данных, но вряд ли самих дорог.

                                            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                            Самое читаемое