Comments 58
Мне вот интересно, а как автомобили будут отличать свой сигнал, отраженный от объектов, от сигналов лидаров других авто едущих навстречу? Единственный способ, который приходит на ум — сигналы должны быть модулированы какой-то псевдослучайной последовательностью, чтобы по корелляции различать свои сигналы от чужих. Но как это будет сделано на самом деле?
Алгоритмы и модуляция, как Вы и указали. Здесь говорится о массиве излучающих лазеров, это не лидар с одним мощным источником-лазером, где имеет место когерентность сигнала.
Ну будет в лидар поступать разом несколько отражённых сигналов, каждый со своей модуляцией. Датчик то получит только их сумму. Если для вычленения «своего» сигнала из этой мешанины придётся давать несколько сотен/тысяч импульсов, то быстродействие снизится в соответствующее количество раз.
И ещё ситуация — луч послали, а на его пути зеркало. Луч ушёл вбок и не вернулся. Какое расстояние до зеркала?
И ещё ситуация — луч послали, а на его пути зеркало. Луч ушёл вбок и не вернулся. Какое расстояние до зеркала?
И ещё ситуация — луч послали, а на его пути зеркало. Луч ушёл вбок и не вернулся. Какое расстояние до зеркала?Классически-программисткое: NULL!=0
В остальном — так же, как поступает мозг со слепым пятном: выдумывает, что бы это там могло быть.
авто едущих навстречу?C учётом V2V всё будет ещё красивее: поймав сигнал встречного издали, ему можно будет ответить по V2V: «вижу тебя». Так дальность взаимного опознавания вырастет значительно больше дальности работы собственно лидара (то есть дальности, когда отражённый сигнал придёт с достаточной мощностью).
В мире есть миллионы фотографов, и тысячи из них прямо в этот момент фотографируют что-нибудь. Почему они не засвечивают друг-другу фотографии, если пользуются вспышками? Да потому что они все фотографируют в разных местах и в разных направлениях и в разные моменты времени.
То же самое и с лидарами. Они не работают на каких-то когерентных частотах как радары, а просто посылают короткие (очень короткие) импульсы туда-сюда, и принимают отражение. В инфакрасном диапазоне линзы тоже работают, поэтому фотодетектору не надо обозревать 360 градусов вокруг себя, просто смотреть примерно туда-же куда отправили, что и делается с помощью линзы. В следующий момент времени приемо-передатчик уже слегка повернется и снова отправит импульс, который улетит уже в другую сторону.
Чтобы задетектировать чужой импульс, нужно чтобы в той самой стороне куда только что отправили сигнал стоял еще один такой-же лидар и чтобы он был очень точно отсинхранизирован по времени и выстрелил обратно в тот же самый момент. Это крайне маловероятно, а если и произойдет то получится что одна точка в полученном поинт-клауде будет испрочена. Следующее измерение уже пойдет в сторону и не затронет тот второй лидар никак. Даже если у вас миллион лидаров в одной комнате, они будут продолжать работать нормально, максимум что может случиться — повысится уровень шумов в принимаемых клаудах.
То же самое и с лидарами. Они не работают на каких-то когерентных частотах как радары, а просто посылают короткие (очень короткие) импульсы туда-сюда, и принимают отражение. В инфакрасном диапазоне линзы тоже работают, поэтому фотодетектору не надо обозревать 360 градусов вокруг себя, просто смотреть примерно туда-же куда отправили, что и делается с помощью линзы. В следующий момент времени приемо-передатчик уже слегка повернется и снова отправит импульс, который улетит уже в другую сторону.
Чтобы задетектировать чужой импульс, нужно чтобы в той самой стороне куда только что отправили сигнал стоял еще один такой-же лидар и чтобы он был очень точно отсинхранизирован по времени и выстрелил обратно в тот же самый момент. Это крайне маловероятно, а если и произойдет то получится что одна точка в полученном поинт-клауде будет испрочена. Следующее измерение уже пойдет в сторону и не затронет тот второй лидар никак. Даже если у вас миллион лидаров в одной комнате, они будут продолжать работать нормально, максимум что может случиться — повысится уровень шумов в принимаемых клаудах.
не скажу насчет «миллиона в одной комнате», но вот встанут такие машинки в пробке — там засветка прилетит не только по отраженной точке, а еще и напрямую в камеру лидара.
совсем не правильно. приемник ловит отражение и считает расстояние по времени. если приемник уловил чужой сигнал то выбудете знать что там что то есть но не знать на каком расстоянии. уже при трех лидарах работающих рядом начинаются проблемы.
Непосредственно работаю с лидарами. Больше всего с Velodyne и Ouster. 4 лидара ставил в одну комнату, никаких проблем не видел. ЧЯДНТ? Большее количество в одном месте пока не использовали — нет надобности. Если появится — гарантирую что никаких проблем не появится. Еще раз повторю — на фото-детекторе стоит гребанная линза, фотодетектор не смотрит вокруг себя во все стороны — только туда откуда ожидается отражение.
не видел раньше ответа… мы тоже работаем с лидарами и как не странно тоже не с копеечными… Velodyne Alpha Prime… os-1-128 тогда не доехали до нас
мы не ставим лидары — в одну комнату… мы моделируем реальную обстановку…
с установкой в светлом помещении с требуемым уровнем освещенности, лидары на карусельках с имитацией движения на необходимой скорости, мишень на рельсах с заданным расстоянием… — проблемы с точностью определения расстояния есть…
зависимость проблем от плотности сигнала — прямо пропорциональная…
мы не ставим лидары — в одну комнату… мы моделируем реальную обстановку…
с установкой в светлом помещении с требуемым уровнем освещенности, лидары на карусельках с имитацией движения на необходимой скорости, мишень на рельсах с заданным расстоянием… — проблемы с точностью определения расстояния есть…
зависимость проблем от плотности сигнала — прямо пропорциональная…
UFO just landed and posted this here
UFO just landed and posted this here
UFO just landed and posted this here
Утащил с какого-то форума:
Метеорадар работает на частоте 5,65 ГГц с импульсной мощностью 900 кВт (!) импульсами по 60 мкс на быстро вращающейся антенне (1 оборот в 10 секунд)
Хозяйке на заметку: если вокруг радара построить стандартный трек, то среднестатистический спортсмен сварится, не успев проехать даже трети круга
размер и мощность у него какие?
Примерно так же, как у людей: прицепил сварочно-белые фары, стало красиво, но нифига не видно. Прицепил жёлтые — не понтово, зато в дождь/снег видно гораздо лучше.
Так и бабочки использование частоты пониже, вплоть до ИК и микроволн, гарантирует дальность выше, чем это возможно в видимом диапазоне.
Это решается переходом в диапазон частот, волны которого проникают через среду. Ближний ИК-диапазон неплохо проявляет себя с пылью, дальний и через пакеты пластиковые пробивает, миллиметровые волны мало обращают внимания на широкий спектр материалов и их геометрии. Дальнейшее увеличение волны возможно, но нужно учитывать наличие разумных источников излучения и приёмников (для ближнего ИК — полупроводниковые приборы, для дальнего ИК — лазеры на СO2 и микроантенны, ну а дальше из изведанных — гигагерцовые системы, те же радары на 77 ГГц). Сложность той или иной технологии лидара/радара идёт в ногу с компромисами в компактности, стоимости, наличия проверенных технологий и т.п.
А не пробовал по видеокамере ехать? Она снег не видит…
11 000 лазеров в одно место.
«Сейчас десятки стартапов пытаются создать более дешевые лидары.»
Подскажите два три из них, у меня есть идея для удешевления лидара.
Хочется проверить и если получится, то продать (на икру последнее время не хватает)
Подскажите два три из них, у меня есть идея для удешевления лидара.
Хочется проверить и если получится, то продать (на икру последнее время не хватает)
Патент оформили?
Смысла нет, стоимость патентования слишком большая.
Российский патент не имеет «хождения» в мире (тоже муторно и не дешево), а «международный» слишком дорого.
Для таких случаев производится процедура депонирования, но этот подход из разряда: «Так не доставайся ж ты никому! ». Подожду немного и статью напишу на HABR.
Российский патент не имеет «хождения» в мире (тоже муторно и не дешево), а «международный» слишком дорого.
Для таких случаев производится процедура депонирования, но этот подход из разряда: «Так не доставайся ж ты никому! ». Подожду немного и статью напишу на HABR.
А как вы собрались тогда продать идею? В США можно оформить предварительный патент за 80 USD, можете даже описать его на русском отправив по почте. В течении года можете смело выставить идею на продажу. Через год должны переоформить черновик в патент.
>Российский патент не имеет «хождения» в мире
Имеет. Вначале оформляете российский патент, затем у вас есть три года, чтобы оформить патенты в других странах.
>тоже муторно и не дешево
Что значит «не дешево»? Патент можно самостоятельно написать изучив чужие по схожей тематике. Стоимость заявки, что-то в районе 10 000 руб. или даже дешевле (не помню сейчас точно). Всё можно подать через интернет и отправить почтой.
>Российский патент не имеет «хождения» в мире
Имеет. Вначале оформляете российский патент, затем у вас есть три года, чтобы оформить патенты в других странах.
>тоже муторно и не дешево
Что значит «не дешево»? Патент можно самостоятельно написать изучив чужие по схожей тематике. Стоимость заявки, что-то в районе 10 000 руб. или даже дешевле (не помню сейчас точно). Всё можно подать через интернет и отправить почтой.
Идей много, оформлять на каждую патент — замучаешься.
Решил просто предлагать профильным организациям и если нет заинтересованности, то публиковать на хабре (например). Если кто заинтересуется, просто как инженера или консультанта наймут.
Решил просто предлагать профильным организациям и если нет заинтересованности, то публиковать на хабре (например). Если кто заинтересуется, просто как инженера или консультанта наймут.
Если кто хочет свой стартап «замутить» на тему дешевого лидара — пишите.
Проверите идею и со мной поделитесь ))).
Одно непременное условие — указывать автора, те меня любимого.
Проверите идею и со мной поделитесь ))).
Одно непременное условие — указывать автора, те меня любимого.
Все же сомневаюсь я в необходимости лидара в авто. У человека всего 2 глаза, но этого более чем хватает для хорошего вождения даже в хреновых условиях. Камеры давно превосходят по качеству картинки человеческий глаз, так что дело остается в нейросетях и ии. Для безопасности можно удвоить количество камер и добавить камеры по периметру. Можно добавить курсовой радар, для определения препятствий. Но лидару практически нет места в этой схеме. Просто дорогая игрушка, возможно пригодится для 3D съемки местности для последующего моделирования, когда нужна точность положения объектов…
Насчет лидара я согласен. С одной поправкой. Камером до глаза пока еще очень далеко по конструкции.
камера и не должна повторять все ошибки природы
Глаз гораздо круче по конструкции, чем наши камеры. Из глаза информация передается параллельно, сразу с сетчатки, причем обработка информации начинается уже в сетчатке. В наших камерах информация передается последовательно.
До повторения таких «ошибок», нам довольно-таки далеко еще.
До повторения таких «ошибок», нам довольно-таки далеко еще.
да ладно? прям в сетчатке? и чем позволите поинтересоваться она там обрабатывается?))) или вы имеете в виду преобразование: полученного света в химию а потом в электричество?
и чем же круче — сколько кадров в секунду можем воспринять? как точно определяем расстояние по стерео взгляду? что делать с большим слепым пятном? а саккады? а выключение зрения в конце цикла на обработку?
и чем же круче — сколько кадров в секунду можем воспринять? как точно определяем расстояние по стерео взгляду? что делать с большим слепым пятном? а саккады? а выключение зрения в конце цикла на обработку?
В самой сетчатке есть нейроны, которые связаны между собой.
В том-то и крутота, что мы в камере последовательно опрашиваем светочуствительные элементы и передаем информацию по последовательному интерфейсу. А потом уже, если нужно скажем распознать что-то опять запихиваем в двумерную структуру, а глаз во первых что-то обрабатывает уже на месте, а потом передает информацию параллельно. Поэтому кадры в секунду бессмысленный термин для глаза, глаз это не камера, это составная часть системы распознавания, ИМХО это первый-второй слой нейронной сети, хотя я не большой спец, могу ошибаться.
Что касается точности/скорости определения расстояния, то например хватает, чтобы обезьяне прыгать в кроне дерева с ветка на ветку.
Добавил:
Вот, нашел некоторые цифры, в глазу порядка 100 миллионов светочуствительных клеток, а в мозг уходит порядка 1 миллиона нервов, сокращение количества сигналов за счет обработки в сетчатке, ИМХО.
В том-то и крутота, что мы в камере последовательно опрашиваем светочуствительные элементы и передаем информацию по последовательному интерфейсу. А потом уже, если нужно скажем распознать что-то опять запихиваем в двумерную структуру, а глаз во первых что-то обрабатывает уже на месте, а потом передает информацию параллельно. Поэтому кадры в секунду бессмысленный термин для глаза, глаз это не камера, это составная часть системы распознавания, ИМХО это первый-второй слой нейронной сети, хотя я не большой спец, могу ошибаться.
Что касается точности/скорости определения расстояния, то например хватает, чтобы обезьяне прыгать в кроне дерева с ветка на ветку.
Добавил:
Вот, нашел некоторые цифры, в глазу порядка 100 миллионов светочуствительных клеток, а в мозг уходит порядка 1 миллиона нервов, сокращение количества сигналов за счет обработки в сетчатке, ИМХО.
Эмм… как бы камеры сейчас умеют обрабатывать входящее изображение на ходу навешивая эффекты и делая коррекции.
То-есть от того что часть обрабатывающих мощностей встроена в глаз не меняется вообще ничего. Какая разница, где именно будет обработано изображение. Тут главное как — а это уже дело техники. У нас ТПУ то появились не так давно, надо подождать еще лет пять.
Кстати количество клеток в глазу избыточно и взято с запасом в расчете на деградацию. Мы не используем и четверти реальных возможностей глаза, а с возрастом все становится еще печальней. Это как на профессиональную камеру одеть китайский детский пластиковый объектив, который еще и б/у
То-есть от того что часть обрабатывающих мощностей встроена в глаз не меняется вообще ничего. Какая разница, где именно будет обработано изображение. Тут главное как — а это уже дело техники. У нас ТПУ то появились не так давно, надо подождать еще лет пять.
Кстати количество клеток в глазу избыточно и взято с запасом в расчете на деградацию. Мы не используем и четверти реальных возможностей глаза, а с возрастом все становится еще печальней. Это как на профессиональную камеру одеть китайский детский пластиковый объектив, который еще и б/у
То-есть от того что часть обрабатывающих мощностей встроена в глаз не меняется вообще ничего.
Меняется скорость обработки. Повышается на порядки.
Нейробиологи из Массачусетского технологического института установили минимальное время, в течение которого человеку нужно показывать изображение, чтобы мозг сумел его обработать. Показатель равен 13 миллисекундам. Это значительно меньше, чем предполагалось. Раньше учёные оценивали время обработки информации примерно в 100 миллисекунд.
Это значит, что нам пока рано задирать нос.
еще раз глаз не обрабатывает сигнал на месте чуть меньше чем никак — все что мы видим это работы коры головного мозга…
Кадры в секунду бесполезный термин?))) да ладно? вся система видео построена на том что глаз неспособен разделить менее 24 кадров в секунду)
прыгать интуитивно? да. ну-ка посмотрите на предмет и скажите сколько до него сантиметров точно? сравните с рулеткой. а вот комп на базе изображений стереокамеры — может.
и вообще вы через чур оптимистичны насчет глаз и мозга…
почитайте: о Слепота невнимания и другие исследования о проблемах фактического зрения человека
Кадры в секунду бесполезный термин?))) да ладно? вся система видео построена на том что глаз неспособен разделить менее 24 кадров в секунду)
прыгать интуитивно? да. ну-ка посмотрите на предмет и скажите сколько до него сантиметров точно? сравните с рулеткой. а вот комп на базе изображений стереокамеры — может.
и вообще вы через чур оптимистичны насчет глаз и мозга…
почитайте: о Слепота невнимания и другие исследования о проблемах фактического зрения человека
глаз не обрабатывает сигнал на месте чуть меньше чем никак
Горизонтальные клетки
Биполярные клетки
Амакриновые клетки
и т.д. — и это всё еще до того, как сигнал покинул глаз…
«24 кадра» — это изза сознания. Глаз — умеет «замечать» и более короткие промежутки между изменениями светового потока, вот только в сознание они не смогут попасть. (В сознание вообще много чего не попадает — взять хотя бы моргания или саккады)
еще раз — глаз не обрабатывает сигнал…
все ваши цитаты википедии — помещаются в мой вопрос с самого начала
«или вы имеете в виду преобразование: полученного света в химию, а потом в электричество?»
эти клетки используются только для формирования нервного сигнала передаваемого в кору мозга- именно там происходит обработка сигнала и понимание что же такое видим…
глаз человека вообще ничего не понимает что видит…
все ваши цитаты википедии — помещаются в мой вопрос с самого начала
«или вы имеете в виду преобразование: полученного света в химию, а потом в электричество?»
эти клетки используются только для формирования нервного сигнала передаваемого в кору мозга- именно там происходит обработка сигнала и понимание что же такое видим…
глаз человека вообще ничего не понимает что видит…
хм, у нас с вами разные определения — что такое «обрабатывать\не обрабатывать сигнал»
У меня — клетки, которые «преобразовывают свет в химию» — это палочки и колбочки, а все остальные за ними — преобразовывают их сигналы (как второй, третий и т.д. каскады).
«Понимать» глаз разумеется ничего не понимает, но он обрабатывает сигналы, и не все сигналы, которые он получает, беспрепятственно проходят дальше в мозг.
У меня — клетки, которые «преобразовывают свет в химию» — это палочки и колбочки, а все остальные за ними — преобразовывают их сигналы (как второй, третий и т.д. каскады).
«Понимать» глаз разумеется ничего не понимает, но он обрабатывает сигналы, и не все сигналы, которые он получает, беспрепятственно проходят дальше в мозг.
+1 Пока точных данных, что там происходит ИМХО нет, но судя по тому, что в глазу имеется слой (слои?) поперечно соединенных клеток, там находится первый слой нейронной сети.
С инженерной точки зрения это как раз и позволяет значительно умерьшить количество информации, передаваемой на большое расстояние (в мозг).
С инженерной точки зрения это как раз и позволяет значительно умерьшить количество информации, передаваемой на большое расстояние (в мозг).
скорее наоборот…
преобразование света в сигнал… колбочки
накопление сигнала...(биполярные, горизонтальные клетки)
считывание накопленного потенциала сигнала ( амакриновые и ганглионарные клеитки) и передача его в мозг…
то есть наше зрение не что иное как обычная матрица — вот только процессоров обработки сигнала в ней больше
преобразование света в сигнал… колбочки
накопление сигнала...(биполярные, горизонтальные клетки)
считывание накопленного потенциала сигнала ( амакриновые и ганглионарные клеитки) и передача его в мозг…
то есть наше зрение не что иное как обычная матрица — вот только процессоров обработки сигнала в ней больше
ваша гипотеза прямо противоречит согласию биологов об отсутствии нервной активности в глазе… Из чего сделано ваше предположение об обработке сигнала в глазу?
Ну, из статей типа таких:
Ссылка
Физиология зрения
Обработка информации в сетчатке
Элементы нейронной сети сетчатки и их функции
Ссылка
рисунок 6 и таблица 2 как раз пересказ христаматийного представления о глазе как матрице… преобразование света — создание и накопление сигнала — считывание сигнала и передача его в кору…
но про обработку — наличие нейронной сети связанной с обработкой информации — как раз никто не пишет…
но про обработку — наличие нейронной сети связанной с обработкой информации — как раз никто не пишет…
Обрати внимание на:
ИМХО, горизонтальное взаимодействие, это и есть обработка.
Горизонтальные клетки соединяют расположенные рядом фоторецепторы. От тела горизонтальной клетки отходит несколько отростков, которые образуют синаптические контакты с фоторецепторами. Основная функция горизонтальных клеток – осуществление латеральных взаимодействий фоторецепторов.
ИМХО, горизонтальное взаимодействие, это и есть обработка.
это и есть способ сохранения полученной информации
en.wikipedia.org/wiki/Active-pixel_sensor
en.wikipedia.org/wiki/Active-pixel_sensor
Вот еще нашел интересную статью:
Сетчатка дрозофил показала автономность в распознавании образов
Оттуда:
Сетчатка дрозофил показала автономность в распознавании образов
Оттуда:
По словам исследователей, нелинейное кодирование на периферии ЦНС упрощает детализацию визуальных стимулов. Такое устройство зрительного анализатора повышает эффективность восприятия, в том числе краев движущихся объектов. Прежде считалось, что фоторецепторы лишь преобразуют свет в электрические сигналы.
«метода нелинейного авторегрессионного скользящего математического ожидания с внешними входами (NARMAX)»
— что хотели получить то и получили…
A similar analysis carried out using recordings from blind hdcJK910 mutant flies, indicates that the nonlinear transformations underlying the detection of phase correlations in the temporal light stimuli are performed by phototransduction alone, and do not require synaptic interactions between neighbouring neurons.
— что хотели получить то и получили…
A similar analysis carried out using recordings from blind hdcJK910 mutant flies, indicates that the nonlinear transformations underlying the detection of phase correlations in the temporal light stimuli are performed by phototransduction alone, and do not require synaptic interactions between neighbouring neurons.
Вот еще интересное:
Ссылка
Среди других свойств нейронов, связанных с организацией их рецептивных полей, следует отметить избирательность к направлению движения видимых объектов. Такие клетки дают максимальные разряды, когда стимул движется через рецептивное поле в строго определенном направлении, которое таким образом, оказывается предпочитаемым для данного нейрона. Ганглиозные клетки сетчатки обладающие избирательностью к направлению движения, изучены в сетчатках многих видов млекопитающих, в том числе и в сетчатке кошки.
Ссылка
Интересно, но те картинки с камер самобеглых автомобилей что я видел (приходилось по работе) — очень низкого качества (чб, низкое разрешение) и вообще требуется их неслабая обработка перед тем, как живому человеку показывать, чтобы без боли на них смотреть. А для AI — вполне норм, чтобы машину по ним водить.
Но с лидаром еще хуже. Тесла уже доказала, что можно кататься с одними камерами.
Проблема лидара в том, что он не может заменить ни камеры, ни радар, при этом стоит раза в четыре больше, чем сборка с системами обработки, камерами и радаром. Лидар не видит знаки, разметку и светофоры при всем желании — значит без камер машина в принципе ездить не сможет. И в отличии от радара на него сильнее влияет погода. Данные от лидара просто избыточны, машине вовсе ненужна такая точность, а остальное могут собрать камеры. У лидара плюс в том, что он хорошо отслеживает движение объектов вокруг, выкидывая много лишней информации в отличии от камер, что делает обработку его сигнала проще… но опять же без камер машина ездить не может, как и без обработки изображения с них.
Вот и выходит, что лидар — просто костыль, которым пытаются компенсировать несовершенство ИИ, который разбирает изображения с камер. Думаю лет через пять, когда ТПУ как следует войдут в нашу жизнь и работа с изображением от видеокамер станет куда лучше — лидары с машин начнут исчезать.
Проблема лидара в том, что он не может заменить ни камеры, ни радар, при этом стоит раза в четыре больше, чем сборка с системами обработки, камерами и радаром. Лидар не видит знаки, разметку и светофоры при всем желании — значит без камер машина в принципе ездить не сможет. И в отличии от радара на него сильнее влияет погода. Данные от лидара просто избыточны, машине вовсе ненужна такая точность, а остальное могут собрать камеры. У лидара плюс в том, что он хорошо отслеживает движение объектов вокруг, выкидывая много лишней информации в отличии от камер, что делает обработку его сигнала проще… но опять же без камер машина ездить не может, как и без обработки изображения с них.
Вот и выходит, что лидар — просто костыль, которым пытаются компенсировать несовершенство ИИ, который разбирает изображения с камер. Думаю лет через пять, когда ТПУ как следует войдут в нашу жизнь и работа с изображением от видеокамер станет куда лучше — лидары с машин начнут исчезать.
Скорей всего для самобеглых автомобилей будут делать отдельную инфраструктуру, что-то вроде железной дороги, наверно, с подводом электричества, а по обычным асфальтовым дорогам авто будет доезжать только последние метры на небольшой скорости(дворы, парковки и т.д.). Пути для будущего транспорта будут ограждены от людей и случайных столкновений (тоннели маска?) (как у поезда) и точно размечены, поэтому потребность в сверхточных лидарах и камерах завышена.
Во времена гоэлро-2 считалось полным бредом, что в каждый дом проведут медный провода, молчу про оптический кабель, канализацию и водопровод))
Во времена гоэлро-2 считалось полным бредом, что в каждый дом проведут медный провода, молчу про оптический кабель, канализацию и водопровод))
Sign up to leave a comment.
Лидары будущего: 11 000 лазеров вместо 128