Comments 26
Прошу прощения за оффтоп, давно интересует — что стало с проектом виртурилки?
Ну сама виртурилка уже сошла с конвейера, так как железо сильно устарело. StereoPi это по сути виртурилка 2.0 и есть :-) Все наши прошлые наработки уже давно портированы на малину и другие железки, поэтому в наших проектах мы к аппаратной части сейчас не привязаны. Ну а так как Raspberry с двумя камерами не бывает — мы сделали свою. Такая вот история. Прямо сейчас делается тираж
Интересно, насколько реально присадить такое на квадрокоптер?
P.S. У самого опыта с квадрокоптерами нету, но ради такого...
На коптер — реально, и есть планы это сделать. Собственно коптер, на который это будет потом ставиться, и снят на последнем видео, только у него лапы сложены. Делаться это будет не на питоне конечно, так как там задача жесткого реального времени. А эта статья для тех, кто только начинает осваивать тему — уж больно питон в этом плане прост и дружелюбен.
А питания хватит? Все-таки pi последних моделей уж очень жручие, на мой взгляд.
Заявленное максимальное потребление малины 2,4 А. Тут пара мыслей есть. Во-первых, прожорливость всего остального силового оборудования на коптере намного выше (если мы говорим о большом коптере). Во-вторых, 2,4А подразумевается когда на малине нагружено все что можно, в частности полностью загружена видяха (рисует какую-нибудь 3D игрушку). В наших тестах, когда к малине подклбчено 2 камеры и она стримит стереопоток разрешения HD, суммарное потребление 0,7А при 5 вольтах. А если воткнуть мощный WiFi (Alfa AWUS 036NEH, 1 Ватт) — то вместе со свистком получается 0,9А.
Ну если только транслировать на шлем — то да. Но имея такой мат.аппарат можно же идти дальше!
Например есть проблема определения препятствий. Особенно в воздухе. Это или очень дорого или очень ненадёжно. А тут можно определять даже весьма мелкие преграды прямо во всём кадре, корректируя движение.
Но тогда это ударит по питанию...
сорсы OpenCV с поддержкой CudaНа малинке?
<Бу!> Это инфа из раздела для продвинутых юзеров. Я подразумевал, что такой юзер полезет на гитхаб к Накамуре, посмотрит там краткое описание возможностей малиновой видяхи (например It has 12 quad processor units (QPU) which is a dual-issue 16 way (4 way pipelined and 4 way true) SIMD processor.), скачает даташит, и проведет аналогии с архитектурой этого видеоядра и мощных зверей от NVidia. </Бу!>
Красота идеи Накамуры в том, что можно выжать из малинового SoC ту производительность, которая от этого железа вообще не ожидается. И нестандартно использовать кудовские исходники OpenCV для получения нужных нам результатов.
Чтобы пояснить подход, давайте я приведу в качестве примера вторую идею. Для аппаратного получения карты глубин можно использовать DSP малинового SoC, предназначенного для сжатия видео в H264. При этом ядро ARM не будет нагружаться вообще. Для этого надо понимать как работает H264, знать что такое карта векторов смещения, ну и знать, что эту готовую карту SoC умеет отдавать в готовом виде.
Красота идеи Накамуры в том, что можно выжать из малинового SoC ту производительность, которая от этого железа вообще не ожидается. И нестандартно использовать кудовские исходники OpenCV для получения нужных нам результатов.
Чтобы пояснить подход, давайте я приведу в качестве примера вторую идею. Для аппаратного получения карты глубин можно использовать DSP малинового SoC, предназначенного для сжатия видео в H264. При этом ядро ARM не будет нагружаться вообще. Для этого надо понимать как работает H264, знать что такое карта векторов смещения, ну и знать, что эту готовую карту SoC умеет отдавать в готовом виде.
Да, знатно. А не практичнее ли взять тот же Jetson Nano?
По сути эксплуатация GPU на десктопах как раз так и начиналась, как Вы описываете. А потом уже куду подогнали.
По сути эксплуатация GPU на десктопах как раз так и начиналась, как Вы описываете. А потом уже куду подогнали.
Джетсон нано — очень клевый свежак, он анонсирован месяц назад. Раньше обычный джетсон стоил 300 баксов, и кроватка для него 200 — дорого было. А сейчас Нано отличная железка за $100. Радиатор правда конского размера :-) СтереоПи первого поколения почти 3 года назад родилась, текущее — год назад. Но Джетсон Нано это просто другая плата, их помимо джетсона много. У малины сейчас самый главный козырь — нереальное количество примеров и активное сообщество с поддержкой. У джетсона — Куда, и с нейронками всё чудесно.
Спасибо, много полезного!
Мы видим, что из 4 ядер проца загружено по сути только одно, и то на 70%— просто на всякий случай вопрос, OpenCV скомпилено под 4 ядра?
Это боль OpenCV. Скомпилено оно вроде как с использованием OpenMP, но реализация такова, что профит ощущается только на очень больших разрешениях. Так что, по хорошему, надо лезть в код и внимательно тюнить распараллеливание под текущее железо.
Вообще авторы сборок на Python Wheels (готовые бинарники), товарищи из Raspberry, скомпилили всё очень грамотно в плане оптимизации под наборы команд малинового проца. Эти советы подробно расписаны у Adrian на pyimagesearch.com, и по ним эта компиляция и делалась.
Вообще авторы сборок на Python Wheels (готовые бинарники), товарищи из Raspberry, скомпилили всё очень грамотно в плане оптимизации под наборы команд малинового проца. Эти советы подробно расписаны у Adrian на pyimagesearch.com, и по ним эта компиляция и делалась.
UFO just landed and posted this here
Есть и многопоточная. А для диспарити мест для распараллеливания громадьё, можно и свое распараллеливание написать.
UFO just landed and posted this here
В математике есть два подхода к решению задачи. Первый — доказать, что решение не существует. Второй — начти решение, пусть не всеобъемлющее и работающее лишь в определенной области и при определенном наборе параметров. Правило Лопиталя и многие другие вещи работают именно так. Мы сторонники второго подхода.
Да, готового решения нет. Скопипастить не получится. Заинклудить либу тоже. Надо напрягать мозг, и сильно. Планируем это делать.
Да, готового решения нет. Скопипастить не получится. Заинклудить либу тоже. Надо напрягать мозг, и сильно. Планируем это делать.
А что за Линукс у вас такой интересный стоит?
О-о-о-о, это очень редкий зверь! Зовется Raspbian. Разрабатывался специально для экзотической, малодоступной, известной только специалистам платы Raspberry Pi. Про него практически ничего невозможно нагуглить, ну и тем более прочитать в разделе «Что установлено» в этой статье. Его должны хорошо помнить старики, специалисты по древним технологиям, которые нынче занимаются исключительно апдейтом граммофонов до уровня патефонов.
Про качество 3d-карты глубины, на кдпв, вся правая часть изображения покрыта дикими артефактами, с этим что то удалось сделать?
Мы не любим фейки, поэтому выложено реальное видео после реальной калибровки, и все исходники включая картинки.
Причина артефактов — после калибровки вокруг картинок появляются черные поля (см. самый конец видео с калибровкой). Артефакты тут как раз мэтчинг одной картинки с черными полями другой. Это всё фиксится либо перекалибровкой (в нашем сете есть картинки, на которых шахматная доска найдена, но некорректно), либо настройками с обрезкой черных зон.
В данном случае эти поля полезны для тех, кто пытается разобраться в теме калибровки и нюансах.
Причина артефактов — после калибровки вокруг картинок появляются черные поля (см. самый конец видео с калибровкой). Артефакты тут как раз мэтчинг одной картинки с черными полями другой. Это всё фиксится либо перекалибровкой (в нашем сете есть картинки, на которых шахматная доска найдена, но некорректно), либо настройками с обрезкой черных зон.
В данном случае эти поля полезны для тех, кто пытается разобраться в теме калибровки и нюансах.
Скажите пожалуйста, а будет ли этот код работать Вашей платой и новой камерой от ArduCam? Вот этой https://www.arducam.com/product/arducam-full-hd-color-global-shutter-camera-for-raspberry-pi-2-3mp-ar0234-wide-angle-pivariety-camera-module-b0353/
Используются вызовы rapstill, rapsvid, а она их не поддерживает, как пишут в описании. Можно ли просто заменить их на вызовы с использованием libcamera или потребуется большая переработка кода?
Здравствуйте! Скажите когда можно купить? Как оформить заказ? Какая цена?
1. Первый тираж распродан, второй сейчас пускаем в производство, будет отгружаться с начала июля через краудфандинговую площадку вот тут: www.crowdsupply.com/virt2real/stereopi
Там же можно посмотреть цены.
2. Среди наших бейкеров оказались три интернет-магазина, которые начнут продавать платы на следующей неделе (это если вы хотите пораньше). Один магазин — в Штатах и Канаде (pishop.us/hipi.ca), и два в России — это chipster.ru и onpad.ru
На витринах у них StereoPi пока не выложены, можете связываться напрямую и оставить предзаказ. Количества у них очень небольшие (примерно по 10 плат), так что можете успеть. Ну и они могут предложить свою комплектацию и поставить свои цены. Так что выбор за вами. :-)
Там же можно посмотреть цены.
2. Среди наших бейкеров оказались три интернет-магазина, которые начнут продавать платы на следующей неделе (это если вы хотите пораньше). Один магазин — в Штатах и Канаде (pishop.us/hipi.ca), и два в России — это chipster.ru и onpad.ru
На витринах у них StereoPi пока не выложены, можете связываться напрямую и оставить предзаказ. Количества у них очень небольшие (примерно по 10 плат), так что можете успеть. Ну и они могут предложить свою комплектацию и поставить свои цены. Так что выбор за вами. :-)
Sign up to leave a comment.
Изучаем OpenCV на StereoPi: карта глубин по видео