Как выбрать плату для Computer Vision в 2022

[le2]

не умаляя вашей работы, хотелось бы посмотреть на инференс на GPU RK3568 и на NEON возможно, в этом случае у rockchip не останется минусов?
В текущей ситуации, для России, продуктовым является только Rockchip...

[ZlodeiBaal]

Ну… NPU обычно побыстрее. Причем сильно. Плюс NPU энергоэффективнее и не грузят процессор для других задач.
На базе Amlogic много чего есть. И там внутри Tim-VX NPU который я внутри большого числа китайских чипов видел.
В целом, в том списке что я не потестил есть много плат которые доступны в РФ.

[le2]

а вы уверены что быстрее? Я не троллю, по моим поверхностным тестам NPU это не быстрее, а энергоэффективнее. К тому же редкие задачи зрения обходятся без работы с преобразованиями изображений на GPU. Гонять данные из RAM в GPU-RAM и обратно это не всегда эффективно.
Да, для маленьких нейронок типа mobilenet, внезапно многоядерный CPU c XNNPACK быстрее GPU. Без учета того что мы нагружаем CPU.

[ZlodeiBaal]

Для плат одинакового качества это обычно быстрее. Но да, можно с RTX3090 сравнить, и та будет быстрее;)
За одинаковую цену NPU по опыту быстрее. Тут важный момент, что это для Edge плат. Для Android через TFlite может быть и иначе. Но TFlite очень много съедает сам. Например для Qualcomm мы как-то тестили что нативный фреймворк в 3 раза быстрее чем TFlite.
Для Edge плат почти всегда используются именно нативные фреймворки.

[sentimentaltrooper]

О как вы удачно зашли! Мне как раз отчет писать на тему почему у нас на Raspberry pi4 (кстати а почему не попала в обзор?) и Jetson Nano крутится 99% проектов и когда уже можно заполучить Compute Module 4. Оставшийся 1% это https://www.ti.com/tool/SK-TDA4VM - по производительности очень нравится: можно прям на 30 FPS пару потоков в Yolo (MobileNet, ResNet) гонять. Но только тех что одобрены TI ибо с поддержкой и документацией так себе.

[ZlodeiBaal]

У меня Rpi4 погоревший лежал, и по знакомым свободного не было. Но там это не очень критично. Когда я что-то измерял на нем, то там в 4-5 раз быстрее были одни модели и примерно раз в 8-9 другие (чем на RPi3). Я это в видео упомянул.
А удобство там идентично с RPi3, все те же плюсы и минусы.

[buldo]

Возможно у вас есть какая-то информация по latency камер и энкоделов на этих платах?

Для fpv полетов разыскиваю комп с минимальными задержками.

[ZlodeiBaal]

Мне кажется что latency камер это больше про протокол по которому получаются данные. А дальше все одно и то же и зависит от одних и тех же проблем. А протоколы — на большинстве csi шина стоит.
Но я никогда не измерял это сам.

[le2]

копаю в этой области. Ситуация довольная грустная для неофициальной разработки.
Потому что матрица подключается через шину камеры не напрямую, а через ISP (Image Signal Processor). Это процессор, который аппаратно вычисляет гистограмму, управляет автофокусом и занимается прочими улучшениями картинки. Документации на подобные вещи в открытом доступе нет, а без этого минимальной задержки не выйдет.
Распберри пишет открытый драйвер к камерам, но это в обход ISP, коим является видеоядро в RP4.
На матрицы также открытой документации нет...
Не говоря о том что ваши задержки будут складываться еще от задержек радиочасти...

Энкодеры? В RP - i2c, SPI заведены через закрытое видеоядро. У других прикладных процессоров также висят на DMA и все это хозяйство рулится через нерилтаймовый Линукс...
Короче, без официальной поддержки блестящий коммерческий продукт сделать очень проблематично.

[jershell]

Про visionfive. Спросил что там с поддержкой, ответили что все ресурсы уходят на visionfive v2. Зато в каждом их рекламном буклете пишут про наличие акселератора.

[ZlodeiBaal]

Прошу заметить что даже двух;)
Мне кажется это прекрасно.