Yolov8 работает быстрее, но это благодаря NPU, обычные вычисления на процессоре будут медленнее. Но, опять же, я не видел мини пк с поддержкой CSI камер, только через USB. А CSI камеры обрабатываются аппаратно, в отличии от USB камер. В общем, где - то выигрывает в производительности, а где - то и отстаёт. Всё зависит от задачи и требований.
Я бы не назвал это оверхэдом, это очень удобная абстракция. Процессор там сложный, написать нативный код, да так чтобы NPU ещё работал (на который документации немного) - очень сложно. Но, внутри SoC'а есть MCU, я пока ещё не пытался его завести, но вот на него можно писать нативный код, но вряд ли у него есть доступ к NPU, а так же ISP. В общем, было бы прекрасно реализовывать всё без абстракций, но в данном случае это очень тяжело.
Сейчас тестирую Sipeed LicheeRV Nano (в телеграмм канале периодически о ней что - то пишу), с ней есть свои нюансы/сложности, но yolo на ней работает быстрее и есть больше возможностей по квантизации (не только int8). В общем, планирую по ней подобную статью выпустить. Она не менее интересная, чем Luckfox Pico.
В офф. доках есть список поддерживающихся дисплеев и примеры кода для запуска по spi/i2c. А ещё где-то выше человек писал, что заводил какие-то дисплеи на этом одноплатнике.
В целом, я понял что вы имеете ввиду, но ведь кастомную модель так или иначе надо будет учить на каком - то конкретном разрешении изображений. Поэтому для наглядности логично использовать при обучении те же размеры, что и потом для инференса.
Касательно ESP32 - думаю да, это будет оптимальный вариант. Можно будет связать ESP32 и Luckfox по SPI и использовать её не только для передачи данных по WiFi/Bluetooth/esp_now, но и ещё управлять её пинами, чтобы расширить возможности Luckfox'а
Ну да, дороговато
Меня напрягает то, что SD карта находится практически вплотную нал процессором и от него греется. Самый простой вариант - обдувать каким-нибудь маленьким вентилятором (по типу тех, что ставят на кастомные корпусы для Raspberry), но мне такой вариант не очень нравится.
Да, через OTG, имеющим доп питание она запитывается и работает. У меня в канале/комментариях пробовал человек так делать и всё работало
Здесь графики для разных сценариев с usb тестера. И на скриншоте усреднённые данные.
В общем - чуть больше 1 Ватта.
У него с производительностью всё плохо
Интересно попробовать через USB хаб подключить какой-нибудь USB лидар. А ещё, можно попытаться накатить полноценный Линукс с ROS
Yolov8 работает быстрее, но это благодаря NPU, обычные вычисления на процессоре будут медленнее. Но, опять же, я не видел мини пк с поддержкой CSI камер, только через USB. А CSI камеры обрабатываются аппаратно, в отличии от USB камер. В общем, где - то выигрывает в производительности, а где - то и отстаёт. Всё зависит от задачи и требований.
Я бы не назвал это оверхэдом, это очень удобная абстракция. Процессор там сложный, написать нативный код, да так чтобы NPU ещё работал (на который документации немного) - очень сложно. Но, внутри SoC'а есть MCU, я пока ещё не пытался его завести, но вот на него можно писать нативный код, но вряд ли у него есть доступ к NPU, а так же ISP. В общем, было бы прекрасно реализовывать всё без абстракций, но в данном случае это очень тяжело.
Сейчас тестирую Sipeed LicheeRV Nano (в телеграмм канале периодически о ней что - то пишу), с ней есть свои нюансы/сложности, но yolo на ней работает быстрее и есть больше возможностей по квантизации (не только int8). В общем, планирую по ней подобную статью выпустить. Она не менее интересная, чем Luckfox Pico.
А вы ставили официальный Buildroot образ? Возможно у вас просто немого по-другому разбит весь образ и там другие разделы
Вот эту SC3336, насколько я понял только её можно запустить из коробки
В офф. доках есть список поддерживающихся дисплеев и примеры кода для запуска по spi/i2c. А ещё где-то выше человек писал, что заводил какие-то дисплеи на этом одноплатнике.
Я правильно понимаю, что вы данную систему планируете использовать только внутри локальной сети?
Немного выше добавил комментарий с первыми тестами энергопотребления.
Провёл немного экспериментов с замером энергопотребления, пока примерно такие результаты:
Но это ещё пока не всё, позднее будут графики и более детальный анализ.
Нагрузка процессора определялась так:
top -b -n 1 |grep ^CPUТемпература SoC'а:
cat /sys/class/thermal/thermal_zone0/tempНагрузка на NPU:
/sys/kernel/debug/rknpu/loadПитание подавалось на VBUS от лабораторника, команды отсылались через UART2
В целом, я понял что вы имеете ввиду, но ведь кастомную модель так или иначе надо будет учить на каком - то конкретном разрешении изображений. Поэтому для наглядности логично использовать при обучении те же размеры, что и потом для инференса.
Эксперименты по замеру потребления я через некоторое время проведу. Вроде можно запускать Paddle OCR, но я не пробовал.
О, спасибо. Да, есть возможность впаять их.
Про milk v duo я читал, тоже думаю заказать потестить, обещают бОльшую производительность
Да, почему - то не подумал об этом
Касательно ESP32 - думаю да, это будет оптимальный вариант. Можно будет связать ESP32 и Luckfox по SPI и использовать её не только для передачи данных по WiFi/Bluetooth/esp_now, но и ещё управлять её пинами, чтобы расширить возможности Luckfox'а
Ну да, дороговато
Меня напрягает то, что SD карта находится практически вплотную нал процессором и от него греется. Самый простой вариант - обдувать каким-нибудь маленьким вентилятором (по типу тех, что ставят на кастомные корпусы для Raspberry), но мне такой вариант не очень нравится.
Да, что - то около такого
Можно и через auto, даже компактнее и красивее получается. Мне кажется, что у меня просто привычка так писать.
Хорошо! Я прямо сейчас пока не начал работу, но буду иметь ввиду к кому обратиться.