Pull to refresh
82
Степан Жданов@ret77876

Embedded and Robotics developer

75
Subscribers
Send message

Axera AX650N: архитектура Edge ML SoC под CNN, LLM и VLM

Level of difficultyMedium
Reading time24 min
Reach and readers14K

Большинство задач современной робототехники так или иначе завязаны на нейронных сетях: детекция объектов, оценка глубины, локализация, планирование. Всё это ресурсоёмко, и вопрос выбора компактного вычислителя (достаточно часто алгоритмы должны работать локально) встает довольно остро. На практике выбор сводится к трём классам устройств: NVIDIA Jetson, внешний ускоритель (один из самых популярных — Hailo) и китайский (не всегда, конечно, но в современных реалиях обычно китайский) SoC с интегрированным NPU. В этой статье я рассмотрю представителя третьего класса — Axera AX650N, а NVIDIA Jetson будет использоваться для сравнения, так как это единственное массовое edge-решение с универсальными вычислительными ядрами (CUDA).

Это первая часть цикла. Здесь я разберу аппаратную архитектуру самого AX650N — CPU, NPU, DSP, ISP, память — и поделюсь результатами первых тестов: YOLO, Depth Anything, SuperPoint и мультимодальный Qwen3. Подробные бенчмарки и сравнения — во второй части.

Я тестировал AX650N в рамках готового устройства от Sipeed — Maix4 Hat. Он состоит из двух частей: SoM, на котором расположены SoC и 8 GB RAM (2x4 GB, так как у AX650N два отдельных DDR-контроллера), и baseboard от Sipeed с минимальным количеством интерфейсов. Скромность интерфейсов объясняется просто: baseboard — это HAT для Raspberry Pi 5, подключающийся по PCIe 2.0. В такой конфигурации AX650N работает как внешний ML-ускоритель, аналогично Hailo. В рамках этой и последующих статей я буду использовать Maix4 Hat как самостоятельный микрокомпьютер.

Читать далее

AI, FreeRTOS и Linux в кармане: возможности LicheeRV Nano

Level of difficultyMedium
Reading time63 min
Reach and readers37K

В этой статье речь пойдет о разработке под отладочную плату LicheeRV Nano - компактное устройство размером с две пятирублевые монеты, но обладающее впечатляющими возможностями.

Плата способна одновременно запускать Linux и FreeRTOS, выполнять инференс нейронных сетей (будет разобран запуск YOLO в 100 FPS и LLama2.c) благодаря встоенному NPU с производительностью 1 TOPS, а также управлять периферийными устройствами: GPIO, I2C, UART, SPI, CSI камерой, Wi-Fi, Bluetooth и Ethernet.

Это первая часть статьи, представляющая собой методическое руководство по работе с платой. Во второй части будет рассмотрена разработка полноценного проекта на её основе.

Читать далее

Запускаем Yolo на пятирублёвой монете или Luckfox Pico Mini

Level of difficultyMedium
Reading time29 min
Reach and readers67K

В данной статье речь пойдет про использование очень маленькой Luckfox Pico Mini. Я расскажу про особенности платы, её настройку, а также о том как запускать на ней нейронные сети для детекции объектов с камеры.

Мне удалось добиться скорости детекции в 15 FPS (или даже 50!), результат, который по силам далеко не каждому одноплатнику.

Читать далее

Анализ производительности моделей YOLOv8

Level of difficultyHard
Reading time21 min
Reach and readers23K

В данной статье речь пойдёт о замерах производительности и точности работы моделей YOLOv8 на разных устройствах с различными оптимизациями и без них. Большое внимание будет уделено работе Yolo на “слабых устройствах”, таких как Raspberry PI, Orange PI, Jetson Nano, мини ПК. 

Современные задачи робототехники требуют вычислений "на борту", что особенно актуально для автономных систем. Важность данного исследования заключается в том, что оно направлено на решение задачи детекции в режиме реального времени на маломощных устройствах, что открывает новые возможности для использования компьютерного зрения в мобильных и автономных роботах. Будем считать, что FPS обработки изображений  >= 10 пригоден для некоторых задач детекции в реальном времени, но далеко не для всех.

Читать подробнее

Я сделал Stable Diffusion XL «умнее» обучив её на плохих изображениях, созданных искусственным интеллектом

Level of difficultyEasy
Reading time10 min
Reach and readers35K

В прошлом месяце Stability AI выпустила Stable Diffusion XL 1.0 (SDXL) и открыла её исходный код, не требуя каких-либо специальных разрешений для доступа к ней.

Релиз прошёл в основном незамеченным, потому что шумиха вокруг генеративного искусственного интеллекта немного поутихла. Все в области искусственного интеллекта слишком заняты генерирующим текст ИИ, таким как ChatGPT. Примечательно, что SDXL одна из первых моделей с открытым исходным кодом, которая может изначально генерировать изображения с разрешением 1024x1024 без махинаций, что позволяет отображать гораздо больше деталей. На самом деле SDXL состоит из двух моделей: базовой модели и дополнительной модели уточнения, которая значительно улучшает детализацию, и, поскольку уточнение не приводит к снижению скорости, я настоятельно рекомендую использовать её, если это возможно.

Читать далее

Абсолютно бесплатный VPN с бесплатного VPS

Reading time3 min
Reach and readers341K

Думаю про VPN слышали все, и многим приходилось им пользоваться. При этом использование готового VPN, которым руководит какой - то неизвестный человек, не является хорошей идей. Тем более в России на данный момент пытаются блокировать, как сами VPN провайдеры (Windscribe, Proton и другие известные сервисы), так и сами протоколы.

Читать далее

Information

Rating
Does not participate
Location
Москва, Москва и Московская обл., Россия
Registered
Activity

Specialization

Specialist
Git
Docker
ООП
Linux
Python
C++
Программирование микроконтроллеров
Разработка программного обеспечения