NVIDIA Jetson Nano: тесты и первые впечатления — часть 2, тесты AI

[FenixFly]

А вот тут (http://hpc-education.unn.ru/files/openvino/R5.0.1_result_table.html) можно посмотреть результаты ResNet-50 на Intel Neural Compute Stick 2 (в таблице ориентироваться по названию MYRIAD), доходит до 17 FPS.

[DmitrySpb79]

Спасибо, интересно. Я использовал ResNet который не оптимизирован под Nano, ссылка про оптимизацию в заключении, возможно с тем подходом было бы лучше.

Ну и Neural Stick все же более узкоспециализированный имхо, а здесь обычный GPU.

[ginkage]

Кстати, интересно, мне как раз было бы любопытно попробовать ResNet50 на Myriad: это ведь не только Compute Stick, но и AIY Vision Kit, т.е. Raspberry Pi Zero с камерой и Vision Bonnet (который, справедливости ради, тоже узкоспециализированный).
Надо посмотреть, с какой скоростью оно может работать.

[dkurt]

В AIY Vision Kit только Myriad 2 (это Neural Compute Stick первого поколения). Второе поколение стика носит Myriad X. С Vision Bonnet не всё так просто — там чип это не USB девайс: Raspberry Pi связывается с бордой по своему каналу, которая уже работает с чипом.

[Valsha]

Так а все же какая видеокарта на компьютере?

[DmitrySpb79]

А, да, забыл. GeForce GTX 950M.

[pagin]

Время выполнения кода на ПК составило 0.5с при расчетах на CPU и 2с (!) при расчете на GPU. Судя по логу, проблема то ли в модели, то ли в Tensorflow, но при запуске код пытается выделить много памяти, получая на выходе несколько warnings вида «Allocator (GPU_0_bfc) ran out of memory trying to allocate 2.13GiB with freed_by_count=0.». Это warning а не error, код при этом работает, но гораздо медленнее чем должен был бы.

Мерять время по одному прогону одной картинки — это плохая практика, вообще говоря. Особенность устройства TF такова, что необходим первый WarmUp прогон, когда выделиться необходимая память.

Поэтому крайне сомневаюсь в предоставленных цифрах. Попробуй взять среднее по 50 прогонам без учета самого первого — тогда это будет честно :)

[DmitrySpb79]

Спасибо, обновленные результаты добавил в текст.

[menstenebris]

Первый вызов сети всегда очень медленный по сравнению с остальными. Не знаю почему так, либо граф ленивый либо там есть какой то минимальный JIT по умолчанию. Но мы у себя первый вызов в тестах всегда пропускаем

[DmitrySpb79]

Спасибо, исправил

[copylove]

Чтобы использовать Nano и в хвост и в гриву, кроме кулера нужен еще внешний блок питания на 20 ватт (отлично подходят блоки для LED освежения).

И сам процессор надо перевести в режим 10 ватт (по-умолчанию стоит только 5).

Дмитрий, а вы в каком режиме его гоняли? Переключали на 10 ватт?

[copylove]

Дмитрий, третью часть вы не публиковали?