Пакетная обработка данных на современных GPU / Комментарии / Хабр

Интересно ещё и то, что скорость расчётов для маленьких сетей особо от количества элементов в пакете не зависит. Об этом говорит примерно одинаковое время, необходимое для обработки пакетов с размерами от 1 до 512. Я, опираясь лишь на собственные представления, могу объяснить это тем, что GPU — это, когда дело доходит до вычислений — невероятно быстрые системы. А вот всё остальное (CPU и прочее) работает, так сказать, медленнее.

Перед исполнением GPU кода, процессор выделяет память под команды, которые будут выполнятся на GPU и отправляет их по PCI-E. Время на этом этапе может вносит более значимый вклад в общее время, чем само выполнение кода. По итогу получается разница не сильно заметна при малых данных подаваемых на вход