Оптимизация сервинга нейросетей

Внешние очереди были первой идеей, пришедшей в голову, но зачем они тут, если всё происходит внутри одного приложения? В данном случае multiprocessing queue отлично заменяет очередь и нет необходимости рядом держать такую сложную систему как RabbitMQ или подобное. Может вы имеете в виду полную замену REST сервиса на очереди, но в начале статьи описана инфраструктура в которой необходимо было произвести изменения и замена REST на что то другое не предполагалась.

Включать сеть в уравнение нам тоже не надо. Клиент и сервис приложения работают на одном хосте, в начале статьи есть небольшое описание инфраструктуры. Для большинства случаев данные до сервиса доставляются через kafka и предсказания так же улетают в kafka топик. Для нас важно сколько объектов мы прочитаем из топика и запишем по ним предсказаний за единиу времени.

На сколько я понял вы описываете решение в котором мы потоково обрабатываем данные, то есть подписываемся на очередь и загоняем поток в torch.Dataset, звучит интересно, но тут мы ответственны за предоставление быстрого http сервиса а не полноценной системы. Думаю в дальнейших статьях будет детальнее раскрыта инфраструктура и причины по которым мы используем http