Спасибо за статью, а были эксперименты бОльших масштабов, не 2х2, а, у условно, 10х8? Если да, то там сохраняется почти линейное ускорение с тем же коэффициентом или лучше/хуже?
Это перевод, так что я не могу ответить на этот вопрос. Автор пишет, что цель поста заполнить промежуток между запуском на одной машине и документацией PyTorch где вопрос распределённого обучения обсуждается в широком смысле, так что эксперименты они проводили только на двух машинах.
Распределённое обучение с PyTorch на кластере для тех, кто спешит