Распределённое обучение с PyTorch на кластере для тех, кто спешит

[Nabusteam]

У wilowrid.com можно заюзать транскрайбер и в нем же конвертнуть на рус, побыстрее можно такого рода статьи паблишить.

[Kwent]

Спасибо за статью, а были эксперименты бОльших масштабов, не 2х2, а, у условно, 10х8? Если да, то там сохраняется почти линейное ускорение с тем же коэффициентом или лучше/хуже?

[IvaYan]

Это перевод, так что я не могу ответить на этот вопрос. Автор пишет, что цель поста заполнить промежуток между запуском на одной машине и документацией PyTorch где вопрос распределённого обучения обсуждается в широком смысле, так что эксперименты они проводили только на двух машинах.