Побеждаем OOM в PyTorch: как обучать гигантские графы на обычной видеокарте

[Void-Cowboy]

вроде бы же есть что то похожее, недавно как раз читал

[alashkov83]

А ресурс SSD, интересно, не выветрится за пару обучений?

[assistentus]

Давайте посчитаем.
Допустим, мы проводим обучение на 50 000 батчей,
50 000 шагов × 10.2 МБ = примерно 510 ГБ записанных данных за весь процесс обучения.
Возьмем для примера Samsung 980 на 1 тб, ее заявленный ресурс 600 тб.
Получаем около 0.08% на одно такое обучение.
Получается да вы правы, выветрится но через 2 - 3 года при непрерывном обучении.
---
если не правильно посчитал поправьте
Ну и 10.2 МБ это оптимистично, может кто то с тяжелыми векторами работает...