Распределённое обучение нейронных сетей. Часть I / Комментарии / Хабр

интересно, что у больших моделей все плохо с повторяемотью обучения.

Т.е. процесс обучения так долог и дорог, что никто не хочет попробовать его позапускать десяток раз и "собрать статитстику". (или как там у экологов: "у нас нет второй Земли" :D )
Приходится экспериментировать и проверять гипотезы либо на небольших данных, либо на небольших моделях