Что значит генерирует связи из памяти? Просто подгружает данные? Если подгружает из RAM, то CPU -> GPU это и есть узкое мест. А если просто на лету генерирует по каким то правилам, то откуда берутся веса? Что-то мне подсказывает, что там не ИИ в нашем современном понимании, а обычное моделирование биологического устройства мозга.
Скорее всего в его модели все веса единичные, а связи генерируются случайно и постоянны. Тогда можно для нейрона хранить только seed и каждый раз генерировать связи заново. В Path Tracing нечто подобное используется для генерации одних и те же случайных последовательностей.
Исследователь применил свой опыт игрового разработчика, чтобы оптимизировать запуск нейросетей на одном видеоускорителе