Как выглядят глубокие нейронные сети и почему они требуют так много памяти

Картинки поразительно напоминают что-то. А вспомнил мозг).
Отдельные плотно связанные отделы.
И еще картинки просто красивы)). Может ли граф сложной нейросети быть предметом искусства? Может отрендерить в высоком разрешении распечатать и вывесеть в галерее?
Или заплатить куда ни-будь чтобы угадали что это?

В одном известном блокбастере мозг сравнивали со вселенной.

Пока еще не мозг, ближе к опухоли — такая же ячеистая структура.

Возможно, кто-то решит, что более низкая точность вычислений может сократить необходимый объем памяти, но это не так. При переключении значений данных до половинной точности для весов и активаций вы заполните только половину векторной ширины SIMD, потратив половину имеющихся вычислительных ресурсов. Чтобы компенсировать это, когда вы переключаетесь с полной точности до половины точности на графическом процессоре, тогда придется удвоить размер mini-batch, чтобы вызвать достаточный параллелизм данных для использования всех доступных вычислений. Таким образом, переход на более низкую точность весов и активаций на графическом процессоре все еще требует более 7,5ГБ динамической памяти со свободным доступом.

Не понял. Пытался минут пять.

Это перевод? О каких IPU вообще идёт речь? О чисто гипотетических или каких-то конкретно?