Как выглядят глубокие нейронные сети и почему они требуют так много памяти

[Arxitektor]

Картинки поразительно напоминают что-то. А вспомнил мозг).
Отдельные плотно связанные отделы.
И еще картинки просто красивы)). Может ли граф сложной нейросети быть предметом искусства? Может отрендерить в высоком разрешении распечатать и вывесеть в галерее?
Или заплатить куда ни-будь чтобы угадали что это?

[websurfer]

В одном известном блокбастере мозг сравнивали со вселенной.

[Oegir]

Пока еще не мозг, ближе к опухоли — такая же ячеистая структура.

[Mad__Max]

Потому что они сами формируют похожие структуры в процессе обучения. Никто их специально так не рисовал, просто графически визуализированы структуры, сформировавшиеся самостоятельно в процессе обучения/тренировок сетей.

[leshabirukov]

Возможно, кто-то решит, что более низкая точность вычислений может сократить необходимый объем памяти, но это не так. При переключении значений данных до половинной точности для весов и активаций вы заполните только половину векторной ширины SIMD, потратив половину имеющихся вычислительных ресурсов. Чтобы компенсировать это, когда вы переключаетесь с полной точности до половины точности на графическом процессоре, тогда придется удвоить размер mini-batch, чтобы вызвать достаточный параллелизм данных для использования всех доступных вычислений. Таким образом, переход на более низкую точность весов и активаций на графическом процессоре все еще требует более 7,5ГБ динамической памяти со свободным доступом.

Не понял. Пытался минут пять.

[DmitryBabokin]

Это перевод? О каких IPU вообще идёт речь? О чисто гипотетических или каких-то конкретно?

[Mad__Max]

Да, и похоже что переводила уже тоже искусственная нейросеть большую часть текста. Получше старого статистического переводчика, на уровне или даже немного похуже свежего нейросетевого гугл.транслейт.