Создатель Doom и основатель ИИ-стартапа Keen Technologies Джон Кармак предложил необычную альтернативу DRAM для инференса нейросетей — хранить веса модели не в микросхемах памяти, а в оптоволоконной петле, где данные циркулируют в виде световых импульсов. По его расчётам, уже продемонстрированные скорости передачи в 256 Тб/с на расстоянии 200 км по одномодовому волокну дают 32 ГБ данных «в полёте» с пропускной способностью 32 ТБ/с.
Ключевое наблюдение Кармака: при инференсе паттерны обращения к весам полностью детерминированы — известно заранее, какие данные понадобятся и когда. Это значит, что веса можно непрерывно подавать из оптоволоконного кольца прямо в кэш L2 процессора, полностью убрав DRAM из системы. Сам Кармак называет идею «современным аналогом ртутных линий задержки» — одной из первых технологий компьютерной памяти 1940-х, где данные хранились как акустические импульсы, циркулирующие в трубках с ртутью.
Для современных моделей с триллионом параметров потребовалось бы множество таких петель. Однако Кармак отмечает, что пропускная способность оптоволокна растёт быстрее, чем у DRAM, — а значит, со временем подход может стать жизнеспособным. В качестве более практичной альтернативы он предлагает объединить множество дешёвых чипов флеш-памяти: при постраничном чтении и конвейеризации они уже сейчас могли бы обеспечить нужную пропускную способность для инференса — если бы производители флеша и ускорителей договорились о высокоскоростном интерфейсе.
Пост набрал 1,3 млн просмотров за два дня. На фоне дефицита и роста цен на HBM-память, которая используется в ИИ-ускорителях NVIDIA, поиск альтернативных архитектур памяти становится всё более актуальной темой — пусть пока и на уровне мысленных экспериментов.
P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.
