Comments 27
"Предложил" звучит так, будто Кармак это придумал, хотя идее сто лет в обед - хранить лазерные импульсы мультиплексированные по длинам волн в круговом волноводе, в котором есть лазерная накачка для поддержания этих импульсов.
Вообще об этом прямо в статье написано: "аналог линий задержки".
Линия задержки - очень специфическая память. Чем больше обьем - тем больше время доступа.
1. Время хранения должно быть сопоставимо с DDR2/DDR3/DDR4
Эм, зачем? Почему время хранения не может быть совершенно другим, скажем в диапазоне от 1 мкс до часа? Вообще не важный параметр.
2. Несколько таких линий задержки должны быть синхронизированы между собой с точностью до времени пролета одного бита в линии
Да, и синхронизация должна сохраняться с течением времени. Это значит, что линию задержки нельзя зацикливать - после одного пролёта она должна быть очищена от излучения и заполнена с нуля, иначе будет накапливаться "размытие" и система зашумит.
В общем, ИМХО волокно на сотни или тысячи километров не выглядит многообещающим - лучше уж смотреть на чисто оптическую обработку голографическими решётками, в которых заложены коэффициенты. Да, это дороже в условиях частой смены моделей (весов), но гораздо быстрее в самом расчёте (обработке по весам).
Мне кажется что уж проще ППЗУ с пережигаемыми перемычками, классика тех же времён что и линии задержки :-D
для оперативной памяти ППЗУ нельзя, нужно ЭСППЗУ (EEPROM, вот только его технологию не помню в упор)
Так в том и "прикол" (если верить статье), что нужна не оперативка
при инференсе паттерны обращения к весам полностью детерминированы — известно заранее, какие данные понадобятся и когда. Это значит, что веса можно непрерывно подавать из оптоволоконного кольца прямо в кэш L2 процессора, полностью убрав DRAM из системы
Вместо оптоволокна, в которое нужно будет подавать откуда-то данные, таки можно взять любое ПЗУ, главное с быстрым потоковым извлечением.
Тогда если вдруг патч-версия модели изменится, придется лепить новое ППЗУ. Но в таком случае ППЗУ - хорошая идея, если расход не считать.
Оперативка нужна, не нужна оперативка с произвольным доступом, так как известно когда и какие данные понадобятся, а следовательно их можно подавать последовательно
Оперативка нужна, когда нужно не просто хранить данные, но и оперативно их менять. Для хранения весов модели оперативка не нужна, достаточно редкой записи при обновлении модели (грубо говоря раз в пол года для активно развивающейся модели). Оперативка сейчас используется лишь по причине скорости работы. Если решить вопрос со скоростью поступления информации, подойдёт и ПЗУ.
веса можно непрерывно подавать из оптоволоконного кольца прямо в кэш L2 процессора, полностью убрав DRAM из системы
Оптоволоконное кольцо можно заменить чем угодно другим, предоставляющим необходимый объём фиксированной информации с нужной скоростью.
дисперсия размоет оптические пакеты в 64/32 раза сильнее.
«Это вопрос тактики. А я — стратег!» ©
"Предложил" звучит так, будто Кармак это придумал, хотя идее сто лет в обед - хранить лазерные импульсы мультиплексированные по длинам волн в круговом волноводе
Если он нигде не читал об этом раньше, значит придумал сам. Он один из тех кому пришла в голову эта идея. Вопрос в том, кто продвинет реализацию этой идеи. Или хотя бы обоснует зачем делать такой буфер памяти, и опишет реальное устройство.
посижу еще немного на dd2, чтобы потом купить ddr6
Похоже, Кармак не успел закупитса памятью и тоже страдает.
Просто он предлагает сделать оптический кабель тоже за мега овер прайс
Из бескислородной меди стекла!
Так стекло же из кислорода) Безкупоросного!
И главное — без асбеста!
В качестве более практичной альтернативы он предлагает объединить множество дешёвых чипов флеш-памяти
Которые через 5-10 тысяч циклов перезаписи мрут? Как-то сомнительно.
32 ГБ на скорости света: Кармак описал память для ИИ на оптоволоконной петле