Исследователи из Шанхайского университета Цзяо Тун и Университета Цинхуа создали LightGen — первый полностью оптический чип, способный выполнять задачи генеративного ИИ. В отличие от традиционных GPU, где вычисления идут на электронах, LightGen использует фотоны — и делает это без единого преобразования сигнала в электричество на всем пути от входа до выхода.

Чип генерирует изображения в разрешении 512×512 пикселей, выполняет денойзинг, стилизацию и создание 3D-сцен. По словам разработчиков, LightGen реализует полный цикл "ввод → понимание → семантическая манипуляция → генерация" исключительно в оптическом домене. Фактически свет "понимает" содержание изображения и трансформирует его без участия электроники.

На чипе площадью 136,5 мм² разместили более 2,1 миллиона фотонных нейронов. В тестах LightGen показал вычислительную скорость 35 700 TOPS и энергоэффективность 664 TOPS на ватт — по обоим показателям это на два порядка выше, чем у Nvidia A100. Качество генерации сопоставимо со Stable Diffusion, StyleGAN и NeRF на соответствующих задачах.

Прорыв стал возможен благодаря трем решениям. Во-первых, команда разработала "оптическое латентное пространство" — архитектуру, где сжатие и реконструкция данных происходят полностью на свету, без промежуточных преобразований. Во-вторых, создала алгоритм обучения BOGT, который не требует размеченных данных и позволяет чипу учиться на статистических паттернах. В-третьих, добилась высокой плотности интеграции с помощью 3D-упаковки и метаповерхностной оптики.

Впрочем, LightGen — не универсальная замена видеокартам. Это специализированный ускоритель для инференса, который не тренирует модели и не запускает произвольный код. Но у оптики есть стратегическое преимущество: такие чипы можно производить на старых техпроцессах, а их теоретический потолок производительности — на порядки выше, чем у электроники. Если технологию удастся масштабировать, она может изменить экономику генеративного ИИ — особенно там, где важна энергоэффективность.

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.