Что такое SpikeDecoder? Разбираемся вместе с лабораторией искусственного интеллекта «Криптонита».

ChatGPT, Gemini, DeepSeek и другие большие языковые модели (LLM) построены на архитектуре трансформеров. Они тратят много вычислительных ресурсов и, как следствие — энергии, обрабатывая каждый запрос.

Ранее предпринималось множество попыток оптимизировать LLM. Один из популярных подходов заключается в использовании для отдельных компонентов LLM спайковых нейросетей (SNN — Spiking Neural Networks), снижающих объём самых энергозатратных вычислений — с плавающей запятой. Особенно это касается операций перемножения матриц, которые характерны для трансформеров.

При этом разные SNN-адаптации предлагались в основном для энкодеров. Другую часть трансформеров — декодеры, оказалось адаптировать сложнее.

Команда исследователей из Мюнхенского технического университета недавно представила SpikeDecoder — спайковый декодер для LLM. Это полностью спайковый декодер, который обучается напрямую.

В SpikeDecoder используются спайковые нейроны типа LIF (Leaky Integrate-and-Fire). Они перенесены на входы блоков, чтобы полностью исключить умножения с плавающей запятой в остаточных связях (residual connections).

Авторы проанализировали различные варианты нормализации и остановились на степенной (power) достигнув точности 81,7%. Они объединили нормализацию с предшествующими ей линейными слоями, что устранило необходимость выполнять отдельные ресурсоёмкие операции нормализации над спайками.

Разработчики заявляют, что SpikeDecoder снижает потребление энергии до 93% по сравнению с декодером классической архитектуры. Их работа показывает, что архитектуру трансформера можно реализовать полностью на спайках с сохранением обучаемости и драматическим выигрышем в энергоэффективности.