TPU на FPGA размером с M.2 SSD : 48 ГБ памяти и до 62 токенов/с на FPGA?

После экспериментов с openTPU и запуска BitNet на старой Kintex-7 за $50 задумался: а что, если сделать собственный TPU в формфакторе M.2 ?

AMD недавно представила Kintex UltraScale+ Gen 2. У старшей 2KU050P довольно интересные характеристики:

• 1 872 DSP

• 50,9 Мбит внутренней памяти

• 6 контроллеров LPDDR5X

• До 102,4 ГБ/с теоретической пропускной способности памяти

Последнее особенно интересно. При генерации LLM часто упираемся не в вычисления, а в скорость чтения весов из памяти.

Параллельно рассматриваю и другие варианты: Kintex UltraScale+ XCKU5P и Kintex UltraScale XCKU040/XCKU060. У них нет таких встроенных контроллеров LPDDR5X, поэтому придётся использовать DDR4 и отдельно рассчитывать пропускную способность.

Набросал концепт KEDR-M.2:

• FPGA 2KU050P

• Плата 31 × 80 мм с разъёмом M.2 M-key (ширина нестандартная)

• 3 × LPDDR5X x64 по 16 ГБ = 48 ГБ

• 6 каналов памяти x32

• openTPU с целевой матрицей 64 × 48

• PCIe Gen4 x4

Посчитал теоретический предел скорости генерации.

Если взять 102,4 ГБ/с и предположить 70% эффективности использования памяти, получим около 71,7 ГБ/с.

Например, для Bonsai 8B с размером весов 1,15 ГБ это даёт около 62 ток/с, а для Qwen3-8B Q4_K_M (5,03 ГБ) - около 14 ток/с.

Здесь только теоретические пределы по пропускной способности памяти при условных 70% эффективности, а не результаты измерений. Реальная скорость будет зависеть от вычислительного ядра, KV-cache и других накладных расходов.

Самой платы тоже пока нет - это концепт. Разводку LPDDR5X, питание, тепловой режим и размещение FPGA на такой площади ещё предстоит проверить.

FPGA позволяет адаптировать железо непосредственно под формат модели.

Что думаете на счет такой платы? Что я упустил в расчётах? - конечно же цена сие добра по сравнению с готовыми GPU)

Продолжу публиковать эксперименты с FPGA и собственными AI-ускорителями здесь, на Хабре.