Конечно, остается вопрос, насколько технология будет масштабироваться в реальных сценариях и насколько она сложна в интеграции. Но сам факт того, что появляется новое решение для этой задачи, внушает оптимизм. Буду с интересом следить за дальнейшими исследованиями и практическими применениями NSA .
Китайцы вообще молодцы, в условиях дефицита железа, они придумывают новые технологии оптимизации, что в свою очередь порождает технический прогресс. Чего только стоит Multi-Head Latent Attention (MLA).
Native Sparse Attention: новый вид разреженного внимания от DeepSeek