SubQ: первая LLM с контекстом в 12 млн токенов

Компания Subquadratic выпустила модель SubQ 1M-Preview — первую, по их словам, LLM на полностью субквадратичной архитектуре. Речь про SSA (Subquadratic Sparse Attention): вместо того чтобы сравнивать каждый токен с каждым (O(n²)), механизм выбирает только релевантные позиции на основе содержимого. Вычислительная сложность растёт линейно.


















