Как связывание эмбеддингов душит трансформеры и уничтожает градиенты

[Millog]

Только недавно наткнулся на твою статью. На самом деле там интереснее. Этот механизм интерференции по сути создаёт узкие конусы вдоль базисов и заполняет их разреженными полями. То есть по сути даёт векторам угловые коэффициенты в активациях используя при этом одну матрицу. Что, конечно, частично ломает геометрию. Тот же GPTQ этим успешно пользуется. Оставлю на неё ссылку в своём блоге.