Пространственное внимание на RTX 3050: эксперимент с контекстом 16K
Medium
7 min
Case

Можно ли ускорить обучение небольшой языковой модели на длинных последовательностях, если заменить полное внимание разреженным графом, а веса связей определять расстояниями между обучаемыми координатами?