Pull to refresh
1
Владимир Ивлев@WildCodeRus

User

Send message

Пространственное внимание на RTX 3050: эксперимент с контекстом 16K

Level of difficultyMedium
Reading time7 min
Reach and readers1.6K

Можно ли ускорить обучение небольшой языковой модели на длинных последовательностях, если заменить полное внимание разреженным графом, а веса связей определять расстояниями между обучаемыми координатами?

Читать далее

Information

Rating
Does not participate
Registered
Activity

Specialization

Фулстек разработчик
Старший