niktomimo5 июн в 12:21

Самый старый кирпич трансформера наконец переизобрели. DeepSeek взял матрицу из 1967 года

Сложный

5 мин

12K

Машинное обучение * Искусственный интеллектNatural Language Processing * Алгоритмы * Математика *

Аналитика

+16

Комментарии 2

vadimr 5 июн в 12:35

Там важная ссылка на [Zhang and Sennrich, 2019]. Примерно благодаря таким вот оптимизациям академик Чжан стал директором Института исследований искусственного интеллекта Университета Цинхуа.

Amareis 6 июн в 08:45

Все же AttnRes от кими выглядит как-то поэлегантней, да и результаты заяляются посильнее.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий