Обновить

Почему дорогая LLM дороже: экономика инференса, которую видно в твоём 5-часовом лимите

Уровень сложностиСредний
Время на прочтение26 мин
Охват и читатели11K
Всего голосов 8: ↑5 и ↓3+5
Комментарии2

Комментарии 2

Умножение и сложение – это одна операция с тремя операндами, fma или MAC, в отечественной литературе умножение с накоплением.

Используется вместо двух операций, т.к. подразумевает одно округление в процессе вычисления, что приводит к меньшей ошибке.

Возможно, я не особо именно в этом разбираюсь. Это мне что-то нужно поправить, так как мои формулировки некорректны, или просто как дополнение?

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации