Заставляем машинное обучение делать «брррр» через понимание базовых принципов компьютерных систем

[leshabirukov]

Не все фьюжны операторов так же просты, как в случае с поэлементными операторами. Поэлементные операторы можно «сфьюзить», превратив их в редукцию (reduction) или в умножение матриц. ориг:(You can fuse pointwise operators onto reductions, or pointwise operators onto matrix multiplication. )

Это автор что имел в виду, интересно? Пример бы.

Даже само умножение матриц можно рассматривать в качестве фьюзинга умножения с автоматическим расширением размерности и размеров массивов (broadcasting multiply) и редукции.

Это понятно.

[SnakeSolid]

Насколько я понимаю это простые операции над векторами (a + b * c может быть одной операцией для видеокарты, которая вычисляет результат поэлементно, а не отдельно умножение потом сумму) и dot product (можно свести к умножению матриц (1,N) * (N,1)).

[leshabirukov]

Поточечная `a + b * c` - это комбинация (фьюжн) поточечных `+` и `*`, это не перемножение матриц и не редукция ( мы тут программисты и "произведение Адамара" умножением матриц не называем ).

dot product - редукция. это не поточечная операция.