ABBYY NeoML: как мы делали библиотеку машинного обучения и зачем она нужна

Отличная работа! Но будущее, имхо, за 'компиляцией' графа вычислений при релизе(a-ля tvm). Это позволяет за счет кодогенерации проводить оптимизации совершенно другого уровня. В ход идут не только классические трюки компиляторов(dead code elimination, constant-folding, operations fusion и т.д.), но и более экзотические идеи о автоматическом подборе структуры циклов в слоях под конкретное железо.