Перевод предобученной модели Keras на матричные вычисления

А почему не взяли, например, ONNX + ONNX Runtime или OpenVINO (он ещё и ускорит всё на процессорах Intel)?

Возник вопрос по вашей "матричной реализации" слоя embedding: а зачем вам там вообще перемножение? Умножение one-hot на матрицу просто вернет тот эмбеддинг, позиция которого соответствует позиции единички. Можно же просто обращаться в массив эмбеддиннгов по индексу слова, без one-hot вообще, разве нет?

Функция должна выглядеть как-то так:

return emb_weights[data],

где data - матрица до one-hot размером 100 (а не 100х1000, как после one-hot), emb_weights - матрица 1000x40