Перевод предобученной модели Keras на матричные вычисления

[masai]

А почему не взяли, например, ONNX + ONNX Runtime или OpenVINO (он ещё и ускорит всё на процессорах Intel)?

[vova_sam]

Так я все равно не смогу все это развернуть на целевом железе.

[masai]

Не очень понятно, какие ограничения. Numpy же получилось развернуть.

[vova_sam]

Если честно, я не знаком с этим инструментом. Хотелось сделать именно простейшую реализацию, которая заработает где угодно.

но спасибо за, что обратили внимание на эти инструменты

[mahmud-podzhigai]

Возник вопрос по вашей "матричной реализации" слоя embedding: а зачем вам там вообще перемножение? Умножение one-hot на матрицу просто вернет тот эмбеддинг, позиция которого соответствует позиции единички. Можно же просто обращаться в массив эмбеддиннгов по индексу слова, без one-hot вообще, разве нет?

Функция должна выглядеть как-то так:

return emb_weights[data],

где data - матрица до one-hot размером 100 (а не 100х1000, как после one-hot), emb_weights - матрица 1000x40

[vova_sam]

Не понимаю, куда пропал прошлый комментарий.
Спасибо больше за этот совет. Действительно я делал в принципе лишнее действие.

Все исправил.