Comments 6
А почему не взяли, например, ONNX + ONNX Runtime или OpenVINO (он ещё и ускорит всё на процессорах Intel)?
0
Возник вопрос по вашей "матричной реализации" слоя embedding: а зачем вам там вообще перемножение? Умножение one-hot на матрицу просто вернет тот эмбеддинг, позиция которого соответствует позиции единички. Можно же просто обращаться в массив эмбеддиннгов по индексу слова, без one-hot вообще, разве нет?
Функция должна выглядеть как-то так:
return emb_weights[data],
где data - матрица до one-hot размером 100 (а не 100х1000, как после one-hot), emb_weights - матрица 1000x40
+6
Sign up to leave a comment.
Articles
Change theme settings
Перевод предобученной модели Keras на матричные вычисления