Репараметризация с помощью LSTM используется как альтернатива прямому обучению эмбеддингов, соответствующих обучаемым токенам (<P>). В этом случае эмбеддинги являются не самостоятельными параметрами, а выходом LSTM. Градиенты, соответственно, прокидываются до параметров LSTM, а не останавливаются в эмбеддингах. Дополнительно почитать об этом можно было бы в статье, где использование LSTM было предложено, но там, к сожалению, этот момент описан не очень подробно.
В первую очередь нам было интересно попробовать подбор затравки для генеративных задач, но, как показывают статьи, для классификации метод тоже работает хорошо. В будущем мы, возможно, добавим в библиотеку поддержку большего числа задач.
Репараметризация с помощью LSTM используется как альтернатива прямому обучению эмбеддингов, соответствующих обучаемым токенам (
<P>). В этом случае эмбеддинги являются не самостоятельными параметрами, а выходом LSTM. Градиенты, соответственно, прокидываются до параметров LSTM, а не останавливаются в эмбеддингах. Дополнительно почитать об этом можно было бы в статье, где использование LSTM было предложено, но там, к сожалению, этот момент описан не очень подробно.Спасибо за внимательность, в данный момент все ссылки на ноутбуки рабочие
В первую очередь нам было интересно попробовать подбор затравки для генеративных задач, но, как показывают статьи, для классификации метод тоже работает хорошо. В будущем мы, возможно, добавим в библиотеку поддержку большего числа задач.