Комментарии 13
Спасибо за библиотеку!
Есть ли смысл решать ей задачи классификации, например, а не seq2seq?
Потрогать ruPrompts можно в Colab-ноутбуках
Нельзя. На обоих Not Found.
Здравтствуйте!
А можно где-нибудь по подробнее почитать про использование LSTM. Т.к. как я сейчас понимаю Вашу работу, вы размечаете части запроса подсказками, а потом помещаете теги подсказок в словарь и создаете случайные вектора встраивания, потом считаете градиенты по всей gpt, но обновляете веса только у Ваших новых тегов. И тут я не совсем понимаю, где используется LSTM, т.к. градиенты приходят с трансформеров.
Репараметризация с помощью LSTM используется как альтернатива прямому обучению эмбеддингов, соответствующих обучаемым токенам (<P>). В этом случае эмбеддинги являются не самостоятельными параметрами, а выходом LSTM. Градиенты, соответственно, прокидываются до параметров LSTM, а не останавливаются в эмбеддингах. Дополнительно почитать об этом можно было бы в статье, где использование LSTM было предложено, но там, к сожалению, этот момент описан не очень подробно.
Ссылка на готовые промпты отдает 404. Скажите куда переместили?
ссылки все умерли? hugginface
Управляем генерацией ruGPT-3: библиотека ruPrompts