Как стать автором
Обновить

Комментарии 2

Игорь, а можете уточнить, какая именно MLM модель использовалась в вашей оценке "BertScore"? Ибо их много и ведут они себя на этой задаче очень по-разному.

Для Paraphraser тоже были бы интересны какие-то технические детали, как минимум какая модель под капотом, какие параметры генерации, как ранжировались кандидаты.

Приветствую, Илья. Рад вас видеть в комментах) Однако, к сожалению, я не могу сказать много, т.к. сам выступал в роли потребителя сервиса.

Судя по репе, использовался base bert, который был до обучен на, скорее всего, наших внутренних данных. В парафразере используется GPT-2, не знаю, внешняя ли она или была натренирована нами. Особо интересных параметров там нет, а в качестве способа ранжирования используется механизм внутри класса GPT2LMHeadModel из transformers. Судя по тому, что там указано top-k и нет параметра beam_size, то думаю, это обычное жадное декодирование.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий