Спасибо за отзыв, Александр. С вашей работой, конечно, знакомы. Про метрики могу ответить, что просадка у нас наблюдается именно в STS сравнительно с оригиналом e5, по остальным метрикам нет существенных потерь. Мы подошли к работе с metric learning с e5 на скорую руку, например, мы фактически не делали отдельного negative mining и температуру в InfoNCE выбрали выше чем берут обыно, ну и наконец не выбирали соотвествующие датасеты вроде NLI. Тут дело в том, что проект весьма экспериментальный и новый для нас, скорее с целью доказать, что клонировавние вполне осуществимо. Так что о потере в STS мы конечно жалеем, но теперь гораздо лучше понимаем как его существено улучшить в дальнейших итерациях. Спасибо за проявленый интерес и освещение нашей работы!
Спасибо за отзыв, Александр. С вашей работой, конечно, знакомы. Про метрики могу ответить, что просадка у нас наблюдается именно в STS сравнительно с оригиналом e5, по остальным метрикам нет существенных потерь. Мы подошли к работе с metric learning с e5 на скорую руку, например, мы фактически не делали отдельного negative mining и температуру в InfoNCE выбрали выше чем берут обыно, ну и наконец не выбирали соотвествующие датасеты вроде NLI. Тут дело в том, что проект весьма экспериментальный и новый для нас, скорее с целью доказать, что клонировавние вполне осуществимо. Так что о потере в STS мы конечно жалеем, но теперь гораздо лучше понимаем как его существено улучшить в дальнейших итерациях. Спасибо за проявленый интерес и освещение нашей работы!