Посмотрим в эту сторону. Анонс Jev'а не прошел стороной, но вот опен сорс аналоги пропустили
LoRA вешали в том числе на gate_proj/up_proj/down_proj, но вот rank/alpha всегда были фиксированные: 16/32. Попробуем потестить меньшие/большие значения в зависимости от датасета
Спасибо за комментарий!
Посмотрим в эту сторону. Анонс Jev'а не прошел стороной, но вот опен сорс аналоги пропустили
LoRA вешали в том числе на gate_proj/up_proj/down_proj, но вот rank/alpha всегда были фиксированные: 16/32. Попробуем потестить меньшие/большие значения в зависимости от датасета
хах
Подобный интерфейс реализован в разделе "Расходы и доходы".
По идеи, это то, что вам нужно.
Вам спасибо!)
Обязательно попробуйте берт - всё таки сейчас sota в nlp.
При иерархической структуре лейблов попробуйте специальный лосс - https://github.com/Ugenteraan/Deep_Hierarchical_Classification.
С каким качество работает логрег?
Очень интересно!