Обновить
4K+
12
Эдуард@edyanakov

Middle NLP Data Scientist in Alfa Bank

18
Рейтинг
6
Подписчики
Отправить сообщение

Спасибо за комментарий!

  1. Посмотрим в эту сторону. Анонс Jev'а не прошел стороной, но вот опен сорс аналоги пропустили

  2. LoRA вешали в том числе на gate_proj/up_proj/down_proj, но вот rank/alpha всегда были фиксированные: 16/32. Попробуем потестить меньшие/большие значения в зависимости от датасета

Подобный интерфейс реализован в разделе "Расходы и доходы".
По идеи, это то, что вам нужно.

Обязательно попробуйте берт - всё таки сейчас sota в nlp.
При иерархической структуре лейблов попробуйте специальный лосс - https://github.com/Ugenteraan/Deep_Hierarchical_Classification.

С каким качество работает логрег?

Очень интересно!

Информация

В рейтинге
418-й
Откуда
Москва, Москва и Московская обл., Россия
Зарегистрирован
Активность