Pull to refresh
4K+
12
Эдуард@edyanakov

Middle NLP Data Scientist in Alfa Bank

18
Rating
6
Subscribers
Send message

Спасибо за комментарий!

  1. Посмотрим в эту сторону. Анонс Jev'а не прошел стороной, но вот опен сорс аналоги пропустили

  2. LoRA вешали в том числе на gate_proj/up_proj/down_proj, но вот rank/alpha всегда были фиксированные: 16/32. Попробуем потестить меньшие/большие значения в зависимости от датасета

Подобный интерфейс реализован в разделе "Расходы и доходы".
По идеи, это то, что вам нужно.

Обязательно попробуйте берт - всё таки сейчас sota в nlp.
При иерархической структуре лейблов попробуйте специальный лосс - https://github.com/Ugenteraan/Deep_Hierarchical_Classification.

С каким качество работает логрег?

Information

Rating
425-th
Location
Москва, Москва и Московская обл., Россия
Registered
Activity