Как мы дистиллировали Qwen для автоматического протоколирования совещаний

[empenoso]

А чем мой метод плох? https://habr.com/ru/articles/948894/

Даже на 8 ГБ VRAM будет работать

[dusha1248]

То что в вашем методе называется протоколом, у нас называется стенограмма, и приходит к нам уже в готовом виде. Далее мы составляем протокол a.k.a краткое содержание стенограммы.
Имея чистую транскрибацию ваш метод вполне хорош, однако решает отличную от нашей задачи проблему.

[DarkGenius]

А есть какой-то репозиторий с примерами кода для дообучения или хоть что-то воспроизводимое? Иначе практической пользы от статьи 0. Рассказ о том, что крупный банк умеет дообучать модели через LoRA - это не какое-то сверхдостижение, достойное статьи.

[dusha1248]

Код это внутренние разработки банка, поэтому, к сожалению, не можем его выкладывать.
Суть статьи не в том, что мы можем обучать адаптеры, а в том что при дистилляции адаптеры квантизованной модели показывают себя хуже адаптеров неквантизованных, на примере конкретной задачи протоколирования.