Я бы в такой постановке попробовал бы двухэтапно, сначала новые веса дотюнить только, потом разморозить млм (ну и возможно саму модель с маленьким лр), но надо экспериментировать))
чего кстати не скажешь о base версии, там я размораживал MLM голову (это кажется единственная модель, где я это делал), ибо прям недоученная базовая модель была
Вообще это странно. У меня хорошо все было. Вы про свой кейс или конкретно про мою модель? (я кстати по-разному пытался, и размораживать и пытался побить предобученный тайни берт, но выходит, что он и так очень оптимален на MLM, достичь его точности получалось, но превзойти нет)
Я бы в такой постановке попробовал бы двухэтапно, сначала новые веса дотюнить только, потом разморозить млм (ну и возможно саму модель с маленьким лр), но надо экспериментировать))
чего кстати не скажешь о base версии, там я размораживал MLM голову (это кажется единственная модель, где я это делал), ибо прям недоученная базовая модель была
Вообще это странно. У меня хорошо все было. Вы про свой кейс или конкретно про мою модель? (я кстати по-разному пытался, и размораживать и пытался побить предобученный тайни берт, но выходит, что он и так очень оптимален на MLM, достичь его точности получалось, но превзойти нет)
Прошу прощения, не заметил)
МЛМ голова тоже заморожена, так как ее веса для tiny-bert-2 так же есть на хаггинг фейса