Подбор гиперпараметров RAG-системы с помощью Optuna

[slivka_83]

Докинул bi-энкодеров, расширил границы chunk_size и n_top_cos, добавил в сплитеры цепочки символов. В результате получил скор 85.95% на том же датасете. А учитывая правильные ответы среди неправильных то и все 90-95%

[PorisulkiP]

• Работа на одной GPU A100 40Мб.

Наверное 40ГБ

А касаемо темы статьи, то что по временным затратам? Я сам пытался устроить себе подобный эксперимент по рабочей задаче, но нужны прям уходить по делам и на что-то отвлекаться, пока идёт подбор. Ситуация "первые 15 экспериментов длинною в 10 часов выдали val_loss inf" даже более жизненна, чем хотелось бы)

[slivka_83]

Спасибо поправил.

Я себе создал тест на 100 вопросов. За 24 часа провожу прмимерно 200-400 тестов в зависимости от модели.