Comments 5
Torch.compile уже успел устареть - с питоном 3.11 не работает. Требует 3.10. В nightly говорят пофиксили. В 2.0.1 - нет
На 3.10 в трансформерах у меня с ним файнтюнинг получился медленнее. Не разбирался почему, не исключаю кривизну рук
Добрый день!
Касаемо файнтьюнинга, то как уже было упомянуто в посте, наибольший прирост в скорости наблюдается если:
обучать на больших батчах;
использовать тяжёлую модель;
максимально занять GPU;
обучать на много эпох.
Если применить только одну рекомендацию(в вашем случае тяжелая модель с большим количеством параметров), то маловероятно, что будет наблюдаться прирост в скорости.
Я прочитал как "заглядываем под капот девушки"))
Модели из коробки уже хорошо оптимизированы, надо бы попробовать кастом модель.
Triton — это новый язык программирования, который обеспечивает гораздо более высокую производительность, чем CUDA
Triton это не язык программирования, а сервер для инференса и работает он поверх CUDA
Тест-драйв PyTorch 2.0 и заглядываем под капот «двушки»