MLOps, DevOps, .NET, Python
да, просто укажите load_in_4bit=True
int8 должен запуститься на бесплатной T4 в колабе. Так что у вас думаю тоже заработает.
да, просто укажите load_in_4bit=True
int8 должен запуститься на бесплатной T4 в колабе. Так что у вас думаю тоже заработает.