Gemma 3: Google DeepMind делает ИИ по-настоящему доступным

Скачал gemma-3-pytorch-gemma-3-4b-it-v1 и на CPU она обрабатывает картинки, но это жутко мдленно, поэтому естественно хочется использовать CUDA. Но простая замена значения в MACHINE_TYPE не работает (RuntimeError: Input type (float) and bias type (struct c10::Half) should be the same), а примеров кода для работы с изображениями на CUDA нигде не нашел