Разбираемся, как использовать встроенный механизм Google Colab для хостинга сервера без ngrok и cloudflared — и как достучаться до него через requests с помощью токена аутентификации.

CosyVoice3 — одна из лучших open source TTS моделей, но LLM-часть на PyTorch работает медленно. Я добавил llama-cpp-python бэкенд с GGUF квантизацией — RTF упал с 1.17 до 0.45, ускорение 2.6x на T4. Установка одной командой, никакого Docker.