Хостинг сервера в Google Colab без ngrok и cloudflared

Попробуй через Network:

1. Получи URL через eval_js и открой его в браузере (вкладку с Colab не закрывай)

2. Открой DevTools (F12) -> вкладка Network

3. Обнови страницу (F5) - появятся запросы

4. Кликни на последний запрос к твоему домену (prod.colab.dev)

5. Вкладка Headers -> раздел Request Headers -> найди поле cookie, или вкладка Cookies -> там будет colab-runtime-proxy-token отдельной строкой

6. Там будет colab-runtime-proxy-token=... - это и есть нужный токен

Как я добавил llama.cpp бэкенд в CosyVoice3 и ускорил инференс в 2.6x

Да, нужны файлы оригинала, потому что это лишь надстройка (заменяется только LLM-часть).

Скачай базовую модель:

from huggingface_hub import snapshot_download
snapshot_download('FunAudioLLM/Fun-CosyVoice3-0.5B-2512', local_dir='pretrained_models/Fun-CosyVoice3-0.5B')

И GGUF положи рядом. При инициализации укажи оба пути:

cosyvoice = AutoModel(
    model_dir='pretrained_models/Fun-CosyVoice3-0.5B',
    load_llama_cpp=True,
    gguf_model_path='pretrained_models/cosyvoice_llm_f16.gguf'
)

Как я добавил llama.cpp бэкенд в CosyVoice3 и ускорил инференс в 2.6x

Измерил TTFA на T4: 5.5с -> 1.6с (ускорение ~3.5x)