Pull to refresh
8K+
2
10
Rating
2
Subscribers
Send message

Хостинг сервера в Google Colab без ngrok и cloudflared

Level of difficultyEasy
Reading time2 min
Reach and readers7K

Разбираемся, как использовать встроенный механизм Google Colab для хостинга сервера без ngrok и cloudflared — и как достучаться до него через requests с помощью токена аутентификации.

Читать далее

Как я добавил llama.cpp бэкенд в CosyVoice3 и ускорил инференс в 2.6x

Level of difficultyMedium
Reading time3 min
Reach and readers11K

CosyVoice3 — одна из лучших open source TTS моделей, но LLM-часть на PyTorch работает медленно. Я добавил llama-cpp-python бэкенд с GGUF квантизацией — RTF упал с 1.17 до 0.45, ускорение 2.6x на T4. Установка одной командой, никакого Docker.

Читать далее

Information

Rating
742-nd
Registered
Activity

Specialization

ML разработчик