Комментарии 3
В качестве модели, была выбрана TinyLlama/TinyLlama-1.1B-Chat-v1.0. Эта модель отлично укладывается в наши ограничения,
Какие ограничения? Вот эти?
Ограничения ресурсов:
CPU: 1 ядро, ~1 GB RAM.
GPU (бесплатно): но только для активных Space, не работающих круглосуточно.
Разве на 1 GB что-то мало-мальски из реальной жизни можно получить? Для AI-assisted coding, к примеру
Да, вы правы, именно об этих ограничениях идет речь. Насколько я знаю, они могут периодически менять тарифы. Например, на данный момент доступны:
Что касается AI-assisted coding, не могу ничего утверждать. В моем случае, мне нужен был помощник, который мало мальски мог отвечать на простые вопросы на русском/английском языках. В духе: what is love? что такое компьютер? Какого цвета солнце? и т.д.
Я пробовал такие модели, как:
ai-forever/rugpt3small_based_on_gpt2
ai-forever/rugpt3large_based_on_gpt2
mistralai/Mistral-7B-Instruct-v0.1
OpenBuddy/openbuddy-mistral-7b-v13
RWKV/rwkv-4-169m-pile
и аналоги
но больше всего, мне понравилась именно TinyLlama. Она дает самые вразумительные ответы. Однако, если поиграться с настройками других нейронок, то и от них можно добиться неплохих ответов (но это не точно)
Воняет нейросетью. это видно по тексту, ооочень старым зависимостям и пайтон 3.9.
Лучше напишите сами, огребите от олдов и станьте лучше, чем выкидывать статьи от Gemini
Разворачиваем нейросеть на бесплатном VPS: FastAPI + Hugging Face за 15 минут