Комментарии 12
Ещё несколько названий моделей, их можно найти в репозитории TheBloke
Pygmalion - для чатов. Последний из примеров запросов в статье заточен под него.
WizardLM-30B-Uncensored-SuperCOT-Storytelling - обучена говорить длиннее, хорошо придумывает байки и анекдоты.
Guanaco - универсальная сеть, хорошо работающая в 13B. Но во первых зацензуренная, во вторых склонна сочинять истории в стиле "шёл я как-то через мост, глядь - ворона мокнет".
За инструкцию - спасибо. Но это про "початиться" с компьютером. Т.е. - про пообщаться письменно...
А поговорить-то с компьютером как? :) Голосом?
Чисто технически, можно использовать связку whisper (а лучше whisperX) и одной из silero-models от snakers4.
Whisper обеспечит распознание речи, отлично работает на русском языке
Модели silero достаточно хорошо генерируют речь на нескольких языках.
И все можно запустить +- на железе домашнего уровня :)
Цельной end-to-end связки пока не видел, но, думаю, кто-нибудь соберёт в скором времени.
Home Assistant очень активно работает в этом плане - можно комбинировать разные сервисы (TTS, STT, мозги) в едином интерфейсе.
https://www.home-assistant.io/voice_control/voice_remote_local_assistant/
Добавьте speech-to-text и text-to-speech и будет вам щастье))
По подробнее бы про то как на nvidia завести, вся модель влезет в видеопамять, но что-то не хочет пытаться в неё запихнуться. Вроде все перекомпилил и нужные флаги указал, все равно в оперативку закидывает только
Нужно перекомпилировать llama.dll так, как написано по ссылке. Потом в webui.py в аргументы добавить "--n-gpu-layers 100500". Всё, больше ничего не нужно.
Ключевое наблюдение - во время загрузки должна появляться строка "offloaded XXX layers to GPU" и прогрессбар из точек. Если они есть - значит работает с GPU. При этом нагрузку на ядро GPU он не показывает.
Перекомпилил как по ссылке сказано, указал --n-gpu-layers 15, запускаю start_windows.bat пишу запрос, модель грузится в ОЗУ, видеопамять не трогает. Видимо есть какой то нюсанс) "offloaded XXX layers to GPU" не отображается в консоли
Если хотите, чтобы я помог -- то лог перекомпиляции - на бочку(в pastebin).
Попробовал переустановить, теперь все сломалось и снова ставиться не хочет. Что то там с CUDA https://pastebin.com/jvuPD9HS
Как поговорить с компьютером, если у вас не поехала крыша