Comments 9
Модель для мелких задач
Не только. В oobabooga text-generation-webui есть фича Speculative decoding. При использовании мелкой модели того же семейства заявляется ускорение выдачи токенов.
А ведь можно lm studio использовать с плагином для brave либо другим для веб-поиска, лишь бы модель инструментами умела пользоваться. Да, может быть менее приватно, но проще с установкой (недавно возился с установкой wsl пару часов, хотя до этого без проблем устанавливалась)... Да и даже abliterated или heretic модель всё равно пользуется зацензурированным поиском.
"Самый распространенный способ запускать модели LLM локально, это либо через ollama, либо через LM Studio. Несмотря на то, что они сделаны на основе llama.cpp, они поддерживают не весь функционал, и там и там нет ncmoe, только в LM Studio есть галочка для cmoe. Поэтому запускать будем в llama.cpp. " - https://habr.com/ru/articles/961478/
Насколько я понимаю lm studio обновляют у себя llama cpp с задержкой. И там меньше параметров для запуска, чем в llama.cpp. Поэтому я выбрал llama.cpp.
Первый раз тоже долго возился с wsl. Теперь установка и удаление занимают пару минут. Хотя обычно это не требуется.
"Да и даже abliterated или heretic модель всё равно пользуется зацензурированным поиском. " - но думать могут без цензуры. Что тоже может кому-нибудь пригодится.
А что значит дает 5$ ? Кто кому чего дает? Надо за поиск получается платить, что-то где-то пополнять?
Практически все поисковые api платные (вроде можно создать гугловый поисковый движок на своём аккаунте и это бесплатно. Не пробовал, не знаю какие там лимиты). Некоторые дают при регистрации какое-то количество бесплатных запросов. Другие дают какое-то количество запросов в месяц. Brave каждый месяц даёт $5 каждый месяц на аккаунт - это 1000 запросов. Если надо больше - то платно.
Зачем использовать brave? Если уж решили все развертывать локально, то поднимайте локальный поиск с помощью SearXNG. SearXNG отлично работает в связке с OpenWebUI
Не проще ли установить Cherry Studio - без заморочек с докером и всл? Статья мне была интересна, спасибо!
Open WebUI (с веб-поиском) + llama.cpp