Comments 10
Но llama.cpp не умеет делать веб поиск, зачем же тогда там зпускать эту модель?
Или есть уже коммит в этом проекте для поддержки режима веб поиска?
Быстрый поиск выдал https://github.com/TheBlewish/Web-LLM-Assistant-Llamacpp-Ollama хз насколько рабочий. На выходных поковыряю
Но llama.cpp не умеет делать веб поиск, зачем же тогда там зпускать эту модель?
Или есть уже коммит в этом проекте для поддержки режима веб поиска?
llama.cpp запускает openai compatiable api сервер, который можно запускать даже без встроенного веб-клиента. Поиск сейчас делают через вызов внешних инструментов по протоколу MCP.
Если запускать llama.cpp напрямую, то подключить можно любой клиент, в котором есть поддержка и MCP, и возможность подключаться к произвольному openai api серверу, например, Open WebUI или Cherry Studio, и даже сам Jan умеет подключаться к созданному серверу.
Напрямую запускать llama.cpp имеет смысл, например, можно указывать произвольный путь к модели, но чаще потому, что клиенты не поддерживают все параметры запуска, например --cpu-moe, через который на 1 gpu можно запускать тяжелые модели с ускорением в 2 раза.
Или если нет возможности указать флаг --no-context-shift, например, в LM Studio нет такой возможности, то она зациклится в бесконечном поиске, каждый раз срезая начало, чтобы этого избежать нужно сильно увеличить размер контекста.
Модель Jan-v1 обучена вызывать инструменты под названием web_search и visit_tool, чтобы эти инструменты появились, нужен MCP сервер serper. В Jan нужно включить "экспериментальные функции", появится дополнительный пункт MCP Servers, и там будет serper. Включив его и введя бесплатный ключ с сайта serper появятся 2 инструмента.
В других клиентах тоже можно добавить, распространенный способ подключения MCP через json формат. Например, в LM Studio нажав Install -> Edit mcp.json:
{
"mcpServers": {
"serper-search": {
"command": "npx",
"args": [
"-y",
"serper-search-scrape-mcp-server"
],
"env": {
"SERPER_API_KEY": "your_api_key_here"
}
}
}
}
После установки инструмент появится в списке. Это работает не только с моделью Jan-V1, по сути это работает с любой моделью, которая уже знает про MCP, только качество не обязательно будет на уровне.
И через эти инструменты можно не только гуглить, можно, например, кидать сразу ссылку и просить сделать пересказ:
Удивительный бенчмарк! Для сбора ответов мы модели Sonnet (и другой топ) не выпускали в интернет с помощью дополнительных утилит, а свою выпускали! И мы обогнали Sonnet, надо же!
Вы название темы прочитали? Это мелкая модель, натренированная для того, чтоб не полагаться на собственные знания, а использовать веб-поиск для подготовки ответа. Зачем в бенчмарк добавили большие модели, я, честно говоря, не знаю, Перплексити, который занимается тем-же, должно было быть достаточно.
Не раскрыто, как настроить доступ модели к поиску в инете. В Хроме включаем плагин https://chromewebstore.google.com/detail/browser-mcp-automate-your/. В Jan включаем browsermcp и после запуска модели даем разрешения на управление браузером.
Модель постоянно просит увеличить окно, хотя сама плохо с ним справляется. На выходе часто не то, что спрашиваешь. До Перплексити как до Луны. Но забавно наблюдать как она тужится найти нужную информацию.
Для Jan-V1 нужно включить не browsermcp, а serper, получив бесплатный ключ.
Да, через serper намного лучше ищет, нашла товар на Озоне и собрала по нему цены. У serper trial на 2500 токенов, довольно быстро заканчивается. Поэтому вариант через browsermcp тоже актуален. Через него модель, минуя Гугл, пыталась открывать Вики и даже Озон. В Озоне застряла на строке поиска - не смогла вставить текст запроса в нужное поле.
Вы с каким квантом модель качали? Вот здесь тоже жаловались на проблемы, в дальнейшем обсуждении разработчики утверждали, что проблемы были связанны с использованием Q4 и должны были решиться переходом на Q8: https://www.reddit.com/r/LocalLLaMA/comments/1mov3d9/i_tried_the_janv1_model_released_today_and_here/
Правда они еще сами используют Serper, но говорят, что с другими тоже должно работать.
I just re-ran your exact questions in Jan using Q8 + Serper with the recommended parameters:
Whats the GDP of the US?: Finds the exact answer and returns it
Whats the popilation of the world?: Gives a short, correct answer
Whats the size of the Jan AI team and where are they based?: Runs Google Search, then decides to check LinkedIn. Doesn't find a Jan AI page because we don't have one - we're under Menlo Research. Says it doesn't know, but does find “January AI” (11-50 employees) but notes it's not the same company.
Разработчики выпустили Jan-v1 — локальную нейросеть для веб-поиска, конкурирующую с Perplexity Pro