Как я подружил llama-server с Claude Code: доработка Go-лаунчера для локальных LLM

[Weron2]

Единственное, чего ему не хватало для повседневной работы, — удобной обвязки, которая избавила бы от ручного набора десятка флагов при каждом старте.

Я для этого попросил ии сделать скрипт с пошаговым выбором режима запуска модели, у меня были разные папки для разных моделей и даже разные диски. И по размеру модели разные флаги. По сути скрип сканирует папку с программой на новые версии (в папке разные версии лежат), потлм сканирует папки с большими моделями или с малыми в зависимости от выбора. Потом запускает или автостарт с заранее прописанными флагами либо wizard с ручными настройками где можно добавить флаги самому, выбрать контекст, выбрать профиль (с mcp или без, можно включать встроенные тулзы или не включать)

Похоже у вас программа делает примерно то же (в обычном запуске)

[SkalolazOther]

Изначально, чтобы упростить себе задачу, я написал скрипт для запуска llama-server. Значения аргументов и ключей были подобраны опытным путем, однако в коде также предусмотрена возможность ввода пользовательских параметров. Модели хранятся в отдельной директории — я решил не распределять их по файловой системе, чтобы в дальнейшем было проще их администрировать, но при необходимости скрипт позволяет указать путь к любой выбранной модели.

Вчера я ознакомился со статьей коллеги (ссылка выше) — большое спасибо автору за материал — и решил внедрить аналогичную функциональность в свой скрипт, чтобы после запуска сервера автоматически предоставлять Claude Code возможность работы с ним.

На мой взгляд, результат получился удачным, поэтому я решил поделиться наработками с коллегами, которые хотят попробовать локальные LLM, но, возможно, не решаются из-за недостатка опыта в этой предметной области.

Также хочу выразить отдельную благодарность пользователю, который нашел мой репозиторий и поставил первую звезду. Это очень ценно!

[rizgan]

Спасибо, что поделились репой, но я решил немного по другому:

.\llama-b10900-bin-win-cuda-13.3-x64\llama-server.exe --models-dir "C:\llama.cpp\models" –no-models-autoload --jinja –chat-template-file “C:\llama.cpp\qwen-fixed-chat-template.jinja” --host 127.0.0.1 –port 8686 -ngl all -c 108512 -np 1 --cache-ram 16384 --flash-attn on -ctk q4_0 -ctv q4_0 --reasoning-budget 0 --image-min-tokens 1024

$m = “qwen3.8-27b-gsq-rco-iq3_s” $env:ANTHROPIC_BASE_URL = “http://127.0.0.1:8686” $env:ANTHROPIC_AUTH_TOKEN = “local-llama” $env:ANTHROPIC_API_KEY = “local-llama” $env:ANTHROPIC_MODEL = $m $env:ANTHROPIC_DEFAULT_SONNET_MODEL = $m $env:ANTHROPIC_DEFAULT_OPUS_MODEL = $m $env:ANTHROPIC_DEFAULT_HAIKU_MODEL = $m $env:CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC = “1” $env:CLAUDE_AUTOCOMPACT_PCT_OVERRIDE = “40” $env:CLAUDE_CODE_AUTO_COMPACT_WINDOW = “100000”

cd C:\
claude --permission-mode default