Локальные LLM в реальной работе: Gemma 4, Qwen 3.6 и Qwen Coder

Чушь. UD это Unsloth Dynamic. https://unsloth.ai/docs/basics/unsloth-dynamic-2.0-ggufs

Google выпустила Gemma 4 2B/4B/26B/31B: открытые веса и 3-е место на Arena AI

Самый простой это LMStudio, там есть GUI под винду и прочие. Ollama это уже чуть ближе к проду, а самый цимес для одной GPU это llama.cpp, и vLLM если их несколько.
С llama.cpp надо чуть разобраться с параметрами запуска, но это не так уж сложно + недавно появился web-gui там простой, но приятный

Google выпустила Gemma 4 2B/4B/26B/31B: открытые веса и 3-е место на Arena AI

kkrushnyakov@Satan:~/llama.cpp$ docker run --rm --gpus all nvidia/cuda:12.3.2-base-ubuntu22.04 nvidia-smi
Sat Apr  4 01:15:46 2026
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 575.64.01              Driver Version: 576.88         CUDA Version: 12.9     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 5060 Ti     On  |   00000000:2B:00.0  On |                  N/A |
|  0%   40C    P8             11W /  180W |   15777MiB /  16311MiB |      1%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|    0   N/A  N/A               1      C   /llama-server                         N/A      |
+-----------------------------------------------------------------------------------------+

Google выпустила Gemma 4 2B/4B/26B/31B: открытые веса и 3-е место на Arena AI

docker run --rm --gpus all --network mb-bridge -p 999:8080 -e GGML_CUDA_NO_VMM=1 -e LLAMA_LOG_TIMINGS=1 -v ~/models:/models --name chat-server llama-cpp -m /models/gemma-4-26B-A4B-it-UD-IQ4_NL.gguf --host 0.0.0.0 --port 8080 -ngl 999 -b 256 --flash-attn on -t 0.0 --cache-type-k q8_0 --cache-type-v q8_0 --repeat-penalty 1.2 -c 16389&

Dockerfile:

!!!

CUDA 12.9.1 + Ubuntu 24.04 causes CUDA OOM on first decode !!!

with speculative decoding (Gemma target + draft) in llama-server.

12.3.2 + Ubuntu 22.04 works.

========= builder =========

#FROM nvidia/cuda:12.9.1-devel-ubuntu24.04 AS build FROM nvidia/cuda:12.3.2-devel-ubuntu22.04 AS build

RUN apt-get update && apt-get install -y --no-install-recommends
git cmake build-essential ca-certificates libcurl4-openssl-dev
&& rm -rf /var/lib/apt/lists/*

RUN ln -s /usr/local/cuda/lib64/stubs/libcuda.so /usr/local/cuda/lib64/stubs/libcuda.so.1 ENV LIBRARY_PATH=/usr/local/cuda/lib64/stubs:{LD_LIBRARY_PATH}

RUN git clone --depth=1 https://github.com/ggerganov/llama.cpp /opt/llama.cpp RUN git -C /opt/llama.cpp log -1 --oneline

WORKDIR /opt/llama.cpp

RUN cmake -S . -B build
-DCMAKE_BUILD_TYPE=Release
-DGGML_CUDA=ON
-DGGML_CUDA_USE_FLASH_ATTN=ON
-DLLAMA_BUILD_SERVER=ON
-DLLAMA_BUILD_EXAMPLES=ON
-DLLAMA_BUILD_TESTS=OFF
&& cmake --build build -j"$(nproc)"

========= runtime =========

#FROM nvidia/cuda:12.9.1-runtime-ubuntu24.04 FROM nvidia/cuda:12.3.2-runtime-ubuntu22.04

RUN apt-get update && apt-get install -y --no-install-recommends
ca-certificates libcurl4 libgomp1
&& rm -rf /var/lib/apt/lists/*

COPY --from=build /opt/llama.cpp/build/bin/ /usr/local/bin/ COPY --from=build /opt/llama.cpp/build/bin/*.so /usr/local/lib/ RUN ldconfig

WORKDIR /workspace VOLUME [“/models”] EXPOSE 8080 ENTRYPOINT [“/usr/local/bin/llama-server”]

Google выпустила Gemma 4 2B/4B/26B/31B: открытые веса и 3-е место на Arena AI

На мой 5060ti 16GB Gemma4-26B даёт 50-60tk/sec