
1. Введение
Инфраструктура вывода больших языковых моделей традиционно оптимизируется по пропускной способности и задержке: KV‑кэш, CUDA‑графы, батчинг, квантизация, параллелизм. Эти компоненты формируют «скелет» системы и задают её предельные характеристики. Однако за пределами этого фокуса нередко остаётся слой, определяющий не скорость, а качество. Это параметры семплирования — правила выбора следующего токена из распределения логитов на каждом шаге декодирования.
Смещение приоритетов объяснимо: эти параметры не влияют на ядро инференса, память или число обслуживаемых запросов. Но их недооценка обходится дорого: система, безупречная по throughput и latency, с неоткалиброванным декодированием уходит в повторы, обрывает рассуждение, теряет формат ответа или в RAG‑сценариях порождает правдоподобные, но не подкреплённые источниками утверждения. Формально она «работает», но не находится в боевом состоянии.
Статья разбирает параметры семплирования на понятном и простом языке — их математическую природу, взаимодействие и роль в разных режимах (чат, reasoning, RAG) — на примере OpenWebUI + vLLM, где параметры управляются динамически в зависимости от включённого поиска или режима рассуждения.
2. Базовые понятия: логиты, распределение и акт выбора
2.1. Логиты
Языковая модель не выдаёт готовое слово. На каждом шаге она получает уже написанный текст x1:t («Я люблю пить по утрам горячий...») и возвращает вектор логитов — по одному числу на каждый токен из словаря. Словарь (V - vocabulary) современных моделей — это обычно от десятков тысяч до двухсот тысяч токенов, так что логитов на каждом шаге тоже столько же. Логит zi — это просто число, которое показывает, насколько модель «склоняется» к токену i (например, слово «чай» — 10 баллов, «кофе» — 9 баллов и тд). Это ещё не вероятность: логиты могут быть отрицательными, большими, маленькими, и их сумма ни к чему не привязана. Их абсолютные значения зависят от внутренней нормировки модели, поэтому сравнивать логиты между разными запросами напрямую нельзя.
2.2. Вероятность
Чтобы получить распределение вероятностей над словарём, к логитам применяется операция softmax:
Про распределение вероятностей
Почему вес токена i это exp(zi). Потому что логиты бывают отрицательные, а веса нет (доля не может быть отрицательной). Сохраняет порядок и подчёркивает разницу. Если z1 > z2, то и exp(z1) > exp(z2). При этом разница в логитах превращается в разницу в разы: логит, который больше на 1, даёт вес в e раз больше. Модель как бы «усиливает» своего лидера.
Соответсвенно суммарный вес всех токенов это сумма exp(zi).
Теперь каждое pi — это вероятность того, что следующим токеном будет токен i, и все pi вместе дают единицу. Важно помнить: это оценка модели, а не «истина». Если модель уверена (например, после «Столица Франции — „), распределение имеет ярко выраженный пик на слове „Париж“. Если контекст допускает много равноправных продолжений, распределение становится плоским, и вероятности распределяются между десятками кандидатов.“»
2.3. Декодирование
Генерация — это цикл (упрощенно):
модель выдаёт распределение вероятностей над словарём →
из него выбирается один следующий токен →
токен добавляется к контексту →
модель прогоняется снова →
выбирается следующий токен →
и так до стоп‑условия (специальный токен конца, лимит длины, стоп‑строка).
Ключевая операция на каждом шаге — выбор одного токена( x̂ ) из распределения. Существует два принципиально разных способа этот выбор сделать:
Детерминированный (greedy / argmax): всегда берётся токен с максимальной вероятностью. Один и тот же контекст всегда даёт один и тот же ответ.
Стохастический (сэмплирование): токен берётся случайно в соответствии с распределением, x̂ ∼ p (выбран случайно в соответствии с распределением p). Именно этот режим и настраивают параметры семплирования.
2.4. Параметры семплирования
Параметры семплирования — это набор правил, которые преобразуют исходное распределение p перед выбором токена. Каждое правило отвечает на свой вопрос:
Temperature — насколько «острым» или «плоским» сделать распределение в целом.
Top‑k — сколько наиболее вероятных токенов вообще допустить к выбору.
Top‑p (nucleus) — какую долю суммарной вероятностной массы сохранить, отбросив хвост.
Min‑p — насколько вероятным должен быть токен относительно лидера, чтобы остаться в рассмотрении.
Typical sampling — насколько «типичной» по информативности должна быть вероятность токена.
Штрафы за повторения (repetition / frequency / presence penalty) и DRY — как скорректировать логиты уже встречавшихся токенов или фрагментов.
Mirostat — как поддерживать целевую «сюрпризность» генерации на длинной дистанции.
Факт, которое часто упускается: эти правила независимы как понятия, но не независимы как операции. Раскроем его ниже.
Здесь есть тонкость, которую часто упускают. Каждый параметр можно определить сам по себе: чтобы объяснить temperature, не нужно знать, что такое top‑p, и наоборот. В этом смысле они независимы как понятия — каждый представляет собой отдельный, замкнутый рецепт преобразования распределения.
Но в реальном пайплайне они применяются последовательно, и результат каждого шага становится входом для следующего. Это и означает «не независимы как операции»: top-p работает не с исходным распределением модели, а с тем, которое уже получилось после temperature. Поэтому смысл top‑p меняется в зависимости от Temperature хотя само определение top-p никак не упоминает температуру.
В vLLM (V1 sampler) порядок применения зафиксирован и описан в официальной документации модуля
vllm.v1.sample.sampler: сначала применяются штрафы (penalties), затем внутри методаsample—temperature, затемmin-p, затемtop-kи/илиtop-p, и в конце — собственно сэмплирование. Источник: https://docs.vllm.ai/en/v0.14.0/api/vllm/v1/sample/sampler/
2.5. Почему значения «по умолчанию» в vLLM — это на самом деле «выключено»
Довольно часто приходится видеть такую логику: «В документации написано top_k = -1, top_p = 1.0, min_p = 0.0 — значит, это нейтральные значения, пусть так и стоят». На первый взгляд это разумно: значения по умолчанию обычно воспринимаются как «средние настройки», которые разработчики VLLM выбрали как безопасный компромисс. Но в случае параметров семплирования это не так — и именно здесь кроется одна из самых распространённых ошибок в проде.
2.6. Что на самом деле означают эти значения
Значения по умолчанию в vLLM — это не «средние настройки», а флаги отключения соответствующего фильтра:
top_k = -1означает «учитывать все токены», то есть не отсекать по количеству.top_p = 1.0означает «учитывать все токены», то есть не отсекать по вероятностной массе.min_p = 0.0означает «отключить относительный порог», то есть не отсекать по сравнению с лидером.
Рассмотрим конкретный кейс с отключением всех параметров семплирования (предлагаю вам самостоятельно догадаться, что в конечном итоге проихойдет).
В vLLM температура, равная единице — это нейтральное значение: она не сжимает и не растягивает распределение, вы просто сэмплируете из того распределения, которое выдала модель, без модификаций. Осмысляем:
Температура нейтральна — распределение не меняется.
Top‑k выключен — никакие токены не отбрасываются по количеству.
Top‑p выключен — никакой хвост не отрезается по массе.
Min‑p выключен — никакой относительный порог не применяется.
Результат: вы сэмплируете из полного, неизменённого распределения по всему словарю. Каждый токен — включая те, у которых вероятность 0.0001 — имеет ненулевой шанс быть выбранным. Это и есть «чистое сэмплирование»: никаких фильтров, кроме, возможно, штрафов (которые применяются раньше и к логитам, а не к отсечению).
Дальше мы поговорим о четырех параметрах семплирования и разберем пример с конфликтом параметров.
3. Параметры семплирования: четыре основных
Разберём по отдельности четыре параметра, которые встречаются в конфигах чаще всего: temperature, top‑k, top‑p и min‑p.
3.1. Temperature
Temperature делит все логиты на T перед softmax:
Логиты — это «баллы», которые модель даёт каждому токену. Разница в баллах определяет, насколько один токен вероятнее другого. Temperature — это регулятор, который растягивает или сжимает эту разницу. Делите на T < 1 — разница растягивается, лидер становится ещё более доминирующим. Делите на T > 1 разница сжимается, все токены становятся более «равными».
Следовательно, чем выше температура, тем более стохастическим становится выбор токенов и тем разнообразнее — но менее предсказуем — получается ответ. Чем ниже температура, тем ближе генерация к детерминированной и тем выше воспроизводимость. Для задач, где важна точность и опора на источники (например, RAG), предпочтительна низкая температура; для креативных задач — высокая.
3.2. Top‑k
Top‑k оставляет только k токенов с наибольшими логитами, остальным присваивает нулевую вероятность:
Top‑k — это жёсткий счётчик: «возьми ровно k лучших кандидатов и отрежь всех остальных, независимо от того, насколько модель уверена». Если k=50, то в выборке всегда будут участвовать ровно 50 токенов — хоть при остром распределении (где реально конкурируют 2–3 лидера), хоть при плоском (где шансы есть у десятков). Порог здесь — не вероятность, а позиция в отсортированном списке.
3.3. Top‑p
Top‑p сортирует токены по убыванию вероятности, накапливает вероятности сверху вниз и останавливается на первом токене, где накопленная сумма достигает p:
Top‑p — это уже не счётчик, а «бюджет вероятностной массы»: «оставь столько токенов, сколько нужно, чтобы вместе они набрали pp процентов уверенности модели». При остром распределении (модель уверена) 95% массы набирается на 2–3 токенах — и top‑p оставляет 2 — 3. При плоском (модель в замешательстве) те же 95% набираются на десятках токенов — и top‑p оставляет десятки.
Пример top_p = 0.95
Логиты восьми токенов: z=[3, 2, 1, 0, −0.5, −1, −1.5, −2].
После softmax:
Ранг | Логит | pi | Sk |
1 | 3.0 | 0.6175 | 0.6175 |
2 | 2.0 | 0.2272 | 0.8447 |
3 | 1.0 | 0.0836 | 0.9283 |
4 | 0.0 | 0.0307 | 0.9590←порог 0.95 |
5 | -0.5 | 0.0187 | 0.9777 |
6 | -1.0 | 0.0113 | 0.9890 |
7 | -1.5 | 0.0069 | 0.9959 |
8 | -2.0 | 0.0042 | 1.0000 |
top_p = 0.95: идём сверху вниз, накапливаем. На ранге 3 сумма 0.9283 — меньше 0.95. На ранге 4 — 0.9590, порог впервые достигнут. Стоп. Выживают токены с рангами 1–4, остальные четыре отрезаются.
Перенормировка
Выжившие вероятности уже не дают единицу (0.9590), поэтому делим каждую на эту сумму:
Ранг | pi | pi/0.9590 |
1 | 0.6175 | 0.644 |
2 | 0.2272 | 0.237 |
3 | 0.0836 | 0.087 |
4 | 0.0307 | 0.032 |
Сумма — снова 1.0. Из этого распределения и сэмплируется следующий токен.
3.4. Min‑p
Min‑p оставляет токены, чья вероятность не меньше относительного порога, привязанного к вероятности лидера:
Min‑p — это «порог относительно лидера»: «оставь токены, которые не слишком сильно отстают от самого вероятного». Если модель уверена (p max большой), порог p min * p max получается высоким — и min‑p отсекает агрессивно, оставляя только близких конкурентов лидера. Если модель в замешательстве (p max маленький), порог падает вместе с ним — и ядро расширяется, допуская больше альтернатив. Здесь, в отличие от top‑p, порог не абсолютный, а относительный: он масштабируется уверенностью модели.
min‑p — это попытка решить главную слабость top‑p: чувствительность к температуре.
4. Пример: конфликт параметров (top‑p при двух температурах)
Хочу продемонстрировать небольшой пример вы включили два фильтра, оба формально работают, но вместе они дают не тот результат, который вы ожидали. Не потому, что вы ошиблись в настройках, и не потому, что vLLM глючит. А потому, что параметры применяются по очереди, и каждый следующий «видит» то, что оставил предыдущий.
Случай 1: T=1.0, top_p = 0.95
Ранг | Логит | pi | Sk |
1 | 3.0 | 0.6175 | 0.6175 |
2 | 2.0 | 0.2272 | 0.8447 |
3 | 1.0 | 0.0836 | 0.9283 |
4 | 0.0 | 0.0307 | 0.9590 ← стоп |
5 | -0.5 | 0.0187 | - |
6 | -1.0 | 0.0113 | - |
7 | -1.5 | 0.0069 | - |
8 | -2.0 | 0.0042 | - |
Порог 0.95 впервые достигнут на ранге 4. Выживают 4 токена. Хвост из четырёх отрезан.
Случай 2: T=1.5, top_p = 0.95
Логиты делятся на 1.5 — распределение становится площе. После softmax:
Ранг | Логит / 1.5 | pi | Sk |
1 | 2.0 | 0.4621 | 0.4621 |
2 | 1.33 | 0.2372 | 0.6993 |
3 | 0.67 | 0.1218 | 0.8211 |
4 | 0.0 | 0.0625 | 0.8836 |
5 | -0.33 | 0.0448 | 0.9284 |
6 | -0.67 | 0.0321 | 0.9605 ← стоп |
7 | -1.0 | 0.0230 | - |
8 | -1.33 | 0.0165 | - |
Температура сделала распределение площе, вероятность лидера упала (0.62 → 0.46), хвост подрос. Чтобы набрать те же 95%, top‑p вынужден захватить больше токенов.
T = 1.0, top_p = 0.95 T = 1.5, top_p = 0.95 ────────────────────────── ────────────────────────── [1] ████████████████ 0.62 [1] ████████████ 0.46 [2] ██████ 0.23 [2] ██████ 0.24 [3] ██ 0.08 [3] ███ 0.12 [4] █ 0.03 ← граница [4] ██ 0.06 ────────────────────────── [5] █ 0.04 [5] ░ 0.02 (отрезано) [6] █ 0.03 ← граница [6] ░ 0.01 (отрезано) ────────────────────────── [7] ░ 0.01 (отрезано) [7] ░ 0.02 (отрезано) [8] ░ 0.00 (отрезано) [8] ░ 0.02 (отрезано)
5. Динамическое изменение параметров семплирования
Движок инференса задаёт безопасную базовую линию и границы, а прикладной слой (в нашем случае — фильтры OpenWebUI) получает право динамически переопределять параметры в зависимости от контекста запроса, который движку недоступен.
5.1. Почему статической конфигурации недостаточно
Иерархия приоритетов в vLLM (запрос → параметры запуска сервера → generation_config.json модели → умолчания) и в OpenWebUI (модель → аккаунт → чат) позволяет гибко управлять параметрами, но не знает о режиме запроса. Один и тот же движок обслуживает и RAG, где модель должна следовать извлечённым документам, и reasoning, где она должна исследовать пространство решений, и креативные задачи. Зафиксировать параметры на уровне движка — значит лишить приложение возможности переключать режимы; отдать всё пользователю — получить невоспроизводимые конфигурации. Динамическое переопределение на уровне приложения закрывает этот разрыв: фильтр inlet() видит tool_ids и флаги режима до отправки запроса и может согласованно выставить параметры, которые уйдут в движок как параметры конкретного запроса.
5.2. Политика для режимов
Ключевая идея — таблица политик, где каждому режиму сопоставлен согласованный набор параметров, а не отдельные «ручки». Для трёх режимов политика может выглядеть так:
RAG включён: низкая температура (≈0.15), умеренный
top_p(≈0.9),top_k = 20— модель должна опираться на документы, а не «фантазировать». Reasoning, если он тоже активен, не меняет эти значения: рассуждение не должно уводить в сторону от источников.Reasoning без RAG: чуть выше температура (≈0.3),
top_p ≈ 0.8,top_k = 20— можно позволить вариативность, но не терять связность.Ни RAG, ни reasoning: параметры не переопределяются, используются значения по умолчанию уровня модели или движка.
И так далее ( Все ограничено лишь вашей фантазией)
Важно отметить, что это ориентировочные данные, а реальные цифры будут различаться в зависимости от выбранной модели. Код ниже также является демонстративным.
5.3. Реализация
Переходим в Open WebUI → Панель администратора → Функции → Создать:
""" title: Dynamic Sampling Policy author: tnv description: > Динамически подбирает параметры семплирования под режим запроса: определяет наличие RAG (по tool_ids) и reasoning (по флагу в chat_template_kwargs) и переопределяет temperature, top_p, top_k и штрафы согласованным набором. Логирует решение, идемпотентен, при ошибке пропускает запрос без изменений. version: 1.0.0 icon: * """ import logging from typing import Optional from pydantic import BaseModel, Field logger = logging.getLogger(__name__) # Режим -> согласованный набор параметров. POLICY = { (True, False): {"temperature": 0.15, "top_p": 0.9, "top_k": 20, "presence_penalty": 0.0, "frequency_penalty": 0.0}, (True, True): {"temperature": 0.15, "top_p": 0.9, "top_k": 20, "presence_penalty": 0.0, "frequency_penalty": 0.0}, (False, True): {"temperature": 0.3, "top_p": 0.8, "top_k": 20, "presence_penalty": 0.0, "frequency_penalty": 0.0}, (False, False): None, # ничего не переопределяем } class Filter: class Valves(BaseModel): priority: int = Field(default=0, description="Порядок выполнения") log_decisions: bool = Field(default=True, description="Логировать выбор") def __init__(self): self.valves = self.Valves() def _rag_is_active(self, body: dict) -> bool: tool_ids = body.get("tool_ids") or [] return any("rag-search" in str(t) for t in tool_ids) def _reasoning_is_active(self, body: dict) -> bool: kwargs = body.get("chat_template_kwargs") or {} if kwargs.get("enable_thinking") is False: return False if kwargs.get("enable_thinking") is True: return True if kwargs.get("reasoning_effort"): return True return bool(body.get("reasoning")) async def inlet(self, body: dict, __user__: Optional[dict] = None) -> dict: try: rag = self._rag_is_active(body) reasoning = self._reasoning_is_active(body) policy = POLICY.get((rag, reasoning)) if policy is None: if self.valves.log_decisions: logger.info("sampling policy: rag=%s reasoning=%s -> default", rag, reasoning) return body body.update(policy) if self.valves.log_decisions: logger.info("sampling policy: rag=%s reasoning=%s -> %s", rag, reasoning, policy) return body except Exception: logger.exception("sampling policy filter failed; passing through") return body
Приведённый фильтр — это не «ещё одна настройка сверху», а минимальный каркас для динамической политики семплирования. Его ценность не в конкретных числах, а в архитектурных решениях, которые легко переносятся и масштабируются на любой стек.
6. Вывод
Статья — попытка собрать практический опыт в связный материал, и она не претендует на истину в последней инстанции. Если вы нашли ошибку, неточность или не согласны с аргументацией — напишите об этом в комментариях, чтобы мы совместно могли довести работу до идеала.