Pull to refresh

Comments 2

Отличный, качественный материал, спасибо за статью!

Могу только добавить по поводу температуры, что иногда указывают temperature=0, но нулевой температуры не существует, вместо нее используется очень маленькое значение типа 0,00001. Почему так сделано видно из приведенной в статье формуле (на 0 делить нельзя).

Предполагаю (и надеюсь), что в следующей статье будете разбирать reasoning_effort и thinking_budget.

Все верно, это реальная практика с заменой нуля на крошечный эпсилон. Нужно добавить это в материал.
Но конкретно в vLLM это реализовано иначе: temperature = 0 включает greedy-декодирование (argmax). Но все равно существует нюанс с тем, что 100% детерминизма на практике мы не увидим при t=0 в vllm.

Sign up to leave a comment.

Articles