В локальном прогоне на RTX 5070 Ti Qwen3.8-27B IQ3 получил успех на моих задачах в 91.1%, индекс 82.3 и 68.3 tok/s. Это один поток при контексте 131K, а не характеристика команды или очереди.
Читал и лично слышал очень много мнений, что 131К контекста - мало, IQ3 - глупый, но у меня есть что вам рассказать.
Метод и границы
Два набора задач: 30 публичных синтетических задач с инструментами и 50 закрытых русскоязычных письменных задач. Замеры 08-10.10.2026. Успех - оценка задачи не ниже 0.6; рядом публикуются доля успешных прогонов задач и индекс качества от 0 до 100. Основные сравнения используют три прогона (ради сокращения цены я попробовал все по одному разу, но потом встретил в другие тестах разбросы почти в 0.9 и понял, что надо стремиться к объективной оценке); разница до 4.3 пунктов индекса остаётся в пределах шума (математика, специально не стал округлять). Рубли показывают инференс с НДС 22% в сценарии 50% кэша; кэш не измерялся, стоимость судей в сырых записях отсутствует. И что интересно, часть провайдеров запросы к кэшу даже отдельно не выделяют в таблицах с ценами.
Часть облачных строк обозначена нейтральным кодом: право на публичное упоминание поставщика ещё проверяется; код не связан с результатом.
В таблице 11 кодов - российское облако с нераскрытым поставщиком, отсортированы по индексу, не по названиям. Qwen и Gemma - две строки на моей личной RTX 5070 Ti. Глобальные модели в эту таблицу не включены: они нужны как справка в следующей статье, здесь только то, что мы можем официально подключить в РФ.
Строка | Успешные прогоны задач | Индекс качества | ₽ за успешную задачу, с НДС | Скорость, tok/s |
|---|---|---|---|---|
Российское облако Г | 94.4% | 84.3 ± 1.7 | 1.06 | 33.0 |
Российское облако Б | 93.3% | 84.0 ± 2.3 | 0.24 | 44.8 |
Своё железо: Qwen3.8-27B IQ3 | 91.1% | 82.3 ± 2.5 | 0.09 | 68.3 |
Своё железо: Gemma4-12B | 88.9% | 78.0 ± 4.6 | 0.03 | 94.4 |
Российское облако Л | 88.9% | 77.7 ± 0.6 | 0.78 | 32.8 |
Российское облако А | 83.3% | 75.1 ± 0.7 | 0.13 | 43.3 |
Российское облако Д | 85.6% | 74.6 ± 2.2 | 1.33 | 57.6 |
Российское облако И | 80.0% | 73.8 ± 0.3 | 3.31 | 34.8 |
Российское облако З | 80.0% | 72.0 ± 1.0 | 2.51 | 66.9 |
Российское облако В | 75.6% | 69.1 ± 1.2 | 0.01 | 46.8 |
Российское облако Ж | 80.0% | 66.5 ± 3.8 | 0.09 | 62.7 |
Российское облако К | 73.3% | 63.8 ± 0.6 | 0.25 | 42.0 |
Российское облако Е | 73.3% | 63.1 ± 0.8 | 0.34 | 47.7 |
Локальный Qwen не так далеко от двух облачных кодов
У Qwen индекс 82.3. У Российского облака Б - 84.0, у Российского облака Г - 84.3: разницы 1.7 и 2.0 пункта не выходят за порог шума.
Gemma получила 78.0. Российское облако Л с индексом 77.7, А с 75.1, Д с 74.6 и И с 73.8 также недалеко от Gemma по этому правилу: разницы 0.3, 2.9, 3.4 и 4.2 пункта. Здесь нельзя превращать порядок строк в порядок качества. У Российского облака З индекс 72.0, разница с Gemma 6.0 пункта; у этого сравнения уже другая граница.
Я честно думал, что облако будет сильно лучше чем то, что я могу крутить дома (смотрим на первые строки статьи), но не тут то было. Что порадовало.
Результат относится к указанным версиям и настройкам на дату замера. Он не описывает поставщика целиком и не обещает такой же результат на чужой задаче. Во второй статье я разбираю исправление контракта инструмента: прежнее чтение файла без номеров строк могло измерять угадывание адреса правки вместо самой правки.
Рубли показывают цену или качество?
У локальной Qwen расчётная цена успешной задачи - 0.09 ₽. Самая дешёвая строка, Российское облако В, показывает 0.01 ₽; это не делает её заменой Qwen, потому что её индекс 69.1, на 13.2 пункта ниже, что бы вы выбрали?
У Gemma - 0.03 ₽ и индекс 78.0. Самая дорогая строка, Российское облако И, показывает 3.31 ₽ и индекс 73.8. Её стоимость относительно Qwen выше в 37 раз по расчётам, а индекс ниже на 8.5 пунктов.
Цифры локального Qwen включает учётную стоимость карты, электричество и амортизацию, а не облачный тариф. Сценарий 50% кэша нужен только для одинаковой рамки расчёта (у меня использование кэша 97%, так что 50% не показатель). Но я не шучу, некоторые провайдеры, с кем я столкнулся в рамках теста - реально не имеют цены на использование кэша!
Закрытый набор задач остаётся истинно моим бенчем, для каждого он будет свой
50 своих задач не публикую: открыт только хэш и методика; публичный репозиторий содержит только 30 синтетических задач. На письме Qwen получил 84.7% и индекс 77.0. Среди всех строк ближе всего Российское облако Б: 79.3% и 70.0. Разница 7.0 пункта больше порога шума; это вывод только для письменного набора задач.
Письменные задачи | Успешные прогоны задач | Индекс качества | ₽ за успешную задачу, с НДС |
|---|---|---|---|
Своё железо: Qwen3.8-27B IQ3 | 84.7% | 77.0 ± 0.9 | 0.32 |
Российское облако Б | 79.3% | 70.0 ± 0.3 | 0.27 |
Российское облако Д | 54.7% | 59.4 ± 0.1 | 1.33 |
Российское облако А | 44.0% | 57.4 ± 1.5 | 0.17 |
Российское облако К | 46.0% | 54.3 ± 0.8 | 0.21 |
Российское облако Г | 41.3% | 52.3 ± 0.9 | 0.48 |
Российское облако В | 41.3% | 49.7 ± 0.4 | 0.01 |
Российское облако Л | 36.7% | 48.9 ± 2.5 | 0.47 |
Российское облако З | 34.7% | 45.0 ± 1.0 | 0.63 |
Российское облако Ж | 27.3% | 42.3 ± 0.6 | 0.09 |
Российское облако И | 24.0% | 35.4 ± 0.4 | 1.23 |
Российское облако Е | 26.0% | 33.7 ± 0.7 | 0.19 |
Свой сервер остаётся самой тюнингованной моделью и за счет этого так высоко?
В бенч-прогоне у Qwen измерены один поток, контекст 131K, 68.3 tok/s и медианная задержка 6.365 с. У Gemma - 94.4 tok/s и 2.86 с. Эти результаты не отвечают на вопрос об очереди или одновременных запросах. Нагрузочный тест с Gemma измерил формы N=1, 2, 4 и 8 по 32K на слот; Qwen при N=4 и 32K на слот получил CUDA out-of-memory. Третья статья даст больше ясности.
