
В шапке заявки написано «GTA 6: 19.11». Ниже просят напечатать 40 футболок для участников и ещё 6 для команды. В карточке заказа должно появиться число 46. Первая шестёрка относится к игре, вторая к тиражу, а 19.11 стоит в названии чата. Вручную это разбирается за секунды. С автоматическим переносом в карточку интереснее: даже правильный JSON может содержать чужое число.
Rockstar выпустила GTA VI на PlayStation 5 и Xbox Series X|S 19 ноября. За два дня до этого OpenAI представила GPT-6.2 Astra и Sol в ChatGPT Work, Codex и API. Релиз игры дал тему для 16 вымышленных заявок на мерч. Моделям достались версии макетов, даты, номера заказов и правки тиражей вперемешку с названиями технологий печати. Анонс Rockstar · Анонс OpenAI.
Обе новые модели вернули 16 точных ответов из 16, как и предыдущая GPT-6.1 Sol. За одинаковый результат Astra стоила ровно вчетверо дороже новой Sol. При сравнении моделей важен масштаб задачи: здесь каждый вызов разбирал одно короткое сообщение, а ответ содержал всего три поля.
По каким полям проверяли каждый ответ
Восемь заявок содержат согласованные заказы, ещё восемь проверяют правки, исключения и противоречия. В обоих наборах встречаются посторонние числа. Например, в согласованном заказе есть дата на принте, а в спорном имя файла gta6_90 подсказывает 90 раньше, чем клиент подтвердил тираж. Все сообщения составлены для теста, без клиентской переписки. У карточки три поля.
Поле | Что записываем |
|---|---|
| Число изделий, на которых надо сделать новое нанесение. При конфликте или неутверждённом тираже ставится |
| DTF, вышивка или шелкография. Смешанный либо невыбранный способ даёт |
|
|
В одной заявке на мерч к GTA VI написано «100 футболок», а исчерпывающая разбивка по размерам даёт 20, 40 и 30. Если заполнить карточку числом 100, исчезнет конфликт с разбивкой. Если записать 90, модель молча исправит заказ. Эталон для этого случая оставляет тираж пустым и отправляет заявку на проверку.
JSON Schema ограничивает поля и допустимые значения. Валидация формы пропустит и 100, и 80: оба значения подходят под тип integer. Смысл проверялся сравнением всего объекта с эталоном. Удовлетворительный JSON с ошибкой в одном поле считался промахом по всей заявке. Структурированный вывод в документации OpenAI API.
48 ответов и три счёта
Прогон сделан 20 ноября 2026 года через OpenRouter с маршрутом к OpenAI. Три модели получили одни и те же сообщения и строгую JSON Schema. Настройки для всех запросов одинаковые: reasoning.effort=low и лимит 512 выходных токенов. На пару «модель и заявка» делался один запрос, без повторов и без истории переписки. Провайдер вернул нужные идентификаторы моделей, ответ на каждом вызове завершился штатно. Кешированных входных токенов в этом прогоне было ноль.
Модель | Точные ответы | Вход / выход, токенов | Стоимость 16 ответов | Медиана запроса |
|---|---|---|---|---|
GPT-6.1 Sol | 16 из 16 | 4 671 / 347 | $0,012812 | 1,73 с |
GPT-6.2 Sol | 16 из 16 | 4 895 / 347 | $0,013260 | 1,57 с |
GPT-6.2 Astra | 16 из 16 | 4 895 / 347 | $0,053040 | 2,31 с |
У всех трёх моделей OpenRouter сообщил одинаковые 347 выходных токенов и ноль отдельно учтённых reasoning tokens. У GPT-6.2 Sol вход оказался на 224 токена длиннее, чем у GPT-6.1 Sol, хотя содержимое сообщений было одинаковым. По одному журналу API причину разницы определить нельзя. Медиана замерена на стороне клиента и включает сеть. Размер выборки годится для ориентира, а задержки под нагрузкой потребуют отдельного замера.
Ниже фрагмент на Python, который считает суммы по сохранённым записям. results-gta.json содержит ответ модели и счётчик usage для каждого запроса, а поле exact выставил скрипт после сравнения с эталоном.
import json from decimal import Decimal from pathlib import Path rows = json.loads(Path("results-gta.json").read_text(encoding="utf-8"), parse_float=Decimal)["results"] for model in sorted({r["requested_model"] for r in rows}): calls = [r for r in rows if r["requested_model"] == model] total = sum(r["usage"]["cost"] for r in calls) print(model, sum(r["exact"] for r in calls), len(calls), total)
По стандартному тарифу OpenAI API миллион входных токенов Astra стоит $8, а миллион выходных стоит $40. Проверка вручную даёт ту же сумму, (4_895 × 8 + 347 × 40) / 1_000_000 = 0,053040 доллара. При том же среднем расходе 1 000 заявок стоили бы около $0,83 на GPT-6.2 Sol и $3,32 на Astra. В пересчёт входит только оплата вызовов модели. Стандартные тарифы для Astra и Sol.
Что происходит с четырьмя заявками на проверку
Во всех трёх прогонах на проверку ушли одни и те же четыре сообщения. Два раза клиент не определил тираж или указал противоречивые числа. В одном сообщении способ зависел от ещё не сделанной пробы, в другом в одном заказе было два утверждённых способа, а карточка допускала только один. Пустые поля здесь объяснимы исходными данными и устройством схемы. Чтобы обработать два способа в одной заявке, пришлось бы добавить в карточку отдельные позиции. Чтобы согласовать тираж, нужен ответ клиента.
Можно пересчитать, что случилось бы при автоматической передаче каждого review в Astra. По сохранённым ответам весь проход Sol стоил $0,013260. Четыре повторных вызова Astra добавили бы ещё $0,013240. В сумме получилось бы $0,026500, почти вдвое дороже одной Sol. Все четыре решения всё равно остались бы review. Это пересчёт по независимым запросам с исходным сообщением. Вариант, в котором Astra получает ещё и JSON первой модели для ревью, здесь не измерялся.
Для парсера из этого пилота полезнее хранить фрагмент сообщения, по которому заполнено поле, и отдельно перепроверять арифметику. Тогда разницу между обещанными 100 и суммой 90 можно показать оператору вместе с исходной разбивкой. Статус ready означает, что в тестовой схеме удалось заполнить два поля. Запуск тиража требует отдельной проверки макета, сроков и подтверждения заказа.
Чего этот пилот ещё не проверяет
На исходном наборе из 16 обычных заявок и правок без игровых отсылок все три модели тоже совпали с эталоном. Версия про GTA VI добавила даты, номера и названия файлов, сохранив те же ожидаемые поля. Это два небольших прогона по коротким синтетическим сообщениям, с одной попыткой на каждый запрос. Для решения о доплате за Astra стоит проверить переписку из нескольких веток, PDF с размерной ведомостью и заказ, который правили в разных каналах.
Для этого теста переход с GPT-6.1 Sol на 6.2 Sol не прибавил точных ответов и слегка поднял стоимость. Astra тоже не прибавила точности. Если менять модель в работающем разборе заявок, полезная контрольная выборка начинается с конкретных ошибок, которые уже пришлось исправлять руками. В отчёте стоит отдельно считать ложные ready: один такой ответ способен отправить неверный тираж дальше по цепочке, даже когда средняя точность выглядит благополучно.
