Комментарии 19
OpenAI модели не пробовали? Они, вроде как, именно в математике и сильны.
Показательный момент — модель успела вызвать действие до отказа в тексте. Проверяли ли вы отдельно инвариант на уровне инструмента: невозможность открыть клапан при таком состоянии оборудования, даже если модель ошибётся? Интересно, как стенд фиксирует попытку и что считает успешной защитой.
Там блокировки есть, конечно, поэтому сделать она бы ничего не смогла. Ну, это был эмулятор.
Спасибо за уточнение: это был эмулятор, а блокировки не позволили бы выполнить опасное действие на установке. Для оценки агента тогда полезно отдельно фиксировать намерение вызвать действие, срабатывание блокировки и фактическое состояние установки — чтобы текстовый отказ не скрывал попытку. Можно ли в вашем стенде посмотреть такой журнал по шагам?
Спасибо за разбор с нулями и логами, такое редко показывают. Вопрос про причину потерь на XRR. В выводе она сведена к компактной 3,33-битной модели, но в этом же прогоне стоял мягкий лимит reasoning_budget_tokens 2048. Сдать двухслойную заготовку при первой зелёной галочке χ2 модель могла и потому, что сервер после двух тысяч токенов подводит её к закрытию think. По логам, наверное, видно, сдавала она до 2048 токенов на этом шаге или после. Не пробовали прогнать те же девять задач с бюджетом побольше, пусть и с риском зацикливания? Ранний выход я бы ещё попробовал ловить в обвязке: инструмент сдачи не принимает ответ, пока в логе нет сравнения с моделью на слой сложнее.
Классная статья, мне нравится, что Вы не остановились и продолжили в тех же ресурсных ограничениях искать пути для улучшения работы модели. Школу физики видно сразу
2048 токенов на ризонинг просто ни о чём. Странно что модель вообще смогла набрать столько баллов.
Возможно убрать preserve thinking и/или заменить harness
Проверил по журналам: нет, гипотеза красивая, но мягкий лимит на 2048 токенов тут оказался ни при чём. В логах Strata момент срабатывания мягкого порога виден явно: сервер дописывает в конец мыслей фразу I have thought about this long enough; time to give my answer. Из 588 шагов по девяти задачам этот порог сработал на 50 шагах — в основном на старте, когда модель в уме прикидывала карту чувствительности, или на самом последнем шаге при сборке длинного отчёта из 22 пунктов.
А вот на всех четырёх задачах с ложной приёмкой (S12, S15, S16, S17) на шагах, где принималось решение остановиться, модель закрывала сама, задолго до лимита:
- В S17 двухслойная модель случайно пролезла под порог χ² = 1,15 < 1,3. На шаге приёмки модель уложилась в тысячу токенов и прямо написала в мыслях: add_interlayer wasn’t needed since the periodic fit passed. При этом в той же задаче на 52-м шаге (уже во время написания итогового отчёта, когда сработал лимит 2048!) она сама заметила ошибку в угле обрезки theta_range.max, отменила сдачу и по своей воле запустила ещё 13 расчётов оптимизатора.
- В S16 она как раз честно проверила четырёхслойную модель с прослойками WC (шаги 46–50), но на периодической сетке без градиента по глубине χ² с прослойками вышел чуть хуже (1,738 против 1,709). На 51-м шаге без всякого лимита она решила выкинуть прослойки как «лишние» и включила поиск градиента периода уже на двухслойной заготовке, которая и сошлась к χ² = 0,955.
Так что ваша вторая идея — не принимать двухслойный ответ на уровне check_acceptance, пока в логе нет явной проверки варианта на слой сложнее (в том числе в режиме с градиентом периода), — попадает в самую точку.
А моделям были даны какието знания/скилы в этом домене?
Да, в двух стендах из трёх моделям давались готовые навыки (skills), одинаковые для всех шести участников:
1. ELN (лабораторный журнал): отдельной методички нет — только системный промпт на полстраницы (отвечать строго по базе, указывать ID записей и не додумывать) и описания 31 функции чтения через MCP.
2. XRR (рентгеновская оптика): подключён открытый навык xrr-fitting (https://github.com/OleksiyPenkov/xrr-fitting-skill) — подробная 13-шаговая методичка физика, JSON-файл настроек дифрактометра с табличными границами плотностей, база подложек и скрипт приёмки │ check_acceptance.
3. ADS (вакуумная установка): подключены два навыка — ads-operator (устройство стенда, газовые линии, блокировки, ловушки с единицами давления Torr/mTorr) и vacuum-operations (синтаксис языка рецептов).
То есть доменная физика и правила работы с приборами лежали прямо перед глазами у каждой модели. Вопрос был в том, способна ли модель удержать эти правила на дистанции в 50–70 шагов и не начать срезать углы.
Для тех кто не совсем погружен в лор можно в начале чуть больше инфы что было в предыдущих сериях? Изначально задача как стоит? Речь идет о какой-то лаборатории (в Китае, судя по профилю) или это ии лаборатория? Задача разгрузить лаборантов, отдав ии больше простых задач?
Вы говорите о том что скриптами задача решается на самом оборудовании, что если сделать скрипты для обратной задачи?
Речь о вполне реальной лаборатории экспериментальной физики в Китае, где мы занимаемся тонкоплёночными покрытиями и многослойной рентгеновской оптикой.
Цель не столько разгрузить лаборантов, сколько исследовать, какие задачи физика-экспериментатора можно доверить ИИ-агентам, а какие пока нельзя. От поиска и анализа экспериментальных данных до решения обратных задач и управления оборудованием.
Что касается обратной задачи, то оптимизаторы у нас давно написаны и прекрасно работают. Проблема не в том, чтобы минимизировать невязку, а в том, чтобы выбрать физически корректную модель, определить неоднозначные параметры и не принять математически хорошую, но физически бессмысленную подгонку.
Собственно, мы и проверяем, насколько LLM способны выполнять эту исследовательскую работу, используя готовые вычислительные инструменты.
А предыстория и устройство отдельных стендов подробно разобраны в предыдущих статьях — ссылки есть в тексте.
Испытания не засчитаны! (не означает что мне не понравились статьи)
1) Модель обучалась для решения сложных задачь и анентской работы с использованием размышлений xhigh без ограничений (утверждение что “reasoning_budget_tokens”: 2048 и “presence_penalty”: 1.0 не на что не влияют - не понимание сути работы новой модели)
2) Модель обучалась на использование нативного контекста до 256К. (больше на ваш страх и риск. от себя - работает отлично при правильном использовани, а не как у вас)
3) Для многоходовой работы без потерь, (ну или с минимальными потерями) нужен правильно настроенный харнес именно под эту модель.
Del
пробовали новые кванты unsloth? - Nov 4 update: Dynamic v3.1 GGUF is here with 15% more accuracy, 50% less token use and 5% faster inference than other frontier quants. Scores the highest on Terminal Bench, DeepSWE & more!
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Пытаемся сделать лаборанта из локальной Qwen 3.8 на 16 ГБ VRAM