Сыровато, так сравнения не делают, нельзя сравнивать инструменты запуская их на разных моделях, вплоть до промптов все должно быть одинаково. Например, opus 4.6 (не 4.8, потому что там guardrails ниже) выносит ваш owasp juice shop вперед ногами в очень короткое время - и тогда вопрос, зачем ему вообще этот харнес обвес вокруг? Я вам подскажу, берете китайскую модель, которую можно хостить локально или очень дешевую типа qwen3.8-27b, deepseek-4.1-flash (0731 хотя бы, потому что там на 50% меньше GPU надо чтобы захостить его локально), glm-5.3 flash и запускаете тесты снова. Иначе эта работа просто мусор. Нет смысла вкручивать туда фронтир модели, если в реальной жизни вы с этим не можете пойти к клиенту и обеспечить ему абсолютную сохранность ваших данных.
Сыровато, так сравнения не делают, нельзя сравнивать инструменты запуская их на разных моделях, вплоть до промптов все должно быть одинаково. Например, opus 4.6 (не 4.8, потому что там guardrails ниже) выносит ваш owasp juice shop вперед ногами в очень короткое время - и тогда вопрос, зачем ему вообще этот харнес обвес вокруг? Я вам подскажу, берете китайскую модель, которую можно хостить локально или очень дешевую типа qwen3.8-27b, deepseek-4.1-flash (0731 хотя бы, потому что там на 50% меньше GPU надо чтобы захостить его локально), glm-5.3 flash и запускаете тесты снова. Иначе эта работа просто мусор. Нет смысла вкручивать туда фронтир модели, если в реальной жизни вы с этим не можете пойти к клиенту и обеспечить ему абсолютную сохранность ваших данных.