Бенчмарк Маракуйя ИИ на Terminal-Bench 4 и OSWorld 2

[stilet69]

Все таки сомнительно, чтобы обвязка настолько сильно влияла на результат. Я пользуюсь pi, а до этого opencode и в целом сопоставимые результаты. Я возможно ошибаюсь - но ведь основой любой обвязки является системный промт. А это дело такое - скопировал к себе и пользуйся. Если речь идет о всем процессе - то для pi есть расширения для запуска задачи в режиме архитектор->разработчик->ревьювер

[Hau515]

Обвязка ОЧЕНЬ сильно влияет на результат. У каждой обвязки - свои собственные алгоритмы, скилы, инструменты, системы памяти и так далее. Мне вообще кажется, что обвязка - это 80% успеха, а модель может быть плюс минус любая. Поэтому я и хочеь Гигачат и Алису там забенчмаркать, и думаю что результаты будут удивительными. А может и нет :)

[Ka463]

Мне вообще кажется, что обвязка - это 80% успеха, а модель может быть плюс минус любая.

Ну я бы так не сказал, модели сильно различаются в понимании когда какой инструмент применять, а так же в подходе к решению задачи, слабые модели пытаются решать в лоб, используя только те знания которыми обучены, не понимают что какие то библиотеки устарели и делают неверные выводы, могут зациклится на своих же ошибках.

[Hau515]

Если что, я никому минусы не ставил. Кого-то сильно раздражает что тут кто-то ведет конструктивный диалог 🤦🤷

[Ka463]

Поправил =)

[Ka463]

Кстати я заметил все все эти бенчи завязаны на linux, а у меня виндовс агент, не получается его прогнать по бенчам, а собирать под линух лень, там много переделок =)
Нет бенчей без привязки к OS ?

[Hau515]

Можно попробовать через WSL 2 (Windows Subsystem for Linux)

[Ka463]

А как бенч будет оцениваться тогда ? там же по моему прямое присутствие агента нужно на OS, считаются ходы, время и т.д