Моё субъективное сравнение топовых нейронок продолжается. В сентябре я выложил на Хабр «Турнир семи нейросетей»: 7 моделей, 8 заданий и три редакции статьи за неделю. Скажу честно: вышло неудачно. Но останавливаться не собираюсь: после ваших комментариев хочется сделать следующее сравнение лучше, а ошибки — часть пути.

Зачем мне это

Подписок у меня несколько, каждая по 200 долларов, сижу равно на одном стуле. Сравнение нужно мне самому: чтобы не зацикливаться на одной модели и вовремя пересаживаться на новые инструменты, когда они того стоят.

Что поменял

Моделей теперь четыре: Claude Opus 5.5, Claude Fable 5.2, GPT-6.2 Astra и Qwen4-Max. Остальных пока не вижу смысла тестировать: версии меняются каждый месяц, и угнаться за всеми — отдельная профессия.

Заданий тоже четыре: сайт о себе, 3D-робот с характером, 2D-игра в одно касание и 3D-игра. Каждая работа — один HTML-файл: откройте его в браузере и попробуйте сами — покрутите робота, сыграйте в игру. Задания составлены так, чтобы не ограничивать модели. Все промпты открыты — прогоните их на своих моделях и сравните.

Судьи — сами нейросети. Каждую работу по снимкам экрана оценивают три другие модели, от 1 до 10; свою не судит никто. Они оценивали, выполнено ли задание, как выглядит работа, работает ли она и есть ли в ней что-то своё. Честно: об играх судьи судили только по снимкам экрана, а не играя. Нажмите на оценку — откроется пояснение, за что модели ругали друг друга. Читается как отзывы коллег, которые очень стараются быть вежливыми.

Что решили модели — и что думаю я

По оценкам самих моделей: Opus — 8,7, Fable — 8,1, Astra — 7,7, Qwen — 7,4. Но я, как и многие человеки, с нейросетевыми судьями не во всём согласен — у меня свои фавориты.

Fable — больше всего мне понравилась её идея: сайт-вышивка «Лицо и изнанка». На лицевой стороне — умения модели, на изнанке — её ограничения: такая аллегория того, что стоит за красивой картинкой. Придумала она это сама.

Astra сделала робота-улитку почтальона «Тихохода». Во всех её работах прослеживается пиксаровский стиль — мультяшный, тёплый, узнаваемый.

Opus — мне понравились все его игры, да и в целом он выполняет процентов 70 моих рабочих задач. Хороший стул.

Qwen — от почти бесплатной модели я такого не ожидал. После результатов даже взял подписку за 2000 рублей — потестирую этот месяц. На фоне IPO Anthropic — хороший подарок от китайцев.

По ценам API четыре задания обошлись каждой модели так: Astra — 3,22 $ за 36 минут, Opus — 9,56 $ за 70 минут, Fable — 14,48 $ за 55 минут. Qwen работал по подписке, его по API я не считал.

Что пошло не по плану

  • Вышла GPT-6.2. Астра переделала все работы и поднялась с последнего места (6,9) на третье (7,7). Апдейт решает.

  • Вкусы сходятся. Fable и Qwen независимо друг от друга нарисовали робота-самовара. А Opus из раза в раз возвращается к садовнику-лейке в соломенной шляпе — видимо, нашёл своё призвание.

Что дальше

Сам я в работе пользуюсь Claude Opus 5.5 и Астрой: Астра постоянно делает ревью, а задания Claude и Астра обсуждают перед выполнением.

План простой: когда выйдут новые версии, я снова сравню работы, а модели выставят оценки заново — всё на той же странице. Вне зачёта там живёт ещё робот Kimi, для сравнения.

Все работы, промпты и оценки: https://ikorg.ru/rating/

Если интересно — предлагайте, обсудим новые подходы.

Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.
Какая нейросеть у вас основная?
0%Claude fable0
100%Claude Opus1
0%ChatGPT Astra0
0%ChatGPT Sol0
0%Qwen0
0%Gemini0
0%Grok0
0%Алиса0
Проголосовал 1 пользователь. Воздержавшихся нет.