Comments 35
Интересное сравнение. Результаты в целом совпадают с моим опытом использования этих моделей на реальных проектах.
Буквально недавно по работе мучал ЧГ 5.2 кодекс в режиме extra high на довольно простую 3д математику с матрицами: взять координаты объекта из файла майи (обычным текстом три координаты положения, три вращения), взять open3d и питон, импортировать одно в другое. Подковырка в том что у маи и open3d разный порядок осей и их направления - грубо говоря у одной XYZ, у другой YZX (при этом Z инвертирована).
Ага, разбежались. Оно думало-думало, итераций 10 прошло, в итоге ни_хе_ра. Бери мозги и сам ручками делай. Примерно вот такое (картинка из интернета):
Наверно, 3 раза по 20 минут работал?🤣
Я по приколу решил показать твой комментарий chatgpt и я решил скопировать часть его ответа.
В общем вот: "Почему нейросети «облажались»
Он пишет, что:
гонял ChatGPT 5.2,
несколько итераций,
модель пыталась угадать,
но не выдала рабочее решение.
И это важный момент 👇
ИИ часто:
знает формулы в общем виде
но не держит в голове конкретные соглашения движка / библиотеки
особенно:
порядок осей
правосторонняя / левосторонняя система
column-major vs row-major
где именно лежит translation в матрице"
Как-то так.
Хм. Удивлен, что гпт 5.2 xhigh с таким не справилась. А вы ей сообщили об этой особенности? Вообще, подобную закачку на конвертацию в принципе даже обычный чатгпт в вебе с code execution должна решать.
Не первый раз в своих простеньких задачах замечаю что gpt 5.2 справляется лучше опуса, учитывая что опус в 3 раза дороже
Про Claude ничего сказать не могу — не тестил, а вот про баттл Gemini vs GPT есть свежий кейс. Писал кастомный индексатор для битка с функционалом формирования и отправки транзакций. Задача архитектурно понятная, но нужно было грамотно разрулить многопоточку, блокировки, консистентность и т.д. Использовал Cursor.
Результат:
Gemini 3 Pro: через 1.5 дня сервис уже стоял на стенде и реально работал. Есть проблема с величиной контекста, но в целом вполне рабочий вариант.
GPT (разные версии): результат оставлял желать лучшего. Генерил кучу ошибок, циклился на неверных решениях, которые сам же потом не мог пофиксить. Потратил время впустую, пытаясь заставить это работать.
В итоге либо у меня руки просто кривые, либо разница в инженерных задачах сейчас действительно колоссальная.
Я использую Claude модели для составления планов и имплементации и GPT в качестве проверки качества написанного кода и планов. В итоге, GPT 5.2 Codex High reasoning просто божит по сравнению с Claude. Во-первых, он четко следует всем стандартам проекта. Во-вторых, он прекрасно находит баги, несоответствия и прочие косяки, которые Claude к сожалению постоянно оставляет. Не важно план ли это, или имплементация по супер детальному и атомарному плану.
В итоге всегда следую следующему принципу:
Составить план с Opus 4.5 Thinking / Sonnet 4.5 thinking (в зависимости от оставшихся лимитов в подписке).
Прогнать план через GPT Codex 5.2 High reasoning на обнаружение несоответствий, косяков, и прочего.
Найденные баги GPT показываю в том же чате Claude моделям и прошу объективно их оценить.
Правлю найденные баги моделями Claude.
Снова прошу GPT провести анализ и принудительно прошу его перечитать полностью все файлы, так как в памяти у него уже устаревшие версии. П.С. без этого много раз сталкивался с тем, что GPT выдает результаты по старым версиям файлов, которые уже не актуальны.
Если есть новые баги, несоответствия, правлю снова Claude, предварительно попросив обьективно оценить.
В итоге, это занимает кучу времени. Но зато все реализовано корректно.
Для меня важно не только, чтобы был "прототип" и он как-то работал, но и чтобы внутри все было четко и аккуратно. Поддерживать такие решения в дальнейшем кратно легче. Да и багов меньше при добавлении новых фич.
P.S. пробовал Gemini 3 Pro, как-то не зашло. Он мне показался слишком посредственным. Многое не додумывает. Очень часто говорит "все прекрасно, все работает". А когда просишь GPT перепроверить и тот находит массу багов, критических и high level, только после Gemini признает, что не доработал.
P.P.S. Заметил, что GPT 5.2 Codex очень хорош в исправлении багов на фронте. У меня справлялся за 1-2 запроса. С Клодом или Gemini уходили десятки запросов, переделок, куча времени и нервов.
Итого: считаю, что оптимальным вариантом является использование параллельно нескольких моделей. И да, GPT очень щедры по лимитам. Обычной Plus подписки хватает на такой режим работы.
Я честно не знаю, каким местом делали gpt-5.x thinking/pro, они просто аномально тупые и долгие. Oai были революционерами в ИИ, каким мы его сейчас представляем, в reasoning-подходе, в voice-mode.
В итоге 4o, а тем более 4.1 были крутейшими полноценными чат-моделями (про безопасность молчим), а не обрезками, закидывающими тебя фактами из википедии за 0.5сек. Thinking стал просто иллюзией чего-то мощного - он буквально складывает себе в питоне 2+2=3 в течение 15 минут - питон окружение тоже, кстати, революционным было изначально!
Гемини красавчик, но мне не заходит.
А вот Opus - это совсем иная концептуальная философия с самого начала. Да, он дорогой (вернее, в потребительском сегменте просто честно считаются токены), но он глотает контекст целиком и почти сразу выдаёт решение, он понимает. Стиль, безопасность, адекватность - тоже часть концепта.
Кто согласен ставте классы (желательно на карму)
Поясню за эмоции, раз уж начал.
OpenAI реально сделали революцию. ChatGPT изменил индустрию, reasoning-подход открыл новую парадигму, voice mode был магией. Они заслужили своё место в истории.
А потом что-то сломалось. Thinking mode в 5.x это не развитие, это имитация развития. Долго думает - значит умный, да? Нет. Он думает долго потому что архитектура требует, а не потому что задача сложная. Я видел как он 15 минут "размышляет" над задачей, которую Opus решает сходу.
И главное - они перестали делать универсальные модели. 4o был хорош во всём. Сейчас у них зоопарк: этот для кода, этот для reasoning, этот быстрый но тупой. Как будто разобрали одну хорошую машину на запчасти и продают по отдельности.
Anthropic пошли другим путём. Opus дорогой не потому что жадность, а потому что честно считает токены за то что реально происходит. Он не притворяется что думает. Он просто обрабатывает контекст и выдаёт результат. Без театра.
Ненависть - это не к технологии. Это к тому как компания, которая могла остаться лидером, выбрала маркетинг вместо продукта
Ну, claude не вг всем хорош. Когда я на ютубе смотрел видео как чел заставлял разные нейросети создать какую-то 3д игру, у gemini и у chatgpt получалось лучше всех, чем у deepseek и даже лучше чем у claude. У claude было много багов.
Какой reasoning стоял у моделей?
В контексте коммерческой разработки кода в UE5 на C++ по моим наблюдениям если сравнивать ChatGPT 5.2(не Pro) на High reasoning он выдает результаты лучше чем Opus 4.5 с тем же флагом.
С Claude я имею опыт начиная с версии 3, но с выпуском ChatGPT 5 я пересел на него. А с недавнего времени появился XHigh reasoning у ChatGPT но его целесообразно включать только на очень сложных задачах из-за времени ответа.
С Google Gemini 3 Pro согласен, но он хорош если контекст слишком большой.
Возможно, клонов ваших игр было слишком много на GitH
Ладно, если серьёзно, мнения могут зависеть от сферы, даже программирования (пока писал комм, забыл тему статьи). я лично максимум решал прикладные задачи через питон, и после перехода на Клод я понимаю, насколько с чатом было туго (ничего не поменялось).
Ну, а в задачах, требующих понимания, чат просто полный импотент.
Да, я не скрываю, насколько я ненавижу эту нейронку и желаю этой компании скорее потерять свою клиентскую базу
Приходится использовать обе, опус как и соннет любит написать, что все готово, а по факту наделает TO-DO и довольный пишет, что он молодец
А если попросить?
У меня pipeline на субагентах построено и есть 5 типичных шагов: explorer, architecture, code, tester, review. И даже после такого перерасхода токенов, постоянно образуются недоделки
Pipeline из 5 субагентов - это 5 точек потери контекста. Каждый видит пересказ от предыдущего, не оригинал. TO-DO появляются когда code-агент не понимает, зачем architecture принял решение.
Но тут ещё момент: LLM не автономный исполнитель, у него нет мотивации "закончить проект". Он просто генерит продолжение на основе того что видит. Если контекст размазан пятью пересказами - результат такой же.
Что реально работает: одна модель + весь контекст + конкретная задача за раз. Не "напиши сервис", а "вот архитектура, вот код, сделай этот модуль". Потом следующий. Claude Code так и работает - не магия, просто видит проект целиком и получает нормальное ТЗ на каждый шаг.
Субагенты красиво смотрятся на схемах, но каждый переход между ними - потеря информации
В моём домене c++ и lua, жпт (codex 5.2 xhigh) выдаёт заметно лучший результат чем опус (claude). Недавно была задача выдрать из плагина к эклипсу, реализующего MCP-сервер, часть, ответственную за диагностики проекта. Опус начал делать обёртку вокруг этого плагина, а gpt проанализировал его исходники, нашёл конкретно часть ответственную за получение нужных данных и элегантное решение в виде скрипта, который просто читает нужный файл.
Ещё я обратил внимание, что жпт намного более уверен в своих действиях, если у меня есть какие-то вопросы-сомнения, то он как правило умеет чётко объяснять свою позицию, в то время как опус тут же извиняется и начинает всё переделывать. Возможно, что это зависит от системных промптов каждого из агентов, и непосредственно к моделям отношения не имеет.
Как обычно, сравнение моделей подменено на сравнение (не)способности автора следовать собственным критериям оценки и (не)умения задать адекватный промт. Точность следования задаче признана слабостью, непрошенные фантазии - силой. Общее впечатление, что результат подогнан под предпочтения.
Есть вещи, которые DeepSeek не может написать в один заход, а ChatGPT может. Фигня в том, что если бы даже DeepSeek мог, я бы всё равно ему не позволил – получается слишком сложно потом понять, что он сделал, чтобы проверить.
Поэтому все перечисленные в статье – мне не нужны. Я хочу чтобы меня удивляли ценой и скоростью ответа, а не способностью решать 85 головоломок вместо предыдущих 83х.
То, что сравниваются модели звучит довольно странно. Из моего опыта
собственно модели одного поколения примерно одинаковые
сами модели почти ничего не могут, рабочий инструмент это AI Code Assistant который их использует и сравнивать имеет смысл скажем JetBrains Junie vs Github Copilot. Там основное соревнование сейчас идет про то как кто лучше построит последовательность вызовов моделей, как построит контекст как построит план, как интегрируется с информацией о проекте которую дает IDE.
Вы же не используете в разработке модель прям из окошка чата OpenAI, используется плагин к IDE и там качество работы зависит в основном от плагина а не от модели. Тот же Junie может под капотом для разного плана и сложности задач использовать разные модели не рассказывая эти подробности пользователю.
Смысл тестировать задачи на код на чат бот версии если есть Codex?
Для желающих показать неверующим, какое оно умное — вызов так и остался непринятым.
GPT-5.2 Pro доступен же только по подписке за сотни долларов, или имеется ввиду GPT-5.2 Thinking?
В остальном каких-либо претензий у меня нет. Но чисто по личной субъективной оценке сниму балл за итоговый ответ.
Пока тест на "программирование" будет проходить именно так, наверное, стоит относиться ко всем этим сравнениям очень скептически. Нужны формальные требования к "хорошему" коду: анализаторы, притифаеры и другие детерминированные инструменты
Тогда можно будет сравнивать кто пишет лучше код
А зачем вам проект который полностью написан ИИ? Он превращается в черный ящик который хрен пойми как работает. Я обычно даю ей разные четкие атомарные задачи и оно вполне справляется. Короче это просто твой помощник в работе. А делать просто проект целиком в ИИ безумие на мой взгляд
Сейчас на разных shorts пошла серия коротких видеороликов, где показывают работы разных моделей, обычно ChatGPT, Claude, Gemini, DeepSeek. Причём очень так наглядно - нарисовать там какую-то сложную фигуру, создать небольшую аркаду, показать визуально как выполняется сортировка и т.д. В общем, залипательно, как раз вспомнил, увидев здесь в статье картинку по первому заданию.
ChatGPT 5.2 Pro vs Claude Opus 4.5 vs Gemini 3 Pro: битва титанов в программировании