Comments 44
За один вечер я реализовал транскрибер, на который раньше ушел бы целый месяц.
Мелкая утилитка на 1500 строк на питоне? Причем большая часть кода - копипаста и вообще ненужные на таком мелком проекте вещи - тесты, обработка ошибок итп? Целый месяц?
…и да, видимо, 2100 строк, по два таких одновременно проекта, в двух разных ide с diarization=“pyannote”, num_speakers, merge_same_speaker, min_segment_gap и progress callback в batch-режиме для кого-то действительно выглядят как «1500 строк копипасты».
Статья про сравнение двух LLM-инструментов, а проект — побочный артефакт эксперимента.
Открывать репо — это слишком сложно, проще сразу в комментариях раздать экспертное мнение. Уважаю такой подход 8) Доктор Шаус
Очень похоже, что вы тестировали на типовой задаче, которую сетки уже не раз решали.
Я буквально тоже самое на днях делал в Perplexity Labs, который сходу выдал рабочий скрипт с разделением по спикерам с помощью модели Whisper Large v3 turbo. Больше времени заняли настройки зависимостей, чувствительных к версиям других модулей.
У вас слишком большие ожидания от сотрудников сбера.
А почему именно Opus? Sonnet вроде бы не принципиально слабее, но в разы дешевле. Было бы интересно сравнить и его тоже - высока вероятность, что получим 80+ очков при стоимости сравнимой с GLM-4.7.
Принципиально слабее)
Самый простой пример. Соннет слился, когда я его попросил посчитать количество новых строк кода в 5 коммитах за весь день в Plastic CSM (Unity VS). Он просто не смог понять, как с ним работать и постоянно переключался на попытки найти в проекте гит.
При этом опус догнал сам, что это пластик, не мог найти к нему подхода и пошел искать справку в инете. Выяснил, как надо спрашивать за команды пластика и начал, Карл, в консоли гонять команды и спрашивать, как они работают.
Потом составил список команд, прошёлся по коммитам, собрал всю инфу и выкатил ее.
Соннет прямолинейнее в части "сделаю что сказали, похожим на код рядом". Например впихнуть транзакцию в простую функцию с select потому что в функциях до и после она была. Если прописывать детально или, как и тут упоминалось, планировать с Opus то потом приемлемо.
Слишком много ненужных громких и пафосных слов в конце, не имеющих отношения к статье.
Вам не хватило подписки Claude за 100$ или за 200$? Если агент заменяет разработчика с зп 2000$, то это экономия на ФОТ компании в 10 раз
Судя по тексту за 20. За 100 высадить за 6 промптов подписку невозможно.
Для сравнения использовал Claude Opus4.5 в Cursor, Cursor - платная подписка. В целом Ckaude использую в режиме чата подписка 20$, но знакомые рассказывают что даже за 200$/мес упираются так-же в лимиты. Поэтому посчитал необходимым проверять другие инструменты. GLM4.7 за свои 3$ в месяц очень достойно + можно вставлять ключь в claude-code, использовать там не упираясь в лимит.
Если агент заменяет разработчика с зп 2000$
Тут как в том анекдоте:
- Папа, я бежал за трамваем и сэкономил пять копеек на проезд!
- Дурак, лучше бы бежал за такси и сэкономил два рубля!
а) ЗП это параметр варьируемый, во всяких кремниевых долинах вам за $2000 даже в кофе не плюнут не то что разрабатывать что-то там.
б) Навык разработчиков за $2000 это параметр тоже сильно варьируемый, а Опус он везде Опус.
А просто взять подписку за 100 и наводить за час не позволила жаба?
И зачем использовать опус, если нет денег, свежий соннет решил бы эту простую задачу не хуже, и в рамках стандартного тарифа за 20. И из claude code. (Да там не обязательно платить за токегы, можно расходовать лимиты подписки)
Спасибо автору за изучение альтернатив. При системном использовании нейронок цена действительно космическая, приходится сокращать количество промптов и исправлять местами код ручками, не хватает альтернатив подешевле как воздуха
Нейрослоп статья
Сравнение Так себе.
Кстати если проект или статья написанны LLM то это легко палиться если в ней есть много emoji или длинные тире «-» берите на заметку.
Автор, не надо гнать на LLM за то, что они знают правила пунктуации в русском языке. И то, что стоит в Вас в качестве тире -- никак не "тире", а дефис, который должен стоять только между словами, без пробелов. На хабре уже не раз статьи были на эту тему, например Тире минус дефис. Или размер имеет значение / Хабр .
Замечу, что если Вам лень ставить тире -- можно поставить несколько дефисов подряд (два-три). Некоторые редакторы текста по дефолту заменяют их на тире. Если не заменяют -- то даже так куда правильнее, чем пихать везде дефис.
Ну и у Вас в этом же предложении еще несколько ошибок:
нужна запятая после "кстати"
нужна запятая перед "то"
нужна запятая перед "если в ней"
палиться (что сделать?) -> палится (что делает?)
нужно длинное тире перед "берите на заметку"
написанны -> написаны
Признак сгенерированного LLM текста не само наличие длинных тире, а использование их без пробелов (первый попавшийся под руку пример: "...disturbance in the Force—the awakening of a Dyad..."). Не надо говорить на грамотный текст, что он сгенерирован LLM, только потому, что там правильная пунктуация\грамматика.
не само наличие длинных тире, а использование их без пробелов
Причём это тоже не ошибка, а правило типографики. Только не Российской.
А также присутствует вежливость, хороший слог и стиль.
Делал эту статью в том числе с помощью ллм, мои мысли, мой эксперимент сравнения двух инструментов, причесанные ллм-кой)
Всё правильно в этом плане сделали, не слушайте придурков-свидетелей LLM :)
К самому исследованию никакаих претензий -- все очень познавательно, спасибо) Основная претензия -- ко мнению "если текст написан грамотно (хотя бы пунктуационно), то явно сгенерирован LLM". Довольно странный тренд последнего времени (может быть, года?) в статьях/комментариях к статьям, который, по сути, пытается обесценить знания правил русского языка.
Не отбивать тире пробелами — это американский стиль. Видимо, нейронки пытаются весь мир к такому стиль приучить.
Пожалуйста продолжайте юзать не правильные инструменты и писать статьи что всё плохо и дорого! Это нам очень помогает
Какие инструменты есть правильные?
Очевидно, это тайное знание, исключительно для посвященных /s
Сравните, пожалуйста, ещё Codex от OpenAI и Gemini 3 Pro от Google.
Можно было просто использовать Github Copilot агента и получить 100 запросов к Opus 4.5 за 100 баксов в год (примерно 8 долларов в месяц). Сразу за эти деньги получили бы код ревью, автокомплит в IDE и выбор из трех десятков моделей.
Интересное сравнение, ещё бы добавил в обзор один важный момент - как модель справляется с добавлением фич в готовый код. Тут многие, тот же codex-max, да и opus не безгрешен, в какой-то момент начинают чудить и делать совершенно глупые ошибки, типа той функции со start, оставлять артефакты в кодe, "забывать", зачем был сделан предыдущий фикс, пытаться многократно исправить то, что и так уже работает. К примеру, в одном случае Opus выкинул целиком из приложения библиотеку отрисовки графиков и переписал под другую, потому что думал, что она не работает, хотя его же тесты показывали прямо обратное
Мне кажется, что даже если модель умная и умеет что-либо делать, лучше не оставлять ее без подробного запроса и четких рамок, что мы делаем вот прямо сейчас, когда нужно остановиться. У всех Клаудов тем более есть проблемки по контекстному окну и RAG, в сравнении с той же Gemini где это почти бесконечно.
А не рассматривали Qwen3-max-thinking? У них недавно обновление вышло, в котором они заявляют, что очень близки к Chat-GPT и Claude или даже немного превосходят, ну и в целом вроде серьезная модель.
Не понял смысла тестировать "Claude Code + GLM-4.7" vs "Cursor + Opus 4.5": почему не использовать Claude Code c Claude Opus? Или хотя бы обе с одной IDE.
Существует поверье, что среда от разработчика LLM лучше работает с его моделями, чем IDE сторонних производителей.
и не только поверье, а и элементарная логика - в любом агенте или IDE есть свой огромный (и это - отдельный недостаток почти всех существующих решений) системный промпт, который очень нехило влияет на итоговый результат.
Любого рода подобные необъективные сравнения демонстрируют лишь навык автора добиваться от LLM того, чего он хочет, уж никак не качества самих LLM или обёрток над ними.
glm(api.z.ai) часто проксипасит запросы напрямую в клауде, возможно вы просто сравнивали Claude с Claude
ПромПт.
# Vibe Coding под прицелом: Claude Opus 4.5 против китайского GLM-4.7 в бою за транскрибацию GigaAM