Comments 52
TL;DR: Экспертиза в теме всё равно нужна.
Ну, "всегда" - это сильное утверждение. Мы переживаем краткий момент когда можем еще что то понять и улучшить в том что генерирует LLM.
У меня желание (вайб)кодить пропадает не потому что нейронка что то делает плохо, а потому что через год она будет делать это лучше чем я. В том числе ставить задачи.
Неужели кто то еще сомневается, что нейронка не сможет заменить программиста, вся работа которого это поток байтов?
Вот сегодняшняя новость:
Стартап NeoCognition разработал первый сквозной бенчмарк использования компьютера, непрерывного обучения и долгосрочной агентной работы на реальной должности.
Fable 5.1 выполнила 72% задач, а GPT-6 Astra - 68%.
Лучший из двух тестировщиков-людей показал 51%, причём проваливались люди на поиске нужного в исторических данных, точности расчётов и мелких ошибках от утомления
---
Никто не вайбкодит "без понимания" того что ему нужно. Возможно он не понимает то как работает его творение. Но нужно ли это понимание, если оно работает правильно? И считаем ли мы, что нейронки всегда будет генерировать кривой, небезопасный, забагованный код, как это подчастую делают люди?
Тут важно сравнивать еще реальную стоимость работы этих нейросетей. Пока есть конкуренция, почти все предоставляют API в минус. Что будет реально через 3-5 лет - скорее всего еще более дорогие в обслуживании модели
Это любопытный мысленный эксперимент, какая конкурентная стоимость токена.
Посчитаем стоимость 1M output токенов кожанного программиста грейда сеньер
Зарплата 350000 руб, с учетом страховых внзосов и налогов (~30%) стоимость часа работодателю обходится примерно в 3000 рублей
Теоретический предел - непрерывная печать в течении часа: 250 символов/мин × 60 = 15 000 символов/час; при 3,5 символа на токен - 4290 токенов
Цена за 1M токенов: (3000 / 4290) * 10^6 = 699300 рублей...
Для сравнения цена 1M токенов Fable сейчас примерно 4500 рублей.
Экономика вряд ли нас спасет.
За десять минут простукивания — 1 фунт.
За знание того, куда нужно ударить — 9999 фунтов.
Итого: 10000 фунтов. (с)
Боюсь, что движется все как раз в противоположную сторону:
За 10 минут простукивания - 9 фунтов
Спросить у Клода куда стукнуть - бесплатно.
PS: иронично, что вы забыли убрать длинные тире
А что не так в длинных тире-то? Alt+0151 ;)
Тоже не понял выпада. Кстати, этот альткод первый и единственный, который я знаю :) На линуксе юзаю compose key.
Глупо, что из-за нейронок появилось предвзятое отношение к тире, когда оно нужно. Те, кто используют дефисы вместо него, всегда вызывают чувство, что с текстом что-то не так. Хотя тире существует очень давно и так же давно широко используется повсеместно.
Неверно выразился — из за длинного тире мне показалось что текст апокрифа был скопирован из вывода LLM (про Типограф не знал, каюсь, но (С) вместо © намекает что им не пользовались)
Ни в коем случае не выпад. Суть иронии в том что апокриф который превозносит знание человеческое, мог быть сгенерирован машиной.
В целом согласен что глупо искать признаки LMM в тире, эмодзи и прочем. Да и в целом отношение к слопу в стиле "не читал но осуждаю" так же не сильно разумный подход.
Спросить у Клода куда стукнуть - бесплатно.
Осознать, что Клод нанёс пурги, и теперь на исправление получившегося трындеца придётся потратить овердовига денег — бесценно.
иронично, что вы забыли убрать длинные тире
Нет,
иронично — то, что Вы до сих пор не в курсе за «Типограф».
Вы забыли посчитать токены рассуждения кожаного
Я смог прикинуть.
Методика - крупный продукт, сентябрь 2025 год и сентябрь 2026 год.
40 разработчиков. Медиана - 416 строк кода в день в 2025 году. Кодили люди vs кодит агент сегодня.
Делал сравнение на сопоставимых задачах получилось так:
Человек 2025 года, зп 350 тысяч, взносы +30% = 20 222 в день или 2 528 руб / час.
Сравнивается с ценой токенов на реализацию того же объёма кода на абстрактную задачу. Выходит, что агент по цене API Fable 5.1 дешевле в 7.5 раз, если считать код с тестами или в 3 раза, если без тестов (человек тесты не писал).
Разработчик за месяц выдаёт 9 000 строк и стоит 455 000 рублей со взносами. Те же 9 000 строк у агента стоят 61 018 рублей, то есть 13% его зарплаты.
До работающего кода ещё тратится много токенов на размышление и ресерч, проработку корнер кейсов, взаимосвязь с другим функционалом, проверку гипотез, реализацию, после чего ещё несколько раз переписать из-за не учтенных кейсов и багов. А потом ревью и новые правки.
Да, исходной расчет был шуточный, но у меня тоже есть инфа со своего экспериментального проекта (соло разраб), который писался агентами (но еще не роем) - несколько сессий claude opus в отдельных терминалах.
Результаты на скрине, порядок почти совпадает с вашим.
Однако недавно я перешел на другую методику - сильная модель (fable) является оркестратором для пула из более слабых моделей что позволила существенно уменьшить задержки human in the loop.
Не могу снять похожую статистику, пул теперь почти всегда голодает, но примерное ускорение еще x5-x10
через год она будет делать это лучше чем я
«Это не наше достижение — это Ваша недоработка» почти ©
Согласен.
Надо самому шарить и в инструментах и в предметной области. Иначе как поставить задачу и оттестировать результат? Как понять, что выглядит-то красиво, и в частном случае даже работает, но по факту - хрень и так делать не надо?
Иначе можно оказаться в положении "ученика чародея": "сделать хотел грозу - а получил козу.... вместо хвоста - нога, а на ноге - рога" (с), как пела популярная некогда певица.
Еще минус - со временем перестаешь понимать, как это все крутится и взаимодействует под капотом. Начиная с определенного уровня сложности.
Из прикольного: можно натравить ассистентов друг на друга. Задачу делает один, код-ревью - другой: "код грамотный, хорошо стуктурированный, и в целом рабочий, но вот смотри - тут, тут и тут баги, хотя и некритичные, тут лучше сделать так, а вот тут - совсем говно, здесь упадет. Вот исправления:..." Потом берешь это все и отдаешь первому ассистенту. Он смотрит и говорит: "вау, чувак, круто, молодец, что дал тому ассистенту, это реально мои косяки. Но вот смотри: вот тут уже он накосячил, потому что (причина) и лучше сделать так (очередные правки). Забавно это все выглядит, пока проект несложный и чисто твой, для себя.
Впрочем, для меня пока пользы ощутимо больше. Сделал для себя уже много удобных штук, без ассистентов - сделал бы много меньше или не сделал вообще. Но я и не программист....
Вайбкодить без понимания, что делаешь это извращение. Если только поиграться в маленьких любительских проектиках.
А если есть понимание то вайбкодинг это Грааль и просто магия прогресса. Странно от понимающего было прочитать негатив а особенно что с живыми людьми работать легче )
Живые люди нужны только для бизнесменов которых воротит от кодинга и выстраивании и сопровождении процессов. Таких много, причем вполне успешных
Полностью согласен, насчет Грааля. Ну только не вайбкодинг, хотя..
Вайб-кодинг
Это подход, при котором разработчик описывает задачу на естественном языке, а ИИ генерирует код. Процесс итеративный: вы задаёте направление, а модель дописывает и полирует код. forbes.ru
Преимущества и риски
Плюсы:
Значительно ускоряют рутину (генерация шаблонного кода, написание тестов). computerra.ruitcodik.com
Помогают новичкам быстрее осваивать новые технологии. itcodik.com
Позволяют быстро создавать прототипы. forbes.ru
Минусы и риски:
Качество кода. ИИ может генерировать логические ошибки или уязвимости, которые сложно заметить сразу.
Юридические вопросы. Сгенерированный код может нарушать авторские права, так как обучался на публичных репозиториях.
Зависимость от ИИ. Есть риск, что разработчики перестанут глубоко понимать алгоритмы и будут механически принимать предложения ассистента.
Временные затраты на промты. Иногда формулировка запроса занимает больше времени, чем сама генерация кода.
Минусы какие-то идиотские.
1. ИИ Кожаный может генерировать логические ошибки или уязвимости, которые сложно заметить сразу. И они постоянно так делали! Но виновата теперь ИИ.
2.Что значит - обучался на публичных репозиториях?? Вот кожаный не умел-не умел, а потом пошел, обучится на публичных репозиториях, и как написал код! И что теперь? Каким образом делается заключение.. о чем кстати? Что код сгенеренный ИИ похож на код программиста с гитхаба?
If then goto использовал аналогичным образом? Что есть какие-то критерии... непонятно чего? Ну если вся процедура байт в байт скопипащена, то понятно, а в остальном-то как?
Выяснение путем генерации срачиков?
3. Есть риск, что разработчики перестанут глубоко понимать алгоритмы и будут механически принимать предложения ассистента.
Да это не риск, а неизбежное будущее. Это как шахматные движки играют - многие шахматисты понимаю почему они такие решения принимают? Это черный ящик называется.
И в конце концов всегда можно попросить ИИ расписать что, почему и как. Если не лень будет и сроки не горят
4. Временные затраты на промты - это просто смешно.
И если Вайб-кодинг - это тот подход, который описан выше, то, да, так оно и работает.
Я говорю, что хочу получить, он генерит код за пару минут, потом я проверяю, что все получилось так как надо , а если нет, то ищем причину и так до упора, пока не заработает. А потом следующая задача. И это сокращает трудозатраты в десятки раз.
И разница между ИИ и джуном, только в том что джун потратит на код с ошибками весь день, а не пару минут. А если будет не джун, а мидл, то выйдет примерно то же самое. Потому что еще неизвестно, что там за мидл.
Я под вайбкодингом понимаю просто использование ИИ. Понимающий сам найдет оптимальный формат. И конечно же он далек от попсовой темы, что пишем промпт и на выходе получаем готовый результат. Даже в будущем после промпта ИИ нормальный тебя задолбает уточняющими вопросами, с целью самому тебе родить более четкое представление о своей цели и выяснить твой уровень и диапазон компетенцииций и хватит ли тебя одного даже для создания ТЗ.
он генерит код за пару минут,
Опус 5, который хоть что-то начал понимать тратит минимум 10 минут на новом чате в проекте размером с человеко-год. Чтобы потратить пару минут, нужно либо просить сделать что-то очень локальное, типа конкретной функции (а это нифига не вайбкодинг), либо использовать очень тупые модели.
4. Временные затраты на промты - это просто смешно.
Не смешно. Для задачи чуть выше скрипта на питоне на пару строк надо писать полноценные технические и бизнесовые требования. Иначе результат будет совершенно непредсказуемым - железный болван не знает человеческих дефолтов, и те же интерфейсы без детального описания делает инопланетными. Да и не детализированые бизнес-процессы скорее всего будут детализированы ИИ в лучших традициях джиннов лол (попросил миллион долларов - получил бочку с мелочью на миллион на голову)
Но он не скажет мне: “Леха, тут ты херню придумал, давай сделаем по-другому?”.
Еще один всё понял. Yes-man это всегда плохо: хоть он их органики, хоть из кремния. Ровно поэтому в старые времена ценились злые циничные профи, которые могли послать нахер вообще всех вплоть до местного Господина ПЖ.
Так с любым инструментом. Ты можешь купить себе крутейший сварочный аппарат, но пока не научишься с ним работать, не выучишь матчасть - результат будет говном. Можешь купить легендарный синтезатор - но без умения на нем играть, без знания нотной грамоты, и прочих музыкальных дисциплин ничего хорошего не выйдет. Для работы с ИИ тоже нужны навыки и знание матчасти. Нейросеть не заменяет кожаного ублюдка, она его дополняет и ускоряет. AGI заменяет, но его еще не завезли на эту планету.
Кстати говоря, с людьми та же история - если ты не знаешь, как проконтролировать выполнение работы и ее качество, люди быстро смекнут, что можно не напрягаться и работать на отвали. Либо вообще начнут обманывать и воровать.
Сейчас Клоду когда сообщаешь какую-то информацию по проекту, он всегда её проверяет. Как будто по умолчанию не доверяет кожаным. Это хорошо, мне нравится. Пройдет время, и спорить научится, если не согласен.
Учусь на BSA (бизнес анализ), в одной школе одного крупного банка, мне в понимании моей учебы очень помогает, а про серьезные проекты - думаю без понимания всей картины не обойтись.
Но с людьми работать легче
Потому что этим людям скиллы, системные промты и mcp делал кто-то другой.
Очень мило, когда взрослый человек хочет, чтобы костюм ему пришелся впору без примерки и без подгонки. Хочу, чтобы оно говорило мне "Леха, .. ", но ему об этом не скажу, должно само догадаться. А тупой опять - ИИ.
Потому что этим людям скиллы, системные промты и mcp делал кто-то другой.
А вот было время, когда надо было каждый раз напоминать нейронке о том, что она - эксперт мирового уровня в нише, и должна рассуждать про шагам. А вот, ещё раньше, до хайпа, во времена гугловских первых экспериментов, надо было ещё и вместо просьб формулировать промпт так, чтобы нс не отвечала тебе в диалоге, а продолжала монолог. Условно, не «как в python вывести текущий unix timestamp?», а «в python есть функция, которая выводит текущий unix timestamp, и она называется».
Слышу с завидной регулярностью сейчас вот эту мантру, мол, есть вайбкодинг (фу, кака), а есть агентная инженерия, когда настроено все, как надо. Но, вот, вопрос, а почему медианному вайбкодеру не пойдет костюм «для всех»? Ну, серьёзно? Что такого особенного делает человек, что не идёт в стандартную канву, заложенную создателями харнесса?
почему медианному вайбкодеру не пойдет костюм «для всех»
Потому что можно в ООП и в спагетти, можно писать функционально или процедурно, можно вк-майл-ру или gmail, можно даже выборы сделать так, что 100500+ представленных на выбор партий голосуют абсолютно одинаково. И этот выбор - что же на самом деле надо сделать, как там устроено внутри, это MVP или уже стадия взросления, прямо обманывать пользователя или уважать, целиться в холериков или сангвиников, продвигать вирально или нахально - миллион измерений, которые определяют продукт, какую задачу для кого в какой нише он решает - харнес не определяет. Вайб-кодер - это не незнание языка программирования, а незнание того, что он хочет сделать на самом деле, это полуобморочное состояние интеллекта, который не может связать двух смыслов и поэтому ему кажется, что он д`Артаньян.
Он может нахрапом собрать авторизацию, кэширование, сложную очередь задач, но при этом забудет проверить, что кнопка «Назад» не работает.
Вы знаете, кожаные могут и не такое сделать, даже порою круче, чем разные ИИ))
Вот вам ещё цитата из другого источника, но на ту же тему:
я посидел ... некоторое время и расковырял ошибки в их инсталляторе. Оказалось, что автор Virtual Desktop в одном важном месте забыл написать “&&”.
Вы знаете, кожаные могут и не такое сделать
Вы знаете, а таких кожаных можно не нанимать. Для этого придумали такую штуку, как же она называется... а, интервью!
По мотивам современной притчи (под катом):
"Один из них писал код без ошибок, но никто не знал, кто это"
Скрытый текст
У президента Миттерана было 100 любовниц. Одна из них подхватила нехорошую болезнь. Но никто не знал, кто это.
У президента Буша было 100 телохранителей. Одного из них завербовали террористы. Но никто не знал, которого.
У президента Горбачёва было 100 советников по экономике. Один из них знал, как вывести страну из кризиса. Но никто не знал, какой это из советников.
В известной современной компании работает 100 программистов. Один из них пишет код без ошибок. Но никто не знает, кто это.
Если дело только в отсутствии экспертизы, по можно попробовать собрать пайплайн на основе агентов. Отделить бизнес требования от архитектуры и имплементации. Набросать небольшой процесс, где агент-архитектор использует скиллы grill me или interview me для сбора бизнес требований, пока не достигнет уверенности в 90-95%. После чего полностью возьмет на себя выбор решения. Если не всегда будет работать - добавить агент-рефлектор для оценки соответствия выбранных решений и в случае неполного соответствия чтобы он повторно ставил задачу агенту- архтектору.
Тот же паттерн внедрить для уровня бизнес анализа фичей. То есть отдельный пайплайн для компонент/систем, отдельный для фичей, и так далее для каждых артефактов. Везде внедрить интервью на входе и ревью на выходе.
Ну и парадигму контекста использовать. Например на каждую фичу иметь context.md в котором складывать все релевантные фиче факты, чтобы передавать между агентами.
Заранее используй оркестратор чтобы собрать по репозиторию факты о системах/интерфейчах, а с помощью интервью факты о пользовательских группах, окружения системы, ограничениях и ид. Только тут надо не переусердствовать. Используй скилл на вытягивание инфы с высоким signal/token ratio, по 50-150 фактов (строк) на область или систему.
Потом пропишешь в пайплайне чтобы при передаче таски агенту релевантную инфу из этих баз знаний в контекст складывал и если нужно пополнить то через оркестратор его расширял.
Сетап: orca + copilot. Тоже не идеально, но работать уже можно.
Нужен определенный склад ума и профессионализм чтобы это все сделать. И это реально круто и для умеющего сильно уменьшает время на реализацию, хейтят ИИ возможно мидлы и синьоры, которые испугались что глупые бизнесмены какое то время будут пытаться платить им сильно меньше или вообще отказываться от них. Мне кажутся эти страхи напрасными, не этого надо бояться. Более страшно, что ИИ быстрее доступен верхам, которые считают что убивать.других людей и много - вполне рабочее решение каких то проблем. Это ИИ вполне освоит и поймет за людскую мораль, что лицемерие это просто одна из рациональных фич
бизнесмены какое то время будут пытаться платить им сильно меньше или вообще отказываться от них.
Скупой, как известно, платит дважды.
Если дело только в отсутствии экспертизы, по можно попробовать собрать пайплайн на основе агентов.
Звучит как предложение, которое себе противоречит. Типа в написании софта не шаришь, зато можешь проделать нехилую инженерную работу для автоматизации написания софта и отделить бизнес требования от технины
по можно попробовать собрать пайплайн на основе агентов
Можно. Но качество результата не вырастет. Вероятность получить галлюцинацию будет расти с каждым шагом. Примерно, как jpeg шакалит, если его пересохранять.
Вот эти разговоры вида «а давайте создадим коллегию экспертов, будем голосование проводить…» Оно звучит круто. На практике разбивается о то, что, условно, если за 1 шаг получить не бред вероятность, скажем, 95%, то, когда этих шагов уже 50, то 95% в степени 50 уже, увы, слишком несовместимое с продом число
Ну просто пришло время расписать, что такое вайбкодинг, а что такое разработка с AI-агентами. Серьезные продукты вайбкодить не правильно, скорее MVP, а вот занимаясь разработкой с AI,да, можно и нужно.
Но он не скажет мне: «Леха, тут ты фигню придумал, давай сделаем по‑другому?». Ну как бы он может так сказать, но надо просить.
Надо просить. Причем, а режиме Ask.
А разве это сложно? Это вопрос внутренней дисциплины, а не инструмента. Обстучать с ним все требования. 100500 раз уточнить, все ли понятно, нет ли противоречий и неоднозначностей, полны ли требования ( ну и т.д. по Вигерсу).
Обстучали требования? Тогда обстучим архитектуру.
Потом пишем код А вот фиг, не пишем. Обстукиваем различные способы реализации. Просим его привести фрагменты, как реализовать то или иное. Фиксируем решения. Ах, да, нужно не забыть попросить обновить документацию на основании принятых решений. Следующий раз будет на что опереться.
И вот после того, как вы готовы полезть на потолок от его занудства, можно переключиться в режим агента, написать "выполняй" и пойти за кофе.
Чем лучше обстучите с агентом до реализации - тем меньше править после. А молоток не виноват что вы бьете себе по пальцам. Я, кстати, тоже себе пальцы регулярно отбиваю. Таков путь;)
Вот почему я не хочу вайбкодить вирусный SaaS‑проект на миллион пользователей