Comments 71
Как и всяких лентаев, которые копипастят ответы чатжпт, когда им сказать нечего, спрошу у вас, если с вашими задачами справляется "ai-кодер, который не может написать ни одной строки кода", то зачем работадателю нанимать вас? Он сам не справится спросить у нейросетки что ли? Если ему рук не хватает, то всегда можно нанять хоть студента журфака на пол ставки за 10% от вашей зарплаты.
Работодателю нужно решение проблем, а не код. Работодатель как человек мудрый, вероятно, многие вещи мог бы сделать сам, но поскольку рук у него всего 2, то физически не успевает. Если студент журфака сможет (а главное захочет) решать технически задачи за 10% от зарплаты, то я только за. Но он скорее всего не захочет.
Не совсем правда. Работодателю еще нужно, чтобы его (всего скорее) сайт не хакнули.
Для того, чтобы сайт не хакнули вообще не достаточно просто нанять человека, который умеет писать код. Я очень давно пишу код и даже я иногда могу что-то случайно упустить. Чтобы сайт не хакнули - этому нужно уделять время. Нужно делать регулярные секьюрити аудиты, сканы, вовремя ставить обновления, следить за парольной политикой, сегментировать сеть, настраивать разные фаерволы и много-много-много другого. Программист умеющий писать код в данной цепочке для меня скорее минус чем плюс. Я бы скорее доверился коду тупо написанному в ChatGPT (которому скормили гигабайты рабочего кода), чем коду, написанным человеком, который программирует год
Отвечу на последний пункт: мы же не знаем какой код ему скормили: плохой/хороший, правильный/неправильный, делающий то, что нужно или нет. Как тут вообще можно на что-то рассчитывать, если "ai-кодер" не может оценить "ошибку"?
Это большое заблуждение, что "традиционный" программист может оценить. Он пишет код основываясь на тех знаниях, которые он когда-то поглотил. При этом по умолчанию он не знает плохой это код или хороший. Он узнает об этом в процессе набивая шишек.
LLM модели делают ровно тоже самое, ну только вместо набивания шишек они возьмут скажем наиболее популярное решение, которое в большинстве случаев окажется приемлемым.
Представьте, что вы вообще ничего не понимаете в программировании и вам нужно нанять программиста. Откуда вы будете знать, что программист не сделает ошибку? Да ниоткуда не знаете, и он ее скорее всего сделает. Ну для этого вы наймете еще кого-то, кто проверит.
В конце концов я нигде не писал, что AI-кодер - это низшая ступень развития человечества, они тоже в процессе учатся, они тоже рано или поздно узнают об OWASP Cheetsheets, они могут спросить ИИ а как сделать безопасно. Это просто люди, которые получают тот же код другим способом.
Я бы скорее доверился коду тупо написанному в ChatGPT (которому скормили гигабайты рабочего кода), чем коду, написанным человеком, который программирует год
А зря.
Я бы скорее доверился коду тупо написанному в ChatGPT (которому скормили гигабайты рабочего кода), чем коду, написанным человеком, который программирует год
... и именно поэтому надо задавить в себе жабу и нанимать человека, кототрый программирует минимум лет пять, а лучше — десять.
...Потому что иначе его наймёт тот, кто хочет Вас сломать.
Ну что же теперь, совсем не брать джунов на работу? Каждый опытный когда-то был джуном и очень вероятно, что его ошибки до сих пор кто-то разгребает. Будь у него 5 лет назад такой инструмент как ИИ-помощник, вы думаете было бы хуже?
Будь у него 5 лет назад такой инструмент как ИИ-помощник, вы думаете было бы хуже?
Скорее всего - да.
Ну что же теперь, совсем не брать джунов на работу?
Вас — точно не брать, потому что Вы не умеете оценивать границы применимости. На некртичиные работы, типа, условно, написания кода для печати формочек джунов нанимать можно и нужно (а как, во-Вашему, я начинал?) — а вот по мере набора опыта соответственно поднимать человека выше и выше. Изучил детали протокола TCP/IP? Можешь приступать к разработке интернет-девайсов и т.п.
Хотелось бы понять как "ai-кодер, который не может написать ни одной строки кода" будет оценивать, например, следующие пункты: адекватность написанных тестов (они имеются?) пусть даже со 100% покрытием, соблюдение единого стиля, следование лучшим практикам (не только выбранного языка/фрейморка, но и например использования криптографических библиотек вместо "велосипедизма")? Как "ai-кодер" поймет, что задача решена правильным способом (например, квадратичный алгоритм вместо линейного)? Какими критериями этот "разработчик" будет руководствоваться? Работает или нет?
А как это делает "традиционный" программист, который копирует код со stackoverflow или использует рандомные библиотеки с гитхаба? Методом проб и ошибок, методом тыка, общением с коллегами.
По поводу сложностей алгоритмов, обычно такой задачи сделать линейно а не квадратично не стоит. Стоит задача сделать быстро - именно с таким запросом он и пойдет в ИИ помощник и тот ему, я уверен, все быстро расскажет.
То, про что Вы говорите в первом абзаце по сути есть накопление знаний и опыта. Хорошо, если "ai-кодер" это быстро поймет.
По поводу второго абзаца: задача может включать в себя "должно работать вплоть до 1 000 000 элементов". А тут "квадрат" на ровном месте ...
Если есть такое требование то и подход будет другой. Нельзя просто написать алгоритм O(n) и надеяться что он будет работать быстро на 1 млн элементов. Если требование есть, то уже надо думать как проверять. И если не будет удовлетворять производительности то просить его переписать, чтобы удовлетворял.
В прочем в моей статье речь была о задачах совсем другого уровня. Ну разумеется чатгпт не заменит профессоров, которые новые алгоритмы придумывают, речь о 90% CRUD задач, в которых нет никаких требований на 1 млн элементов, нет никаких высоких нагрузок. Нужно просто, чтобы работало
Хотите вы или нет, AI-кодеры уже появляются среди нас, и они уже сидят сутками перед мониторами и решают реальные задачи не хуже, а местами лучше "традиционных" программистов, при этом вообще не умея писать код.
Утверждение про "не хуже, а местами лучше" нуждается в формализации и доказательстве.
Автор интересную тему поднял. От следующих таких статей хотелось бы видеть ответы на
Сколько времени ушло на задачу. Сколько бы ушло у вас в ручном режиме?
Что нейронке удаётся лучше, хотя бы субьективно?
Насколько код похож на другой код проекта?
Для чистоты эксперимента, хорошо бы чтобы задание попробовал выполнить чей-нибудь проджект менеджер. То есть человек знающий продукт с точки зрения функционала, но не умеющий непосредственно программировать. Или вообще человек незнакомый с проектом, например, из другого отдела.
Про время был уверен, что написал, но в какой-то редакции эта информация из поста видимо исчезла. В ИИ режиме на задачу ушло 1.5 часа. В ручном режиме было бы быстрее, но только потому что код я пишу уже давно, рука набита, хоткеями, сниплетами и прочими генераторами быстро все делаю, а чату нужно писать целые предложения, ждать пока он сгенерирует, выделять текст, вставлять. Это долго. Ну т.е. сейчас я вижу больше проблему с интерфейсом для работы с ИИ. Среднестатистический джун эту задачу делал бы дольше - 100%
Нейронки хорошо придумывают названия переменным. Не копипастят код. Субъективно.
Именно в этом проекте получился очень похож, но это относительно новый, относительно "чистый" и небольшой проект. Наверное если как такового стиля в проекте не было бы, то и соблюдать его было бы сложнее.
Это было бы интересно, может быть когда-то проведу.
А мне кажется, что ИИ это новый инструмент, который реально очень полезен в определенных ситуациях. Но он именно дополняет, а не заменяет.
Так что теперь, скорее всего, работодателей будет интересовать как знание классических подходов, так и умение использовать ИИ.
ChatGPT решила 2 задачки с Yandex Code Run с первого раза. Вообще я уже полгода плотно сижу на ChatGPT и, кажется, я хуже начинаю думать сам. Но производительность да, выросла значительно.
Но производительность да, выросла значительно.
Есть у меня подозрение, что это очень сильно зависит от решаемых задач.
Потому что я вот смотрю на свой последний квартал, и там задач, где была бы важна моя производительность как кодера... ну одна, может быть. Большую часть времени я трачу на то, чтобы раскопать существующий код, и понять в нем, что случится, если я вот эти две строчки поменяю на другие. И потом еще немало времени - на обсуждение с коллегами, как должны выглядеть эти две новые строчки, чтобы всем было понятно, что они делают.
Как тут померять производительность - хрен поймет.
По моему опыту LLM может написать максимум 100 строк или 150 строк хуже качеством.
LLM не создаёт жизнеспособный продукт, только демо. При попытке изменения требований или рефакторинга всё рассыпается. То есть архитектура хрупкая, да и глючить его начинает.
Итого. Для рыбы сойдёт, но потом всё равно придется всё переписать руками.
А для вашего случая алгоритм элементарный
По клику заливки файла асинхронно:
Файл видео прочитать. Теги удалить. Файл сохранить. Добавить к списку обработанных файлов. При ошибке записать лог.
Реализация не должна быть значительно сложнее этого алгоритма.
А в результате ты провозился час-два и пропустил в прод код который до конца не понимаешь, скинув всё на ревьюера.
Лучше всего с этим делом справится программист который умеет правильно формулировать вопросы ChatGPT. Чтобы потом можно было исправить ошибки в коде который предоставил ChatGPT. А вернее всего "подсмотреть" решение, чтоб можно было реализовать своё решение.
Я так понимаю, Вы ещё молодой и ещё не знаете, что написать свой код на порядок легче, чем понять, а что вообще делает чужой.
А должно быть строго наоборот.
Потому что читают код больше чем и делают это люди более высокой квалификации, с высокой зарплатой
Боюсь вас "обрадовать", но я уже столько кода перелопатил, что не факт что вы обошли меня в этом деле. Я прекрасно понимаю, что в чужом коде разобраться далеко не просто, а зачастую очень сложно. Особенно если хочешь вникнуть в работу кода, а он даже не содержит банальных комментариев, что делает данная функция.
Ну так восхитительно. И Вы уже научились понимать, что делает код, написанный GPT? Как успехи?
GPT даёт лишь какой-то поверхностный код. Из которого надо выбирать тот код, который нужен.
Но как я и писал ранее, это очень хороший помощник в поиске информации. При правильно поставленном вопросе, можно достаточно не мало информации найти. Это как раньше в браузере можно было искать в найденном, таким образом откидывать множество не нужных решений. Ну и плюс рекламы нет среди запросов. )))
Попробуйте Aider - он сам за вас найдет нужные файлы, отправит их LLM и пропатчит старые / добавит новые.
Вы внесли в LLM кучу правок и уточнений из за того, что у вас есть навыки программирования, если бы вы этого не сделали то эта хрень бы не заработала.
Но если бы вы были условным пастухом который сразу бы начал промптить то как вы узнали бы что нужно уточнять и спрашивать? Чтение сгенерированого LLM кода вас не научит программированию, LLM не понимает что пишет, она просто даёт статистически средний результат, она не может объяснить почему надо так а не иначе.
То же самое с безопасностью - LLM может элементарно воспроизводить типичные проблемы безопасности т.к. средний программист делает те же самые ошибки. И LLM так же ленив как и средний программист, потому что не понимает что часто люди пишут не идеальный пуленепробиваемый код, а "и так сойдёт".
она не может объяснить почему надо так а не иначе.
Гораздо хуже - она может сгенерировать вам объяснение. Очень правдоподобное и при этом совершенно не правильное. Это еще хуже отсутствия объяснений.
Абсолютно согласен, для этого есть код ревью, старшие коллеги, QA, пользовательский фидбек и личный опыт (я писал, что если пользоваться моделями долго, то становится чуть более понятно где модель уверена а где нет).
Я считаю (мое личное субъективное, ничем не обоснованное мнение), что если взять 2 разработчиков любого уровня. Одному дать LLM модель, а другому не дать. То первый будет перформить лучше на 10% и более. А в случае с джунами, они вприцнипе могут брать LLM и начинать с ними работать нарабатывая опыт и (барабанная дробь) учиться писать код, если сочтут это необходимым.
Примерно так же раньше кричали, что все начинают учиться на фреймворках и не знают базы. Сейчас большáя часть этих фреймворк-программистов уже синьоры и кричат что от LLM мы все отупеем.
если пользоваться моделями долго, то становится чуть более понятно где модель уверена а где нет
Как? Она же натренирована выдавать правдоподобный текст.
что если взять 2 разработчиков любого уровня. Одному дать LLM модель, а другому не дать.
Я считаю, что оно действительно повышает продуктивность, но только на достаточно высоком уровне, чтобы понять, где сетка врет. На джуниоре и низе миддла - это наоборот понижает продуктивность.
Как? Она же натренирована выдавать правдоподобный текст.
Так же как мы начинаем кому-то доверять или не доверять. Чуйка. Например кто-то начинает противоречить сама себе или говорит вещи, которые вы точно знаете что являются правдой или не правдой. Например, если модель начинает выдавать код, в котором становится больше ошибок, которые можно отловить статически и она не может их сама исправить - то видимо она зашла в тупик и доверять ей дальше не нужно, или нужно сменить подход, или разбить задачу на более мелкие и решать их отдельно и т.д.
Можно спросить модель одно и тоже 2мя разными противоречащими способами. Например - "это же правда, что алгоритм А быстрее алгоритма B", а вторым вопросом наоборот что B лучше A. Если модель скажет, в обоих случаях - да, это правда. Значит пи*дит, если скажет в одном случае да, а во втором нет - значит можно доверять.
Опять же тестирование, подставить реальные данные и посмотреть как отработает.
Я считаю, что оно действительно повышает продуктивность, но только на достаточно высоком уровне, чтобы понять, где сетка врет. На джуниоре и низе миддла - это наоборот понижает продуктивность.
Лично на моем опыте сейчас в работе я использую в основном copilot, который просто помогает дописывать мне код или пишет код, который мне было бы лень писать (типа тексты ошибок, логгирование), я бы сказал что он помогает мне процентов на 10-15 (я программирую 15 лет).
Но в начале года я погрузился в машинное обучение - это была совсем новая для меня отрасль и я точно говорю что для обучения LLM'ки работают очень хорошо. Да, они ошибаются но вообще далеко не все примеры из интернета работают. Зато часто бывает так, что читаешь какую-то теорию и что-то не понятно и нагуглить ну вообще не получается. Моделям можно позадавать вопросы. Ответы может быть будут неправильные или не идеальные, но в них будет какой-то смысл. Я в конце концов смотрю на результат - есть он или нет.
Так что в этом плане я бы сказал, как раз, что первое применение для LLM - это обучение.
Например кто-то начинает противоречить сама себе или говорит вещи, которые вы точно знаете что являются правдой или не правдой
код, в котором становится больше ошибок
Ну вот мы и вернулись к тому, что ее можно справшивать только о том, в чем достаточно хорошо разбираетесь, или можете сразу и дешево проверить.
Если модель скажет, в обоих случаях - да, это правда. Значит пи*дит, если скажет в одном случае да, а во втором нет - значит можно доверять.
Не факт. Во-первых, она почти всегда с пользователями соглашается. Поэтому слишком часто этот метод "сработает". Во-вторых, все еще не ясно, в каком из двух случаев она врет.
Разумеется, если посадить писать код продавщицу из ларька, то не стоит ожидать чуда. Если человек каким-то образом уже добрался до компьютера и назвался разработчиком, то какой-то бекграунд у него уже есть и я полагаю он хоть как-то умеет оценивать результаты и экспертность источников информации (кто-то лучше, кто-то хуже). Мы же в какой-то момент начали все верить википедии, при том, что мы не знаем чем мотивировались те, кто писали конкретный текст. Мы верим чьим-то советам из серии "вот этот врач/риелтор/{свой вариант} хороший", а хороший он возможно просто потому, что улыбался. Мы переходим дорогу на зеленый свет светофора на смотря по сторонам веря что нас пропустят (кто-то конечно умирает, но в большинстве случаев это работает).
У средне-статистического человека на достаточно неплохом уровне с рождения работает система "свой-чужой" и он способен в большинстве случаев распознать полную чушь LLM моделей в рамках своего уровня компетенции. А даже если не сможет - это не такая большая проблема на практике, никто такому человеку не даст написать систему управления ядерным реактором (хотя и такое случается).
Я буквально прямо сейчас переписываю проект, написанный кем-то лет 10 назад, все что вы можете себе представить там есть - все OWASP TOP 10 уязвимостей в больших количествах, копипаста, устаревшие библиотеки, глобальные переменные и т.д. Проект живет уже 10 лет и стабильно приносит прибыль. Поэтому когда вы мне про возможные ошибки что-то говорите я недоумеваю.
Не факт
На самом деле факт. Тут переизобретается хорошо известный метод определения уверенности моделей машинного обучения.
Если, например, решают задачу классификации с помощью нейронных сетей, то можно взять несколько сетей и сравнить среднюю энтропию выхода сетей с энтропией среднего выхода (ансамбля). Под это есть математическая основа. И если сказать это простыми словами, то да, это должно звучать как "берём несколько разных примеров выходов и если оно сильно разное - значит модель не уверена".
Сейчас исследуется вопрос как это лучше делать с LLM, учитывая, например, вычислительные затраты на получение одного ответа несколько раз.
Не совсем, я целенаправленно старался задавать максимально глупые вопросы, для которых не нужно умения навыков программирование, НО нужен здравый смысл и внимательность. Все что я просил его - это содержимое файлов, использовать стиль готового кода, указывал ему на ошибки, которые PHPStorm нашел статически. Самая техническая вещь, о которой я спросил была про декодирование видео, но узнал я об этом не по коду, который он написал, а по комментариям которые он оставил. И это было в условии изначальной задачи, которую мне поставили коллеги старше.
Я не призываю набирать на работу бомжей с улицы. Я призываю по сути не требовать знание таблицы умножения, когда у каждого в кармане есть телефон с калькулятором, а вместо этого начать проверять навыки работы с этим калькулятором.
Вы пишете, что LLM учится на ошибках, и тут же пишете, что ошибки делают сами разработчики. В этом и суть, что люди делают много ошибок, и как раз у LLM в данном случае значительно больше возможностей проанализировать как хорошо а как плохо - чисто аналитически, потому что помимо большого количества кода, который она анализирует, она там же анализирует большое количество справочной литературы, документации, и т.д.
Я не программист так что вполне могу быть объективен. Chatgpt 4 и claude 3.5 sonnet вполне отлично справляются с мелкими задачами, с которыми в 90% случаев сталкиваются юзеры, не имеющего достаточного опыта в программировании. Для начала - это отличное решение в качестве справочника, ускоряющее написание каких то кусков кода (что очень экономит время, нет необходимости гуглить или искать в справочнике подходящую функцию). Крайний раз я с помощью chatgpt 4 написал вполне рабочее приложение за 3 часа на матлаб (практически не написав и не исправив ни строчки кода, приложение для работы с вызванными потенциалами с графическим интерфейсом). Так как я давно уже не практиковал работу в матлабе, то наверное у меня ушло бы наверное около недели работы , если бы я делал это сам (вспоминая функции и прочее). Недавно нужно было автоматизировать заполнение форм (список публикаций) в вузовском портфолио (криворукие исполнители не смогли сделать нормальную автоматическую загрузку метаданных из doi научной публикации), с помощью claude 3.5 примерно за полчаса написал рабочее расширение для chrome. С точки зрения профессионального программиста может задача простейшая, но учитывая, что я html код последний раз видел 30 лет назад, а на JavaScript вообще боюсь даже смотреть - без claude я задачу бы не решил. Claude не только написал рабочее расширение, исправил ошибки, но и подробно написал инструкцию по подключению не распакованного расширентя. Решение ускорило заполнение стандартных форм в 10 раз (вместо 20-30 минут , до 2-3 минут в среднем). ИИ (если это можно назвать ИИ) развиваются очень активно, ещё год назад они делали все очень очень плохо. Chatgpt и подобные системы не заменят человека, это очевидно, но значительно увеличат эффективность работы и продуктивность людей, которые что то понимают в работе, которую они делают. Умного они сделают умнее, глупому не помогут. Такой вот аналог NZT48. Если сравнивать модели - сейчас самая лучшая, на мой взгляд, claude 3.5 sonnet, чуть похуже - 3 opus. Chatgpt 4 стал хуже решать поставленные задачи. По текстам - claude вне конкуренции, по написанию кода : chatgpt (4 мне кажется лучше, чем 4о, но может это субъективно) и claude (3 opus кодит плохо, программы не рабочие, а 3.5 sonnet примерно на уровне chatgpt 4) сравнимы.
Нормальный программист может понять что правильно, а что нет не потому, что он методом тыка понял как надо, и не потому что на стаке посоветовали, а потому что он читал документацию и разобрался в возможностях инструмента с которым собирается работать. А есть прикладные программисты, которые работают именно как чатжпт. Они запоминают что делали другие, чтобы работало и могут повторить. А попроси их сделать по другому срочно, потому что заказчик молнии мечет - у них паника, потому что как слепые котята. Короче уровень машинистки. Ну такие наверно тоже кому-то нужны. Но это не программисты и при найме это важно понимать.
Эта статья рассматривает "программистов" которые на позиции джуна могут развиваться дальше с помощью AI-кодера, но уверен что необходимость разбираться в деталях проекта отсеит 90% тех, кому разбираться лень. Но у них дальше есть путь в менеджеры проекта 🤣
Я пятницу решили прикольнуться и попросить ЧатЖПТ нагенерить код для Entity Framework по нарисованной схеме :) Вышло, с уточнения по тому, как мы делаем - вообще рабочий код
Но это просто механика. Схему до того надо нарисовать, проведя кучу встреч с заказчиков и поняв особенности модели, других решений с которыми надо интегрироваться и много чего еще
Бизнес-код дальше скорее всего быстрее писать руками, хотя тот же скелет "контроллера" можно уже наверное вручную не писать
Вывод в реале прост. Ничего магического. И раньше "ускорителей" механического кода было до фига и с горкой, сейчас стало на один больше
Сенсация? Нет!
Я и программирование очень далеки друг от друга. Я 3 месяца назад с помощью 2-х AI, на Visual Basic, C# написал прогу, которая делает все что мне надо, а за прогу програмисты просили до 500$, я же не знал, что они будут делать и как будут писать код, якобы это не лекго.
которая делает все что мне надо
А позвольте поинтересоваться — откуда Вы знаете, что она делает это правильно, или что она делает это всегда (при всех возможных комбинациях входных данных и воздействий)?
Позвольте полюбопытствовать - а сколько времени у вас на это ушло?
Всю программу неделю, потому что я не знал про C# ничего. Но там есть много отдельных меню, каждая своими возможностями. Самое классное, что ChatGpt делает коммент для чего конкретно часть часть когда. Первый день было тяжко, не знал куда и что поставить, куда скопировать код. Самое сложное было меню для настроек, когда вкл. или выкл меню, оно должно работать в другом окошке. В конце смог все сделать и сейчас работает как мне надо, могу добавить что хочу.
Вы цените неделю своей работы дешевле $500?
Вы цените неделю своей работы дешевле $500?
Ой, как неудобно вышло...
Вопрос в другом, зачем 500$, если можно написать за один день и просить 200$, там только меню и кнопки, ничего сверхъестественного нет. Я бы не взял больше 200$ за такое.
Затем, что каждый человек сам оценивает стоимость своей работы.
Я вот только вчера имел дело с заказчиком, который "я не понимаю, что тут сложного", а потом выясняется, что он вообще не в курсе того, что ему нужно получить, и после того, как я за полчаса внес изменение, он будет пять дней ждать результатов для тестирования в силу ограничений его системы. Очевидно, что для моего планирования это очень плохо, и биллить я за такое буду, как за неделю работы.
я же написал, что программа просто работает под Windows и все, несколько меню, без интернета, вы говорите о другом, где надо тестировать и все такое.
Не нервничайте Вы так, это просто юноша улыбается и машет нам ложноножкой с левого пика кривой Даннинга — Крюгера.
Главный вопрос: может ли человек, не умеющий программировать, писать код?
Этот вопрос вообще не имеет смысла. Вот аналогичный вопрос: может ли человек, не умеющий оперировать, резать людей? Очевидно, что да. Но следует ли из этого, что этот человек сможет заменить хирурга?
Аплодисменты бро.
На самом деле АИ кодеры это будущее. Главное знать что и зачем хочешь сделать.
Я сам успешно закрываю проекты с фриланса на языках которые не знаю) недавно вот делал клиент серверное приложение Node JS для интеграции энного количества баз крипто ботов в единую бд. Нужно было динамически искать sqlite базы на диске, проверять структуры бд, организовывать отправку данных на сервер, сохранять историю и ошибки и ТД и ТП.
В коде исправлял только пути к файлам, логины и пароли к бд и айпишники. Срубил бабла на изи
Спорно. Мультиварки не заменят поворов как и калькуляторы математиков.
Всё зависит от области. Ваша область и ваша задача - сравнительно тривиальны. Веб, пхп (львиная доля интернета досихпор на нем работает), работа с видео на уровне ffmpeg. Все это уже раз сто сделано и вообще как вы верно сказали там террабайты рабочего кода.
Теперь возьмите другую задачу - программирование микроконтролера под очень специфичный протокол, аналитическую работу с математикой или попросту напишите систему разворачивания распределенных систем с защитой всей инфраструктурой и и и. Или просто что то близкое к железу решения чего есть только в Китае или в индустрии. На крайний случай попробуйте создать ваш проект с нуля не делая ничего руками - Тогда то быстро все пойдет по одному пути.
Пока вы будете это все заставлять тестировать и делать с нуля - модели напишут такой код который будет хуже кода джунов. И вы об этом узнаете как ai программист лишь тогда, когда ошибки уже произойдут. Не говоря о качестве.
Если современные погромисты (мешки с костями) писать код не умеют, у нас количество дыр растёт кубическими масштабами, на десктопе электрон и файловые проводники на ссд грузят 20 файлов больше пары секунд и каждый год софт требует одного нового ядра что бы работать как год назад - то что выдадут модели - я даже не хочу знать, как не хочу знать через сколько часов после деплоя все взломали.
Лично к вам вопросов нету. Однако это помощник. Не более чем. И доверять машине когда даже человек не всегда знает что делает (а зачастую и ленится) - я бы точно не стал.
А я вообще освоил механизм программирования из скриншота и запаковки кордовой в апк
AI-программирование: как я решил задачу, не написав ни строчки кода