Comments 25
Не знаю как там ваш ИИ, но мой вполне пишет. Проекты маленькие и простые, от это рабочий и полноценный функционал. Надобность от человека только писать что нужно и проверять, работает ли (хотя думаю хороший агент и такое сможет). До настоящих проектов в прод ещё прям очень далеко, но писать, что прям вообще не может - неправда.
ни один ИИ‑агент, включая крупных игроков, не пишет даже простой проект (15–30 файлов) самостоятельно
Не совсем так. GPT LLM может итеративно, файл за файлом, написать такой проект. В рамках выходного окна контекста, это примерно 99000 (англ.) слов, что не мало на самом деле и для генерации одного файла за раз вполне достаточно.
До машин которые смогут разработать, протестировать, исправить и запустить (отдать пользователю) весь проект за один запрос - нам еще далеко, хотя в эту сторону уже есть попытки действий: "The AI Scientist"
Может, но если размер каждого файла, исходя из логики его наполнения, будет приближаться к 400+ строк кода, то даже o1, а так-же о3, по моим наблюдениям, не создают его запускаемым.
В любом случае “грамотную генерацию” очень вкусно изучать, но не менее забавно, если код не работает, понимать почему, он не работает. За два последних года, ежедневной генерации по миллиону строк кода, в контексте повышения личной квалификации, детализация исходного промпта не давала однозначного результата. Допиливание руками, лично для меня, принесло больше пользы, ведь я уже понимал что создал ИИ, и что удалил или дополнил я сам.
Тот что ИИ, будет генерировать супер качественный код по шаблону, ждут даже сеньоры-помидоры, ведь именно с помощью их это достигается не так ли?😉
Или все-же, им уже помогает сам ИИ?😊
Может, но если размер каждого файла, исходя из логики его наполнения, будет приближаться к 400+ строк кода, то даже o1, а так-же о3, по моим наблюдениям, не создают его запускаемым.
На моем опыте могу сказать что 4о смог (были несколько проектов с количеством строк как раз 400+, если считать с разделительными строками конечно же, один из них лежит на Gitlab как опенсорс), о3 справился с С кодом (для ESP32) на 500 строк.
Однако замечу что у них есть тенденция к сокращению кода и к забывчивости, но в последних версиях с этим стало кратно полегче.
Допиливание руками, лично для меня, принесло больше пользы, ведь я уже понимал что создал ИИ, и что удалил или дополнил я сам.
Согласен полностью, к тому же ИИ пока не может найти то что способен человек, увы.
Сегодня долго боролся с 4о и 4о-high пока пытался получить рабочий способ загрузки фото на хостинг через запрос. Оказалось что дело было в пути к самому фото которое не находилось корректно, сама LLM это не заметила хотя принты с путями я предоставлял 😁 Ручная проверка помогла найти причину.
ведь именно с помощью их это достигается не так ли?😉
Или все-же, им уже помогает сам ИИ?😊
Думаю тут замкнутый круг: Сеньор создает ИИ -> ИИ обучается -> ИИ помогает сеньору улучшить ИИ 😁
Claude 3.7 Sonnet Thinking дает до 64k токенов (стандартно) или даже 128k (в бете) на выходе — это тысячи строк вполне сносного кода, гораздо больше обсуждаемых 400–500. Но, чем больше портянка на выходе, тем сложнее становится ее ревью и допиливание руками.
чем больше портянка на выходе, тем сложнее становится ее ревью и допиливание руками.
К сожалению так и есть
Да. Новое узкое место — наша пропускная способность. Способность переварить LLM-код.
По сути, мы ограничены скоростью чтения (и понимания прочитанного).
Думаю даже больше пониманием. Сложно тягаться с всем гитхабом и гитлабом вместе взятыми 😁
А в чем конкретно проблемы архитектурным промптом разбить код на тестируемые процедуры и к каждому сгенерировать тесты ?
Тебе ничего не мешает дообучить понравившуюся модель. Одну генерировать вопросы для сбора информации другую для проектирования, и так далее, а потом их еще обьеденить через общий трансформер создав псевдо подобие MoE, просто чтобы они имели какие то представлентя на сколько вопрос раскрыт или еще что то на каждом из этапов. Я от части с тобой согласен, "размышляющие" Модели уже показывают результат намного лучше, благодаря дополнительной информации, будь то мысли на общем выходе как у deepseek и gemini?или внутри модели как у open ai. Но не суть. Разные подходы там дают не так много эффективности, по сравнению с наличием. А что мешает научить модель разделять этапы? Итерируя себя N раз суммируя k имея по мимо ролевых эмбедингов еще и сдвиг по этапам или доп вектор какой? Почти тот же эффект что если бы и обучить отдельно одну модель под разные этапы, хотя это позволит не раздувать модель на много агентов. Просто сам фактор что даже в реальной разработке люди имеют достаточно большое представление друг о друге и тот же бекендер сможет и поверстать, хоть и не всегда это применимо, но чем лучше они знают друг друга и работу тем слаженее все идет. Я для себя отметил, что пока нейронки не понимают в большем случае даже простые задачи, будь то о1, о3 или гемини 2.5 про. Как бы я хорошо контекст не пытался писать, бывало и такое что они долбились в глаза как обычно пытаясь поломать весь код, не понимая что причина в том что не хватало одной строчки. Из таких базовых примеров это адекватный бургер меню как у open ai без реакта, простое смещение блоков при раскрытии (в шахматном порядке всегда но открытый заниет все 12 колонок) , потом нейронку никакая нейронка написать не может вообще, все что отходит от шаблона на уровень среднего и выше тут уже нейронка не справляется. По мимо проблемы токенизации из за которого она вообще понятия не имеет о буквах, так есть вторая проблема это математика. А есть еще и звуки, ударения, хотя они уже в меньшей степени играют роль, только если не хотите чтобы она могла писать адекватные стихи. В общем я думаю не скоро нас заменят. Еще один фактор это плохие датасеты, а использование данных сгенерированных нейронками только останавливает развитие достаточно понимающих текст ИИ. Ну а так же что open ai режет мощности после выхода, чтобы удешевить, в том числе поймав уже достаточно хайпа релизит о3 которая хуже чем о1, разве что по знаниям превосходит. Кстати по опыту гемини в разы мощнее и умнее этой о3, с дипсиквми R1 и их ограниченными датасетами сравнивать нет смысла ( еще на v2 это было очень заметно, когда нейронка отвечала как чат бот шаблонами)
Уважаемый Марк! Спасибо за комментарий, очень хотелось бы, уметь создать, то что вы предложили, последние полгода, я только этим и интересуюсь, и кажется ваш комментарий, задал фундамент для дальнейшего развития идеи.
Позвольте спросить, где по вашему, можно узнать про данную тему конкретнее?
О теме создания своего датасета или ДоОбучения определенной модели, мульти агентности, в контексте создания нескольких агентов, которые будут работать вместе.
Заранее огромное спасибо! ❤
Было бы странно, если бы "черный ящик", который может написать полностью проект предлагали бесплатно или за условные 200$ в месяц или сколько там подписка стоит. Видимо пока такая цель не стоит. А чисто технически, не исключено, что где-то не публично уже могут. Все-таки пока что приятно осознавать, что ИИ может ошибаться, галлюцинации и прочее. Можно успокаивать себя, что до человека им еще далеко.
Сравнивать существующие ии с человеческим интеллектом напрямую нельзя, слишком разные архитектуры. Но просто справедливости ради, люди могут ошибаться и галлюцинировать так, как никакому ии не снилось. От бесчисленных оптических иллюзий, которые к оптике никакого отношения не имеют, до "теорий" плоской Земли, от внушительного списка известных когнитивных искажений, до среднего балла на разнообразных экзаменах. От всякого рода антинаучных диссидентов, отрицающих вакцины, вич, эволюцию, СТО, гравитацию и все подряд, до открыто воинствующих движений ломающих 5G вышки, громящих обсерватории и сжигающих других людей заживо запихнув их в покрышки, потому что те не разделяют их заблуждения, а разделяют какие-то другие. Человеческий интеллект это не только сливки научно-технического прогресса.
Эм, так люди тоже ошибаются
А сколько таких черных ящиков, где-то уже в промышленных отраслях трудятся 🤦😅
Ну тут не совсем простые
Можно вставлю и я свои 5 коп. Я вообще дуб в программировании, ну как, как наверное с английским у среднестатистического человека, какие-то слова знаем на «подкорках», примерно понимаю как должно быть, там import, if, else в общем уровень школьника. И мне пришла в голову идея, а что если попробовать 4о использовать для реализации маленьких программок (для себя), чтобы как-то рутину упростить на работе. С этого началось мое путешествие, я наконец-то понял как работает гитхаб + терминал, кодспейс, открыл для себя Рендер, Пайтон, Джанго, джава скрипт и т.д всего по чуть чуть но мне стало реально интересно.
У меня получилось написать пару маленьких скриптов, один парсер (для словаря терминов), автоматизатор для создания встреч в зум, мини crm (для себя) и все это работает, а для меня прям магия). В процессе я понял, что взаимодействие с ИИ при написании кода формирует определенные навыки, потому что до это я был полный 0. Также, заметил что со временем вырабатывается привычка писать правильные запросы в 4о или mini higth, чтобы ИИ понял.
У меня кстати другая проблема, в процессе «общения» он начинает жестоко тормозить, приходится делать бекап «разговора», открывать новый проект и туда закидывать бекап, чтобы он «вспомнил» нужный проект.
Но для человека, который месяц назад ничего не знал про написание скриптов, развертывания серверов (Рендер), автопинг, чтобы бесплатная версия рендера работала постоянно или другие моменты - это прям +. Параллельно идет навык исправления ошибок в коде, потому что на 4о часто проблема с табуляцией или другими нюансами, например, АПИ и Node.js это очень вырвиглазно и приходится самостоятельно разбираться и исправлять ошибки). Но это мое имхо)
Почему до сих пор ни один ИИ не может написать даже простой проект сам?