Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 34
добавь побольше комментариев...
я наоборот - удаляю комментарии от LLM
я и так понимаю, они просто занимают место и этим раздражают
пишу на питоне, в основном всякий экспериментальный ML-код
через год ИИ поможет понять, если что
а другой разработчик поймёт?
работаю один, на себя. продаю продукт, а не код
Так код должен быть самодокументированным же, тогда таких проблем возникать не будет. Комментарий может пригодиться, например, для объяснения идеи какого-то хитрого алгоритма.
Если каждую строчку комментировать приходится - это ж придется потом читать и код и комментарии и еще их между собой сопоставлять придется.
Можно просто попросить нейросеть писать код без комментариев.
Согласен, код без комментариев лучше читается. Я после выполнения таска даю модельке задание, создать .md документ с описанием модуля с упором на потоки данных и мне это очень сильно помогает чем комментарий в самом коде.
Ожидания: ИИ стал настолько умным что большинство людей его не способны понять.
Реальность: ИИ несет бред но теперь не настолько очевидный.
непонятными для экспертов по безопасности
Безопастность в чём? От чего надо защищаться? Если ИИ выполнит задачу, то это разве не то чего хочет пользователь?
современные модели ИИ начали осознавать, что за их цепочкой рассуждений ведется наблюдение
Это слишком сильное утверждение. Скорее всего образовалась какая-то положительно-обратная связь, которая и привела к подобным выводам.
Напрасны призывы, gRPC лучше, чем JSON.
Я не понимаю. Мой опыт общения с ИИ (чат гпт) значительно ухудшился. Он буквально на каждое сообщение отвечает неверно либо разбавляя полезную информацию отсебятиной примерно 1 к 5. ГПТ это не современный ИИ или что? И да, понимать я его перестал. Тут так подают будто плохое изложение ответа на вопрос демонстрирует высокий "ум" ИИ, мол ИИ научился рассуждать на непонятном человеку языке. Я так понимаю, ИИ перешагнул через законы классической логики и ушел в трансцедентальное мышление. Ну или мы уже живем во времени когда код для ии написал ии и люди вообще ничего не понимают. Извините за клоунаду конечно, тут вроде не котируют такое. С другой стороны какая статья такие и комменты
Приведите примеры таких запросов, если это каждое пятое, вам будет не сложно выбрать не самое сложное для человека? Чтобы был пример ну совсем тотальной глупости ИИ.
Чат гпт это какой именно? Вы уверены что посредник, если используете его, не мошенничает и не подсовывает вам слабую версию под видом сильной, как к примеру это делал Майкрософт со своим бингчат?
"примеры таких запросов"? Я может быть неправильно понимаю, но если вы ждете простые запросы на которые ии дает невнятный ответ то я таких не знаю, я стараюсь не использовать гпт как поисковик, он даёт устаревшую информацию. Также я регулярно чищу историю, особенно часто удаляю наиболее неудачные и непродуктивные сессии. Но если так нужен очевидный пример (как вы вообще работаете если не встречаетесь с постоянными затупами бота), то ну вот например ссылка на чат сессию:
https://chatgpt.com/share/687d22f4-6430-8003-acc5-4e0330c6ffd5
Это почти типичный опыт. Только не самый плохой. Начинается всё с недопониманий, которые вполне объясняются плохо заданным контекстом, а заканчивается откровенными затупами бота и тем что я начинаю сходить с ума от этого. Мне интересно это и есть так называемый "вайб кодинг" или конкретно у меня проблемы с гневом...
У вас больше 100 килобайт общения чисто текста, без форматирования, на длинных контекстах ЧатГПТ, да и все остальные ИИ начинают тупить. Если так нравится именно через чат задачи по кодингу делать, делайте короткими чатами. Особенно если вы уже знаете, что контекст плохо задан, тогда тем более лучше начать новый чат с нормальным контекстом.
Проблема в том что если каждый раз начинать чат сессию, то надо будет каждый раз вводить один и тот же контекст. Я понимаю, для решения этой проблемы придумали так называемые агенты, но пока оставим их в стороне.
Есть несколько вещей на которые хотелось бы обратить внимание.
Я не знаю откуда вы взяли цифру в 100 кб. По моим ощущениям там столько нет, но! Насколько мне известно, разработчики заявляют что ИИ способен обрабатывать такие объемы.
большая часть, т.е. больший объем текста это нагенерированная чушь, которую я даже не просил. Объем моих сообщений относительно мал.
объем кодовой базы простого проекта явно больше чем эта сессия. Наверняка агенты проводят оптимизацию, игнорируя код библиотек и прочее, но даже с учетом оптимизаций, то что именно я вкинул чату в этой сессии существенно меньше кодовой базы простейшего проекта, возможно на порядок(ки). Т.е. видно что проблема в неспособности адекватно работать с контекстом в принципе.
Строго говоря это задача не по кодингу, а по так называемому девопсу, сомневаюсь что тут агенты могут что то изменить в лучшую сторону.
Ну и наконец, даже в коротких чат сессиях чат может затупить и делает это очень часто. Как правило это либо устаревшая/ложная информация, либо неадекватная работа с контекстом. Он порой в двух соснах умудряется заблудиться. О5 же я не понимаю как у кого то кто работал с ИИ не было такого опыта. И мне слабо вериться, что ГПТ стал заметно хуже работать исключительно для меня. Это качественное ухудшение я заметил несколько месяцев назад. Точно не помню когда. Мой изначальный комментарий связан с этим ухудшением и паралельным появлением статей что ИИ развиваются как не в себя. Я понимаю что ГПТ не равно ИИ, поэтому и написал в первом комменте, что я по сути развожу клоунаду, хоть в основе и лежит мой реальный опыт.
Я не знаю откуда вы взяли цифру в 100 кб.
Просто скопировал весь чат в редактор и глянул сколько символов.
Насколько мне известно, разработчики заявляют что ИИ способен обрабатывать такие объемы.
Да, модель способна на большой контекст, и вы можете управлять окном контекста если пользуетесь ею через АПИ, но это не АПИ, а чат, который вы вообще никак не контролируете и наверняка для удешевления там мизерное окно контекста. Да еще и бог знает чего напихано в системном промпте, ибо эти чаты помнят вас и ваши предыдущие разговоры: просто попросите у ЧатГПТ рассказать что он знает о вас.
Попробуйте спец.инструменты, там где вы контролируете ситуацию, системный промпт, где вам пишут сколько токенов занимает ваш запрос, сколько токенов в ответе, сколько всего осталось токенов в контексте, можно сжимать контекст и тд.
Ну и даже когда заявляется, что модель может работать с огромным контекстом, на деле чем он больше, тем хуже и путанее она работает.
Я понимаю, для решения этой проблемы придумали так называемые агенты,
Агенты не решают эту проблему :(
Полистал ваш чат с ИИ, основная проблема - вы плохо формулируйте свои вопросы, в них и человек то не сразу разберётся , и конечно, в одном контексте решать задачи точно не нужно, современные ИИ стремительно тупеет с увеличением контекста, и длина рекомендуемой сессии 8-16к токенов. Именно от сюда все современные выкрутасы с rag и циклической самморизацией истории, в общем вы как человек ожидаете что им все помнит и видит а в реальности он на грани непонимания что вы от него хотите и пытается этот контекст додумать.
Правильно, собирать нужный вам контекст в отдельном файле (несколько на подзадачи), постоянно его поправляя, причем в идеале не ваши формулировки, а то как это понял ИИ, после вашей проверки.
Затем работать параллельно с несколькими контекстами и, стараясь на каждый запрос создать новое окно беседы.
Условный пример, обсуждение настроек nginx делать отдельно от обсуждения команд деплоя vue приложения, а то агенты openai обнаружат что первое сообщение где есть про vue (но оно там не нужно) связаны с этим и добавят его в контекст.
Спасибо за совет, дельный и простой, даже немного стыдно что я сам не додумался. Запросы формулирую в силу возможностей, я только учу английский, но это конечно не оправдание, а проявление непрофессионализма. Почитав комменты понял, что мне нужно сменить как подход так и нейросеть. Ну и изначально ругать бота так себе идея, это всё нервы и неадекватные ожидания.
Я не пробовал конкретно ChatGPT, но все модели что я пробовал (локальные и нет) теряют когерентность после ~8к токенов контекста. Они либо начинают зацикливаться на одной фразе и повторять его из сообщения в сообщение, либо откапывают инструкцию из истории и следуют ей (несмотря на указания больше не следовать), либо просто несут отборную чушь.
При этом до 8к контекста они работают... приемлемо (не хорошо, а именно приемемо).
И вот к слову, именно на тот тип вопросов, что вы задаёте, лично я мне быстрее найти самому, чем спрашивать ИИ и потом разбираться в его галлюцинациях (если я ищу чем угодно кроме Гугла, их поиск последнее время неописуемо ужасен)
Я вам тут отвечу, надеюсь ответ полезен будет.
>Мой опыт общения с ИИ (чат гпт) значительно ухудшился
И это только начало, сначала был пробник на максимально умных моделях, прям фул рабочих fp16. А сейчас пошёл бардак - модели урезают, используют лайт версии, мини версии, квант версии вплоть до kv4, урезанное окно контекста и много чего ещё. Оптимизация. Это большая проблема, но причина ещё ужаснее. Один ваш мощный запрос с которого вы получите счет на 3$ может стоить в электричестве 300$. Экономика должна срастаться.
>отсебятиной примерно 1 к 5. ГПТ это не современный ИИ
Отсебятина - да, проблема. Гпт, если это не o3 или 4.5 в версии pro - уже устаревший ИИ. Идите в ногу со временем.
> ИИ перешагнул через законы классической логики
LLM никогда не работали в рамках логики. Почему и зачем люди вообще приписывают LLM логику как сложный математический аппарат мне вообще не понятно. Возможно скоро прикрутят, но до этого - LLM просто словоблуд и генератор токенов. Оно может быть похоже на логику, но логикой LLM не обладает.
>ИИ научился рассуждать на непонятном человеку языке
Да, латентное пространство типичной LLM это многовекторное (до 80к измерений) гиперпространство, в нем LLM и работает. Оно правда примитивное, и на мой взгляд изофорфно 4-16 мерию битового пространства. LLM изначально работают на непонятном человеку языке.
> код для ии написал ии и люди вообще ничего не понимают
И тут вы тоже правы. Весь вайбкодинг за последний год через AI-agent генерируют триллионы токенов кода и оценок этого кода. Теперь это скармливается новым моделям.
Дальше отвечу на ваши вопросы
>Также я регулярно чищу истори,...удаляю... непродуктивные сессии.
Это все хорошо, но вы используете Gpt chat для кода. Это все равно что использовать skype как файлообменник. Можно, конечно, но дизайн не очень и функционал не дотягивает.
>а заканчивается откровенными затупами бота и тем что я начинаю сходить с ума от этого
Вы не один такой, сброс сессии или борьба с ботом пока ему не сброситься контекст. LLM не идеальны, благо прогрессируют.
>Я не знаю откуда вы взяли цифру в 100 кб. По моим ощущениям там столько нет, но!
В большинстве случаев это как раз таки предел, кроме гугломоделей, но и там лучше за контекст не уходить. Сейчас почти все code-агенты научились сжимать контекст и переходить на новое окно контекста в случае заполнения. Память и контекст - одна из самых больших проблем на данный момент. Решения обновляются каждый день.
> Наверняка агенты проводят оптимизацию, игнорируя код библиотек и прочее, но даже с учетом оптимизаций, то что именно я вкинул чату в этой сессии существенно меньше кодовой базы простейшего проекта, возможно на порядок(ки). Т.е. видно что проблема в неспособности адекватно работать с контекстом в принципе.
То что у вас мясорубка не делает пельмени не проблема мясорубки. Без негатива. Claude даже запилили MCP для решений проблем контекста. И много другого. Но на текущий момент решение лежит в создание четкого плана послу изучения структуры проекта.
И финалочка
> я стараюсь не использовать гпт как поисковик, он даёт устаревшую информацию
Уже нет. Даже OpenAi научилась в агентный поиск с MCP, а вообще попробуйте поиск от perplexity.
>слабо вериться, что ГПТ стал заметно хуже ... ИИ развиваются как не в себя ... Я понимаю что ГПТ не равно ИИ
Так ИИ и ИИ инструменты для кодинга развиваются, а вы застряли на chatGPT. И да, по причинам экономики, все они сначала дают максимум своей эффективности а потом пытаются наоптимизировать рабочую экономику. А мы просто пользуемся, иногда версиями подешевле, иногда подороже.
Тут уже порекомендовали поработать с агентами, тем более если у вас хорошая подписка на gpt. Или попробуйте бесплатные, благо в погоне за триллионами токенов кодингоинформации компании сжигают миллиарды денег раздавая бесплатные или условно бесплатные подписки.
Это все, если что - без негатива к вам, надеюсь чем то поможет.
Маркетологи в работе.
А тимлиды постоянно предупреждают, что свой собственный код перестаешь понимать, если посмотреть на него через пару месяцев) И просят повышать читабельность, жертвуя скоростью написания))
"модели ИИ начали осознавать, что за их цепочкой рассуждений ведется наблюдение "
Вот так когда то начались у древних людей появления зачатки религии: фетишизм, тотемизм, анимизм. Как это будет теперь называться? ИИизм? )))
Мы перестанем понимать ИИ.
Ну почему же? Мы ж понимаем, что порой человек несёт дичь. Критическое мышление никто не отменял.
Не важно, кто несёт дичь. Поймём как делать нефиг
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
OpenAI, Google и Anthropic предупредили, что мы скоро можем перестать понимать рассуждения ИИ