Комментарии 15
Этот результат оценили «хуже, чем выбор ответа при помощи подбрасывания монетки»
Вопросы были только с ответами "да" и "нет"? Или как они пришли к такому выводу?
Да все как обычно с учеными и журналистами. По личному опыту качество ответа именно в ответах по программированию очень сильно зависит от постановки вопроса. От того, насколько хорошо предоставлен контекст проблемы и критерии качества.
Заметил что если вопрос сформулирован с "предубеждением" (типа я хочу решить проблему X и хочу для этого использовать инструмент Y) то чат переубеждать не будет если уж не совсем какая-то дичь. Постарается дать ответ исходя из пожеланий оператора. Если же сформулировать вопрос более общим способо (я хочу решить проблему X, посоветуй какие вообще варианты обычно применяются), то качество ответов резко улучшается. У меня порой складывается впечатление что он работает по принципу "спрашивай меня или что делать или как делать, но не оба сразу".
Постарается дать ответ исходя из пожеланий оператора
у меня сегодня была ровно такая история.
в python есть библиотека argparse. Собственно, создана для быстрого перекладывания всяких параметров "--foo=bar" в коллекции-словари.
и в javascript есть одноимённая. Даже в документации заявлено, что авторы хотели повторить питоновскую.
Но есть нюанс: js-ный вариант почти целиком совпадает по сигнатурам, но всё-таки не до конца. И также не до конца поддержано множество настроек, которые есть в питоновском варианте.
ChatGPT знает об этих библиотеках, даже добавляет в свои заявления приписки "(не путать с argparse из python)", но при этом в коде упорно путает эти библиотеки в тех местах, когда ему для решения моей проблемы не хватает возможностей js-ной.
читер.
Я ничего не знаю про хаскель и мне лень вникать в контекст вопроса. Пожалуйста, оцените качество ответа с предварительным промтом:
Hidden text
Вы формулируете какие-то размытые вопросы, где надо о чем-то догадываться. И потом жалуетесь, что компьютерный мозг не понял. А я в шоке, что компьютерный мозг вообще смог понять по такому хреново сформулированному объяснению на ломаном английском и без деталей реализации, что ПРИМЕРНО надо было ответить.
Ну в таком виде ChatGPT скорее бессмысленен. И если кто-то его так использует, то на мой взгляд он сам виноват.
А вот monkey code он например уже неплохо генерирует. По крайней мере на ряде языков. Конечно потом надо проверить и подправить. Но время всё равно экономится.
И вот что в такой контексте должно означать "52% ответов содержат ошибки"?
качество ответа именно в ответах по программированию очень сильно зависит от постановки вопроса.
"Чтобы правильно задать вопрос, нужно знать половину ответа" (c)
Или как они пришли к такому выводу?
Да.
Ради интереса посмотрел, какие же вопросы не ответил ChatGPT (они доступны на гитхабе https://github.com/SamiaKabir/ChatGPT-Answers-to-SO-questions)
Мои вопросы чату не похожи на эти, но кому-то ChatGPT действительно не подойдёт.
Проблема при обновлении библиотеки (ChatGPT вряд ли знал про это обновление, т.к. ему всего полгода)
Про селениум ответил
Новая фича языка си# (triple double quotes), ChatGPT про неё не знает.
Зависимости при обновлении spring boot на свежую версию.
Про ангуляр ответил
Не знает какую зависимость добавить для настройки micrometer tracing library
Vue js ответил.
всегда можно задать вопрос еще раз, из последнего:
отлично выдал, функцию для заполнения таблички фейковыми данными.
простой .bat скрипт
совсем не смог выдать скрипт который соберет значения проперти объектов внутри массива, но и на stackoveflow я не осилил найти, чем меньше разбираешься в вопросе, тем сложнее правильный вопрос сформулировать для гугления.
спрашивал по разному, в итоге сдался и пошел читать доки.
select jsonb_path_query_array ('[
{
"value": "one"
},
{
"value": "two"
}
]'::jsonb, '$[*].value') as values;
Вот нельзя уже поиздеваться над кожаными мешками, сразу метриками обкладывают.
Ответ 42 и не парьтесь
Другие новости
Исследование: ChatGPT выдал ошибочные ответы на 52% вопросов по программированию