Как стать автором
Обновить

Почему ChatGPT (или любой другой чат-бот) не работает так, как вам нужно

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров7.1K
Всего голосов 7: ↑4 и ↓3+4
Комментарии18

Комментарии 18

Почему ChatGPT и другие чат боты работают как мне нужно, но я вижу статьи на тему как делать промпт в чат ботах?

Пишу задачу так, как будто с другой стороны человек который должен понять что я хочу. В 95% случаев получаю в первом же ответе решение задачи или вопроса. А если уж у кого проблема с изъяснением, то боюсь решается это совсем по другому.

НЛО прилетело и опубликовало эту надпись здесь

Очевидно, вы сразу формируете запрос, как надо. Но людей много и размышляют все по-разному. Ну и спикер выше тоже не врёт — ещё и поэтому :)

Очевидно я просто пишу как написал бы вам, прямо на русском языке, не пытаясь подумать: как же ему удобно будет.

Более того, я иногда так и пишу: Слушай, а сделайка мне жто и это.

Или: а вот там херня у тебя, исправь

Просто так назвали его языковой моделью?

Я лично использую ChatGPT как Get Started по любым незнакомым вопросам. И в этом качестве он работает просто отлично. Получить верхнеуровневое описание любой системы/библиотеки/фреймворка/функции - это прям то, с чем ChatGPT справляется лучше любого человека, которого я знаю.

Да, иногда врёт, но это довольно быстро можно обнаружить, если ты хоть немного в теме.

Ну я бы сказал, что вот эта необходимость дополнительного фактчекинга как раз самая болючая

Зависит от целей. Если нужно получить общее представление о чём-то, без необходимости куда-то внедрять - можно обойтись и без факт чекинга. Я ещё ни разу не столкнулся с "враньём по крупному", только какие-то конкретные детали реализации. Для поверхностного знакомства - самое оно.

Если что-то надо будет внедрять, то тут тоже особо проблем нет. Документацию так или иначе всё равно придётся читать и кропотливо всё пробовать, при любом из раскладов. Просто в случае с нейросетью, уровень осмысленности экспериментов сильно повышается.

Что-то идёт не так: пожалуйста, тебе распишут как другие элементы системы могут косвенно влиять на внедряемый кусок. Могут дать подсказку как переписать код, чтобы всё "хоть как-то взлетело". Очень удобно.

Не знаешь в каком порядке подходить к проблеме? Нейронка подскажет план действий. Не хватает знаний по теории? Нейронка подскажет что загуглить. Не знаешь в каком стандарте искать описание протокола? Нейронка подскажет.

Если завтра ChatGPT закроется, я думаю моя работа замедлится раза в два.

Блин, звучит классно. Не писали об этом подробнее? Я бы почитал.

По поводу провала в плане фактчекинга. С кодом не пробовал, но вот с общими контентными задачами случалось враньё по-крупному: в текстах про путешествия могло напридумывать про туристические места или в целом очень правдоподобно рассказать о НЕСУЩЕСТВУЮЩЕМ МЕСТЕ)

Блин, звучит классно. Не писали об этом подробнее? Я бы почитал.

Я слабо себе представляю, как писать о таком подробнее :) В сущности схема просто теперь "запрос в Гугл -> сайт" теперь стала "запрос в ChatGPT -> запрос в Гугл -> сайт". Разница тут лишь в том, что запросы в гугл стали более таргетированные.

Ну, вот из недавнего. Нужно мне было волею судеб разобраться в формате PFX. Открываю я RFC 7292 и вижу там вот такое:

 SafeBag ::= SEQUENCE {
     bagId          BAG-TYPE.&id ({PKCS12BagSet})
     bagValue       [0] EXPLICIT BAG-TYPE.&Type({PKCS12BagSet}{@bagId}),
     bagAttributes  SET OF PKCS12Attribute OPTIONAL
 }

И тут я понимаю, что уже напрочь забыл такие синтаксические навороты в ASN1. Я даже не знаю как обзываются эти элементы синтаксиса в разных видах скобочек. ChatGPT тут выручает как никто. Можно конечно пойти в какой-нибудь tutorial по ASN1 и закопаться там на несколько часов, обнаружив нужные элементы синтаксиса только в предпоследнем пункте. А можно спросить у ChatGPT что тут за хрень понаписана и поспрашивать по отдельным элементам синтаксиса, после чего уже загуглить нужные буковки, если нужны детали. Всё это займет минут 10-30.

Ну или вот в далёком 2015-м году свела меня жизнь с протоколом RADIUS. Именно на уровне деталей протокола. На текущий момент для разных кусков и расширений этого протокола существует около 40 различных RFC. Найти нужную информацию в них может быть не самым простым делом. Тогда мне ой как не хватало современных нейронок.

По сути ChatGPT - это для меня просто чуть-чуть более продвинутый гугл и тут непонятно, о чём писать в плане использования. Не писать же статью о том, как ты каждый день гуглишь.

в текстах про путешествия могло напридумывать про туристические места или в целом очень правдоподобно рассказать о НЕСУЩЕСТВУЮЩЕМ МЕСТЕ)

Да, это не редкость: оно оч часто врёт про географические места, личностей, исторические события. Но это всё за рамками моих профессиональных интересов.

P.S.

Да, ещё ChatGPT неплох для изучения естественных языков :) Сильно доверять я ему бы не стал, но чисто концептуально оно работает. Я тут пытался по фану выучить один из азиатских языков, ради прикола попросил составить план обучения и расписать первые уроки. Пришёл с распечаткой этого всего к репетитору, она поменяла местами всего пару пунктов в плане, по содержимому уроков вообще не возникло никаких претензий.

Полезный комментарий. В последней версии удобно просить сам ChatGPT искать нужные источники. Это не отменяет пользу Гугла, как дополнительного источника информации, но иногда бывает достаточно.

Вот и получился мини-пост)
По поводу изучения языков: вряд ли это связно конкретно с естественными языками и даже обучением вообще. ChatGPT в принципе классно составляет всевозможные программы/планы/алгоритмы, еще одна сильная сторона.

Ну да, в хорошем вопросе половина ответа. Универсальная формула :)

Меня во всём этом промпт инжиниринге смущает вот что: в большинстве примеров, если взять и просто написать нужный текст самому, он окажется не намного длиннее промпта, требуемого для его генерации. А с учётом затраченного времени получится, что самому написать будет быстрее, как в вашем примере с письмом с извинениями.

Мне кажется, это если умеешь сразу складно писать и на это есть время. Тут же акцент не на объёме: накидать или наговорить два абзаца чернового текста действительно быстрее, но результат вряд ли подойдёт. А чат-бот всё эти же два абзаца причешет и сгладит углы.

Да, понимаю, что некоторым людям действительно трудно складно формулировать свои мысли. Но с точки зрения бизнеса крайне сомнительно, что человек, который не в состоянии написать 1-2 абзаца текста, окажется на должности, которая подразумевает работу с обращениями клиентов. А ещё нужно смотреть, чтобы чат-бот случайно не предложил скидку больше допустимого и поправлять его, если он неправильно понял контекст. А контекст может быть очень сложным, в итоге потратишь только время на то, чтобы ввести чат-бота в курс ситуации. И всё это ради того, чтобы получить "причёсанный текст без углов", который по сути на 90% состоит из воды.

А если взять не большие компании, а мелкие фирмы из 2-3 человек? Например, владелец магазина сам же занимается акционной рассылкой. Или техмен интегратора 1С общается с клиентами напрямую. Сам частенько встречал, что у таких людей может хромать коммуникация, но им пофиг — не это же главное конкретно в их деле и ситуации.

Письмо клиенту - это не тот жанр, где нужны длинные шаблонные тексты. Вот где ChatGPT идеален - это в написании SEO-текстов. То есть текстов, которые никто не читает. Вообще, меня крайне удивляет, сколько ресурсов готово потратить человечество, чтобы одни роботы написали текст для других.

Слушайте, последнюю фразу можно хоть в рамку и на стену вешать :D

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации