Комментарии 37
человек который просит chatgpt создать регулярку профнепригоден. Человек который не может написать такое на автомате никак не сможет проверить что сделал бот, а бот с одинаковой уверенностью генерит мусор и что-то адекватное. Шикарный пример это запрос списков литературы, типа дай мне список литературы по постройке яхт.
"бот с одинаковой уверенностью генерит мусор и что-то адекватное" какой версией ChatGPT вы пользовались? Какие задачи ему скармливали? Или просто использование чата кажется вам чем-то неприличным?
Разве уверенность бота зависит от версии? Разве на запрос "напиши мне сортировку массива методом Розенталя" бот может ответить, что не знает этого алгоритма?
Я в целом согласен, что проблема "галлюцинирования" LLM-ок не достаточно подсвечена в статье, но всё-таки кажется, что дискуссия должна быть более равноправной. Автор потратил существенное время на подготовку поста, из уважения к нему я бы чуть тщательнее проверял свои аргументы :)
По сути ещё добавлю, что можно явным образом просить модель: 1) задавать уточняющие вопросы, если ей не хватает информации; 2) просить добавлять в конце сообщения степень её уверенности в данном ответе. Из-за природы LLM это тоже не является панацеей, но как приём использовать бывает полезно.
Я проверял на тех ботах, к которым у меня есть доступ: Alpaca и Vicuna.
Попросил объяснить, так он описал совсем другой алгоритм.
Спасибо за скрин, так понятнее!)
В целом это как раз о том, что "уверенность" в данном ответе и склонность "галлюцинировать" это тоже некоторые параметры модели, которые можно а) учитывать при использовании; б) тюнить при обучении. Понятно, что б) большинству из нас доступно только в формате "подождать, пока компании с миллионами долларов закоманных в стойки с GPU обучат" :)
Но это опять же, другой (очень интересный!) вопрос: с одной стороны, происходит демократизация доступа к AI, c другой – чем крупнее модель, тем меньше компаний (а уж тем более – людей) могут её обучить при текущих технологиях, что концентрирует в руках этих компаний ещё больше... слово "power", мне кажется, подходит здесь лучше русских аналогов.
Ну вот скажем я задавал "старому" ChatGPT вопрос про логирование в "новом" .net (типовой вопрос с собеседования), он уверенно ответил неправильно и продолжал настаивать на этом ответе. Потом мне в Твиттере принесли ответ на этот же вопрос "нового ChatGPT", и там правильнее не стало.
Аналогично я задавал "старому" ChatGPT вопрос на интеграцию двух хорошо известных интернет-сервисов, в обоих из них он выдал несуществующие операции (что фундаментально влияет на структуру интеграции).
Ну или вот я кофемолку выбираю. Задал вопрос про кофемолку: в первом ответе все правильно, но если задать уточняющий вопрос про конкретную модель, начинает с той же уверенностью нести чушь (причем ответ - он в любом описании модели и в документации, это не эзотерическое знание).
человек который просит chatgpt создать регулярку профнепригоден.
Серьезное заявление, но не соглашусь.
Разрабатываю софт почти каждый день, с 1992 года (просто нравится).
В основном архитектура, базы, прототипирование для постановки задач, решения некоторых задач.
За годы разработки завел репозиторий RegEx выражений в таблице базы, которая весело мигрирует от базы к базе, от СУБД к СУБД, от MSSQL в контейнер к SQLite и т.п.)
У меня нет навыков написания регулярок, но я не ощущаю ущербности от их отсутствия.
И, да, в последнее время интенсивно использую ChatGPT для экономии времени т.к. любой инструмент нужно использовать грамотно. ChatGPT не исключение.
В конце 80х коллеги пафосно заявляли, что только на ASM можно написать шустрый и оптимальный код. Высокоуровневые языки — отстой.
Возможно, но у ASM производительность на плинтусе, а командная разработка затруднена.
Похожие заявления читаю о ChatGPT
К чему этот длинный коммент?
Поскромнее с заявлениями (bold statements) чтоб не выглядеть глупо спустя год.
я не говорю что не знать регулярок - профнепригодность. Это один из инструментов, можно знать, можно не знать, никаких проблем. Я говорю что когда ты только знаешь что они есть но не умеешь в них, спрашивать бота непрофессионально. Потому что бот выдаст вам ответ который вы не сможете валидировать, потому что регулярные выражения известны тем что их проще писать, чем читать.
Валидировать тестами, не?
Я бы не смог спать спокойно, вставив в проект трёхэтажную регулярку от бота, даже если она подходит под десяток примеров, которые бот смог выдумать.
Например, пришло бы вам в голову написать тест на регулярку e-mail, что "домен не должен начитаться со знака минус или заканчиваться им" (хотя этот знак может присутствовать в середине).
Если вы устали от бесконечных поверхностных постов про AI, то подпишитесь...
Это что шантаж? ...от автора поверхностного поста про AI?
Я опросил 20+ человек, попросил их мне дать реальные кейсы, отмел все неинтересное, постарался захватить не только it. Удалил всю воду. Дал ссылку на человека, возможно с самой большой экспертизой в AI, который говорит на русском. Да я поверхностно подошел к подготовке статьи. Это самоирония мой дорогой друг.
Количество затраченных усилий и блок рекламы ничего не говорит о качестве статьи. А все примеры в статье очевидные, ничего нового там не почерпнуть, и уже были...
...в одной из бесконечных поверхностных статей.
Дал ссылку на человека, возможно с самой большой экспертизой в AI, который говорит на русском.
С одной стороны, в OpenAI и других местах полно людей, которые говорят на русском, начиная с Ильи Сутскевера и Ивана Бабушкина.
С другой стороны, непонятно, зачем слушать именно экспертов по ИИ. Если для использования его - то лучше слушать prompt engineers? (Это все равно, что слушать инженеров двигателей, вместо профессиональных гонщиков и водителей, о том, как лучше водить).
Если речь об этике использования, то "экспертов по ИИ" тем более не надо слушать, а послушайте лучше Харриса и Раскина: https://www.humanetech.com/podcast/the-three-rules-of-humane-tech
Вы пишите про Prompt engineering как правильно писать запросы. Но вы сами не умеете это делать. Вы ни разу не смогли переключить контекст сети и сосредоточить её на нужно задаче.
Вы буквально работаете так же как и все.
С одним единственным prompt i want you act as ... который и так все знают.
Что примерно 1% от того что можно сделать.
<<Если вы устали от бесконечных поверхностных постов про AI...>>
Вот вот это очень достало включая вашу статью.
Не я пишу. Пишут множество людей, которые ранее никогда не обучали нейсеточки. Мой поинт и состоит в том что, на мой взгляд, умение правильно задавать вопросы и обучать ее будет очень важным навыком в ближайшие годы.
Мало у кого есть опыт обучения промышленных нейросетей, а о пропасти между ними и open source проектами почти никто и не вспоминает.
Пишут множество людей, которые ранее никогда не обучали нейсеточки. Мой поинт и состоит в том что, на мой взгляд, умение правильно задавать вопросы и обучать ее
Мне начинается казаться, что под "обучением" вы понимаете что-то свое. В моем обывательском понимании, пользователь ChatGPT его ничему не обучает (по крайней мере, не по своей инициативе).
в данном случае я имел ввиду то, что синьор-помидор уточняет чату с применением каких библиотек стоит решать задачу, просит применить другой подход или исключить какие-либо зависимости, если его что-то не устроило.
Но это же не "обучение": в следующий раз придется делать все те же самые уточнения.
Со слов людей, которых я опрашивал разница между версией 3.5 и 4 колоссальна, ему уже не требуют многие уточнения. Откуда у вас такая уверенность, что в следующий раз придется делать те же самые уточнения? Вы знаете график релизов Chat GPT?
Со слов людей, которых я опрашивал разница между версией 3.5 и 4 колоссальна, ему уже не требуют многие уточнения.
Вот только я, как пользователь, никак не могу на это повлиять.
Ну и да, я сам не могу проверить, но мне приносили ответ от четвертой версии на мой вопрос для собеседований, и разницы не было.
Откуда у вас такая уверенность, что в следующий раз придется делать те же самые уточнения?
Я исхожу, из того что речь идет об одной версии продукта, а не о разных. В рамках одной версии 3.5 совершенно точно не помнит предыдущие разговоры, 4, насколько я знаю, тоже не помнит.
С разными же версиями все еще хуже: может выясниться, что предыдущие "уточнения" теперь работают не так, как ожидается.
А где можно посмотреть остальные 99% промптов? Очень хочется прокачать свои скиллы работы с ИИ.
Вместе с внедрением АИ должно быть внедрение БОД.
В моем проекте https://SQLize.online ChatGPT помогает писать запросы и исправлять ошибки
и позволяют писать код быстрее, более оптимально, находить новые поинты при code review, быстро позволяют погрузиться в новый стек или даже сферу.
Секундочку. Если ты «не бум-бум» в каком-то стеке, а ИИ 50/50 может выдать что-то релевантное или просто мусор, то сколько времени займёт поиск (например, логических) ошибок в таких «советах»?
И не проще ли сразу писать осмысленный код, чем выковыривать ошибки второго, третьего и т. д. порядков в подсказках ИИ?
Если мы рассматриваем кейс с новым для вас стеком, то вы можете быстро написать что-то работающее, не погружаясь в особенности языка или среды. У меня указано два таких кейса.
Для меня ваш вопрос выглядит как: а зачем подсветка синтаксиса - я и так могу нормально кодить, а зачем мне IDE, я могу в блокноте писать.
Новые инструменты увеличивают производительность труда, не так ли?
Для меня ваш вопрос выглядит как: а зачем подсветка синтаксиса - я и так могу нормально кодить, а зачем мне IDE, я могу в блокноте писать.
Мне кажется, вы то ли не заметили, то ли проигнорировали: вопрос был о поиске ошибок. IDE обычно не делает неправильных подсказок (а если делает, то это баг, который можно и нужно чинить). А вот ChatGPT дает неправильные советы, и как это починить - неизвестно.
Новые инструменты увеличивают производительность труда, не так ли?
Так в этом и вопрос: всегда ли этот конкретный инструмент увеличивает производительность труда, или же есть определенные случаи, когда это совсем не так, и их надо держать в голове?
Я указал реальные кейсы с комментариями респондентов по границам применимости этого инструмента в том или ином случае. Стоит ли держать в голове? Да. Может ли это быть полезно джуну? - да(как минимум можно попросить сделать ревью своему коду)
Я указал реальные кейсы с комментариями респондентов по границам применимости этого инструмента в том или ином случае.
Ну давайте посмотрим. Вот одна такая "граница применимости": " вот в здоровенных легаси он абсолютно беспомощен и его крайне редко можно притянуть". А вот вторая: "из минусов — не получается научить стилю и подходам" - обратите внимание, что это ровно то, про что я вам пишу выше, но вы спрашиваете, откуда у меня уверенность....
Это две границы применимости на все ваши примеры. При этом про ложные ответы я то ли не нашел, то ли там нет.
Зато в выводе вы уверенно пишете: "инструменты AI уже встроены во многие framework-и и позволяют писать код быстрее, более оптимально, находить новые поинты при code review, быстро позволяют погрузиться в новый стек или даже сферу", без оговорок о зоне применимости.
Не, дело ваше, конечно.
Может ли это быть полезно джуну? - да(как минимум можно попросить сделать ревью своему коду)
Угу, а потом внезапно джун выяснит, что никто из его команды с этим ревью не согласен.
Это разные вещи. Я говорю о том, что если вы получаете обширный кусок кода из источника, подверженного периодическим «галлюцинациям», то в общем случае он может содержать (любые) трудноуловимые ошибки и такому коду нельзя доверять.
А его адекватная верификация может потребовать больше усилий, чем написание с нуля.
У вас сплошные может, возможно, наверное. Я указал реальные кейсы с комментариями респондентов по границам применимости этого инструмента в том или ином случае.
Реальные кейсы? Их есть у меня. Тривиальный дуал-контуринг для реконструкции меша в stl по слайсами GPT не смогла за неделю мучений. В тех случаях, когда её код был вообще работоспособен и не дергал не существующие либы и методы — он в лучшем случае делал кривую рандомную 2D STL. Делал он её 3 раза (из примерно 140+ попыток) и 2 из них были марширующими кубами.
Очень заслуживающие доверия решения, точно надо вставлять в свой код...
Единственное, для чего оно годится прям хорошо — простенькие bash/powershell скрипты для домашнего использования генерить, и то лишь если лень в синтаксис вникнуть.
P.S. А вообще ваши юзкейсы мне мой опыт рисования фан.арта со Stable Diffusion очень напоминают. Пока просишь "нарисовать что-то" — всё шикарно, красиво, радует глаз и кажется норм. До тех пор пока не оказывается что надо нарисовать что-то конкретное. И тогда ни файнтюн модели, ни Lora оверфитнутая на конкретного персонажа (чтобы наверняка) не дают сгенерить фан-арт на конкретного персонажа. И по факту — час генерим (чтобы получить из кучи УГ хоть одну нормальную базу) и еще 2-3 дня дорисовываем/перерисовываем/дорабатываем руками, возращаясь к нейронке лишь чтобы сгладить покрас в img2img. Умей я рисовать хоть немного (реально — хотя бы чуть-чуть) — и быстрее было бы рисовать с нуля, попросив у SD лишь скетч для идеи. С GPT точно так же.
Учитесь, глупцы