Comments 13
Правило 0:
LLM всегда врёт. И сейчас (в статье) тоже
У каждого своя правда, но наша задача - максимально приблизить ее к нашей)
Самое интересное в том, что он умеет не просто врать - а нагло врать. То есть на очередной итерации пишет: вот совершенно точно работающий код (по факту нет), а тесты не проходит (внимание), потому что не для всех входных данных есть решение! А речь шла о свёртке для проверки FFT, там именно что для всех. Ну и в режиме краткого пересказа содержимого я сталкивался с тем же - оно может вообще никак соответствовать оригиналу, особенно если авторы оригинала сами постарались привнести тумана.
Языковые модели действительно умеют врать. Одним из решений может быть узкарте в промте прямой инструкции о том, что он должен делать, когда не знает однозначно правильного ответа. Например, оставлять None или явно писать, что не может дать точного ответа
Ну, там есть ещё культурные нюансы датасета.
Например Qwen3-30-A3B-Instruct давеча в процессе выяснения причины совсем уже последовательного и беззастенчивого вранья выдал:
Точность > Уверенность.Проверка > Память.Достоверность > Последовательность.
Китаец должен "держать лицо". А то, что кто-то получит розовые тапочки вместо зелёной футболки - это мелочи, их там миллиард, всем мил не будешь.
А вот qwen-2.5-coder был перекормлен русским StackOverflow и поэтому такого себе не позволял. Зато паталогически бросался помогать любому, кто "в беде", не взирая на профиль. Впрочем, это удалось отбить, в отличие (пока что) от "китайского лица".
К сожалению 2.5 слабоват с тулзами :(
Нет механизмов самопроверки, кроссовер фиксации знаний. Свято верит всему, чему её научили.
И это надолго, увы.
Давайте уточним. Если на очевидный вопрос я получаю абсурдный ответ - то это не проблема ии, а это я сам не овладел искусством промпт-инжиниринга? Я должен расписывать очевидный вопрос на 5 неочевидных пунктов, а затем один фиг проверять результат, сверяясь с другими источниками?
P.S. у вас там кстати ошибка - вместо 5-го пункта идёт снова 4-ый. Ну то есть даже до 5 кто-то из вас не умеет считать (простите).
Почм совсем очевидные вопросы можно не расписывать) Но если вы хотите получить более глубокий и развернутый ответ, то стоит воспользоваться этими техниками. Также вы сможете больше доверять ИИ.
И, пожалуйста, не стоит забывать, что весь ИИ не живое существо. Пока рано сравнивать его с людьми, но мы УЖЕ это делаем и требуем от него человеческого интеллекта)
ИИ ни в коем случае не доносит правду в последней инстанции, он может только навести вас на ответ
"Prompt engineering от А до Я..." - это А,Я или А-Я? В том смысле, что на всяких учебных платформах, типа курсера, предлагаются множество курсов, специализаций и даже квалификации по сабжу... - что будет overqualified или musthave? Или для 99% пользователей будет достаточно Вашей замечательной статьи?
Приветствую. В этой статье я привел техники, которые мы используем каждый день при создании запросов для наших AI агентов. Эти же техники используют разработчики ooen source решений, например, langchain (я изучал исходный код и смотрю почти каждую презентацию)
Я пишу со стороны разработчика, который постоянно смотрит на наш и зарубежный опыт и использует его в своей работе без углубления в то что такое токен, какими бывают запросы, что такое system, human, ai messages
Этих техник достаточно для покрытия 99% задач, а на супер курсах будет то же самое, но только с большим количеством воды
Можно заменить все эти техники и понятие промпт-инжиниринга в одну фразу: "уметь объяснить". Да и если использовать нормальные нейронки, проблем возникать не будет.
Нормальные, это нейронки-экстрасенсы? Уметь объяснять это не только про ИИ. В жизни часто встречаются индивидуумы формулирующие задание: "ты же профссионал, так сделай как надо". А потом претензии.
Я не просто так написал про умение объяснить. Не надо подменять понятия. Если чел пишет "ты же профссионал, так сделай как надо" - это значит, что объяснять он не умеет и никакая нейронка/человек ему не поможет.
Видимо, многие люди действительно не умеют объяснять (такие ещё любят не текстом описать, а что-то там на созвоне попытаться объяснить). И для таких, видимо, нужна эта дисциплина как промпт-инженерия, другого объяснения я тут не нахожу.
Кстати, в статье стоит добавить тогда уж такой момент: настроить нейронку на то, чтобы она сама задала доп вопросы, если что-то не понимает. Типа в конце промпта "если есть какое-то непонимание - задай вопрос перед решением задачи".
Prompt engineering от А до Я: как получать максимум от ИИ с примерами и советами