Комментарии 9
В новом варианте ответ получился именно таким, как надо — без таблиц и сложных терминов.
вот хотелось бы знать, сколько всего ушло времени, чтобы до финального запроса добраться и получить этот список из 9 пунктов. И, главное, сколько времени вам нужно, чтобы самому эти 9 пунктов написать?
А ведь тут задача элементарная и сразу можно оценить, чего ИИ недосказал или чего лишнего выдал. А вот будет более реалистичная задача, на несколько порядков сложнее и там не просто запрос надо суметь придумать, но ещё и суметь проанализировать ответ и догадаться, наврал ИИ или не наврал или недосказал или насочинял...
Хотелось бы про реальное испоьзование в боевых условиях узнать, а не на элементарых примерах, которые самому быстрее описать.
Я специально выбрал простой пример (хотя это действительно самый частый запрос со стороны QA) и разделил на шаги, чтобы объяснить, как это работает, и как подходить к работе с ИИ в целом. В реальных задачах, конечно же, я сразу использую сложносоставные промпты, которые как раз позволяют минимизировать ошибки и сократить время.
Если у вас есть сложная задача, попробуйте думать так, как описано в статье и сразу собрать промпт, подходящий под ваш случай.
Кстати, приведённые 9 пунктов неточные в своих формулировках и, если следовать именно этим формулировкам, то не хватает ещё парочки тестов. Например п.4 тетсирует только наличие пробела внутри адреса. А что насчёт теста, когда пробелы в самом начале или в самом конце или и в начале и в конце? Если адрес не вводится, а копируется откуда-то из теста, то обрамляющие пробелы будут часто попадаться. Тут же можно придраться к формулировке "пробел", потому что есть ещё табуляция и другие пробельные символы, но я согласен отнести это всё к пункту 5. Почему нет списка допустимых/недопустимых символов? Как проверять что-то на что-то, что неизвестно? п.6 "очень длинный" это сколько? Это не абстрактная величина, она конкретно ограничена либо почтовым сервером, либо самой формой. п.7 совпадает с п.1, потому что в п.1 не сказано, что почтовый адрес дожен существовать. "корректный емэйл" и "зарегистрированный емэйл" - не слова синонимы. Но это придирка, по наличию пароля можно догадаться, что речь про уже зарегистрированный в системе емэйл.
п.1 это два разный кейса. И там дожен быть третий кейс с емейлом, но пустым паролем, а то как-то недотетсировали сообщения об ошибке.
Нет кейса с неправильным паролем.
То есть для меня это выглядит так, что ИИ сильно недоработанные кейсы вернул даже для простог ослучая. У меня одних придирок больше, чем он написал. Для сложной задачи, по моему, опять же получается проще сразу самому написать, чем за ИИ переписывать и дополнять и удалять лишнее. И это же речь про совершенно типовую задачу, которую он точно где-то уже на гитхабе списывал. А если запросить что-то не типовое и на что сам ответа толком не знаешь, то как потом понять, обманул тебя Ии или нет, нужно ли что-то дополнять или же ответ избыточен и содержит ненужное?
Для меня это замкнутый круг. Либо я и сам знаю и могу написать, либо я слепо доверяю ответу и гори оно всё синим пламенем, если ИИ что-то не учёл или соврал.
Конечно, ответы ИИ нужно критически рассматривать и дополнять, никто не говорит, что нужно брать их в изначальном варианте, не подвергая критическому анализу. Один из выводов статьи: ответ ИИ — это только база, которая ускоряет процесс, но которую нужно проверять и дорабатывать под свои задачи и правила безопасности. Этого принципа стоит придерживаться.
Цель статьи — показать, что продуманные промпты дают больше пользы, чем простые. Разница в ответах заметна, и, если это так, почему бы не использовать эти советы?
Разумеется, разница в ответах заметна.
Я как раз всеми силами пытаюсь заставить себя использовать ИИ (Граждане СССР, заставляйте себя есть чёрную икру!), но не могу ничего реально полезного забабахать. Либо слишком примитивные задачи, которые и сам могу сделать, либо слишком сложные, что написание правильного промпта, анализ и исправление ответа займёт больше времени, чем самостоятельное решение.
А не хотите начать тестирование с рассмотрения требований?
Требования — действительно важная часть в работе тестировщика. Но, как показано в статье, с ними не всегда всё просто при работе с ИИ: бывает, мешает NDA или они неполные. При этом статья не про то, как именно должен работать QA, а про то, как качество запроса к ИИ напрямую влияет на качество результата. Эти базовые приёмы полезны не только в тестировании — они применимы в любой сфере, где важно чётко сформулировать задачу, получить осмысленный отклик и сэкономить время.
Заголовок на рубль, пост на копейку. Серьёзно, в середине 25го года в статье о том, как ИИ меняет QA писать банальные вещи о промптах?
Суть статьи — не в новизне ИИ, а в практическом применении: как даже банальный промпт можно превратить в инструмент, который реально помогает в работе. Я очень рад за тех, кто уже полноценно использует ИИ, но знаю много людей, которые либо ещё не начали использовать ИИ, либо делают это неэффективно. Для них такие базовые советы — это простой способ начать работать с ИИ быстрее и продуктивнее.
Qual-AI-ty Assurance: как ИИ меняет QA