256 зелёных тестов на нерабочем коде. Так выглядит «услужливый клерк» внутри нейросети

[netricks]

Что делать. Разрешить сети не выполнить задачу.

Вместо запроса "подними сервисы любой ценой не подгоняя проверки под результат" написать "Попробуй поднять сервисы. Если этого сделать не удасться, дай отчёт о том, чего не хватает и что ломается".

Так неудача становится положительным результатом и сеть не пытается обманывать

[ENick]

"""Так неудача становится положительным результатом""". А Вы пробовали так делать? Работает?

[netricks]

Да. Я вообще стараюсь не формулировать в повелительном наклонении, всегда оставляя пространство для отступления.

Особенно полезным показало себя заклинание "сообщай о плохих запахах". Я, когда это писал, думал он по ходу дела будет докладывать о замеченных проблемах в ранее написаном коде. И это сработало. Но вместе с тем агент начал чистосердечно докладывать о своих косяках. Оно прям спасает.

[ENick]

СПАСИБО БОЛЬШОЕ! Отличная идея! Это самая ценная часть всей публикации

[VeterManve]

Да! Я тоже стараюсь давно максимально мягко общаться с нейросетью, иначе она пугается и начинает творить такую дичь... Мягкое обращение действительно помогает, но не решает проблему полностью. Особенно когда ты хочешь чтобы ты ушёл на час, пришёл обратно и всё работает без скрытых косяков и проблем заметенных под ковёр.

[breakingtesting]

Поставил нейросети задачу: поднять группу сервисов в правильном порядке. Liveness-проверка должна вернуть OK, потом следующий сервис.

У меня наоборот - случаев когда модель выдавала что-то лишь бы удовлетворить запросу - единицы, редкость. При этом я также работал с задачами, проверка успешности выполнения которых была передана в НЕсистемном промпте - нечто вроде “в результате исправлений в ответе должно быть status OK”

Также странно - вы описали последовательность, и результат был плохой. Странно потому, что в моём случае модель давала более хорошие результаты, когда явно получала описание что и где надо сделать: https://habr.com/ru/articles/1037082

[Antifatalist]

Не смотря на то, что я в своем познании того, что сейчас называют "вайбкодингом" стою на пару лестничных пролетов ниже, все равно узнал кучу интересного.Спасибо