Comments 4
Единственные глаза — тесты
Которые пишет сама нейросеть под свой код. Это, как если преступник будет сам себя судить. Видел неоднократно, как ллм меняла тесты под результат. Причем без всякой видимой причины (но с логикой у агентов очень туго, достаточно почитать их процессы "мышления"). Тесты не решают проблему неподдерживаемого говнокода и тупости, которые генерит ллм без ревью. А в запутанном коде ллм также путается, как и человек. Начинает копировать и множить свои плохие решения, перевязывать классы функциональностью итд. Тесты не покрывают все случаи, а там будут вопросы безопасности и производительности. При этом ллм маскирует всё что можно и нельзя (увеличивая кодовую базу в 10 раз ) - фоллбэками, чтобы ты никогда не увидел проблему, ошибку и твое приложение жило на тихих замаскированных багах. Понятно, что на типовом сайте статей (как в примере) проблемы будут не так ощутимы, по сравнению с приложением со сложной и большой бизнес логикой.
Как вариант просить писать тесты другой модели или в другой сессии с промтом под тестировщика.
Конечно, важно учитывать уровень ответственности. Какое-нибудь банковское приложение с реальными финансами и высокими рисками с таким подходом нельзя разрабатывать. Но если речь про более простые решения, то в конечном счёте главное чтобы система (основные сценарии) для пользователя работала стабильно и не было багов. Это то, что может выявить в ручном режиме тестировщик или тот же аналитик.
А многочисленные автотесты в любом случае хорошая страховка, чтобы не перепроверять всё после каждого деплоя.
Продакшн на Laravel руками ИИ‑агента: честный отчёт о том, что работает, а что чуть не уронило прод