Комментарии 6
Контур 2. Запуск обязателен, чтение кода не считается
У вас тут грабли вырисовываются, если мы пишем какой то плагин, или только часть файлов в целом проекте, то запуск его физически не возможен а значит модель вам все равно соврет что все ок, при этом намотав еще кучу кругов в разборе как это запустить, и в конце выдав желаемое за действительность. сделать снапшот в огромном проекте, ну такое себе, контур сказать легально не знаю, модель выберет часто его вместо реальной проверки, это особенно актуально для слабых моделей, фонтир модели с этим справляются и без кастылей
если мы пишем какой то плагин, или только часть файлов в целом проекте, то запуск его физически не возможен
Можно запустить отдельный файл с исполняемым кодом, если соорудить для него окружение. Юнит-тестирование и моки - они как раз про это. Можно и БД замокать, если надо. И сеть. Как раз таки плагин тестить проще, чем целое.
Другое дело, что искусственно поднятое окружение может значимо отличаться от натурального. Но, если такое выявляется, то и эти отличия можно замокать.
Можно запустить отдельный файл с исполняемым кодом, если соорудить для него окружение. Юнит-тестирование и моки - они как раз про это.
Как раз на моках и юнит тестах модели радостно рапортуют о зеленых галочках, потому что они подстраивают эти тесты под нужный результат, если вы это сами просмотрели в логах, считайте получили пустышку в красивой обертке. они умудряются даже е2е тесты делать зелеными при нерабочей в принципе архитектуре, правда современные модели уже меньше этим страдают, тут да улучшение на лицо
Пагинированное чтение файлов. Агент читал файл кусками по 100 строк. Четырёхтысячный файл превращался в четырнадцать перекрывающихся чтений, каждое из которых заново въезжало в контекст на каждом ходу. Прочитать файл целиком одним вызовом дешевле, чем читать его по частям четырнадцать раз. Контринтуитивно ровно до первого замера.
Ок, а если файл не влазит в окно ?
а если модель еще и локальная, и что бы найти проблему в коде надо прочитать несколько таких файлов ?
Короче как мне кажется, вы еще не до конца поняли какие грабли вас ждут на проектах, больше чем крестики нолики =)))
Сколько раз пришлось наступить на грабли чтобы появились правила "никаких Х", правила неполные и не переносимые на другой проект?
Стоило ли оно того?
Уже выходила похожая статья, только там к "тупой" модели пытались прикрутить не проверки, а "память":
https://habr.com/ru/articles/1073448/
Напрашивается вопрос, какие именно модели вы сравнивали? Если в вышеназванной обвязке "тупую" модель можно легко заменить на "умную", то какой смысл в сравнении прокачанной "тупой" модели и дефолтной "умной"?

Тупая модель с жёстким циклом проверки бьёт умную модель без него