Комментарии 7
Экзаменатор у вас честный, но пишет его та же модель, по спеке которую она же составила. если на шаге 4 заявку поняли криво, e2e и код сойдутся друг с другом и позеленеют вместе) игроки хоть раз приходили с «я вообще не это просил»? это ж единственная проверка мимо модели
Модель - действительно одна. Но:
спеку составляла в другой сессии без доступа к диалогу.
Тесты пишет иная модель от разработчика и доступ к тестам ограничен по хукам разработчику.
Роль модели тоже отличная.
Так что тест и реализация сойтись могут но не благодаря подгонке под тест/код.
Про реализацию и ожидания - отличный вопрос 👍
Игроки периодически возмущались, что сделано не то. Например фича с падающими ящиками с бонусами с неба дорабатывалась минимум трижды. Но здесь действительно недоработка скорее ближе к продуктовой, чем технической. По началу я вычитывал и спеки и постановку - делалось как раз то, что просили и по самому «дешевому и простому» пути (как в инструкции аналитику).
Ну и честности ради - непосредственно спеку, практически не читали. В среднем между готовой спекой и ее одобрением, проходило чуть больше 90 секунд 🤷
90 секунд на спеку это честно и очень узнаваемо) а после истории с ящиками что-нибудь поменяли в том, как одобряете спеку, или так и оставили?
Немного перекомпоновал порядок спеки: нефункциональные требования поднял выше к началу и язык сделал формулировок чуть проще. Но сттуацию со временем на спеку это практически не изменило - основной целью людей в любом случае было натыкать изменений и уже в проде посмотреть «как оно там». В целом, меня такой подход тоже устраивал - ключевое было оценить как ИИ будет справляться с разработкой, а продуктовая часть очень быстро разрослась и была за рамками эксперимента.
Саму спеку я вычитывал сам, но контролировал только попытки prompt injection и явного злонамеренного влияния. Если даже задача выглядела в моем понимании бесполезной или абсолютно непонятной - я ее всеравно пропускал.
Поэтому если кратко - фактически ничего не изменил и не изменилось )
У меня вопрос на стыке шагов 3 и 5. CI до разработки фиксирует, что база зелёная, но, если я правильно понял, отдельно не проверяется, что новые приёмные e2e на этой базе красные. Для новой фичи это обычно выполняется само собой, а для багфикса тест легко может оказаться зелёным уже на старом коде, например если агент воспроизвёл не тот сценарий. Тогда приёмка пропустит любую реализацию, включая пустую, и то, что тесты скрыты от разработчика, уже ничего не даёт. Прогон новых e2e на нетронутой базе с требованием упасть, причём по ожидаемой причине, а не из-за отсутствующего селектора, стоит недорого и ловит ровно этот класс. Было у вас такое правило?
Вся разработка TDD (именно по ней велся эксперимент) - предполагает, что тесты сначала красные, потом - зеленые. Прямого алгоритмического запуска тестов в красноту не было, но у модели был mcp, упрощающий запуск точечных тестов и проверки того, что они красные. Модели следовали инструкции и прогоняли все тесты и убеждались, что их тесты - красные. Дальше CI уже проверял что они зеленеют.
На старте я следил за этим - был свой мониторинг с оповещениями. Но ближе к финишу уже не контролировал. e2e всегда были красными изначально при написании - это было основой инструкции разработки тестов.
Были кейсы, когда под нагрузкой тест краснел, а без нагрузки - зеленый. Но там тогда отдельный пайплайн на багфикс запускался, практически идентичный описанному
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
228 релизов по заявкам незнакомцев, ноль ревью человеком: чем закончился эксперимент с автономной разработкой