Новая функциональность без багов, на примере биллинга для мобильного оператора

[maxzhurkin]

Если вы не знаете о багах, это не значит, что их нет (ц) неизвестный тестировщик
Судя по тексту, речь о ТелеТу, в связи с чем вопрос: что за говно в маркете даже без авторизации по отпечатку простите, вырвалось

[amarao]

Вот как раз ситуация, когда баги пропали после того, как их тестовый набор стал совпадать с вашим, это не очень радует. Вашему же коду не с историческими данными работать, а с новыми, так что гэп между вашими данными и данными приёмки как раз позволяет вслепую проверить ваш код. Если в слепом тесте баги не выплывут, можно надеяться, что они не выплывут и в будущем. А если у вас баги в слепом тестировании, а после синхронизации модели для обучения и контрольной модели багов 0, то это называется overfitting, и ни к чему хорошему не приводит.

[fedorro]

Не ошибки пропали, а

ноль ошибок на бизнес-приёмке на новой функциональности.

. Т.е. после приемки могут ещё найти, но хотя бы за минусом тех что отловили на данных без лага)

[KazankovIlya]

Все верно.
Есть новый функционал, у заказчика есть кейсы его использования. В ходе приемки по этим кейсам нет ошибок.
В целом ошибки могут быть. Даже может быть ошибка по новому функционалу, но когда заказчик работает не по заданным кейсам. Тогда это становиться доработкой начиная с ТП

[PlavchenokMaxim]

Спасибо за комментарий!
Синхронизация дампов позволила находить баги до этапа бизнес-приемки.