Мы выдали командам ИИ‑инструменты и получили нулевой эффект

Про смещение горлышка узнал себя, только у меня масштаб домашний. Пилю сканер состава продуктов, полгода вылизывал сам алгоритм оценки: пороги, штрафы, справочник добавок. А потом залез в статистику и увидел, что треть сканов заканчивается фразой «нет данных» — товара просто нет в базе. То есть я всё это время разгонял ту часть конвейера, которая узкой и не была. Пользователю нет никакого дела до того, как тонко я считаю насыщенные жиры, если ответа он вообще не получил.

Ещё зацепило честное «нормальных инструментов измерения нет». У меня та же беда в миниатюре: доля красных вердиктов упала с 24 до 18 процентов, но в тот же заход менялись две вещи — способ досчитывать насыщенные жиры и градация добавок по риску. Разложить, что из этого сколько дало, я теперь не могу. Надо было катить по одному.

Вопрос по вашим «около двух раз» по time-to-market: это по всему потоку или по выборке фич, которые целиком прошли уже в новом процессе? Интересно, как отсекали эффект от того, что после перестройки задачи могли просто нарезаться мельче.