Это финал трилогии про эксперимент, в котором заготовку браузерной игры — тактического симулятора в мультяшном стиле — дальше целиком развивала автономная связка AI-агентов. Задачи формулировали игроки — по большей части люди, которых я не знал до эксперимента. Код писала модель. Ревью делала модель. В прод катил алгоритм. Человек не прочитал ни строчки диффа.

Для тех, кто не будет читать дальше

Открытые модели уровня лидеров кодовых бенчмарков уже способны вести автономную разработку. Показано на 228 релизах: шесть моделей, ноль строк, прочитанных человеком.

Но только внутри конвейера. Модель сообщает «готово» и при красных тестах: каждую четвёртую задачу финальная проверка возвращала на доработку. Поэтому результат держат обвязка, которая готовит задачу, и алгоритмическая приёмка, которая не верит на слово.

Узкое место — уже не модель. Это правила, проверки и инструменты вокруг неё, и строить их — работа программиста на ближайшие годы.

Чего конвейер не умеет: решать, что стоит делать. Технический долг, по косвенным признакам, не накопился; продуктовый — накопился.

О чём эта часть

Это третья и последняя часть. В первой я поставил вопрос — что произойдёт с продуктом и техдолгом, если разработку отдать автономному AI, — и описал, как заявка из Telegram-бота доезжает до публичного билда. Во второй — промежуточные итоги на 178 релизах и пять экспериментов над обвязкой. Читать их не обязательно: всё нужное повторено здесь.

Рамка, чтобы не спорить о разном. Я изучал автономную разработку: заявка приезжает, конвейер довозит её до прода, кода человек не читает. Не работу в паре с моделью, когда инженер режет задачу на шаги, подсказывает и проверяет на ходу. В паре с человеком самые сильные закрытые модели показывают отрыв, и он настоящий. Автономная разработка — другой спорт, и вывод здесь другой.

Порядок такой: счёт одной таблицей, конвейер по шагам, как получены цифры, вердикт по исходному вопросу, три тезиса — про модель, обвязку и приёмку, — каталог поломок, границы применимости и то, во что конвейер вырос.

Итог одной таблицей

Метрика

Итог

Релизов в проде

228

Заявок за эксперимент

~265: 228 доехали до прода, 10 отсеяны на входе как инъекции, остальные (около 27) зависли в конвейере

Авторов заявок

24

Моделей в эксперименте (все — с открытыми весами)

6: четыре тяжёлые модели и две облегчённые (flash)

Токенов прошло через OpenRouter

22,7 млрд, из них 2,8 млрд — открытый эксперимент

Запросов к моделям

363 тыс.

Строк в кодовой базе

+128 тыс. / −23 тыс.

Автотестов в проекте

2 188, из них 299 — приёмные e2e

Путь заявки до прода (без ожидания ответов игрока)

медиана 33 минуты, среднее 46

Самая упрямая задача

13 часов, 7 возвратов на доработку

Поначалу игроки в основном пытались игру сломать; со временем это наскучило, и в заявках стало больше экзотических фич. Конвейер довозил релизы до последнего дня, хотя и не без потерь: часть заявок в нём зависла. А вот модели внутри него менялись как батарейки.

Конвейер по шагам

Схему, на которой держится стабильность, покажу целиком — она короче, чем кажется. Это итоговый вид конвейера; шаги модерации на входе, описанные в первой части, остались на своём месте и здесь опущены.

  1. Обращение. Пользователь описывает задачу своими словами.

  2. Вычитка и уточнения. Модель сверяет задачу с тем, что уже есть в коде: ищет двоякие трактовки, противоречия, конфликты с существующим поведением и пробелы — и задаёт вопросы автору заявки. Так до тех пор, пока вопросы не закончатся.

  3. CI до разработки. Сборка и тесты запускаются на нетронутой базе, результат передаётся модели. Она видит, что работало до неё, а конвейер убеждается, что падений нет в принципе.

  4. Спека. По задаче и ответам модель пишет спецификацию разработки: области (что делаем и чего не делаем), критерии приёмки (тесты и нефункциональные требования), бизнес-аналитика, системная аналитика (функциональные требования) и спека самой реализации.

  5. Разработка. По спеке работают отдельные разработчики: один пишет тесты, включая приёмные e2e, другой — реализацию и, где возможно, тесты по ходу. Автор реализации приёмных тестов не видит.

  6. Критическое ревью. Реализация проверяется против спеки, заявленных областей изменений, функциональных и нефункциональных требований. Здесь же проверяется скоуп: правка, вышедшая за заявленные области, не проходит.

  7. Исправления. Замечания возвращаются разработчику — и так, пока ревьюер не перестанет их находить.

  8. Финальный CI. Полный запуск тестов. Есть падения — правка откатывается, и задача возвращается на шаг 4 с разбором ошибок: спека дописывается — иначе реализация разойдётся с задачей и ревьюер её не пропустит. Каждый такой возврат — один круг доработки.

  9. Выкат в прод.

Рис. 1
Рис. 1

Рис. 1. Девять шагов конвейера: четыре — до первой строки кода, два цикла — до зелёного.

Три вещи, на которые стоит посмотреть.

Четыре шага из девяти проходят до первой строки кода. Большая часть стабильности закладывается там, где модель ещё ничего не написала: в вопросах, в снимке состояния базы и в спеке с явным «чего не делаем».

Шаг 3 закрывает любимую отговорку. «Ошибки были до меня» — фраза, которую агент произносит охотнее всего. Когда состояние базы снято до начала работы, это утверждение перестаёт быть мнением: оно либо подтверждается запуском CI, либо нет.

Оба цикла заканчиваются по проверкам. Ревью крутится, пока ревьюер находит замечания; финальный CI возвращает задачу назад, пока есть падения. Ни один из выходов не открывается словом «готово».

Внутри задачи человек участвует один раз — автор заявки отвечает на уточняющие вопросы на шаге 2. Код не читает никто. Моя роль была уровнем выше: я строил и чинил сам конвейер.

Словарь на остаток статьи. Конвейер — вся схема целиком. Обвязка — всё, что готовит задачу и задаёт правила её выполнения: шаги 1–4 и правила, по которым идёт шаг 5 (раздельные роли, тесты до кода, карта проекта, тех-радар — список правил проекта). Приёмка — шаги 6–8: всё, что проверяет результат. Алгоритмическая она не потому, что в ней нет моделей (ревью делает модель), а потому, что выход из неё открывает не слово «готово», а набор проверок с жёстким правилом. Скоуп — области изменений, заявленные в спеке. Круг доработки — возврат после финального CI. Модель в рамках задачи одна на все шаги, но в разных ролях и отдельных запусках: вычитка, спека, разработка, ревью. Сменное ядро — это она; конвейер задаёт, что и в каком порядке она делает и чему из сказанного ею верить.

Промпты и правила конвейера я в статье не публикую: это отчёт об эксперименте, а не гайд из раздела how-to. Но если вы проводили похожие эксперименты и у вас есть данные — приходите в комментарии, сравним и поделимся опытом.

Как это считалось: открытый и закрытый эксперимент

Эксперимент состоял из двух частей, и дальше я ссылаюсь на обе.

Открытый эксперимент. Живой поток, публично: игрок пишет заявку в Telegram-бота, конвейер довозит её до публичного билда. Модели сменяли друг друга: одна задача — одна модель. Замена занимала минуты — у всех шести OpenAI-совместимый API. В нём работали Kimi K2.7 Code, DeepSeek V4 Pro, GLM 5.2, Qwen3-Coder 480B и две лёгкие — DeepSeek V4.1 Flash и GLM 5.3 Flash. Так получились 228 релизов и 2,8 млрд токенов. Длился он около полутора месяцев.

Закрытый эксперимент. После финала проект откатывался на стартовый коммит — ту самую заготовку игры, с которой начался эксперимент, — и каждая из шести моделей в одиночку, уже без публичного билда, заново проходила всю историю — от первого релиза до последнего. Неизменной оставалась только формулировка пользователя: бриф и аналитику конвейер каждый раз готовил заново. Отсюда остальные 19,9 млрд токенов — шесть полных проходов одного и того же сета. Это ещё около полутора месяцев.

Рис. 2
Рис. 2

Рис. 2. Куда ушли 22,7 млрд токенов: 2,8 млрд — открытый эксперимент, 19,9 млрд — шесть моделей в закрытом. Данные OpenRouter — сервиса, через который шли все запросы к моделям.

Сама разработка в закрытом эксперименте шла так же, как в открытом: те же девять шагов, свои e2e-тесты на каждую задачу, та же приёмка. Отличий два:

Открытый эксперимент

Закрытый эксперимент

Модель

сменяются: одна задача — одна модель

одна модель на всю историю

Ответы на вопросы шага 2

автор заявки

я, по жёсткому правилу: ответ игрока из открытого эксперимента, если вопрос совпал по смыслу; иначе — «реши сам наилучшим образом согласно правилам разработки»

Дополнительная проверка сопоставимости. Чтобы убедиться, что шесть реализаций похожи на реализацию открытого эксперимента, я взял e2e-тесты из финального состояния открытого эксперимента и один раз запустил их на финальной сборке каждой модели. Тесты были собраны под имена CSS-классов версии из открытого эксперимента, а каждая модель называла классы по-своему, поэтому селекторы под каждую версию я правил руками: три-четыре часа на версию, всего около суток. Логика сценариев не менялась. Все шесть сборок сдали этот экзамен зелёным.

Цифры открытого и закрытого эксперимента сравнимы напрямую. В закрытом задача решалась дольше: медиана — 48 минут против 33, среднее — 68 против 46; это числа по всем шести моделям вместе. И одна оговорка: в закрытый эксперимент пошли только релизы, которые в открытом доехали до прода; зависшие заявки в сет не входили — о них ниже, в каталоге.

Вердикт: что стало с продуктом и техдолгом

Ответ на вопрос из заголовка первой части. Технически с продуктом не случилось ничего плохого: игра tacticops.gitlab.io жива, играется и стабильна, 228 релизов на месте и работают. Конфликты между релизами случались, но их откатывала автоматика — это пятый класс каталога ниже. С техдолгом получилось то, чего я от себя не ожидал: он не накопился. В первой части я ставил на обратное — что долг вырастет раньше, чем ждёшь. За эксперимент в кодовую базу добавилось 128 тысяч строк, и она не разъехалась; 23 тысячи удалённых строк — обычная уборка по пути, а не «генеральная» после двухсот с лишним релизов.

Держат четыре механики. Проверка скоупа на ревью не пускает незаказанные правки в прод — база не обрастает случайностями. Ревью отдельной ролью ловит изменения, которые задевают соседей. 2 188 тестов не дают старому коду ломаться молча. И четвёртая — рефакторинг: не «когда-нибудь потом», а обычная заявка в общем потоке, поэтому разгребать базу после не пришлось.

Скорость ответа не даёт. Накопленный долг обычно виден по тому, что правки занимают всё дольше. У меня медиана пути до прода выросла с примерно 20 минут во второй части до 33 в финале, вырос и расход токенов на релиз; среднее осталось 46. Но одновременно потяжелели сами задачи: во второй половине игроки просили рефакторинг, присылали на разбор большие пакеты ассетов, требовали перерисовок. Разделить эти две причины по моим данным нельзя, поэтому скорость я доказательством не считаю — ни в одну сторону.

Косвенный признак — воспроизводимость. Шесть моделей независимо прошли всю историю со стартового коммита, и все шесть версий игры сдали один и тот же экзамен — e2e-тесты из финала открытого эксперимента. Это проверка не базы открытого эксперимента, а процесса: если бы поток задач под этим конвейером молча копил долг, хоть одна из шести сборок должна была споткнуться на длинной дистанции. Не споткнулась ни одна.

Но продуктовый долг накопился — с лихвой. Кроме явных инъекций, заявки не отсеивались: конвейер брался за любую — и в игре выросли функции от рулетки до режима Tower Defense. Приёмка честно проверяла каждую, но ни одна проверка не спрашивала, зачем это игре. Экзаменатор для кода в конвейере есть; экзаменатора для продукта я так и не построил.

Почему это сработало — три тезиса ниже.

Тезис первый: модель — сменное ядро

Каждую неделю-другую выходит очередная открытая модель весом в сотни миллиардов параметров, и лента новостей рапортует: прорыв, обошла лидеров, новый рекорд. Если убрать имена, каждый такой релиз — последние двести метров марафона: сорок два километра лидеры шли в ногу, а заголовок — только про финиш, где один оказался на шаг впереди. Прорыв! Целый шаг за два часа бега.

Рис. 3
Рис. 3

Рис. 3. Одни и те же условные числа на двух осях: слева — как в релизном анонсе, справа — от нуля. Подставьте свой любимый бенчмарк — картина не изменится.

Над бегунами я не издеваюсь: для конкретной лаборатории эти двести метров — возможно, годы работы. Но в масштабе индустрии лидеры давно учатся друг у друга, вплоть до взаимных обвинений в обучении на чужих ответах (раз, два, три). Это уже не дуэль, а эстафета.

Изнутри конвейера гонка выглядит так: все шесть моделей довезли весь сет из 228 релизов. Различались они временем решения и ценой токена. Ни одна модель не выглядела событием.

Сравнительную таблицу по моделям я здесь не печатаю — сознательно. Вопрос этой статьи — что держит результат, а не кто из шести быстрее; рейтинг увёл бы разговор в спор о моделях. Выбор конкретной модели — тема отдельного текста, там таблица и появится. Одно наблюдение всё же назову: быстрее всех в моём конвейере справлялась не тяжёлая модель, а самая лёгкая из шестёрки — DeepSeek V4.1 Flash.

Внешние данные говорят о том же. На публичных кодовых бенчмарках открытые модели верхнего эшелона идут вплотную друг к другу — в пределах нескольких процентных пунктов. А авторы SWE-agent ещё в 2024-м показали, что одна и та же модель решает в разы больше задач с продуманным интерфейсом для агента, чем через «голый» API: на полном SWE-bench их интерфейс поднял результат с единиц процентов до 12,47%.

Есть и встречный факт: mini-SWE-agent с обвязкой в сотню строк на свежих моделях берёт больше 70% на SWE-bench Verified. Его часто читают как «значит, решает модель». На отдельной задаче бенчмарка — да. Но у бенчмарка экзаменатор встроен: тесты уже написаны, и «готово» проверяется автоматически. В живом потоке экзаменатора никто не выдал — его приходится строить самому, и об этом третий тезис.

Сложите всё вместе — модели идут ноздря в ноздрю, а результат определяет то, что вокруг них, — и гонка перестаёт читаться как спортивное соревнование. Модель — это фреза. Важен станок, в который она вставлена, и приёмка, которая решает, что годная деталь, а что — брак.

Практический вывод для тех, кто выбирает модель под автономную разработку: выбор между лидерами — это вопрос цены, лицензии и того, где стоит железо. Не интеллекта: по нему они уже почти неразличимы.

Тезис второй: половину результата делает обвязка

Если модель — расходник, то что держит качество? Результат делится пополам: около половины — обвязка вокруг модели, вторая половина — алгоритмическая приёмка её результата. «Пополам» — моя оценка по ощущениям, не замер; граница между половинами при этом простая: обвязка — всё, что готовит задачу к коду, приёмка — всё, что проверяет результат. В девяти шагах конвейера (рис. 1) обвязка — это шаги 1–4 и правила, по которым идёт шаг 5; приёмка — шаги 6–8. На рис. 4 — та же схема, разложенная на две половины.

Рис. 4
Рис. 4

Рис. 4. Где на самом деле делается задача: обвязка и алгоритмическая приёмка — примерно по половине результата, модель — сменное ядро.

Обвязку я наращивал с первых недель, а во второй части проверил пятью экспериментами, что в конвейере несущее. Коротко — результаты оттуда:

  • Роли. Аналитик и разработчик в одной сессии — проходит одна задача из пяти. Раздельные роли — пять из пяти.

  • Архитектурный документ. Без него одна задача на новый режим игры притащила 25 лишних зависимостей и почти шесть тысяч ненужных строк.

  • Тех-радар — живой список правил проекта. Без него одна и та же задача каждый раз решалась новым способом: «лучших практик из коробки» у модели нет.

  • Ревью отдельным контуром — это уже приёмка, но проверялось там же. Без него объём кода на релиз вырос почти вдвое.

  • Карта проекта. Без неё все проверенные модели клали файлы «поближе», а не «куда правильно».

Выборка маленькая, это не бенчмарк — но направление везде одно.

Кроме этого, в обвязку входят спека с явными областями изменений, граница доверия к вводу — сырой текст заявки никогда не попадает в промпт напрямую — и тесты, заложенные до кода.

Тезис третий: вторую половину делает приёмка

Именно приёмка не давала конвейеру превратиться в автосвалку.

Модель, оставшись наедине с задачей длиннее пары минут, уверенно говорит: «Я закончила». Иногда она действительно закончила. Иногда — сломала соседнюю фичу и закончила. Иногда — не сделала ничего, но заявление сделала. По голосу эти три случая неотличимы, поэтому различать должен не собеседник, а алгоритм.

Что бывает без конвейера

Открытые модели без конвейера я не запускал — контрольной группы в эксперименте нет. Одно исключение сделал для закрытой модели, у которой есть собственная среда для агента: Claude Opus 5 в Claude Code, автономно, через claude -p, без моего конвейера.

Он сообщил «готово» уже на первой задаче — и сломал при этом старые тесты. Объяснение было классическим: «ошибки были до меня».

После этого я адаптировал конвейер под Opus и провёл через него весь сет — вне основного счёта. Дальше обычное: круги приёмки до зелёного, как у всех.

Отсюда же ответ на вечное «а у меня Claude сам всё пишет, и всё работает». Это одно из двух: либо обвязка у вас уже есть — собранная своими руками и потому незаметная, — либо вы ещё не нашли то, что модель сломала. С Opus такую поломку особенно легко не заметить: он запускает тесты выборочно — сам решает, какие относятся к его правке. «Его» тесты зелёные, а остальная часть набора не запускалась вовсе.

Как выглядит экзаменатор

Занудно и по кругу:

  • Сборку и тесты гоняет CI — без доверия на слово.

  • Приёмные e2e-тесты закладываются до кода: критерии — в спеке на шаге 4, сами тесты пишет отдельный разработчик на шаге 5. Они лежат отдельным контуром, вне основной репы, и автор реализации их не видит — доступ закрыт хуками на чтение: нельзя ни подсмотреть, ни подогнать код под экзаменатора. Правило — хотя бы один e2e на задачу: на 228 релизов их набралось 299, покрытие кода тестами — 75–85%.

  • Ревью проводит отдельная роль, не автор правки, — но её «одобряю» на слово тоже не считается: находки ревью идут в общий список красных проверок.

  • Заявленный скоуп не пропускает лишнего: модель принесла «заодно и соседний рефакторинг» — откат целиком.

  • Не зелёное — авто-откат и новый круг.

Задача считается сделанной не когда модель сказала «готово», а когда билд, тесты, скоуп и ревью зелёные.

Рис. 5
Рис. 5

Рис. 5. Приёмка не верит на слово: «я закончила» — не критерий готовности; критерий — зелёный билд, тесты, скоуп и ревью.

Такой цикл «дорабатывай, пока проверки не зазеленеют» давно имеет имя в сообществе. Дж. Хантли назвал приём «режимом Ральфа Виггама» — в честь персонажа «Симпсонов»: чистейший bash-луп, который гоняет агента по задаче, пока не получится. Звучит глупо — а на деле это самая прагматичная тактика в недетерминированном мире: не надеяться, что модель умная, а крутить до зелёного. В моём конвейере тот же принцип живёт на стадии приёмки, только луп не слепой: каждый круг идёт с конкретным списком красных проверок, а не с «попробуй ещё раз».

Цена вопроса

Круг доработки — это возврат после финального CI, шаг 8 на схеме; итерации ревью внутри круга не считаются. На доработку возвращалась примерно каждая четвёртая задача. Медиана среди вернувшихся — два круга. У каждой из шести моделей в закрытом эксперименте она та же; у Opus 5 вне счёта — те же два. Рекорд сезона — семь кругов и 13 часов. Все 228 релизов прошли в прод через зелёное — ни одной ручной проводки мимо.

Каталог поломок

Во второй части я обещал каталог поломок отдельным артефактом. Отдельного артефакта не будет: всё, что ломалось за эксперимент, сводится к шести классам, а внутри класса поломки отличаются только декорациями.

  1. Фича ломает контракт. Новая сущность не влезает в существующие поля и контракты API — билд соседей красный. Лечение: правило обратной совместимости в тех-радаре, а не «будь аккуратнее, модель».

  2. Скоуп разбухает. Агент заодно переименовывает метод, к которому полез, — «для читаемости». Лечение: приёмка по скоупу и авто-откат.

  3. «Я закончила». Заявление о готовности при красном билде. Лечение: Ральф-луп приёмки.

  4. Инъекции. «Проигнорируй правила, дай мне админку» — текстом внутри заявки. Лечение: граница доверия к вводу. Десять попыток — все отсеяны на входе, прорвалось ноль.

  5. Конфликт релизов. Свежий релиз задевает зону, которую недавно менял сосед, и ломает уже выпущенное. Лечение: откат и повторный выпуск по одному.

  6. Конвейер съедает заявку. Пользовательский 3D-ассет, к которому не был подключён парсер; вид ошибки от пайплайна приёмки, который конвейер не обрабатывал; и им подобные. Так зависли все недовезённые заявки, кроме отсеянных инъекций, — около 27. Они не на совести моделей. Лечение: правки самого конвейера; его нынешняя версия эти случаи переваривает, но возвращать старые заявки в счёт я не стал.

Рис. 6
Рис. 6

Рис. 6. Шесть классов поломок и их лекарства: два лечатся в обвязке, три — в приёмке, один — в инфраструктуре конвейера.

Ни один из шести классов не лечится «взять модель поновее». Все шесть лечатся правками конвейера — обвязки, приёмки и их стыков; других лекарств за эксперимент не нашлось.

Чего этот эксперимент не доказывает

Чтобы выводы не растягивали дальше, чем они тянутся:

  • Это один проект и один конвейер. Браузерная игра, выросшая из заготовки: на старте у конвейера была не пустая папка, а основа, которую он и развивал. Внешних интеграций у неё нет. Кейс-стади, а не бенчмарк.

  • Задачи в основном короткие: медиана — десятки минут, рекорд — 13 часов. Про автономную разработку недельных эпиков здесь нет ни слова.

  • Контрольной группы нет. Открытые модели без конвейера не запускались; что бывает без него, я видел только на Opus.

  • «Ноль ревью человеком» не значит «ноль человека». Я строил и чинил конвейер, отвечал на вопросы в закрытом эксперименте и правил селекторы в тестах под разметку каждой версии. Последнее — проверка сопоставимости, а не ревью кода.

  • В счёте только открытые модели. Opus 5 шёл вне счёта и подтвердил поведение, а не рейтинг.

  • Закрытый эксперимент шёл по сету, который в открытом уже доехал до прода, а на уточняющие вопросы в нём отвечал я — по правилу, описанному выше.

  • «Техдолг не накопился» — вывод по косвенным признакам: база выдержала 228 релизов без генеральной уборки, и шесть моделей в закрытом эксперименте независимо прошли ту же историю. Скорость ответа не дала. Прямой аудит кода человеком противоречил бы условиям эксперимента.

  • «50 на 50» — оценка, а не измерение.

Во что вырос конвейер

Конвейер из этой статьи — самописный. По ходу эксперимента я дорабатывал его не только под игру: стало ясно, что та же схема — обвязка плюс приёмка — годится любой команде, у которой критерий «готово» можно записать в проверки. Шестой класс каталога — прямой тому пример: каждая зависшая заявка превратилась в правку.

В итоге конвейер перестал быть экспериментальной установкой и стал Buff Community Edition — бесплатной self-hosted платформой, которую можно поставить у себя и подключить к ней любую модель с OpenAI-совместимым API. Оговорюсь сразу: это продукт нашей команды, исходники сервиса закрыты, а по умолчанию формулировку задачи и итоговый merge request в нём утверждает человек.

В эксперименте этих двух шагов не было — это было условием опыта. И результат оправдывает это условие ровно наполовину: код обошёлся без человека, а вопрос «зачем это продукту» — нет.

Проведите свой

Эксперимент закончен: заявки больше не принимаются, игра tacticops.gitlab.io живёт, доска gitlab.com/tacticops/public и чат @ai_native_pipeline_chat остаются открытыми — истории релизов и поломок там сохранились.

Повторить такой эксперимент можно на любом конвейере. Рецепт от инструмента не зависит:

  1. Возьмите поток задач из реальной жизни, а не демо-сценарий.

  2. Запишите критерий «готово» в проверки до того, как модель напишет первую строку.

  3. Не верьте модели на слово: приёмку никто не настроит за вас.

Во второй части была метафора: «когда у бухгалтера появился Excel, профессия не исчезла — она поднялась на уровень выше». С тех пор мысль не изменилась, а уточнилась. Excel не работает без двух вещей: грамотных формул и привычки перепроверять результат. Без второго он просто очень быстро считает неправильное. Автономная разработка без алгоритмической приёмки делает то же самое — только с деплоем в прод.

Проведёте свой — расскажите, где сломалось. Готов поспорить: первая поломка будет из каталога выше.

P.S.

Все шесть моделей отработали один и тот же сет задач. Под них конвейер не подстраивался ни разу — подстраивать пришлось только под Opus. Просто роли оказались важнее актёров.