Раньше уход эксперта обнулял понимание задним числом. Теперь понимание может вообще ни разу не возникнуть в человеческих головах: у кода никогда и не было живого автора с полной моделью.
«При необходимости картина восстанавливалась» работает, когда её кто-то когда-то построил. Восстановить можно то, что было спроектировано связно. Если у кода ни разу не было автора с цельной моделью, вы не восстанавливаете картину, а реверсите то, что никто связно не задумывал.
«Ответ возникает в моменте, диапазон сканирования вырос». Что ИИ умеет мгновенно отвечать на архитектурный вопрос и помогать онбордингу, я в статье прямо признаю, рамка «ИИ как живой комментарий к легаси» реальна. Но у неё есть граница:
работает при наличии исходной документации и приличных практик. Если их нет, ИИ сгенерирует правдоподобное объяснение, которое нечем проверить.
«Ответ в моменте» полезен ровно настолько, насколько есть на что его проверить. Иначе вы получаете быстрый и уверенный ответ, который может быть неверным, и не отличите одно от другого.
«сейчас лучше, сейчас быстрее». Это субъективное ощущение, и именно его в RCT измерили отдельно:
люди прогнозировали, что ИИ ускорит их на 24%... они оценивали ускорение в 20%. А по факту ИИ замедлил их на 19%.
Люди вообще склонны себя переоценивать, это не порок, и METR чуть выше как раз про это. Статья не кричит «всё пропало». Она показывает, где это искажение реально бьёт по разработке, не скрывает, что большую часть проблем завезли ещё до ИИ, и что почти на каждую есть управа.
Полностью поддерживаю. Недавно ИИ меня чуть не загазлайтил, уверяя что все действительно так. Даже засомневался, пока не вернулся домой и сам все не перепроверил.
LLM склонен обобщать, стараться дать ответ и так далее.
Про «понимание и так условное на старом проекте», текст с этим не спорит, частичность понимания на легаси и давления вроде «тыжфуллстек» существовали до всякого ИИ. Поинт в другом, в качественной разнице:
Раньше уход эксперта обнулял понимание задним числом. Теперь понимание может вообще ни разу не возникнуть в человеческих головах: у кода никогда и не было живого автора с полной моделью.
То есть на вашем семилетнем проекте понимание было и деградировало. Новое здесь то, что его может не возникнуть ни разу.
Про «команда с LLM разберётся в любом коде, а код топовых моделей более чем адекватный», тут как раз место, где данные расходятся с интуицией. «Адекватный» он ровно по тем осям, которые меряют линтеры и базовые тесты, и систематически нет по тем, которые автоматически никто не меряет:
тривиальные синтаксические ошибки в ИИ-коде упали на 76%, логические баги более чем на 60%, зато пути privilege escalation выросли на 322%, а архитектурные дефекты на 153%
И «разобраться через LLM постфактум» это не бесплатно: читать и верифицировать дороже, чем писать (это ещё Керниган в 1974-м), а само ИИ-объяснение
работает при наличии исходной документации и приличных практик. Если их нет, ИИ сгенерирует правдоподобное объяснение, которое нечем проверить.
Так что «топовые модели и харнесы всё вывезут» это ровно та надежда, которую я в разделе про неизвестное помечаю как данными пока не подкреплённую.
«При необходимости картина восстанавливалась» работает, когда её кто-то когда-то построил. Восстановить можно то, что было спроектировано связно. Если у кода ни разу не было автора с цельной моделью, вы не восстанавливаете картину, а реверсите то, что никто связно не задумывал.
«Ответ возникает в моменте, диапазон сканирования вырос». Что ИИ умеет мгновенно отвечать на архитектурный вопрос и помогать онбордингу, я в статье прямо признаю, рамка «ИИ как живой комментарий к легаси» реальна. Но у неё есть граница:
«Ответ в моменте» полезен ровно настолько, насколько есть на что его проверить. Иначе вы получаете быстрый и уверенный ответ, который может быть неверным, и не отличите одно от другого.
«сейчас лучше, сейчас быстрее». Это субъективное ощущение, и именно его в RCT измерили отдельно:
Люди вообще склонны себя переоценивать, это не порок, и METR чуть выше как раз про это. Статья не кричит «всё пропало». Она показывает, где это искажение реально бьёт по разработке, не скрывает, что большую часть проблем завезли ещё до ИИ, и что почти на каждую есть управа.
Полностью поддерживаю. Недавно ИИ меня чуть не загазлайтил, уверяя что все действительно так. Даже засомневался, пока не вернулся домой и сам все не перепроверил.
LLM склонен обобщать, стараться дать ответ и так далее.
Про «понимание и так условное на старом проекте», текст с этим не спорит, частичность понимания на легаси и давления вроде «тыжфуллстек» существовали до всякого ИИ. Поинт в другом, в качественной разнице:
То есть на вашем семилетнем проекте понимание было и деградировало. Новое здесь то, что его может не возникнуть ни разу.
Про «команда с LLM разберётся в любом коде, а код топовых моделей более чем адекватный», тут как раз место, где данные расходятся с интуицией. «Адекватный» он ровно по тем осям, которые меряют линтеры и базовые тесты, и систематически нет по тем, которые автоматически никто не меряет:
И «разобраться через LLM постфактум» это не бесплатно: читать и верифицировать дороже, чем писать (это ещё Керниган в 1974-м), а само ИИ-объяснение
Так что «топовые модели и харнесы всё вывезут» это ровно та надежда, которую я в разделе про неизвестное помечаю как данными пока не подкреплённую.
Да, часть рутины до которой всегда не доходили руки, llm с лёгкостью берёт на себя. И это прекрасно.
Многие вещи стали доступны на расстоянии вытянутого промта. В том числе агрегация и поиск информации.
Об этом подробнее, буквально через блок.
Нет понимания у команды. К тому же понимание ии, довольно условно.