А сколько здесь твоими ручками?

[xxxphilinxxx]

Если замерить типичный рабочий цикл эксперта, работающего с AI на системной основе, то распределение выглядит примерно так: … Итого: 95% работы делает человек. Головой, а не ручками.

Без AI то же самое, только 100%. Ну и у старшего разработчика непосредственно написание кода занимает те же 5-10% времени, что вы отвели на генерацию кода AI.

Первая сцена – самая простая. Вопрос: «Что было сделано?» Все это – верхушка айсберга. Финальные артефакты, видимые снаружи. То, что за ними стоит – непрерывная работа над контекстом, сверка с ограничениями смежных проектов, проверка гипотез, взаимодействие с AI, построение мысленной модели и параллельное документирование – ни один инструмент не показывает.

Без AI то же самое, разве нет? А оценка должна быть через закрытие потребности + затраченные ресурсы + качество. Если где-то эффективность почему-то меряется количеством коммитов, то и с AI ее можно мерять, например, количеством сожженных токенов.

Метрика «время в контекстной работе» – отсутствует.

Зачем-то нужна - сделайте. Заведите тип тикета или этап “такой-то анализ”, списывайте туда время или отслеживайте время смены статуса. Но зачем? Какую пользу из нее можно извлечь? Я понимаю, как факт: что не забыли в принципе провести анализ. Но конкретное время на исследование аномалии? Не очень понимаю. Оно может разниться на порядки.

Стандартной метрики для «качества аналитического рассуждения» – нет.

Напрямую и быстро - нет, но косвенно, например, через количество выявленных на этапах разработки, внедрения и эксплуатации упущенных недостатков - вполне.

Пласт 2 · Работа без должности Третья сцена – про то, чем конкретно занимается «эксперт + AI». Как этот тип работы называется в HR-номенклатуре?

Опять ничего нового: называлось “и швец, и жнец, и на дуде игрец” задолго до появления всяких фулстеков и T-shape и повсеместно встречается, особенно в маленьких компаниях.

Расчет на пальцах: чтобы сделать эту же работу в старой парадигме, нужна была бы команда минимум из трех человек. Сроки – 3 месяца. Один человек за три недели закрыл эту работу. Формально это около 8 сэкономленных человеко-месяцев.

Тоже ничего нового: фулстек действительно может выдавать результат быстрее целой команды. Но о чем забыли сказать, так это о цене такого размена. Он ведь не бесплатен, правда? Во-первых, гарантированная потеря в качестве: практически невозможно иметь обширный набор навыков того же уровня, что и у профильных специалистов, а сторонняя помощь в виде, например, ревью, совершенно не дает такого же погружения в контекст. Во-вторых, bus фактор: работу придется подхватывать кому-то, кто вообще не в контексте происходящего, если вообще найдется кому, и это сдвиг сроков. В-третьих, неполная загрузка команды означает наличие ресурса на реагирование на инциденты, запросы, менторинг, обучение, участие в коммьюнити и т.п., а для одного человека все это опять означает сдвиг сроков. А бизнес очень хочет иметь возможность планирования. В-четвертых, создание небольшого продукта с нуля - довольно редкое явление, причем, позволяющее игнорировать ошибки проектирования на этом этапе. Тут AI действительно хороший помощник, чтобы быстро выдать результат, но речь-то в статье явно о довольно крупной компании, раз есть команды разработки, а эти команды занимаются поддержкой и развитием несопоставимо более сложных продуктов, и там-то как раз AI выгоды дает мало.

Метрика «сколько здесь ручками» – из того же ряда. Она формально существует и дает число. Раньше это число совпадало с ответом на вопрос «сколько человек сделал». Работа состояла в основном из «ручного» труда – все, что делается ручками, это и есть работа. С AI это перестало быть правдой.

Ни разу не работал где-то, где результат измеряется подобным наивным способом.

Разница – не в AI. Разница в том, насколько человек владеет инструментом. Реальная метрика новой профессиональной категории – это качество владения инструментом. Насколько точно человек задает контекст. Насколько тонко чувствует, где AI ошибается. Насколько строго проверяет результат. Насколько глубоко понимает, где начинается его собственная ответственность, а где – ограничения инструмента.

Разница в инкременте ценности, об этом говорят уже десятки лет. Бизнесу на самом деле все равно, какими инструментами ты пользуешься и насколько виртуозно ты их используешь, но эти признаки легко проверить и они статистически коррелируют с уровнем полезности, поэтому на них все еще опираются. Важнее смотреть на макроуровне и в комплексе: как прошли проекты/этапы с твоим участием, отношения с коллективом, инициативы, активности и т.д. Неважно, что ты умеешь жонглировать десятью топорами, если ты за день колешь одно полено, а другой сотрудник не умеет, но колет тысячу таких же или одно, но более твердое.

Это и есть новая грамотность. У этой новой грамотности пока нет ни собственного языка описания, ни системы подтверждения. Несколько вопросов, на которые ответа сейчас нет.

1. Что считать «качеством владения инструментом»?

2. Как измерять эффективность и оптимальность работы?

3. Где брать точки сравнения?

Простите, а раньше инструментов не было, что ли? Не измеряли работу? Не искали точки сравнения? Не было какой-то другой грамотности - например, общей компьютерной или владения иностранным языком? Еще напрашивается замена “AI” на “помощник”/“раб”/“команда”/“департамент”. Ну неужели ничего не напоминает?

4. Нужно ли вообще подтверждать этот навык? Может быть, вся система «дипломов, сертификатов, подтверждений» – артефакт индустриальной эпохи? А в мире, где инструменты усиливают эксперта в разы, единственный настоящий измеритель – это результат, показанный на реальных задачах, и все остальное – производные величины?

Что-то похожее в реальности происходит давным-давно, пусть и не везде по понятным причинам. Про дипломы многие компании вообще даже не спрашивают, если нет конкретных причин. Много расспрашивают о роли и вовлеченности. В матрицы оценок сотрудников включены макропоказатели, выше уже описывал. Все это уже было еще до первых нынешних LLM.

Boris Cherny, создатель Claude Code в Anthropic, опубликовал в X пост о пяти архетипах ролей будущего

Обещания владельцами компаний революций или рая на земле уже завтра, только лишь купите их продукт, звучат ежедневно, но их значимость должна быть оштрафована за максимальную предвзятость. Значимость слов владельцев компаний со многомиллиардными убытками и отсутствием намека на окупаемость, должна быть оштрафована еще сильнее.

Метрика не при чем. При чем – то, к чему ее применяют.

Согласен, но считаю, что вы сконструировали ложное противопоставление AI всему накопленному опыту ведения бизнеса человечеством, без которого не получилось бы статьи.