Заканчивается 2025 год, повсюду цели и лозунги о внедрении ИИ. Каждый месяц мы видим очередную новость о том, что AI технологии совершили прорыв и наша жизнь уже не станет прежней. Но действительно ли ИИ повышает производительность IT-специалистов? Без объективных метрик сложно понять - приносит ИИ пользу и сокращает трудоемкость, или создает новые проблемы - усложняет процесс, увеличивает технический долг и снижает качества кода.

Меня зовут Ларин Станислав, я руковожу разработкой и интеграцией IT-систем в финтехе. Мои команды активно внедряют ИИ в производственный процесс, поэтому в статье я поделюсь теорией и примерами оценки эффективности внедрения ИИ.

О чем статья?

  1. Оценка эффективности внедрения ИИ в компании (собственный опыт + опыт ведущих ИТ компаний)

  2. Способы повышения эффективности ИИ после внедрения

Что за ИИ или AI мы обсуждаем?

В этой ст��тье описываются ИИ и AI технологии, доступные IT специалистам:

Мы не обсуждаем всеми любимые генеративные сервисы для фото и видео, они не используются в разработке неигрового ПО. А также, игнорируем специализированные модели, фактически, отдельные системы, разработанные для решения конкретных узкопрофильных задач компаний.

Оценка эффективности внедрения ИИ в компании (собственный опыт + опыт ведущих ИТ компаний)

Зачем вообще измерять продуктивность? Все просто: цель любого проекта внедрения - это получение бизнес-результата, а не факта внедрения системы.

Если эффект на бизнес устраивает стейкхолдеров, а пользовательский опыт нравится сотрудникам, остается только распределить человеческие ресурсы так, чтобы все были заняты делом с учетом изменившихся ролей и бизнес-процессов.

Но как же измерить этот эффект? В 2025 г. каждая компания делает это по-своему. Я проанализировал исследование коллег из Developer Experience о том, как это делают гиганты индустрии - Google, Microsoft, GitHub и другие. Кратко - они комбинируют специфичные для ИИ метрики (например, уровень внедрения) с ключевыми инженерными метриками (например, скорость и качество поставки).

Если взять результат их работы и добавить метрики из собственного опыта, рекомендую сосредоточиться трёх ключевых группах метрик:

  • Использование - насколько активно внедряются и используются AI-инструменты

    • Использование AI‑инструментов (DAUs/WAUs и другие производные)

    • Доля PR, выполненная с помощью ИИ

    • Доля кода, сгенерированного ИИ

    • Процент рабочих запросов (анализ запросов сотрудников и исключение тех, которые не относятся к рабочим задачам)

  • Влияние - измерение влияния на производительность: прямые (экономия времени разработчиков) и косвенные метрики

    • Экономия времени за счет ИИ (часы специалистов)

    • CSAT (Customer Satisfaction Score)

    • DXI (Developer Experience Index)

    • Пропускная способность PR

    • Скорость поставки

    • Поддерживаемость кода

    • Процент неудачных изменений

    • Метрики DORA (Deployment Frequency, Lead Time for Changes, Mean Time to Recover, Change Failure Rate)

    • Cycle Time

  • Стоимость - эффект от инвестиций (отслеживание затрат и чистой прибыли)

    • Затраты на ИИ (как общие, так и на одного разработчика)

    • Чистый прирост времени на одного разработчика (экономия времени − затраты на ИИ). Это самая сложная метрика, т.к. необходимо для каждой роли определить, какие показатели эффективности для него подходят.

Эти группы продиктованы жизненным циклом внедрения ИИ - сначала команды уделяют приоритетное внимание внедрению и использованию, затем переходят к оценке влияния и в конечном счёте руководство сосредотачивается на экономической эффективности. Для этого необходимо выбрать те метрики и технологии, которые подойдут вашей команде или компании. Например, можно выбрать наиболее подходящие вам метрики из таблицы ниже.

Из таблицы видно, какие параметры преобладают в ИТ-компаниях при оценке эффективности ИИ:

  • DAU/WAU/MAU: число уникальных пользователей, которые взаимодействовали с инструментом ИИ в течение дня, недели или месяца. Это базовый показатель внедрения и вовлеченности внутри компании.

  • CSAT и CSAT - показатели удовлетворенности инструментом. Измеряются с помощью опросов и обратной связи.

  • Pull Request Throughput: количество изменений, которые команда или сотрудник вливает в основную ветку за определенный период.

  • Change Failure Rate: процент изменений, которые приводят к сбоям в продакшене и требуют исправлений. Важно отслеживать эту метрику вместе с метриками скорости, чтобы убедиться, что ускорение не происходит за счет качества.

  • DORA Metrics (Deployment Frequency, Lead Time for Changes, Mean Time to Recover, Change Failure Rate): набор из четырех ключевых метрик для оценки производительности DevOps-команд. Включает в себя частоту развертывания, время выполнения изменений, время восстановления после сбоя и процент неудачных изменений.

  • Cycle Time: время, которое проходит с момента начала работы над задачей до ее завершения (например, от создания ветки до слияния PR).

Пример Dropbox

Наиболее эффективный пример внедрения - Dropbox. Компания достигла 78% уровня использования ИИ-инструментов среди инженеров. Dropbox отслеживает такие метрики, как ежедневные и еженедельные активные пользователи ИИ-инструментов, удовлетворенность клиентов ИИ-инструментами, сэкономленное время на инженера и затраты на ИИ. Сочетая эти данные с другими метриками (частота откатов изменений, пропускная способность PR), Dropbox обнаружил, что инженеры, регулярно использующие ИИ, публикуют на 20% больше PR (pull-request) в неделю, одновременно снижая частоту откатов изменений.

Способы повышения эффективности ИИ после внедрения

Что делать, если вы внедрили ИИ, оценили эффективность и поняли, что она слабовата? В этом случае, вы можете улучшать качество не только со стороны процессов компании, но и со стороны самой системы. Необходимо знать о возможностях погружения ИИ в вашу специфику, если она есть или если вас не устраивает качество результатов. Наиболее популярные сейчас способы - это RAG, MCP и Fine-Tuning.

MCP - это не альтернатива RAG или Fine-Tuning, а дополнение к ним. В то время как RAG работает с базой знаний, а Fine-Tuning меняет саму модель, MCP предоставляет возможности для взаимодействия с внешним миром в реальном времени. Дает руки вашей системе.

Идеальное сочетание - это MCP + RAG / Fine-Tuning. Такая связка создает мощнейшую систему, где модель имеет знания и возможность действовать, а также говорит с вами на одном профессиональном языке.

Заключение

Эффективность измеряется не только использованием ИИ и скоростью написания кода, но и качеством процессов и способностью решать сложные проблемы. А это требует пересмотра ролей в сторону аналитики, проектирования и управления ИИ. AI служит инструментом для автоматизации рутины, но не заменяет людей - критическое мышление и архитектурные решения.

В конечном счете, цель внедрения ИИ — не получить красивые цифры для отчета, а создать более эффективный процесс разработки. В новом процессе ИИ становится вашим партнером - закрывает базовые задачи, пока вы сосредоточены на стратегических и интеграционных задачах.

Удачи в ваших проектах!