У заказчика / покупателя, как у любой открытой системы, есть вход и выход – доходы и расходы. Он ожидает, что расходы на автоматизацию позволят, как минимум, сократить издержки, а в идеале – увеличить доходы, то есть будут эффективны. Чтобы управлять эффективностью, важно уметь ее оценивать.

Перефразируя известный парадокс нобелевского лауреата Роберта Солоу, мы наблюдаем цифровую эру всюду, кроме статистики по производительности труда: ИТ не оправдывают наши ожидания на лучшую экономику. Правда, профессор Стэнфорда Эрик Бриньолфссон предложил еще один парадокс – при всей очевидности, не существует метода прямой и строгой оценки эффекта от внедрения ИТ: лишь время покажет, и порой, увы, не скоро.

Не стану спорить с уважаемыми коллегами. Добавлю, что количество и качество труда на единицу времени, во все известные эпохи, зависит не столько от орудий этого труда, даже при прочих равных, сколько от самого трудящегося. А цифра нужна далеко не только для производительности, но - вспоминаем теорию систем – еще и в целях снижения ресурсоемкости и увеличения оперативности процессов, а также роста показателей качества управления в целом.

Вместе с тем, есть ощущение, что разговоры о недостаточной или сомнительной эффективности ИТ – от неумения ее посчитать. Хотя для большинства проектов это вполне решаемо. Как? Общая схема примерно такая (см. табл. 1):

Сначала определяете параметры бизнес-процессов, на величину которых можно влиять: скажем, вы автоматизируете складские операции, одним из параметров может быть скорость инвентаризации.
Затем выясняете норму улучшения каждого параметра – ищете в открытых источниках данные по аналогичным отраслевым проектам.
Далее собираете фактические оценки нужных параметров на объекте автоматизации – а если таких фактов нет, то апроксимируете аналогичные данные по рынку.
Завершаем элементарной арифметикой – умножаем норму улучшения параметра (в%) на факт и получаем значение ожидаемого эффекта от внедрения ИТ в части указанного параметра.

Эта оценка – прогноз, хоть и высоковероятный, при условии качественного анализа нормы улучшения. Необходимы регулярный мониторинг фактических значений параметров в ходе эксплуатации конкретного ИТ-решения – и понимание, что цифровых чудес не бывает, а эффективность организации определяет множество факторов, главный из которых – человеческий.

Таблица 1 - Методика многокритериальной оценки экономической эффективности эксплуатации автоматизированной информационной системы (АИС)

№	Параметр	Оценка выгоды	Издержки без АИС	Формула расчета эффекта	Эффект от АИС
№	A	B	C	D	E
1.1	Например, оперативность инвентаризации	Ускорение в 2 раза	<...> часов	С1.1 - (C1.1 / B) =	Сокращение затрат времени на <...> часов
1.2	Например, оперативность инвентаризации	Ускорение в 2 раза	<...> руб. за 1 час	(C1.1 / B) * C1.2 =	Экономия <...> руб.
2.1	Например, оперативность приемки и отгрузки на складе	Ускорение на 45%	<...> часов	(C2.1 * B) / 100% =	Сокращение затрат времени на <...> часов
2.2	Например, оперативность приемки и отгрузки на складе	Ускорение на 45%	<...> руб. за 1 час	(C2.1 * B * С2.2) / 100% =	Экономия <...> руб.
3.1	…..	…..	…..	…..	…..
	…..	…..	…..	…..	…..

В свою очередь, о результативности проекта автоматизации можно судить по достижению ожидаемых эффектов. Сначала, в соответствии с теорией системного анализа, оцениваем степень достижения каждого из них по следующим критериям:

адекватность/пригодность (соответствие проекта внедрения АИС ожидаемому эффекту в плане достижения его максимума);
оптимальность (необходимость и достаточность проектных решений для эффекта);
превосходство над потенциальными аналогами (насколько решения лучше тех, что есть или могли бы быть вместо).
Далее по всем критериям для каждого ожидаемого эффекта необходимо дать оценку по нечеткой шкале:
- да – 1;
- почти да – 0,8;
- больше да, чем нет – 0,6;
- больше нет, чем да – 0,4;
- почти нет – 0,2;
- нет – 0.

Таким образом, по правилам нечеткой арифметики, оценивание результативности ИТ-проекта сводится к расчету среднего арифметического из суммы значений оценок по каждому критерию каждого из эффектов и соотнесения полученного значения с нечеткой шкалой (качественной оценкой).

Также можно получить интегральную квалиметрическую оценку результативности проекта в целом, рассчитав среднее арифметическое из суммы всех оценок по всем эффектам и так же соотнеся ее с нечеткой шкалой. Оценивание можно провести по предварительным итогам выполнения задач по проекту, а также делать регулярно по периодическим эффектам (например, динамика производительности труда или рентабельность средств производства) с помощью опроса непосредственных участников каждого из бизнес-процессов, в которых проявляются указанные эффекты.

Алгоритм инвариантный и простой, однако следует учитывать субъективность персональных оценок и не забывать про более объективные количественные показатели (деньги, продуктивность, тренды), используя их все в совокупности.

Как при этом оценить в целом, насколько хорошо мы автоматизируем те или иные бизнес-процессы? Хорошо и плохо в данном случае – совсем не бихевиористские понятия из стихотворения Маяковского. Это вполне живые квалиметрические величины, которыми оперирует сознание заказчика или покупателя – и из которых они делают вывод о перспективах сотрудничества с исполнителем и вендором ИТ-решения. Ясно, что работать в терминологии хорошо/плохо невозможно – ее нужно приземлить на семантику цифры.

Рассматривая рабочие процессы, мы видим в них системные свойства, у них есть свой жизненный цикл – число шагов, работ, этапов выполнения, связанных в потоки. Одним из вариантов интерпретации "хорошей автоматизации" может стать оценка ее полноты – степени покрытия бизнес-процесса функциональностью информационной системы.

Оценке нужны шкала и критерии – воспользуемся тем фактом, что, в соответствии с теорией вычислительной сложности, наша проблема относится к вероятностным за полиномиальное время с ограниченной ошибкой (BPP-класс), где для истинности утверждения достаточно вероятности 2/3, и возьмем три значения полноты и три метрики (см. табл. 2). Этот же принцип используем для соотнесения значений метрик и шкалы.

Таблица 2 – Методика оценки полноты информатизации и автоматизации бизнес-процессов

Значения шкалы полноты	Полная	Частичная	Слабая
Критерии оценки	Полная	Частичная	Слабая
Охват этапов ЖЦ БП	АИС поддерживает все этапы ЖЦ	АИС поддерживает не меньше 1/3 этапов ЖЦ	АИС поддерживает меньше 1/3 этапов ЖЦ
Достаточность АИС для обеспечения БП	Другие АИС не требуются (не обязательны)	Требуется обязательное использование других АИС, но не более чем в 1/3 этапов ЖЦ	Требуется обязательное использование других АИС более чем в 1/3 этапов ЖЦ
Необходимость участия человека в реализации БП	Не требуется	Требуется не более чем в половине этапов ЖЦ	Требуется в большинстве этапов ЖЦ

Сокращения:

АИС – автоматизированная информационная система
БП – бизнес-процесс
ЖЦ – жизненный цикл бизнес-процесса, совокупность этапов его реализации

Тогда для определения полноты автоматизации процесса необходимо посчитать число этапов его жизненного цикла – в реальных кейсах, на основании регламентов и экспертизы из аналогичной практики. Следует также свериться с разработанной ранее функциональной моделью. Далее полноту оцениваем по каждому критерию и выставляем по шкале. Получаем множество из трех оценок – в качестве результирующего берем то значение шкалы, по которому полнота удовлетворяет не менее чем двум критериям.

Методика может пригодиться, помимо прочего, для подтверждения результативности в контексте эффективности проекта внедрения АИС, а также в отчетах по госконтрактам и грантам из бюджетных фондов.

Как оценить эффективность информационной системы