В этом году российским компаниям было непросто решить, чем заменить средства защиты иностранных вендоров, которые ушли из страны. В отечественных продуктах многих классов не оказалось привычной корпоративным пользователям многофункциональности зарубежных решений, к тому же не все из них успели завоевать доверие специалистов. Но со временем отрицание сменяется принятием, а принятие перетекает в действие. Казалось бы, осталось дело за малым — выбрать нужный продукт.
Но как подступиться к этой задаче? Ведь нужно сравнить слишком много критериев: провести функциональное и нагрузочное тестирование, проанализировать архитектуру, не упустить из виду экономические показатели и много чего еще. К тому же критерии могут иметь разную важность, в зависимости от конкретной задачи и внутренних требований компании. Даже если у компаний из одной отрасли со схожим профилем бизнеса будет одна цель — выбрать систему межсетевого экранирования, результаты могут оказаться кардинально разными.
В статье я не буду рассуждать о том, какие системы лучше, а какие хуже. Вместо этого поделюсь методикой сравнения продуктов, которую мы в «Solar Интеграция» часто применяем на практике. Эта методика позволяет не только детально оценить десятки критериев, но и учесть значимость каждого критерия по сравнению с другими, что очень важно для итогового анализа сравнения.
Знакомьтесь: метод попарного сравнения, или основа методики
В 1980 году математик Томас Лори Саати в своей книге «Принятие решений. Метод анализа иерархий» описал метод попарного сравнения. В его основе лежат математический анализ и сопоставление критериев по принципу значимости одного над другим. Что это означает на практике?
Цель метода в том, чтобы помогать руководителям анализировать потребности компании и принимать взвешенные решения с учетом конкретных задач и требований по их реализации. Метод позволяет точно сформулировать ожидания от продукта, структурировать и оценить наиболее важные аспекты, влияющие на принятие решения, и построить свою матрицу значимости одного критерия над другим.
Применению этого метода для решения задач в различных областях нашей повседневной жизни посвящено достаточно много работ. Я не буду останавливаться на повторении общедоступного материала, а сразу перейду к разбору использования метода при сравнении продуктов по кибербезопасности.
Для наглядности буду рассматривать применение метода на примере наиболее распространенной в этом году задачи по подбору системы межсетевого экранирования отечественного производства. Весь процесс оценки можно разделить на несколько этапов, давайте пройдемся по каждому из них.
Этап №1. Определение требований к системе и критериев оценки
Этот этап многим знаком, ведь без постановки целей и задач невозможно оценить результат от внедрения любой ИТ-системы или системы защиты информации. Но в отличие от классического бинарного подхода «работает — не работает», метод попарного сравнения дает возможность более гибко оценить, насколько та или иная система подходит под конкретные задачи. При подготовке к сравнению необходимо максимально четко сформулировать свои потребности. Возвращаясь к примеру с межсетевыми экранами: когда такая задача стояла у нашей команды, перед сравнением продуктов мы сначала составляли расширенный список требований, а затем сокращали его до наиболее важных для нашего проекта.
Для удобства сравнения все критерии оценки можно разделить на группы. Для сравнения систем защиты информации наиболее применимы три группы критериев:
Функциональность системы. Эта группа имеет среднюю степень важности, ведь никто не отменял требования по приведению в соответствие.
Технологии — наименее важная из трех, но существенная группа критериев, особенно если смотреть на перспективу развития системы защиты.
Экономические показатели — наиболее важная группа критериев с учетом ограниченности бюджетов.
Давайте посмотрим, какие критерии может включать каждая из этих групп.
Функциональность системы
Для примера возьму наиболее востребованную функциональность межсетевых экранов, при этом критерии с заведомо равной реализацией у сравниваемых решений включать не буду. Вот что у меня получится.
Идентификация и аутентификация пользователей: здесь важно посмотреть, могут ли решения получать полную информацию о пользователях и инициируемых ими процессах, реализована ли в них возможность интеграции с Active Directory и создания правил на основе данных из AD.
Контроль доступа из внешних информационных (автоматизированных) систем: в этой части стоит сосредоточиться на функции по блокировке трафика по приложениям.
Управление сетевыми соединениями: здесь важно обратить внимание на возможность маршрутизации трафика пользователей и журналирование соединений.
Защита от спама.
URL-фильтрация.
Использование эмулятора среды функционирования программного обеспечения (поведенческий анализ или «песочница»): в этой части полезно проверить наличие встроенной функциональности по анализу трафика эвристическими методами.
Защищенный удаленный доступ для пользователей.
В зависимости от особенностей конкретного проекта, приведенные критерии оценки могут меняться.
Технологии
Архитектура: важно проверить возможность отказоустойчивого физического исполнения, необходимость внесения изменений в схему построения сети и наличие централизованной системы управления и отчетности.
Масштабирование: здесь речь идет о возможности и удобстве использования одного решения как для одного офиса компании, так и для всей группы компаний с обеспечением индивидуальных настроек для отдельных обществ.
Внедрение: с этой точки зрения стоит сравнить механизмы и протоколы, применяемые для имплементации политик безопасности.
Лицензионная политика: важно проверить гибкость лицензирования (пользователи/устройства/целевые системы).
Интерфейс пользователя: стоит обратить внимание на эргономичность, качество и функциональность дизайна интерфейса, проверить наличие мониторинга за основными параметрами системы.
Экономические показатели
В зависимости от финансовых требований компании можно рассматривать разовые и операционные затраты с разными весами или сравнивать совокупную стоимость владения решением.
Инвестиционные затраты: важно сравнить объем инвестиций, которые понадобятся на закупку оборудования и ПО, внедрение решения и в случае необходимости его доработку.
Операционные затраты: здесь речь идет о затратах после внедрения, которые компания будет нести в течение всего жизненного цикла продукта.
Этап №2. Оценка критериев
После определения перечня критериев можно приступить непосредственно к сравнению критериев между собой. Для этого я применю девятибалльную шкалу, в которой единица означает равнозначность критериев, а оценка в девять баллов, напротив, говорит о максимальном превышении значимости одного критерия над другим. Для наглядности приведу распределение значений по оценочной шкале для критериев A и B.
Оценка | Значение |
1 | А и В одинаково важны |
3 | А незначительно важнее В |
5 | А значительно важнее В |
7 | А явно важнее В |
9 | А по своей значительности абсолютно превосходит В |
2, 4, 6, 8 | Соответствующие промежуточные значения |
Для начала давайте оценим вес каждой группы выбранных критериев. Для автоматизации процесса в интернете можно найти специальные программы, но я применю «калькулятор» в таблице Excel. Как показано в приведенной ниже таблице, оценка критериев из первого столбца по отношению к критериям в верхней строке проставляется в ячейках, подсвеченных зеленым цветом. В нижней части оценка будет обратной, то есть высчитывается как единица, деленная на оценку в верхней части таблицы.
Итак, в моем примере с межсетевыми экранами стоимость играет важную роль, поэтому при оценке пар «Стоимость» — «Функциональность системы» и «Стоимость» — «Технологии» я поставлю пять баллов, то есть в этом случае стоимость значительно важнее других параметров. Оценивая пару «Функциональность системы» — «Технологии», я приму за аксиому тот факт, что функциональность будет явно важнее для решения поставленных задач, поэтому оценка будет семь баллов.
Затем необходимо оценить вес критерия среди всех рассматриваемых в группе. На языке математики это значит, что нужно определить вектор приоритетов по матрицам, то есть вычислить главный собственный вектор, который после нормализации становится вектором приоритетов. Сделать это можно четырьмя способами с различной степенью точности. Я воспользуюсь одним из самых точных вариантов, который можно реализовать без специализированных ЭВМ путем усреднения по нормализованным столбцам.
Выполню нормализацию столбца. Для этого разделю значения элементов в выбранной строке на сумму значений элементов в соответствующих им столбцах.
Затем сложу полученные значения и разделю результат на количество элементов в строке.
Для примера рассчитаю по описанному выше методу вес критерия «Стоимость» в группе критериев «Стоимость», «Функциональность системы» и «Технологии». Получится следующая формула:
Результаты оценки для каждого критерия представлены в таблице ниже в столбце «Вес критерия в группе, %».
Аналогичным образом необходимо оценить значимость и проставить вес каждого критерия во всех группах критериев.
Сравнение экономических показателей
Для тех, кто сталкивался в своей работе с задачей экономического обоснования решений, оценка показателей этой группы будет привычной. Достаточно запросить у вендоров данные о стоимости владения решением на один год, три и пять лет, и можно приступить к оценке показателей:
Первичные инвестиции (САРЕХ) — могут включать затраты на поставку оборудования и лицензий, обучение специалистов, закупку сопутствующего оборудования, например серверов и коммутаторов.
Операционные затраты (ОРЕХ) — на продление лицензий и поддержки оборудования производителем.
Поскольку в приведенном примере стоимость системы будет являться наиболее важным фактором принятия решения, я буду проводить сравнение по суммарной стоимости без разделения на САРЕХ и ОРЕХ.
Сравнение функциональности решений
Попарное сравнение функциональных критериев я разберу на примере сравнения первого критерия из списка — идентификации и аутентификации пользователей — с другими критериями в группе. Результаты оценки показаны в матрице ниже, где критерии из первого столбца сравниваются с каждым из критериев по вертикали.
«Идентификация и аутентификация» пользователей равнозначна «Контролю доступа из внешних информационных (автоматизированных) систем», поэтому этой паре критериев я поставлю единицу.
«Управление сетевыми соединениями» является равнозначной задачей, так что и здесь поставлю один балл.
«Идентификация пользователей» незначительно важнее «Защиты от спама» и «URL-фильтрации», поэтому здесь оценка будет три балла.
Поведенческий анализ («Песочница») является значительно менее приоритетной задачей для выбираемого межсетевого экрана, поэтому в этом случае поставлю пять баллов.
Представьте, что количество удаленных пользователей в рамках проекта будет минимальным. В таком случае «Идентификация пользователей» будет значительно важнее «Защищенного удаленного доступа», и здесь я поставлю семь баллов.
Аналогичным образом необходимо сравнить оставшиеся пары критериев. При этом важно помнить, что с каждым шагом количество сравниваемых между собой пар будет уменьшаться, так как их сравнение уже было проведено ранее. В таблице пересечения критериев отмечены зеленым цветом.
При формировании матрицы нужно учитывать, что чем больше она получится, тем сложнее будет сделать попарное сравнение критериев, поэтому я рекомендую выбирать не более 10–15 самых важных критериев.
Сравнение критериев по группе «Технологии»
Аналогичным образом нужно заполнить матрицу для критериев группы «Технологии». Подробное пояснение расчетов в этом случае я опущу и сразу приведу получившийся результат.
На этом этапе я определил вес каждого критерия в соответствующей группе. Но не стоит забывать, что собственный вес имеет и каждая группа критериев. Таким образом, при подведении итогов будет учитываться вес критерия с учетом веса его группы, то есть итоговый вес критерия будет равен произведению веса группы на вес критерия в группе. Например, итоговый вес критерия «Контроль доступа», входящего в группу критериев «Функциональность системы», будет равен:
Этап 3. Проверка выполнимости критериев
Перейду к заключительной, самой важной и трудоемкой, стадии. Теперь необходимо оценить выполнимость критериев. По моему опыту проведения аналогичных сравнений, максимально объективный и точный результат можно получить только после проведения функционального и нагрузочного тестирований сравниваемых решений.
Как заведено, результаты проведенных тестирований заносятся в протоколы, на основании которых можно заполнить последний раздел матрицы — критерии выполнимости. Для наибольшей эффективности оценки я снова не буду использовать триггеры в виде фраз «да» или «нет», а применю градацию по степени достижимости результатов тестов, при этом приведенные ниже баллы будут служить коэффициентом для финальной оценки. Это позволит оценить промежуточные значения, например, если функциональность имеется, но не отвечает вашим требованиям или находится в стадии разработки производителем.
Оценка | Балл |
Полностью соответствует | 10 |
Соответствует со значительными отступлениями | 7 |
Соответствует на приемлемом уровне | 5 |
Во многом не соответствует | 3 |
Полностью не соответствует | 0 |
После внесения полученных результатов в сравнительную таблицу я получаю итоговый балл для каждого критерия и решения выбранного производителя. Он будет равен произведению итогового веса критерия и баллу оценки. Приведу пример для одного из сравниваемых решений по группе критериев «Функциональность системы».
Функциональность системы | Итоговый вес критерия | Производитель 1 | ||
Результат тестирования | Оценка | Итоговый балл критерия | ||
Идентификация и аутентификация пользователей | 6,99% | Соответствует с незначительными отступлениями | 7 | 0,49 |
Контроль доступа | 6,57% | Соответствует с незначительными отступлениями | 7 | 0,46 |
Управление сетевыми соединениями | 6,30% | Соответствие на приемлемом уровне | 5 | 0,32 |
Защита от спама | 2,96% | Соответствует с незначительными отступлениями | 7 | 0,21 |
URL-фильтрация | 2,96% | Соответствует с незначительными отступлениями | 7 | 0,21 |
Поведенческий анализ | 1,42% | Полностью не соответствует | 0 | 0,00 |
Защита удаленного доступа | 0,95% | Во многом не соответствует | 3 | 0,03 |
Итоговый балл решения по группе критериев: | 1,71 | |||
Этап 4. Подведение итогов
Таким образом, в результате весьма кропотливой и трудоемкой работы можно получить объективную оценку результатов сравнения.
Производитель 1 | Производитель 2 | Производитель 3 | |
Стоимость | 5,42 | 5,42 | 4,78 |
Функциональность | 1,71 | 1,81 | 1,71 |
Технологии | 0,63 | 0,66 | 0,46 |
Общий рейтинг | 7,76 | 7,89 | 6,95 |
Для наглядности при презентации результатов руководству компании можно представить их в виде диаграммы.
Проведенное сопоставление решений методом попарного сравнения стоит воспринимать как результат выполнения частной задачи. Рассмотренный подход не дает финальную оценку о том, что одно решение лучше или хуже другого. При изменении параметров сравнения вес критериев, критерии достижимости результата и ранжирование производителей поменяются.
При подготовке статьи я рассматривал гипотетическую задачу. Совпадения в критериях, оценках и баллах с проведенными сравнениями случайны.
Автор: Андрей Бондарев, руководитель направления сетевой безопасности центра «Solar Интеграция» компании «РТК-Солар»