Не так давно на нас свалилась задачка: обновить криптошлюзы (КШ) «Континент» с версии 3.7.5 до версии 3.9.1 на всей VPN-сети довольно крупного клиента. Сеть географически распределена и охватывает все часовые пояса нашей необъятной Родины. Всего – порядка 120 центров управления сетью (ЦУС) с подчиненными КШ. В общей сложности нам предстояло обновить более 3500 «зелёных» устройств. Насколько нам известно, мы одни из первых выполнили обновление такого масштаба с версии 3.7.5 на 3.9.1 без замены железа и настройки сети «с нуля». То есть именно обновили существующую сеть со всеми ее текущими настройками и оборудованием. Но, как говорится, есть нюансы. Зная их заранее, вы наверняка сможете сэкономить свои ресурсы, если затеете нечто подобное.
Нюанс 1. Чтоб не запороли пароли
ЦУС как устройство централизованного управления криптосетью хранит все данные о ее настройках, и очень важно не потерять их перед обновлением. Это легко сделать, сохранив конфигурацию ЦУС из программы управления (ПУ ЦУС). При этом важно задать пароль на латинице, а лучше использовать цифровой пароль, чтобы при загрузке конфигурации точно быть уверенным, что она попадет на ЦУС версии 3.9.1. У нас был случай, когда мы задали пароль в русской раскладке, но при загрузке конфигурации на ЦУС ввести пароль в русской раскладке невозможно – будьте внимательны.
Нюанс 2. Не все флэшки одинаково полезны
Следующий очень важный аспект – носитель, с которого загружается конфигурация. Как выяснилось в процессе, не все флешки для этого подходят, даже если они были отформатированы в FAT32 или подготовлены с использованием ПО ServiceTool (входит в комплект установки ПУ ЦУС). Нам не удалось до конца понять причину такого поведения. В то же время флешка из комплекта ЦУС (зеленая в виде ключика с логотипом вендора) в 99,9% случаев с первого раза загружала конфигурацию корректно.
Нюанс 3. Обновление конфигураций
Дабы в дальнейшем вы не тратили уйму времени зря, поговорим о еще одной распространённой проблеме – некорректной загрузке конфигурации ЦУС в процессе обновления. Итак, если ЦУС после прошивки отказывается загружать конфигурацию (пробовали 4 разные флешки), то нужно всего лишь еще раз его перепрошить.
Следите за тем, чтобы все КШ при сохранении конфигурации ЦУС были в «спокойном состоянии», то есть чтобы на них были применены и обновлены все настройки с ЦУС. Например, на некоторых управляющих устройствах мы столкнулись с тем, что из-за большого количества объектов в группах и, как следствие, большого числа правил фильтрации в базе, криптошлюзам не удавалось загрузить с ЦУС соответствующие обновления конфигурации. КШ бесконечно пытались это сделать (в ПУ ЦУС напротив КШ постоянно висел значок обновления).
Решить эту проблему помогли отключение некоторых правил фильтрации, содержавших большое количество различных сервисов, или удаление сетевых объектов из управляющих центров (удалили 100 идентичных подсетей, заведенных по стандартной матрице на всех ЦУС). В одном случае нам пришлось проделать обе операции.
Нюанс 4. Сайзинг оборудования
Этот вопрос особенно актуален для проектировщиков и архитекторов со стороны эксплуатации. Для управления криптосетью из более чем 80 КШ лучше использовать как минимум IPC-500, а если подчиненных КШ более 150, то IPC-1000. Например, после обновления наш ЦУС IPC-100, управляющий 128 КШ, начал «засыпать», отклика в ПУ приходилось ждать по несколько часов. После подключения второго, более производительного резервного ЦУС (IPC-1000) и переключения на него управление вернулось, и работа ЦУС восстановилась.
Ещё одна рекомендация проектировщикам и архитекторам по КШ, а также инженерам, тестирующим ту или иную процедуру. КШ лучше использовать именно для шифрования и как можно реже возлагать на него дополнительные сетевые функции (SPAN, QoS и прочие). Например, после обновления с 3.7.5 на 3.9.1 производительность КШ сильно упала (не факт, что такая проблема будет у вас, так как она весьма специфична, но разговор не об этом). После разбора проблемы выяснилось, что функционал SPAN стал потреблять больше ресурсов. В том же ключе проявился нюанс, связанный с логированием сетевого трафика: включение всех параметров мониторинга заметно «съедало» процессорные мощности. Мораль сей басни: чем больше задействовано функционала, тем больше нюансов нужно учитывать при тестировании или планировании технических работ.
Нюанс 5. Резервное копирование
И пара слов про бэкап ЦУС. Если не обновить все до одного подчиненные КШ в ПУ ЦУС до текущей версии, то конфигурация ЦУС, которую вы сохраните, в дальнейшем не будет пригодна для восстановления. ЦУС ее просто не примет.
Мы рекомендуем обновляться сразу на версию 3.9.1, минуя 3.9.0 (в 3.9.0 изменена логика применения правил фильтрации и работы КШ в «мягком режиме», затруднена работа КШ в кластере, а также имеется ряд мелких багов).
В любом деле очень важна подготовка, и чем больше разных бэкапов вы сделаете перед обновлением, тем лучше. Например, на всякий случай сделайте скрины или выпишите на листочек настройки интерфейсов и маршрутизации – вдруг придется откатываться.
Нюанс 6. Заключительный
Отдельно скажем, что при обновлении такого количества ЦУС и подчиненных им КШ в распределённой сети не обойтись без помощи вендора. Хочется отметить коллег из «Кода Безопасности», которые оказывали своевременную и всестороннюю поддержку: диагностику по месту возникновения проблем, оперативное моделирование и выявление нюансов на своих стендах. В этой связи в крупных VPN-сетях порекомендуем приобретать техническое сопровождение в обязательном порядке.
На этом всё. Всем удачи в непростом деле сопровождения отечественных VPN-сетей. И помните: глаза боятся – руки делают.
Евгений Веретенников, инженер 2-й линии администрирования, "Ростелеком-Солар"
Михаил Данилов, администратор информационной безопасности, "Ростелеком-Солар"