Pull to refresh

Как и зачем ВТБ перевел 14 000 рабочих мест на VDI

ВТБ corporate blog IT Infrastructure *
Традиционно внедрение VDI как способа доступа к консолидированным ресурсам связано со значительными финансовыми затратами на старте. Но наш кейс отлично демонстрирует причины, по которым VDI набирает популярность. С учетом накопленного опыта, для нас это было единственное оптимальное решение, позволяющее перейти к управляемой стандартизованной инфраструктуре, которая позволяет снизить затраты на ее модернизацию в будущем.

Предпосылки
За почти 25 лет инфраструктура банка ВТБ превратилась в сложноуправляемое сочетание разрозненных систем. Исторически IT-системы филиалов развивались самостоятельно: в каждом был организован собственный ЦОД, развернуты серверные решения (Exchange и другие) со своими лицензиями, политиками и стандартами безопасности. Понятно, что управлять столь разрозненной экосистемой непросто. В каждом филиале нужна была своя команда сопровождения со специалистами узкого профиля, а не просто эникейщиками.
Уже некоторое время заметен общемировой тренд на консолидацию и оптимизацию ресурсов. Это позволяет упростить процессы, что ведет к снижению сложности инфраструктуры, повышению отказоустойчивости и контролируемости в контексте безопасности, в том числе и с точки зрения утечки личных данных при постоянной смене линейного персонала. Этот тренд заметен и в крупных банках, поэтому неудивительно, что аналогичные цели ставило перед собой IT-подразделение ВТБ.
Но, как это обычно бывает, сложность обслуживания текущей системы – не единственный фактор, который пришлось учитывать, планируя развитие. Для нас очень важным было усиление мер безопасности (и значительных расходов, которых оно требовало), а также обновление технологически и морально устаревшего парка ПК на рабочих местах пользователей.
Оптимальным для нас оказался перевод пользователей на VDI. Фактически это был единственный подход, который позволил бы нам быстро и надежно обеспечить доступ к консолидированной инфраструктуре для филиалов, распределенных по всей стране. Другие варианты доступа существенно ограничивали бы производительность отдельных приложений (особенно самописных решений с частыми обращениями к серверу) при попытке работы через WAN-каналы с их лимитами по пропускной способности и большим временем отклика. VDI же обходится без обмена объемными данными, оставляет всю логику на сервере и передает на тонкий клиент лишь изображение с рабочего стола. Это позволяет равномерно распределить нагрузку на канал, избегая пиков при записи и чтении данных. Дополнительный плюс VDI в том, что для глаз конечного пользователя это решение намного проще, нежели VPN или другие решения для доступа к консолидированным ресурсам.
План по перспективам развития IT-инфраструктуры банка в регионах
Поэтому, несмотря на значительные затраты на само внедрение, мы решились на этот проект. В итоге он принес нам упрощение инфраструктуры и процессов управления ее компонентами, оптимизацию ресурсов и сокращение издержек в ходе обслуживания. Мы получили современную и легко масштабируемую инфраструктуру. В конечном счете это позволит нам улучшить сервис для клиентов. Но обо всем по порядку.
О деталях реализации
Проект начался в 2015 году, когда происходило объединение с Банком Москвы. Изначально мы не планировали вести оба проекта параллельно, однако в итоге перевод пользователей на VDI помог ускорить сложный процесс интеграции двух IT-инфраструктур «с историей».
Реализацией проекта занимались специалисты компании «Инфосистемы Джет».
Пилот
До начала проекта федеральных масштабов в одном из регионов – в Воронеже – был развернут пилотный проект на 300 рабочих мест. Несмотря на то, что «Пилот» имел архитектуру, немного отличную от целевой, он давал вводную информацию об утилизации каналов и других особенностях VDI применительно к нашему банку и полностью подтвердил жизнеспособность идеи в масштабах всей инфраструктуры. И мы приступили к реализации.
Архитектура решения
После анализа потребностей банка коллеги из «Инфосистем Джет» разработали «блочную» архитектуру решения.
Блок (или POD) обслуживает 2000 пользователей – сотрудников банка. Технически это два кластера, каждый из которых состоит из 12 серверов. Реализовано семь однотипных блоков – для 14000 пользователей. При этом шесть из них равномерно распределены по двум площадкам. Последний, седьмой блок, построен как Metro-storage cluster (территориально-распределенная инсталляция), при котором половина ресурсов находится на одной площадке, а половина – на другой. Таким образом блок способен перенести как локальные единичные отказы компонентов на одной из площадок, так и выход из строя площадки целиком.
Все служебные виртуальные машины (СУБД, брокеры подключения, серверы антивирусной защиты и т.д.) размещаются в отдельном управляющем блоке, который также развернут в виде территориально-распределенной инсталляции.
Инструменты защиты стоят на отдельной виртуальной машине на каждом сервере, то есть перехват угроз организован еще на уровне виртуальных машин.
Железо
Аппаратная часть решения – серверное оборудование Huawei, которое при сходных показателях надежности и удобства администрирования оказалось дешевле серверов других зарубежных производителей.
Выбор остановили на типовой конфигурации сервера Huawei RH1288 V3.
Помимо Huawei, мы использовали четыре массива Hitachi VSP G600 (с All-Flash накопителями формата FMD для хранения виртуальных машин и SAS жесткими дисками для хранения пользовательской информации) с синхронной двусторонней репликацией данных на основе технологии Hitachi GAD.
Сетевая инфраструктура
Сеть Access-уровня реализована на базе Cisco Nexus 5672 10 Гбит.
При слиянии IT-инфраструктур двух банков (ВТБ и Банка Москвы) пришлось решать один принципиальный вопрос – частично пересекающееся адресные пространства. Именно он не позволял быстро объединить сетевые сегменты.
Кроме того, архитектура сети банка включает большое число L2-коммутаторов, на которых организовано множество сетевых сегментов, разделяемых при помощи VLAN. Добавление большого количества новых сетевых устройств – физических серверов и виртуальных машин – привело к переполнению таблиц MAC-адресов на коммутаторах. Для решения проблемы потребовалось оперативно обновлять сетевые коммутаторы.
Одним из вариантов радикального решения этой проблемы является развертывание программно-конфигурируемых сетей, позволяющих уйти от классических механизмов сегментации сети средствами VLAN в пользу overlay-сетей на базе VXLAN. Это помогает уменьшить наполняемость таблиц MAC-адресов на коммутаторах. И мы планируем учитывать это в дальнейших планах развития сети.
При конфигурировании сети пришлось столкнуться и с необъяснимыми на первый взгляд сложностями. Например, ровно в 15 часов по местному времени в Хабаровском регионе на 15 минут зависали рабочие столы. В поисках ошибки была перерыта вся инфраструктура, в которой не нашли ничего подозрительного. В итоге оказалось, что в 3 часа дня одно из устройств банковского филиала, телефонная станция, начинала рассылать широковещательные запросы по всей сети. Бродкаст-шторм подвешивал всю сеть внутри филиала.
В целом проект реорганизации IT-инфраструктуры пришелся на переходный период эволюции внешних каналов связи в банке. Ранее для организаций нормой считались 5 Мбит/с. Теперь же никого не удивишь скоростями в 100 Мбит/с и даже 1 Гб/с.
Однако у нас оставалась доля старых каналов, под которые пришлось оптимизировать передачу больших объемов данных. И это понятно – телекоммуникации довольно часто не успевают за развитием проектов.
Виртуальная инфраструктура
Виртуальная инфраструктура была построена на базе VMware vSphere. На момент начала проекта платформа vSphere также была развернута и активно использовалась в банке ВТБ для обеспечения работы сервисов с Intel x86 архитектурой. VMware vSphere была выбрана благодаря сочетанию надежности, производительности, масштабируемости, прозрачной интеграции с инфраструктурными системами банка, а также наличию большого числа успешных внедрений VDI-инфраструктур в России и за рубежом. Для снижения затрат на лицензирование использовалась редакция vSphere Desktop (по функциональным возможностям является аналогом vSphere Enterprise Plus), предназначенная специально для развертывания в VDI-средах.
Структурная схема VDI-инфраструктуры
Для управления, обслуживания и организации подключения к виртуальным десктопам в VDI-инфраструктуре развернуты следующие компоненты Citrix XenDesktop:
  • четыре брокера Citrix Desktop Delivery Controller;
  • четыре портала Citriх StoreFront;
  • четыре устройства Citrix NetScaler SDX 11515, на которых созданы виртуальные контексты ADC для публикации, организации удаленных подключений и балансирования сервисов.
Поскольку виртуальная инфраструктура фактически была равномерно распределена между двумя площадками, то для организации единой точки подключения пользователей на устройствах Citrix NetScaler был настроен режим глобальной балансировки (Global Server Load Balancing). Использование режима Access Gateway на NetScaler позволило реализовать безопасное удаленное подключение пользователей Банка Москвы к инфраструктуре ВТБ.
Одной из важных задач при проектировании VDI была проработка решения по централизованному развертыванию, доставке и обновлению прикладного ПО на виртуальных рабочих станциях. Подобная система существовала в банке и до VDI, но необходимо было обеспечить ее работу в новой среде.
В итоге в качестве средства централизованного развертывания нами используется Citrix Machine Creation Services, являющийся одним из компонентов брокера Citrix XenDesktop. MCS обеспечивает централизованное развертывание виртуальных рабочих станций из единого образа с предустановленной ОС и базовым набором приложений. При этом при использовании MCS можно не копировать ВМ целиком, а создавать дельта-копии, что позволяет существенно снизить требования к дисковой подсистеме.
В силу лицензионных и технических причин в эталонный образ можно было установить далеко не все ПО. Логично возник вопрос: какими средствами устанавливать ПО после развертывания ВМ? Помимо стандартных средств – через групповые политики или вручную администратором – использовались и специализированные инструменты – собственное программное решение банка, позволяющее выполнять установку и обновление различных приложений на рабочих местах пользователей. Для сохранения изменений, сделанных в виртуальной рабочей станции, использовались так называемые персональные диски (Personal vDisk) – специальная технология, доступная в Citrix XenDesktop.
Были протестированы и альтернативные способы доставки и сохранения изменений, включая инструменты виртуализации приложений (вроде VMware ThinApp и Microsoft App-V), однако в ходе тестирования мы обнаружили, что они поддерживают «упаковку» далеко не всех приложений, в особенности, если используются COM+ и DCOM компоненты. Поэтому Citrix MCS в связке с Personal vDisk стал типовым решением для создания виртуальных рабочих станций.
Тонкие клиенты
Из тонких клиентов мы выбрали Dell Wyse 5010. Именно на выбор модели тонкого клиента было затрачено, пожалуй, больше всего времени. Требовалось протестировать их производительность, проверить работу с десятками различных периферийных устройств: принтерами, сканерами, USB-накопителями, электронными ключами и считывателями смарт-карт, оценить удобство централизованной настройки и управления.
Помимо совместимости с перечисленными устройствами, у ТК Dell Wyse 5010 было еще одно немаловажное преимущество: компактный размер образа – всего 20 МБ (в отличие от многогигабайтных образов для ОС Windows Embedded), что позволило оперативно устанавливать новые версии ОС на клиентские устройства.
На рабочих местах 14 тысяч пользователей установлен Citrix XenDesktop в редакции Enterprise. Выбор именно решения от Citrix обосновывался следующими соображениями. Во-первых, в банке ВТБ давно и успешно эксплуатировались службы терминального доступа именно этого производителя, пользователи привыкли к работе с программным клиентом Citrix Receiver, и им не пришлось долго адаптироваться к виртуальным рабочим станциям. Во-вторых, с экономической точки зрения конвертация лицензий Citrix XenApp в лицензии XenDesktop позволила сократить одну из основных статей расходов на VDI.
В качестве средства антивирусной защиты был выбран Kaspersky Endpoint Security, который уже эксплуатировался банком ВТБ для защиты рабочих мест. В проекте было решено использовать версию, оптимизированную для защиты VDI-инфраструктур – Kaspersky Security для виртуальных сред с легким агентом.
Надо отметить, что VDI подразумевает множество нюансов даже в работе с базовыми образами. Например, ряд пользователей, активно работающих с Excel, выражали недовольство по поводу скорости обработки больших электронных таблиц. В нашем случае на каждое рабочее место было выделено по два виртуальных ядра, В качестве одного из вариантов решения проблемы предлагалось увеличить количество выделенных ядер до шести. Однако все обошлось меньшими жертвами. Оказалось, что Excel и Word поддерживают аппаратное ускорение графики на GPU, и оно включено по умолчанию. Так как в VDI использовались виртуальные графические адаптеры, для эмуляции аппаратного ускорения использовались ресурсы ЦПУ, и его загрузка получалась запредельной. Достаточно было отключить аппаратное ускорение графики в настройках Excel, и загрузка виртуальных рабочих станций вернулась в норму.
Еще один пример, также связанный с офисным пакетом, – оптимизация прикладного ПО. Приложения встроенного Office 2010 открывали огромную по размерам приветственную заставку, что увеличивало утилизацию канала до 3 Мбит/с на пользователя. Всего одна картинка убивала всю скорость! Отключив заставку, ситуацию исправили.
Пока остаются вопросы к периферии на пользовательских станциях. Она не всегда работает корректно в рамках идеологии VDI. Самая проблемная задача – сканирование с высоким разрешением. С точки зрения передачи данных в канал этот процесс оптимизируется слабо. Особенно на первых порах модернизации, когда приходилось иметь дело со скоростями доступа порядка 5 Мбит/с, небольшая задержка на сканировании «ломала» KPI сотрудникам, ответственным, к примеру, за кредиты. Каждый сотрудник выполняет нормативы по скорости услуг. Один менеджер может оформлять кредит 30 минут, другой 45: обрабатывать заявку, работать с документами, выносить вердикт о кредитовании. У банка на этот счет предусмотрены свои нормативы, и за скорость работы сотрудники должны отчитываться руководству. Доступ к VDI по медленным каналам приводил к ухудшению нормативов.
Решение было очевидно – оперативное увеличение пропускной способности выделенного WAN-канала, после которого все вернулось в норму.
Результаты внедрения
В рамках проекта к концу 2017 года была создана, настроена и передана в работу инфраструктура виртуальных рабочих станций, которая позволила начать консолидацию IT-инфраструктуры ВТБ. В частности, в большинстве крупных региональных филиалов (которые могут покрывать несколько региональных отделений) уже выведены из эксплуатации локальные почтовые серверы на базе Microsoft Exchange, а это высвобожденные аппаратные ресурсы, лицензии и нагрузка на системных администраторов. Таким образом, VDI обеспечила оптимизацию ресурсов, сотрудников и TCO (total cost ownership – стоимости владения) для наших задач с учетом важных для нас отказоустойчивости и безопасности.
VDI обеспечила гибкий доступ к собственным системам на площадках Банка Москвы. В предыдущей архитектуре IT-систем такой доступ был бы невозможен из-за межсетевых экранов, файерволов и отсутствия поддержки NAT у ряда legacy-приложений. По сути это отличный инструмент для сравнительно быстрого «поглощения» инфраструктуры другого банка.
За счет централизации повысилась надежность хранения данных банка, в том числе личных данных пользователей. Упростилось резервное копирование. Теперь нет фрагментированности, при которой часть данных хранится на сервере в удаленном офисе. Раньше ошибка локального персонала в таком филиале могла привести к потере данных. Теперь же все контролируется из головного офиса. Корректно настроено резервирование, данные доступны с любых рабочих мест.
Консолидация сама по себе повысила безопасность систем. Плюс в будущем она позволит с меньшими затратами усиливать безопасность инфраструктуры.
Была унифицирована конечная среда у пользователей – это упрощает обучение линейного персонала при приеме на работу. На всех 14 тысячах рабочих мест были применены одни и те же политики безопасности, которые можно корректировать из центра. Теперь нет зависимости от расстояний, географического расположения или разницы во времени между филиалами. Все работают в единой унифицированной системе, по единым IT-стандартам с единой конфигурацией. Любые изменения, исправление ошибок или обновление программного обеспечения происходят одинаково быстро и в Москве, и на Камчатке.
Упростилось обслуживание рабочих мест и ускорилось обновление. Снизилась доля «ручного труда», когда к рабочему месту надо подойти лично и провести какие-то манипуляции. Срочные патчи безопасности от, например, Microsoft накатываются в Golden Image и расходятся по всем рабочим столам за считанные минуты.
Отличный пример из последней практики – борьба с атакой Wannacry. Критические обновления мы запустили в три клика. Изменили Golden Image, перезапустили систему и с этого момента пользователи были в безопасности. В общей сложности процесс обновления 14 тысяч рабочих станций занял один рабочий день, т.е. когда началось массовое распространение этого червя, он уже перестал быть опасен для пользовательского окружения. Так мы оптимизировали расходы на поддержку IT-инфраструктуры.
Благодаря преобразованиям в инфраструктуре, был создан легитимный удаленный доступ. Теперь управление процессами возможно с любого рабочего места внутри IT-инфраструктуры банка и даже извне, используя сертификат-карточку (с учетом требований службы безопасности в ВТБ, VDI предоставила фактически единственный законный способ организовать удаленный доступ).
Конечно, мы столкнулись с определенным сопротивлением пользователей. Многие не хотели переходить на новые технологии, оставаясь на старых и привычных. Происходила непростая адаптация сотрудников. Кому-то было интересно, кому-то – нет. Разработанную памятку читали не все, поэтому на первых порах повысилось количество обращений в техподдержку. Однако в конечном итоге люди научились работать по-новому.
Перспективы – интеграция ВТБ24
Проект перехода на VDI был реализован очень вовремя. Он уже помог с интеграцией IT-инфраструктуры Банка Москвы, теперь он поможет в ходе объединения с ВТБ24.
В процессе интеграции бизнес-процессов ВТБ и ВТБ24 появилась необходимость использования приложений ВТБ сотрудниками ВТБ24. В данном случае VDI стала quick win'ом в вопросах доступа к внутренним приложениям и системам банка. В течение недели для восьми тысяч новых пользователей предоставили VDI. Приложения оперативно раздаются не только через ВРМ, но и через ресурсный лес и решение Citrix.
Пока в ВТБ24 все еще работает отдельная инсталляция, и в ближайшее время ее необходимо будет привести «к общему знаменателю» без остановки клиентского сервиса.
Tags: VDI
Hubs: ВТБ corporate blog IT Infrastructure
Total votes 30: ↑25 and ↓5 +20
Comments 41
Comments Comments 41