Новая ИТ-инфраструктура для ЦОД Почты России

Уверен, что все читатели Хабра хоть раз заказывали товары в интернет-магазинах за рубежом и потом шли получать посылки в отделение «Почты России». Представляете, какого масштаба эта задача, с точки зрения организации логистики? Умножьте количество покупателей на количество их покупок, вообразите карту нашей необъятной страны, а на ней — более 40 тысяч почтовых отделений… Кстати, в 2018 году «Почта России» обработала 345 млн международных посылок.

В этой статье мы расскажем, какие вопросы стояли перед «Почтой», и как их решала команда «ЛАНИТ-Интеграции», создавая новую ИТ-инфраструктуру для центров обработки данных.

Один из современных логистических центров «Почты России»
 

До проекта

Из-за резкого роста количества посылок из зарубежных магазинов  Китая, стран Западной Европы и Северной Америки возросла нагрузка на логистические объекты «Почты России». Поэтому были построены логистические центры нового поколения, на которых используются сортировочные машины высокой производительности. Они требуют поддержки со стороны вычислительной инфраструктуры.

Инфраструктура ЦОД была устаревшей и не обеспечивала необходимой производительности и надёжности в работе информационных систем предприятия. Также «Почта России» испытывала нехватку вычислительных мощностей для запуска новых сервисов.
 

ЦОДы заказчика и их проблемы

ЦОДы «Почты России» обслуживают более 40 000 объектов, 85 территориальных управлений. В ЦОДах работают десятки круглосуточных бизнес-сервисов, включая услуги электронной коммерции.

Уже сегодня на предприятии используются системы для хранения, анализа и обработки больших данных. Для таких систем важную роль играет использование алгоритмов искусственного интеллекта и машинного обучения. На сегодняшний день одними из самых важных кейсов для предприятия являются оптимизация управления логистическими потоками и ускорение обслуживания клиентов в отделениях почтовой связи.

До начала проекта модернизации в основном и резервном ЦОДах было около 3000 виртуальных машин, объем хранимой информации превышал 2 петабайта. В ЦОДах была сложная структура маршрутизации трафика, связанная с разделением на различные сегменты по уровням безопасности.

С развитием приложений и внедрением новых сервисов, существующей пропускной способности сетевого оборудования в ЦОДах стало недостаточно. Требовался переход к интерфейсам с новыми скоростями: 10 Гбит/c, вместо  1 Гбит/c на доступе и 40 Гбит/c на уровне ядра, с полным резервированием оборудования и каналов связи.

От департамента информационной безопасности поступило требование о разделении инфраструктуры на сегменты с высоким уровнем информационной безопасности трафика и приложений (PN — Private Network и DMZ — Demilitarized Zone). Через межсетевые экраны (МСЭ) проходил трафик, фильтровать который было не обязательно. VRF на коммутаторах для такого трафика не использовался. Правила на МСЭ были неоптимальными (десятки тысяч правил в каждом ЦОДе).

Бесшовная миграция виртуальных машин (ВМ) между ЦОДами с сохранением IP-адреса и оптимального пути прохождения трафика между сегментами, включая корпоративную сеть передачи данных (КСПД), была невозможна.

Для резервирования использовался MSTP, часть портов была заблокирована (горячий резерв). Коммутаторы ядра и доступа не были объединены в отказоустойчивый кластер, агрегация интерфейсов (LAG) не использовалась.

С появлением третьего ЦОДа, требовалась новая архитектура и настройка оборудования для работы кольца между ЦОДами (был предложен EVPN).

Отсутствовала единая концепция развития ЦОДов, задокументированная в виде проекта и согласованная со всеми подразделениями заказчика. Текущая документация по эксплуатации сети была неполной и устарела.
 

Ожидания заказчика

Перед командой проекта стояли следующие задачи:

• подготовить архитектуру и концепцию развития для построения сетевой и серверной инфраструктуры третьего ЦОДа;
• провести оперативный аудит существующей сети заказчика;
• расширить емкость ядра сети более, чем на 1500 портов Ethernet 10/40 Гбит/c в каждом ЦОД (всего 4500 портов);
• обеспечить работу кольца между тремя ЦОДами с возможностью наращивания скорости до 80 Гбит/c в каждом из сегментов, чтобы объединить вычислительные ресурсы заказчика из разных ЦОДов в единую ИТ-систему;
• обеспечить 100% двойного резерва всех элементов сети для достижения целевого Uptime на уровне 99,995%;
• минимизировать задержки трафика между виртуальными машинами для ускорения работы бизнес-приложений;
• собрать статистику, сделать анализ и провести последующую оптимизацию правил фильтрации трафика в ЦОДах (изначально было около 80 000 правил);
• разработать целевую архитектуру для обеспечения бесшовной миграции критически важных бизнес-приложений заказчика в любой из трёх ЦОДов.

Таким образом, нам было над чем поработать.

Оборудование

Остановимся подробнее на том, какое оборудование мы использовали в проекте.

Межсетевой экран (NGWF) USG9560:

• деление на VSYS;
• до 720 Gbps;
• до 720 миллионов одновременных сеансов;
• 8 слотов.

 
Маршрутизатор NE40E-X8:

• до 7,08 Tbit/s Switching Capacity;
• до 2,880 Mpps Forwarding Performance;
• 8 слотов для линейных карт (LPU);
• до 10M BGP IPv4 маршрутов на MPU;
• до 1500K OSPF IPv4 маршрутов на MPU;
• до 3000K – IPv4 FIB (зависит от LPU).

Коммутаторы серии CE12800:

• Device Virtualization: VS (1:16 virtualization), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
• Network Virtualization: M-LAG, TRILL, VXLAN and VXLAN bridging, QinQ in VXLAN, EVN (Ethernet Virtual Network);
• начиная с VRP V2 включена поддержка EVPN;
• M-LAG – аналог vPC (virtual Port Channel) у Cisco Nexus;
• Virtual Spanning Tree Protocol (VSTP) – совместим с Cisco PVST.

CE12804

CE12808

Программное обеспечение

В проекте мы использовали:

• конвертер файлов конфигурации межсетевых экранов других вендоров в формат команд для нового оборудования;
• скрипты собственной разработки для оптимизации и преобразования конфигурации межсетевых экранов.

Внешний вид конвертера для преобразования файлов конфигурации
 

Схема организации связи между ЦОД (EVPN VXLAN)
 

Нюансы настройки оборудования

CE12808
 

• EVPN (стандарт) вместо EVN (Huawei proprietary) для связи между ЦОДами:
  
  ○ L2 поверх L3 с использованием в Control plane iBGP;
  ○ обучение MAC и их анонсирование через iBGP EVPN family (MAC routes, type 2);
  ○ автоматическое построение тоннелей VXLAN для broadcast / unknown unicast трафика (Inclusive Multicast Routes, type 3).
• Два режима деления на VS:
  
  ○ на основе портов (port-mode port) или на основе ASIC (port-mode group, display device port-map);
  ○ port split dimension interface 40GE работает ТОЛЬКО в Admin VS (независимо от port-mode).

USG9560
 

• возможность деления на VSYS,
• между VSYS невозможна динамическая маршрутизация и route leaking!

CE12804
 
All Active GW (VRRP Master/Master/Master) с фильтрацией MAC VRRP между ЦОД
 
acl number 4000
  rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
  rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
  rule 15 permit
 
interface Eth-Trunk1
  traffic-filter acl 4000 outbound

Схема взаимодействия ресурсов между ЦОД (VXLAN EVPN и All Active GW)
 

Сложности проекта

Основная сложность заключалась в необходимости резервирования существующих приложений средствами вычислительной инфраструктуры. У заказчика было более 100 различных приложений, часть из которых написаны почти 10 лет назад. Например, если для Яндекса можно легко выключить несколько сотен виртуальных машин без ущерба для конечных пользователей, то в «Почте России» такой подход потребовал бы разработки ряда приложений с нуля и изменений архитектуры информационных систем предприятия. Возникающие в процессе миграции и оптимизации проблемы мы решали на этапе совместного аудита вычислительной инфраструктуры. Все новые для предприятия сетевые технологии (такие, как EVPN) прошли предварительную обкатку в лаборатории.
 

Итоги проекта

В команду проекта входили специалисты «ЛАНИТ-Интеграции», заказчика и его партнеров по эксплуатации вычислительной инфраструктуры. Также были сформированы выделенные команды поддержки от вендоров (Check Point и Huawei). Проект занял два года. Вот что было сделано за это время.

• Разработана и согласована со всеми подразделениями заказчика стратегия развития сети ЦОДов, Корпоративной сети передачи данных (КСПД) и кольца между ЦОД.
• Увеличилась доступность сервисов. Это было отмечено бизнесом заказчика и привело к еще большему росту трафика за счет внедрения новых услуг.
• Мигрировано и оптимизировано более 40 000 правил c FWSM/ASA на USG 9560. Разные контексты ASA на UGG 9560 объединены в единый security-policy.
• Пропускная способность портов ЦОДов увеличена с 1G до 10/40G за счет использования CE12800/CE6850. Это позволило устранить перегрузки интерфейсов и потерю пакетов.
  
• Маршрутизаторы операторского класса NE40E-X8 полностью покрыли потребности ЦОД и КСПД заказчика с учётом будущего развития бизнеса.
• Запрошено восемь новых Feature Requests для USG 9560. Из них семь уже реализовано и включено в текущую версию VRP. 1 FR — на реализации в R&D Huawei. Это кластер на восемь шасси с возможностью настройки необходимого функционала по синхронизации конфигурации без синхронизации сессий. Требуется, если задержка трафика до одного из ЦОДов слишком велика (Адлер – Москва 1300 км по основной трассе и 2800 км по резервной трассе).

Проект не имеет аналогов по сравнению с другими почтовыми компаниями России.

Модернизация сетевой инфраструктуры ЦОДов открыла для предприятия новые возможности развития цифровых сервисов.

• Предоставление личного кабинета и мобильного приложения для физических и юридических лиц.
• Интеграция с электронными магазинами для предоставления услуг доставки товаров.
• Фулфилмент ­— хранение товаров, формирование и доставка заказов электронных магазинов.
• Расширение пунктов выдачи заказов, в том числе с использованием партнерских сетей.
• Юридически значимый документооборот с контрагентами. Это позволит отказаться от медленной и затратной пересылки документов на бумажных носителях.
• Прием заказных писем в электронном виде с доставкой как в электронном, так и в бумажном виде (с печатью отправлений как можно ближе к конечному получателю). Сервис электронных заказных писем на портале госуслуг.
• Платформа для предоставления услуг телемедицины.
• Упрощенный приём и упрощённое вручение регистрируемых почтовых отправлений с использованием простой электронной подписи.
• Цифровизация сети почтовых отделений.
• Переработка сервисов самообслуживания (терминалы и почтоматы).
• Создание цифровой платформы для управления курьерской службой и новым мобильным приложением для клиентов курьерской службы.

Приходите к нам работать!

• Инженер отдела корпоративной инфраструктуры
• Ведущий инженер Linux / DevOps