История одной инфраструктуры. Решения MS. Часть 2

    История одной инфраструктуры. Решения MS. Часть 1

    Переделать!


    Первым делом установили вполне хороший кондиционер в помещение коммутационно-вычислительного центра. И, как результат, жесткие диски стали выходить из строя в два раза реже.
    Затем занялись модернизацией имеющихся ВОЛС и коммутаций с целью обеспечить связь там, где ее еще нет, обеспечить полное резервирование магистральных ВОЛС, унифицировать используемое коммутационное оборудование. Процесс был не быстрый и хронологию событий не восстановить. Скажу, что в результате мы имеем двенадцать сегментов ВОК (общей протяженностью 3 км) и шесть периферийных точек коммутации. Для организации оптических конвертеров (50 шт.) используются управляемые шасси (7 шт.) стоечного исполнения. В качестве стандарта был выбран недорогой и популярный управляемый коммутатор (коих используется 20 шт.) 2 уровня и с 24 портами Gigabit Ethernet, с поддержкой групп VLAN (с помощью групп VLAN организованы демилитаризованные зоны), с возможностью агрегирования портов (мы используем агрегирование повсеместно – магистральные сегменты, соединения коммутаторов, подключение серверов). На периферийных точках коммутации все оборудование разместили в специальных шкафах под ключ, в центральном узле все приходит в стойку для коммутационного оборудования. Резюмируя, скажу, что от первоначального проекта коммутаций заводоуправления и цехов заводского комплекса не осталось ничего. Все прежнее оборудование выведено из эксплуатации и размещено в дальнем углу специального помещения, т.е. примерно полтора раза мы инвестировали в один проект. Унификация того стоит!

    Организоваться!


    Где-то здесь, в промежутках между непрекращающимися проектами развития инфраструктуры, направление ИТ предприятия доросло до того, чтобы называться отделом информационных технологий (ОИТ) во главе которого, встал я. Инженер-программист общего отдела поступил в мое распоряжение, сменив направление деятельности по причине отсутствия актуальной необходимости предыдущего, а на мою бывшую, теперь вакантную, должность инженера по автоматизированным системам разрешено принять человека, что и было выполнено. Разработан документ «Распределение задач сотрудников ОИТ», по которому теперь инженер-программист фокусируется на технической поддержке пользователей по вопросам клиентского ПО, разработке инструкций пользователей ИС и прочей документации, а инженер по АС занимается технической поддержкой пользователей по вопросам оборудования и коммутациями предприятия. Мне же достались задачи организационного характера и инфраструктурные вопросы. Работать стало веселее!

    Лицензироваться модно…


    И, конечно же, нас не обошла стороной «мода на лицензирование программных продуктов одного известного производителя». Первый звоночек известий о том, что пора жить честно и воровать наказуемо, заставил руководство принять политику лицензирования программного обеспечения. Было решено провести лицензирование по программе Open License в несколько этапов – сначала серверное ПО, затем клиентское и лицензии клиентского доступа в три этапа. И мы приобрели все самое новое – Windows Server 2003 R2 Std (как оказалось, Enterprise издания нам абсолютно ни к чему), Exchange Server 2007, SQL Server 2005, ISA Server 2006, Live Communications Server 2005, Windows XP Professional, Microsoft Office 2003/2007.
    После приобретения, для обеспечения «лицензионной чистоты», автоматически встали следующие вопросы:
    • замена установленных изданий Windows Server 2003 R2 Enterprise стандартными и лицензионными
    • замена установленных Windows Server 2000 на лицензионные Windows Server 2003 R2
    • замена используемого SQL Server 2000 на лицензионный SQL Server 2005
    • замена используемых Exchange Server 2003 на лицензионные Exchange Server 2007
    • замена используемого ISA Server 2004 на лицензионный ISA Server 2006
    • замена используемого Live Communications Server 2005 на лицензионную версию

    Изучив данные вопросы и приняв во внимание все имеющиеся отклонения, касающиеся используемого серверного оборудования, в муках приняли решение о постепенной замене и модернизации оборудования, несоответствующего нашим требованиям надежности (все в рамках лицензирования ПО предприятия).

    В рамках лицензирования…


    И далее встал вопрос выбора ПО для обеспечения комплексной защиты от вредоносного ПО (антивирусная защита). Основным желанием было выбрать комплект ПО от одного производителя для защиты клиентских ПК, почтовых БД Exchange, файлового хранилища. Смотрели в сторону опробованных и привычных решений, но, к сожалению (а может, и к радости), ни один из привычных производителей ПО в области защиты данных, не успел выпустить законченное решение для нового сервера Exchange. А тут как раз MS пошумел со своей новой линейкой продуктов Forefront. Махнул рукой («будь, что будет») и принял решение в пользу продуктов MS Forefront. Приобрели по программе Open Value на три года, Forefront Client Security (FCS), Forefront Client Security Management Console, Forefront Security для Exchange и Forefront Security SharePoint (я не говорил? мы пробовали SharePoint и решили, что он у нас тоже будет, но позднее).
    Примерно в это время, нам удалось приобрести очень короткое доменное имя второго уровня, соответствующее краткому названию предприятия, очень недорого. Повезло просто! Соответственно решено, что миграция на лицензионное ПО будет сопровождаться переименованием домена, что от использования прежнего почтового домена постепенно откажемся.
    Работа закипела. Планомерно выполняли поставленные задачи лицензированию ПО и устранения отклонений. Закупали новое оборудование. Устанавливали. Мигрировали наши данные. Выкидывали старое. Например, аппаратная конфигурация основного сервера для Exchange выглядит следующим образом: два процессора Intel Xeon 5410 на плате Intel S5000PSLSATA и в корпусе Intel SC5400LX с двумя БП 830W «горячей замены», с корзинами «горячей замены» на десять жестких дисков SAS, с RAID-контроллером Intel SRCSAS18E и дополнительной батареей, с 8GB оперативной памяти и 10 жесткими дисками 73GB 15K SAS (2 диска в RAID1 для ОС, 6 дисков в RAID10 для БД и 2 диска Hot Spare). Те сервера, где нет необходимости в высокопроизводительной дисковой подсистеме (например, контроллеры домена, сервер ISA, пограничный сервер Exchange), вполне обходятся корзинами на четыре диска SAS и тремя установленными дисками (2 диска в RAID1 для ОС и 1 диск Hot Spare) и меньшим объемом оперативной памяти – 4GB. Основной задачей было обеспечить максимальную избыточность там, где это возможно с минимальными вложениями (зеркальные массивы RAID1, диски Hot Spare, агрегирование сетевых интерфейсов, резервирование электропитания). Цель была достигнута.
    И вроде бы, когда уже проекты близятся к логическому завершению, руководство изъявляет пожелание – иметь возможность проводить ежедневные рабочие совещания руководителей подразделений посредством ПК и имеющейся сети. А свежеприобретенный Live Communications Server 2005 не поддерживает многоточечные аудио-видео конференции и не будет, потому что, только-только вышла его новая версия Office Communications Server 2007 (OCS). Ну что же, проект посчитан, согласован, решение принято – приобретаем свежий Office Communications Server 2007 и железный сервер ему в придачу (нам как раз пригодится – еще не все заменили). Приобрели по программе Open License и быстренько внедрили. Обошлись только аудио конференциями, правда, микрофоны пришлось подбирать – выбрали конференц-микрофоны Arthur Forty (с бытовыми устройствами как-то не складывалось).
    Попутно всем перестройкам, модернизировали систему бесперебойного электропитания (ИБП) – докупили недостающие ИБП, а имеющиеся дополнили батарейными модулями. В итоге на два сервера приходится один ИБП 3KW с двумя дополнительными батарейными модулями. Время автономной работы такого комплекта нас более чем устроило – около 5 часов. Всего получилось 5 ИБП и 10 батарейными модулями, установленные вблизи двух стоек с серверами. Для стойки с коммутационным оборудованием такой же комплект, но чуть проще, на 1,5KW (со временем автономной работы около 10 часов). Нам повезло, мы изначально выбрали «правильные» ИБП и ничего менять не пришлось.
    Унификация серверного оборудования прошла более чем успешно! Правда, имеются небольшие различия в конфигурациях дисковой подсистемы серверов, обусловленные тем, что сервера приобретались в разное время, как раз тогда, когда на смену SCSI приходил SAS. Но, галочку поставим – отклонения устранены.
    Также, параллельно этим проектам, велись работы по замене клиентских «технически не соответствующих» ПК, установлено много новых рабочих мест. Количество клиентских ПК перевалило за 100.

    Опять оценка результатов…


    Героическими усилиями в срок один месяц была создана подробнейшая документация ИС предприятия (которая на текущий момент насчитывает более 100 документов (графические схемы, описания и таблицы) в электронном виде и 250 страниц на бумаге). Еще одно тайное знание – подробная документация крайне важна. Например, в процессе документирования, можно обнаружить ошибки конфигураций, неоптимальные архитектурные решения. Стройная документация – стройная инфраструктура!
    Устранив отклонения по оборудованию и линиям связи и подведя черту под данными вехами, можно оценить, какие сервисы мы имеем и какие имеют нас, а также, куда нам двигаться дальше:
    • сервис физических коммуникаций (линии связи, коммутационное оборудование).
    • сервис каталогов (Active Directory, DNS, DHCP, Certificate Authority) в отказоустойчивой конфигурации на двух серверах Windows Server 2003 R2. Предназначен для управления инфраструктурой. Групповые политики обеспечивают практически полный контроль устройств в сети.
    • сервис маршрутизации (ISA Server 2006) на сервере Windows Server 2003 R2. Предназначен для доступа клиентов ИС к ресурсам глобальной сети, для публикации внутренних ресурсов, для поддержки демилитаризованных зон, для удаленного доступа клиентов к ресурсам ИС.
    • сервис почты (Exchange Server 2007) на двух серверах Windows Server 2003 R2, основной и пограничный сервер, расположенный в демилитаризованной зоне. Основной сервер почты предназначен для хранения почтовых ящиков пользователей, предоставления глобального списка адресов клиентам, обеспечения доступа к ресурсам почтовых ящиков через протоколы RPC (клиент Outlook), SMTP, POP и протоколы удаленного доступа — RPC поверх HTTPS (клиент Outlook), HTTPS (веб-клиент). Пограничный сервер предназначен для принятия подключений от почтовых серверов Интернет, выполнения фильтрации нежелательных сообщений, а также для отправки корреспонденции удаленным доменам. Для защиты от вредоносного ПО на серверах почты используется система Forefront Protection 2010 для Exchange (ранее было Forefront Security для Exchange).
    • сервис файлового хранилища на сервере Windows Server 2003 R2. Предназначен для организованного хранения документов пользователей (с помощью групповых политик пользовательские документы перенаправляются в хранилище). Структура хранения соответствует организационной структуре предприятия. Пользователя доступен функционал «Предыдущие версии» (обеспеченный посредством теневого копирования). Выполняется фильтрация содержимого и предоставляются отчеты об использовании хранилища. Содержимое хранилища индексируется и доступно в результатах поиска SharePoint.
    • сервис БД (SQL Server 2005) на сервере Windows Server 2003 R2. Предназначен для управления БД приложений «1C». Также используется для хранения БД сервиса обновлений (WSUS), сервиса защиты (FCS), сервиса документооборота (SharePoint).
    • сервис конференций (OCS 2007) на сервере Windows Server 2003 R2. Предназначен для обмена мгновенными сообщениями и файлами, организации голосовых и видео конференций, а также для передачи информации о присутствии пользователей в сети и для общего доступа к рабочему столу (в качестве клиента используется Office Communicator 2007 R2). Выполнена интеграция с голосовыми функциями почтовых ящиков сервиса почты.
    • сервис обновлений (WSUS) размещен совместно с сервисом БД. Предназначен для установки обновлений на клиентские ПК и серверы предприятия (своевременная установка обновлений является обязательным условием нормального функционирования системы в целом – это есть тайное знание, дитя опыта).
    • сервис защиты (Forefront Client Security) размещен совместно с сервисов БД. Предназначен для централизованного управления клиентским ПО для антивирусной защиты. Для распространения себя и своих обновлений использует сервис обновлений (WSUS), для распространения своих настроек использует сервис каталогов (групповые политики), для сбора данных использует Operation Management 2005 (MOM). Этот продукт отлично себя показал за все время использования – у нас не было инцидентов заражения ПК (за 3 года).
    • сервис документооборота (SharePoint Server 2007) на сервере Windows Server 2003 R2. Предназначен для упорядоченного хранения документов, организации процессов управления документами и многое другое, о чем далее расскажу подробнее на конкретных примерах. Для защиты от вредоносного ПО на сервере документооборота используется система Forefront Security для SharePoint.


    Продолжение...
    Поделиться публикацией

    Похожие публикации

    Комментарии 11
      0
      А вы не задумывались о свободном программном обеспечении? Опенофисы там всякие?
        +1
        Задумывались, но не прижилось.
        Взвешенные аргументы в пользу линейки продуктов от одного производителя перевесили возможные выгоды на начальном этапе. Использование решений от одного производителя (по возможности), является нашим основополагающим принципом. В качетсве преимуществ, мы получаем управляемую инфраструктуру и тесную интеграцию между продуктами.
          0
          «управляемую инфраструктуру и тесную интеграцию между продуктами»
          Одно из ключевых преимуществ использования полного набора корпоративных приложений и серверов от «одного известного производителя».
          Как ни крути, при всей несовершенности отдельных частей отдельных продуктов, общее решение работоспособно и соответствует принципу, который называют «seamless integration».
        0
        С таким железом вполне можно было бы и виртуализировать Ваши приложения. Вот простой пример: ваш Exchange Server… Уверен, что поцессорная загрузка его не превышает 10%. Т.е. из тех тыщ долларов, что вы заплатили за чипсет и ЦПУ большая часть тупо греет воздух. Также я понял, что упомянутая машина оснащена 8 ГБ ОЗУ. Добавить туда ещё столько же памяти, и на одной «железке» у вас будет жить 5 серверов 2003 R2 x86 по 4 vCPU и 4 ГБ ОЗУ. Тем самым вы сможете разместить приложения по принципу 1 приложение (сервис) = 1 сервер (виртуальный).
        Ну, это я из личного опыта… у меня на 4 «лезвиях» схожей конфигурации (из 16 приобретённых и доступных) в продакшн-кластере заняты 4, на которых жужжат 20 виртуальных машин под управлением 2003 Р2. Сорри, есть и «выродки»: 2008Р2 развернута исключительно ради сервиса WDS, чтобы на новые станции «семёрку» ставить по сети, ещё есть ВМ с 8 гигами и 8 ядрами под 64-битной 2003 Р2 для 2005-го эскуэля и в ближайшее время добавится 2010 иксчендж и коммуникейшн из последних, скорее всего тоже 64-битные ВМ.
        Блин, даже под спулер печати отдельная ВМ. А то как вспомню, как сервисы «сожительствовали» на одной машине по куче — это ж жуть… Тот же спулер — ну, я не знаю, может что-то я криво делал, — но почему-то обилие принтеров HP P3005dn (полтора десятка) завешивало намертво этот чёртов спулер, да так, что ни процесс кильнуть, ни сервис не перезапустить — ребут. А «железный» сервер до-о-олго перегружается (в отличии от виртуальной машины).
        И то, при всём этом зоопарке сейчас консолидированная загрузка по ESX-хостам в HA-кластере — 35% ЦПУ и 55% ОЗУ. И это в разгар рабочего дня — в 10:30 и в 15:00.
        Да, забыл упомянуть… В плане клиентов у меня их примерно столько же, ну, может быть полторы сотни. И задачи, в принципе, те же 1С, SQL…
          0
          Удивительно, как сотня клиентов может так нагрузить такую тьму серверов, как у вас, и тем более как у автора заметки.

          Для веб-сервера например сотня клиентов — мелочь, хотя задачи иногда решает посложнее среднеофисных…
          +1
          Некоторые вещи можно было бы виртуализировать, это так. Но, есть несколько «но»… Когда мы начали «лицензироваться», виртуализация не была так «популярна», как сейчас, Hyper-V еще не было, 64-битные ОС также не были особо популярны, посему даже не рассматривался данный вариант.
          И к примеру, упомянутый Exchange загружен по процессору несколько больше (у всех пользователей автоматически запускается Outlook, работает весь день и у многих даже очень интенсивно используется). Мало того, Exchange интенсивно использует дисковую подсистему (>20GB почтовые базы). SQL Server нагружен еще более значительно. Сервер файлового хранилища, соответственно, крайне интенсивно использует дисковую подсистему. ISA Server малосовместим с виртуализацией. Помимо прочего, следует учитывать количество необходимых лицензий ОС (у нас имеется 10 2003 R2 Std, которые все и используются).
          Я бы, на текущий момент (имея данные о загрузке процессоров, памяти, дисков, сети), выделил отдельный 2008 R2 и виртуализировал второй КД, SharePoint, пограничный Exchange, МОМ от FCS, еще некоторые вещи. Но, не хочется стройные ряды 2003 R2 разбавлять иными версиями ОС.
          И, думаю, когда мы соберемся обновляться, виртуализации серверов уделим несколько больше внимания…
          • НЛО прилетело и опубликовало эту надпись здесь
            • НЛО прилетело и опубликовало эту надпись здесь
              0
              > Приобрели по программе Open License и быстренько внедрили. Обошлись только аудио конференциями

              А что с видео не сложилось?
                0
                Никаких технических сложностей нет, местами веб-камеры установлены. А не складывается, потому, как руководители подразделений не желают лицезреть друг друга, а главное — показывать себя столь часто:) Аудио конференции проводятся уже более 2 лет в начале и в конце каждого рабочего дня (замена планерок с целью экономии времени).
                0
                Добирый день!

                Передо мной сейчас стоит задача задокументировать зависимость отделов от сервисов, а сервисов от физических серверов. Был ли у вас опыт изображания подобных схем в Visio или ещё каким-либо образом?

                Если есть, огромная просьба связаться со мной :)

                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                Самое читаемое