Переезд хуже двух пожаров. Как только пронеслась новость, что милому офису, в котором я работал, нашли новое место, как-то вмиг осунулись и погрустнели даже кактусы. Временные командировки или перевод из одного офиса в другой случаются постоянно, а вот опыта полномасштабных переездов у IT-отдела не было. Требовалось перенести всю инфраструктуру, проложить новую сеть, запустить системы контроля доступа, видеонаблюдения, пожарную и охранную сигнализацию. Да, работы было много, но я подумал, что переезд — это отличный повод обновить часть оборудования, пока оно не превратилось в Нальфгар, и решить несколько старых проблем, до которых не доходили руки. О них — под катом.
Управление паролями
Так как во время переезда часть сотрудников работала из дома, то у меня развилась паранойя по поводу пользовательских паролей и появилась идея свести их все на собственном сервере и управлять централизованно. Я остановился на корпоративной версии Passwork: менеджер паролей устанавливается на сервер и хранит всю базу учетных данных внутри корпоративной сети. Пользователям для использования достаточно авторизоваться на сервере и установить плагин для браузера.
Passwork сохраняет пароли в специальных объектах — сейфах. С их помощью осуществляется разграничение прав: пользователям предоставляется доступ к сейфу, внутри него юзеры могут обращаться к любым паролям. Сам сейф шифруется AES-256, а при доступе к нему сеанс защищается с помощью RSA-шифрования.
С помощью панели безопасности я сразу увидел те пароли, которые устарели, и те, у которых высок риск компрометации, но восстановлением корпоративной политики занялся уже после переезда.
Работать из дома разрешал только тем пользователям, которые перенесли свои корпоративные пароли на Passwork. Правда, все отложили установку дополнений в браузеры на последний день перед переездом, когда и так было много работы, но зато я навел порядок в паролях.
Контроль USB-устройств
Так как потерять ключи с лицензиями или ЭЦП на финансовые документы не хотелось, перед переездом я решил собрать их в одном месте. Чтобы у пользователей не было претензий по поводу доступа к ключам у сисадминов, я разрешил хранить пароли в личных сейфах Passwork. Таким образом, администраторы не видят пользовательские пароли, а пользователи не могут использовать ключи без ведома администраторов. Этим же был закрыт вопрос с работой физических ключей на виртуальных серверах, так как надоело использовать сторонние утилиты.
Для этого ко всем важным АРМ пользователей я прокинул ключи через USB-over-IP концентратор DistKontrolUSB-16. У него есть нужные сертификаты (в т. ч. сертификат ФСБ), возможность гибкого разделения прав доступа к удаленным USB-устройствам и запись всех событий использования ключей.
Так как создавать несколько учеток администраторов нельзя, админский доступ к веб-интерфейсу получили только начальник IT-отдела и ответственные сисадмины, которые в перспективе будут контролировать каждое устройство. В списках доступа я дал разрешение на подключение к TCP-порту 6565, через который и осуществляется связь с USB-концентратором.
USB-over-IP концентратор снял ограничение на расстояние при использовании USB и позволил пользоваться ключами, собранными в одном месте с разных площадок. Сначала я протестировал устройство удаленно, затем установил его в старом офисе и собрал все ключи, в последний день перевез концентратор. Большинство пользователей даже не заметило, что ключи были недоступны какое-то время. Решил как-нибудь потом оборудовать стойку контролем доступа, чтобы точно знать, кто и когда имел доступ к ключам.
Большинство пользователей даже не заметило, что ключи были недоступны какое-то время. Решил как-нибудь потом оборудовать стойку контролем доступа, чтобы точно знать, кто и когда имел доступ к ключам.
Сервер видеонаблюдения и сетевое хранилище
Одной из проблем, от которой я, наконец, решил избавиться, стала аналоговая система видеонаблюдения. Старый видеорегистратор исправно отработал много лет, но модель уже давно не производится, а ее замена стоит дороже, чем аналогичный IP-видеорегистратор. В 2020 году аналоговое CCTV уже себя изжило: не хватает разрешения картинки, сложно прокладывать аналоговые линии, а главное — у аналогового регистратора гораздо меньше функций, чем у IP.
В новом офисе решено было отказаться от аналоговых камер в пользу IP-камер с поддержкой PoE (даже с PoE+ для камер с подсветкой и уличных камер). В итоге я взял два свитча: с PoE и PoE+, и несколько PoE-инжекторов для отдаленных камер.
Также заменил отдельный видеорегистратор обычным сервером с установленным на нем ПО — так нам легче менять комплектующие и быстро восстанавливать работу.
Новый сервер я выбирал с помощью конфигуратора серверов на сайте компании «Крэббит».
Настройка сервера для видеонаблюдения не заняла много времени, гораздо дольше строители провозились с монтажом камер и протяжкой витой пары. Когда все наконец-то было подключено, я перенастроил наши коммутаторы, добавив все камеры и сервер видеонаблюдения в отдельный VLAN. Кстати, до сервера решил настроить EtherChannel (LAG), чтобы равномерно использовать его сетевую подсистему и добиться отказоустойчивости.
Еще одним важным обновлением стало сетевое хранилище. У старого не хватало ни свободного места, ни производительности — жаловались все. Я проанализировал, какие требования предъявляют к корпоративной системе хранения разные отделы. Оказалось, что нужно хранилище и для использования с системами виртуализации, и для продуктовой базы данных, и для 1С.
Остановил выбор на Dell EMC Unity XT 380F: у него высокая производительность, большой объем хранимых данных и возможность расширения. Данная модель относится к классу All-Flash и может выдержать большую и разнородную нагрузку, а форм-фактор 2U не займет много драгоценного места в стойке.
Сетевую стойку с новым железом я смонтировал за несколько дней до переезда, проверил подключение к сети, и в час Х осталось установить только то оборудование, которое работало в старом офисе до последнего дня.
Блок ротации в серверную
В старом офисе серверная мне досталась по наследству, охлаждение там обеспечивал маленький настенный кондиционер. Работая в одиночку, он иногда ломался, заставляя меня бросать все дела и разбираться с его ремонтом. На новом месте я решил сразу организовать охлаждение с умом.
Так как серверная в новом офисе небольшая, я ограничился все теми же сплит-системами. Правда, по сравнению с обычными жилыми или офисными помещениями, серверные требуют особого подхода.
Во-первых, охлаждение может потребоваться и зимой, а значит, понадобится агрегат с зимним комплектом — такой может работать и в морозы. Во-вторых, нужна безаварийная работа. Применительно к кондиционерам это означает использование хотя бы двух приборов, которые смогут работать по очереди, чтобы продлить ресурс друг друга, при этом всегда будет резервный агрегат. Чтобы не переключать их вручную, установил блок управления ротацией с подключенными к нему двумя исполнительными блоками (каждый отвечает за управление одним кондиционером).
Такая система функционирует автоматически, к тому же в ней есть потенциал расширения на случай, если серверная пополнится новым оборудованием и потребуется нарастить холодопроизводительность за счет дополнительных кондиционеров. Блок ротации поддерживает управление большим количеством исполнительных блоков, и можно докупать и подключать их к нему по мере необходимости.
Бытовые сплит-системы я при ближайшем рассмотрении отмел. В них много функций, направленных на комфорт пользователей, всевозможных режимов и фильтров, но мне нужна была в первую очередь надежность и запас прочности. Поэтому выбрал пару полупромышленных моделей. В отличие от бытовых, они рассчитаны на более высокие нагрузки, в них заложена повышенная износостойкость, а еще у них максимальное расстояние между наружным и внутренним блоками больше, что для серверной, расположенной в глубине офиса, тоже полезное преимущество. Внутренние блоки разместили на отдалении от стоек, чтобы в случае аварии фреонопровода или проблем с конденсатом оборудование не пострадало.
Беспроводная сеть
Сначала я планировал перевозить в новый офис все точки доступа Wi-Fi, но затем решил спроектировать и построить беспроводную сеть в новом здании с нуля. Старые точки доступа больше не поддерживались, и нам все равно пришлось бы их рано или поздно менять. А во время переезда на этапе проектирования мы сразу решили несколько проблем.
Чтобы исключить перекрытие каналов, я обратился напрямую к вендору. К нам прислали инженера с ноутбуком, на котором установлен AirMagnet. Инженер проверил вещание точек доступа в планируемых местах, построил карту покрытия Wi-Fi на требуемом диапазоне и провел нагрузочное тестирование с помощью iPerf в AirMagnet.
Беспроводного трафика становилось все больше, и полосы пропускания точек доступа стандартов g/n стало не хватать. На Wi-Fi перевели часть охранного оборудования, поэтому потребовались точки доступа с уличным исполнением, чтобы обеспечить стабильное беспроводное покрытие на всей площади склада и прилегающих территориях.
Вишенкой на торте стало желание руководства получить бесшовный роуминг во всем здании, чтобы связь не прерывалась по дороге из кабинета в переговорную. По договоренности с арендодателем мы планировали установить точки доступа также и в кабинах лифтов — сотрудникам будет чем заняться, если они застрянут. Конечно же, это злая шутка сетевого отдела.
Для коммутации точек доступа я взял облачный контроллер Omada от TP Link и к нему точки доступа в разных исполнениях. На улицу установил EAP225-Outdoor, которые дают максимальную скорость до 1200 Мбит/с и поддерживают MU-MIMO 2x2.
Внутренние точки доступа выбрал в зависимости от типа помещений. В коридорах и опенспейсах установил потолочные точки доступа (модель EAP-225), а в небольших кабинетах — настенные EAP225-Wall с толщиной корпуса всего 15 мм.
У EAP225-Wall четыре порта Fast Ethernet с поддержкой PoE passthrough для одного из исходящих портов. Пока я не планирую использовать встроенный коммутатор, но если обнаружится нехватка каналов в проложенной СКС, будет возможность с легкостью увеличить количество доступных пользователям портов.
В тестовом режиме я запустил сеть уже за неделю до переезда, и все пользователи переехали уже на готовый Wi-Fi. Старые точки аккуратно сложил в коробки и отправил в резерв. RIP, бро.
И в первый день…
Все в моем отделе бегали как ошпаренные, потому что все предусмотреть нельзя: на нескольких рабочих местах не хватило розеток, несколько сетевых принтеров отвалилось из-за конфликта IP-адресов, а в одном ПК ушлые грузчики свинтили жесткий диск, поэтому срочно пришлось искать замену. В общем, еще неделю мы устраняли мелкие косяки, но ничего критичного не пострадало. Мы же в конце недели собрались всем отделом и отправились в ближайший бар отмечать завершение этого Рагнарека: мы встретили его достойно.