О ЦОДе начистоту: как мы решали проблему пыли в серверных помещениях дата-центра



    Привет, Хабр! Я Тарас Чирков, директор ЦОД Linxdatacenter в Санкт-Петербурге. И сегодня в нашем блоге я расскажу о том, какую роль в нормальной работе современного дата-центра играет поддержание чистоты в помещении, как правильно ее измерять, достигать и поддерживать на нужном уровне.

    Триггер чистоты


    Однажды к нам обратился клиент дата-центра в Санкт-Петербурге по поводу слоя пыли в нижней части стойки с оборудованием. Это и стало отправной точкой расследования, первые гипотезы которого предполагали следующее:

    • пыль попадает в серверные залы с подошв обуви сотрудников и клиентов дата-центра,
    • заносится через систему вентиляции,
    • и то, и другое.

    Синие бахилы – на свалку истории


    Начали с обуви. На тот момент проблема чистоты решалась традиционным способом: контейнер с бахилами при входе. Эффективность подхода не достигала желаемого уровня: контролировать их использование гостями ЦОДа было тяжело, а сам формат – неудобен. Быстро отказались в пользу более продвинутых технологий в виде бахильной машины. Первая установленная у нас модель такого аппарата провалилась: машина слишком часто рвала бахилы при попытке надеть их на обувь, ее использование больше раздражало, чем облегчало жизнь.

    Обращение к опыту коллег в Варшаве и Москве не решило задачу, и в итоге выбор был сделан в пользу технологии наплавления термопленки на обувь. С помощью термопленки можно надеть «бахилы» на обувь с любой подошвой – вплоть до тонкого женского каблука. Да, пленка тоже, бывает, соскальзывает, но куда реже, чем классические синие бахилы, а сама технология – в разы удобнее для посетителя и современнее. Еще важный (для меня) плюс – пленка легко покрывает самые большие размеры обуви, в отличии от традиционных бахил, рвущихся при попытке надеть их на 45-й размер. Для пущей современности процесса установили урны с автоматизированным открытием крышки по датчику движения.

    Выглядит этот процесс так:  


    Гости сразу оценили новшество.

    Пыль на ветру


    Приведя в порядок наиболее очевидный канал возможного загрязнения пространства, мы взялись за более тонкие материи – за воздух. Вполне вероятно, что значительная часть пыли поступает в серверные через вентиляцию ввиду недостаточной фильтрации, или заносится с улицы. Или всё дело в низком качестве уборки? Расследование продолжилось.

    Мы решили взять замеры содержания частиц в воздухе внутри дата-центра и пригласили для проведения этих работ лабораторию, специализирующуюся на контроле качества воздуха в чистых помещениях специального назначения.

    Сотрудники лаборатории замерили количество контрольных точек (20), составили расписание забора проб для отслеживания динамики и создания максимально точной картины. Стоимость полного процесса замеров лабораторией составила около 1 млн. руб., что показалось нам совершенно нецелесообразным, однако дало ряд идей для самостоятельной реализации. Попутно стало понятно, что лаборатория – это хорошо, но анализы надо проводить в динамике и постоянно обращаться к их услугам крайне неудобно.

    Посмотрев на планируемые действия лаборатории, решили посмотреть на более утилитарные устройства для самостоятельной работы. В итоге нам удалось найти необходимый для данной задачи инструмент – анализатор качества воздуха. Вот такой:


    Прибор показывает содержание частиц разного диаметра (в микрометрах).

    Пересматривая стандарты


    Этот прибор анализирует количество частиц, температуры, влажности и показывает результаты в единицах измерения соответственно со стандартами ISO по данному параметру. На дисплее видны уровни содержания частиц с разными диаметрами в пробе воздуха.

    Параллельно грешили на фильтры: на тот момент использовали внутри серверных помещений модели фильтров G4. Эта модель обеспечивает грубую очистку воздуха, поэтому допускали вероятность пропуска частиц, приводивших к загрязнению. Решили закупить на пробу фильтры тонкой очистки F5, применяемые в системах кондиционирования и вентиляции в качестве фильтров второй ступени очистки (доочистки).

    Расследование провели – можно приступать к контрольным замерам. В качестве ориентира решили использовать требования стандарта ISO 14644-1 по количеству взвешенных частиц.


    Классификация чистых помещений по количеству взвешенных частиц.

    Казалось бы – измеряй и сравнивай по таблице. Но не все так просто: на практике оказалось достаточно затруднительно найти стандарты чистоты воздуха для серверных помещений ЦОДа. В явном виде это нигде не прописано, ни одной организацией или отраслевым институтом. И только на внутреннем форуме Uptime Inside Track (доступ к нему имеют лица, прошедшие обучение по программам Uptime Institute) нашлась отдельная дискуссия на эту тему. По итогам ее изучения склонились к ориентации на стандарт ISO 8 – предпоследний в классификации.

    Первые же замеры показали, что мы себя недооценивали – результаты проверок внутреннего воздуха дали соответствие требованиям ISO 5 во внутренних помещениях, что значительно превышало желаемые участниками Uptime Inside Track нормативы. При этом – с большим запасом. У нас дата-центр, а не биологические лаборатория, конечно, но, чтобы концентрация частиц в воздухе была равна ISO 8 – это должен быть объект класса минимум «цементный завод». И как можно применять тот же стандарт к дата-центру – не очень понятно. При этом, результат на ISO 5 мы получили, делая замеры при фильтрации воздуха фильтрами G4. То есть, пыль в стойки через воздух попадать не может, фильтры F5 оказались избыточными, и их даже не стали применять.

    Отрицательный результат – тоже результат: мы продолжили поиски причины загрязнения в других направлениях, а контроль качества воздуха включили в ежеквартальные проверки, совместив со проверками датчиков BMS поверенными устройствами (требования ISO 9000 и аудитов клиентов).

    Ниже – пример отчета, который заполняется на основании данных, полученных при замере. Для большей точности замеры производятся двумя приборами – Testo 610 и датчиком БМС. В шапке таблицы указаны предельные значения для приборов. Отклонение указанных параметров автоматически выделяется цветом для облегчения идентификации проблемных участков или временных периодов.

    У нас все четко: разница в показателях приборов минимальна, а концентрация частиц намного ниже предельной границы.

    Через черный вход


    Так как в чистые помещения имелись еще и другие входы помимо главного входа для клиентов, где мы установили бахильную машину, оставалась необходимость исключения попадания грязи в ЦОД через них.

    Надевать/снимать бахилы во время процедур по разгрузке оборудования неудобно, поэтому нашли автомат для чистки подошв. Удобно, функционально, но сказывается человеческий фактор в виде необязательности подхода к этому аппарату. По сути, тоже самое, что с бахилами на главном входе.



    Для решения задачи стали искать варианты очистки, от которых нельзя уклониться: с этим лучше всего справлялись липкие ковры с отделяемыми слоями. В процессе авторизации у входных дверей, посетитель обязательно встает на такой коврик, удаляя лишнюю пыль с подошв своей обуви.


    Уборщицы отрывают верхний слой такого коврика каждый день, всего в нем 60 слоев – хватает примерно на 2 месяца.

    Посетив ЦОД Ericsson в Стокгольме, в числе прочего я обратил внимание на то, как решают эти вопросы там: наряду с отрываемыми слоями в Швеции используют многоразовые антибактериальные ковры Dycem. Идея понравилась из-за принципа многоразовости использования и возможности обеспечить большую площадь покрытия.


    Волшебный антибактериальный ковер. Жаль, не самолет, а мог бы – по такой-то цене!

    С трудом нашли в России представителей компании и произвели оценку стоимости решения для нашего дата-центра. В итоге получили цифру почти в 100 раз дороже решения с многослойными коврами – примерно тот же самый 1 млн рублей, что и в проекте с замерами чистоты воздуха. Кроме того, выяснилась необходимость использования спецсредств для очистки, естественно, доступных только у этого производителя. Решение также отпало само собою, остановились на многослойном варианте.

    Ручной труд


    Особо хотелось бы обратить внимание, что все указанные меры не отменяли использования труда уборщиц. В рамках подготовке к аттестации ЦОДа Linxdatacenter по стандарту Uptime Institute Management & Operations требовалось четко регламентировать действия сотрудников службы клининга на территории ЦОДа. Были составлены подробные инструкции, предписывающие, где, что и каким образом им необходимо делать.

    Пара выдержек из инструкции:





    Как видно, прописывается всё, буквально каждый аспект работы в конкретном помещении, допустимые для использования чистящие средства, материалы и т.д. Без внимания не остается ни одна деталь, даже самая мелкая. Инструктаж – под подпись каждого сотрудника службы. В серверных помещениях, электро-помещениях и т.д. они убираются только в присутствии уполномоченных сотрудников ЦОДа, например, дежурного инженера.

    Но и это еще не всё


    Также в перечне мер, гарантирующих чистоту в ЦОДе: обходы с визуальным осмотром помещений, в том числе еженедельные осмотры стоек на предмет обнаружения оставленных внутри них обрезков проводов, остатков упаковок от оборудования и компонентов. По каждому такому эпизоду заводится инцидент, клиент получает уведомление о необходимости устранения нарушений в кратчайшие сроки.

    Также, для распаковки и настройки оборудования нами создана отдельная комната – это тоже часть клининговой политики компании.  

    Еще одна мера, которую мы почерпнули из практики Ericsson — поддержание постоянного подпора воздуха в серверных помещениях: внутри помещений давление больше, чем снаружи, чтобы не было тяги внутрь – об этом решении подробнее расскажем в отдельном материале.

    Наконец, мы завели себе роботов-помощников для помещений, которые исключены из перечня доступных для посещения клининговым персоналом.


    Решетка сверху не только дает +10 к защите робота, но и позволяет ему не застревать под вертикальными кабельными лотками стоек.

    Неожиданная находка как вывод


    Чистота в ЦОДе важна для эксплуатации серверного и сетевого оборудования, которое тянет воздух через себя. Превышение допустимых показателей запыления приведет к скоплению пыли на компонентах и суммарному повышению температуры в пределах до 1 градуса по Цельсию. Пыль снижает эффективность охлаждения, что в пересчете на год может оборачиваться заметными косвенными издержками, а также влиять на отказоустойчивость объекта в целом.

    Можно сказать, что это умозрительное допущение, но эксперты Uptime Institute, проводившие сертификацию ЦОДа Linxdatacenter по стандарту качества операционного управления (Management & Operations) уделяют самое серьезное внимание чистоте. И тем более приятно было получить по этому направлению самые лестные оценки: требования сертификации наш дата-центр в Петербурге серьезно превышает. Эксперт института назвал нас «самым чистым ЦОДом, который он видел», более того, наш ЦОД используется Uptime в качестве примера решения вопроса с чистотой серверных помещений. Также, мы с легкостью проходим любой клиентский аудит по этому параметру – самые серьезные требования самых капризных клиентов удовлетворяются с превышением.

    Вернемся к началу истории. Откуда же взялись загрязнения по той самой жалобе из начала статьи? Та часть стойки клиента, которая стала причиной запуска всего проекта «чистота в ЦОДе», была загрязнена с момента ввоза и установки стойки в дата-центр. Клиент не очистил стойку к моменту ввоза в серверное помещение – при проверке соседних стоек, установленных в то же время, выяснилось, что там с пылью та же самая ситуация. Эта ситуация послужила поводом для добавления пункта контроля очистки в клиентский чек-лист по установке стойки. О вероятности подобных вещей также никогда нельзя забывать = предупрежден, значит, вооружен. Это всё о «чистоте и диктатуре» в нашем ЦОД, в следующей статье расскажу о датчиках давления, а пока задавайте вопросы в комментариях.
    Linxdatacenter
    79,81
    Компания
    Поделиться публикацией

    Комментарии 20

      0
      Бахилы из автомата лопаются и отваливаются в самый неподходящий момент, например, при переноске оборудования. В московском ЦОДе этот автомат убрали.
        +1
        Ну и синие тоже на ботинках с ребристой подошвой в принципе не живут, на самом деле.
          +1
          У нас в начале были нарекания на отвал, когда была «демо-пленка» из набора по умолчанию. Потом, со сменой на полноценный барабан это ушло. Температура «запекания» еще влияет — если лопаются, возможно для данной пленки слишком высокая. Еще, кстати, важный момент — «синие» на наклонных поверхностях не очень удобны для передвижения.
            0
            Я про московский ЦОД Linx, именно там пленка регулярно отваливалась, а сейчас стоит только автомат со щетками, пленку убрали совсем.
              0
              по последней информации — московский бахилятор в ремонте, вернётся)
          0
          Решетка сверху не только дает +10 к защите робота, но и позволяет ему не застревать под вертикальными кабельными лотками стоек.

          Долго пытался понять, для чего нужны все эти изгибы решетки. Она поворачивается вверх? Или как?
            +1
            Изгибы — результат подгонки детали кабельного лотка под форм-фактор робота. Это просто повышает его вертикальный размер, что не позволяет ему влезать под лотки «впритирку».
              0
              Речь идет о комнатах с ограниченным доступом, в частности Meet-me-Room (кроссовая). В ней установлены стойки с вертикальными кабельными органайзерами по бокам. Эти органайзеры не доходят несколько сантиметров до пола, как бы выпирая за пределы стойки, это видно на фото на заднем плане. Получается, что они нависают над полом. Робот при работе может заехать под этот лоток, притереться к нему и намертво застрять под ним. Чтобы такого не случалось, робот дооснастили решеткой, которая упирается в этот лоток сбоку. И тогда робот просто разворачивается и едет дальше, не заезжая под него.
              0
              при попытке НАодеть их на 45й размер

              Надевают одежду, одевают Надежду.
                0
                Спасибо, поправлю.
                0
                Сменная и удобная обувь нужна обязательно, но пыли обычно под фальшполом тучи… а туда робота не заведешь, кабелей много, только руками и пылесосом.
                  0
                  Да, руками, пылесосом и под присмотром.
                  Но там не может быть особых «туч пыли», по крайней мере в нашей конфигурации. Ну это, конечно, если там вобще кто-либо когда-нибудь проводил уборки.
                  У нас охлажденный воздух подается в холодные коридоры через фальшпол, снизу вверх, соответственно мелкодисперсная пыль, если и внесена, улетает, не попадая вниз, и затем осаждается на фильтрах кондиционеров.
                  Под фальшполом, в районах вентиляционных решеток, основное — это крупные фракции, обрезки стяжек и витой пары.
                  0
                  В Эрмитаже очень давно видел нечто подобное russian.alibaba.com/product-detail/industrial-automatic-sole-shoe-cleaning-machine-e-clean-2000-60698667087.html?spm=a2700.md_ru_RU.maylikeexp.5.391b4af04xYk8s, в тамбуре, большого размера, при тамошнем потоке продержалось недолго.
                    0

                    Не увидел в статье довольно очевидного фактора "с клиентского оборудования". Нередко переезжают либо из офисных коморок либо из менее чистых дц. При смене влажности/температуры и после тряски даже вековая прикипевшая пыль с радиаторов может начать осыпаться.

                      0
                      Так вот же ответ:
                      была загрязнена с момента ввоза и установки стойки в дата-центр. Клиент не очистил стойку к моменту ввоза в серверное помещение
                        0

                        Я скорее не про саму стойку, а про оборудование. Фразу можно двояко прочитать.
                        Кстати вспомнился еще один неочевидный фактор старого оборудования. Убитые в хлам от времени или неисправности турбины стирают в пыль пластик и элементы статора/магнита. В наиболее грустных случаях корпус изнутри покрывается хорошим таким налетом пыли. А уж сколько улетает за пределы корпуса...

                      0
                      Есть подозрение, что ваш счетчик частиц не прокачивает через себя достаточный объем воздуха, а потому и не определяет или определяет в недостаточных количествах количество частиц. Потому что иначе довольно сложно объяснить, как только с фильтрами грубой очистки, в помещении, сконструированном не как чистое помещение, и без спецодежды у вас получается класс чистоты ИСО5. И при этом пыль в стойках все же накапливается.
                        0
                        Я полагаю, ЦОД стоит в достаточно чистой местности. Если бы ЦОД размещался в Челябинске с тоннами пыли в воздухе от металлургических заводов или вблизи оживленной магистрали, результат был бы другим.
                          0
                          В помещениях, типа разгрузочных зон, частиц уже набегает на ISO 6. То есть, действительно, у нас не очень загрязненная внешняя среда.
                          0
                          Посмотрел, сколько и какой объем рекомендуют измерять:
                          ГОСТ Р ИСО 14644-1-2017 Чистые помещения и связанные с ними контролируемые среды.

                          В каждой точке следует отобрать пробу объемом не менее 2 л.
                          Время отбора одной пробы в каждой точке должно быть не мене 1 мин
                          .
                          У нас по прибору время 60 сек / 3 л. — достаточное для регистрации. Мы ж не биологическая лаборатория, приборы у нас не поверенные и используется этот метод исключительно для самоконтроля. Может и не настолько точно измеряет, как лабораторные устройства, но вряд ли настолько, чтобы плюс/минус 3 класса чистоты путать.

                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                        Самое читаемое