Rutube 2009-2015: история нашего железа

    Прошло 7 лет с тех пор, как Rutube стал частью Газпром-Медиа Холдинга и начался новый этап развития проекта. В данной статье расскажем о том, каким мы получили проект в конце 2008 года, и как он изменялся в течение 7 лет по аппаратной части. Под катом вас ждёт увлекательный рассказ и много много картинок (осторожно, трафик!), поэтому тыкайте на Фичу (наша офисная кошка) и вперёд!



    Начало


    В конце 2008 года Газпром-Медиа Холдинга приобрёл Rutube — код и инфраструктуру. Техническая команда, состоявшая на тот момент из технического директора, системного администратора и технического специалиста («Компьютер просит нажать «Эникей», где она?), получила в своё распоряжение несколько стоек с оборудованием в центрах обработки данных «М10», «КОМСТАР-Директ» и «Курчатнике».

    Стойки выглядели примерно следующим образом:
    ЦОД М10


    ЦОД КОМСТАР-Директ


    С тоской вспоминаем ЦОД «М10», в котором быстросъёмные салазки можно было установить только с помощью плоскогубцев и лёгкого постукивания молотком. Зато салазки Supermicro, крепящиеся на болты, прекрасно фиксировались в стойках, а сами стойки были готовы выдержать полное наполнение устройствами ИБП.

    Чего только стоило расположение стоек в ЦОД «КОМСТАР-Директ», когда задняя дверца не могла до конца открыться, упираясь в стену, и приходилось снимать дверцу, чтобы подлезть к салазкам со стороны петель стойки. Даже какая-то ностальгия осталась по этому ценному опыту!

    Оборудование состояло из серверов HP ProLiant DL140 G3 и HP ProLiant DL320 G5, а также серверов Supermicro на базе материнских плат PDSMU, X7SBi. Роль коммутаторов исполняли Allied Telesis и D-Link.

    К слову, часть этого оборудования мы уже вывели из эксплуатации и продали, а часть ещё в продаже — обращайтесь!

    Развитие


    Практически сразу стало ясно, что текущих мощностей недостаточно для развития проекта, и было принято решение закупить несколько десятков серверов Supermicro на базе материнской платы X7DWU. В качестве сетевой составляющей использовали коммутаторы Cisco Catalyst 3750. Это оборудование с начала 2009 года мы устанановили в новый ЦОД «Синтерра» и в «М10».

    Synterra


    Хранение контента начали переводить на промышленную систему хранения данных. Выбор пал на NetApp: контроллеры FAS3140 с дисковыми полками DS14. В последствие СХД расширялась контроллерами серий FAS3170 и FAS3270 с использованием более современных полок DS4243.

    NetApp + помойка


    NetApp + помойка


    К лету 2009 года образовалась «неожиданная» проблема — так как никто конкретно не отвечал за обслуживание центров обработки данных, то каждый, кто ставил туда железо или проводил коммутацию, чувствовал себя не хозяином, а гостем. Отсюда нарисовались джунгли проводов и беспорядочным образом разбросанные серверы.

    Synterra\Коммутационная


    Было принято решение закрепить ответственность за данное направление (сотня серверов, десяток стоек и коммутаторов) за выделенным сотрудником. С тех пор инфраструктура доросла до пяти сотен серверов, несколько десятков коммутаторов и стоек, сотрудник превратился в отдел из трёх человек.

    Параллельно прошла закупка нового сетевого оборудования — выбор остановился на Juniper (коммутаторы Juniper EX8208, EX4200, EX3200, EX2200 и маршрутизатор MX480). И осенью 2009 года, когда получили новое оборудование, то провели масштабные работы по наведению порядка (в ЦОД «Синтерра») и ввода в эксплуатацию нового оборудования с минимальным перерывом сервиса.

    Synterra

    Смонтировали новое сетевое оборудование, подвели элементы новой СКС (на тот момент мы ещё расшивали патч-панели).

    Synterra

    Украсили гирлянду временными патч-кордами, чтобы свести к минимуму перерывы сервиса при работе.

    Synterra


    В итоге пришли к такому порядку. Схема End-of-Row — рабочая, но имеет свои понятные минусы. Через несколько лет, расширив парк сетевого оборудования, перешли к схеме Top-of-Rack.
    Окончательный перевод на новое оборудование состоялся 4 ноября — в День народного единства.

    В конце 2009 года мы запустили свой узел в ЦОД «М9». Основной целью было получение доступа к тем сотням операторов, которые присутствуют на «Девятке» (даже сейчас в Москве нет реальной альтернативы данному учреждению). Здесь мы установили маршрутизатор Juniper MX480, коммутаторы Juniper EX4200, EX2200 и новенькие серверы Dell PowerEdge R410.

    Juniper MX480

    Juniper MX480

    Juniper EX2200, EX4200

    Juniper EX2200, EX4200


    Тогда ещё казалось, что стойки 52U на «M9» безразмерные, а теперь едва в них умещаемся.

    Раньше серверы мы принимали не сразу в ЦОД, а в офисе, где проходила проверка и первоначальная настройка серверов перед отправкой в ЦОД.



    Уютное просторное серверное помещение без окон и системы кондиционирования, в котором в качестве бонуса располагался некий завхоз, постоянно предлагающий отобедать «клюковкой» за компанию.

    С 2010 года мы активно росли: новые проекты, новое оборудование, новые стойки в ЦОД. В середине 2011 года коллеги обратили внимание, что сотрудник, отвечающий за железо и ЦОД, не появляется в офисе даже в день аванса и зарплаты (благо они приходят на карточку). Мы скучали!


    Минута славы (понял, что пишу больше для себя, чем для хабра)!

    Но темпа никто сбавлять не собирался. В новом ЦОД «M77» мы запустили новый проект (NTVPLUS.TV) и начали строить второе ядро RUTUBE.RU, чтобы при падении основного ЦОД РУТЬЮБ продолжал работать.


    Небольшая партия серверов Sun Fire X4170×64.


    Коммутаторы Juniper EX8216, EX4200, EX2200 и немного NetApp.


    Очередное соревнование «успей обжать 100500 патч-кордов до запуска проекта».


    С СКС завершили и ЦОД запустили.


    Вот и NetApp FAS3170 с полочками DS4243 постепенно наполняется контентом.


    Тем временем наши системные администраторы завершают настройку Sun Fire X4170×64.


    А «главный по проводочкам» завершает наводить красоту (AKA порядок).

    2011 год начали с продолжения расширения второго ядра в ЦОД «M77», когда получили новую партию серверов Dell PowerEdge R410 и в рамках нового проекта (от технологического партнёра), серверы на платформе Quanta.

    В сетевой инфраструктуре всё больше появлялось 10G-коммутаторов — первой ласточкой стал Extreme Summit X650-24x. Потом были и более интересные Extreme Summit X670-48x.


    Вот, чего не хватало в детстве, чтобы построить свой картонный домик.





    Не успев выдохнуть после окончания работ в ЦОД «М77» перебазировались в ЦОД «Синтерра», где необходимо было ввести в эксплуатацию Juniper EX8216 вместо EX8208 (нужно было ставить ещё платы для подключения операторов и серверов).

    В это же время мы начали монтаж нашего первого комплекса DWDM (активный вариант), связывающего три основных ЦОД «М9», «Синтерра» и «М77» поверх тёмной оптики. Тут нам помог отечественный производитель — Т8.


    Juniper EX8216 и DWDM

    В 2012 году у нас появился отдел, отвечающий, за ЦОД и железо (то есть, вместо одного сотрудника стало два). До этого, конечно, все работы выполнял не один человек — ему активно помогали коллеги сетевые и системные администраторы. С тех пор отдел старается балансировать между порядком, унификацией, красотой и оперативной работой в рамках задач по развитию проектов.

    Проект в наши дни


    Новый этап развития начался в 2014 году, когда стали менять СХД, оптимизировать серверную инфраструктуру, запуская новые кэширующие серверы, а также (уже в 2015) провели замену всего основного сетевого оборудования, так как старое уже не удовлетворяло текущим потребностям.

    СХД NetApp верой и правдой нам прослужила 5 лет. За это время мы поняли, что на содержание и расширение СХД требует трат, которые не соразмерны остальным подсистемам. Начали поиск более рационального решения, который закончился поэтапным внедрением СХД собственной разработки (переход начался в начале 2014, а закончился осенью 2015). Теперь СХД состоит из 12-дисковых серверов (Supermicro, Quanta) и софта, написанного нашими разработчиками. Для нас это стало отличным решением, и в данный момент NetApp сняли с поддержки и часть его используем в качестве СХД под разные технологические нужды.



    В начале 2014 года приняли решение модернизировать систему кеширования, которая на тот момент представляла сотню серверов с 4 гигабитными интерфейсами и гибридной дисковой подсистемой (SAS + SSD).

    Мы решили выделить серверы, которые будут отдавать «горячий» (активно просматриваемый) контент, в отдельный кластер. Этими серверами стали Supermicro на материнской плате X9DRD-EF с двумя процессорами Intel Xeon E5-2660 v2, 128 Гб ОЗУ, 480 Гб SSD и 4 сетевыми картами Intel X520-DA2. Опытным путём установили, что такой сервер без особых проблем отдаёт 65-70 Гбит/с (максимум было 77 Гбит/c).

    В середине 2014 года мы заменили активный DWDM на пассивный. Это позволило нам сильно нарастить его ресурсы и начать «разводить» операторов, подключённых в одном ЦОД, на другие площадки, снижая зависимость от выхода из строя конкретного пограничного оборудования.

    К концу 2014 года запустили и новый кластер для «холодного» контента, которые пришли на смену оставшимся серверам с агрегатом на 4 Гбит/с. И снова наш выбор пал Supermicro на материнской плате X9DRD-EF, на этот раз с двумя процессорами Intel Xeon E5-2620 v2, 128 Гб ОЗУ, 12×960 Гб SSD и 2 сетевыми картами Intel X520-DA2. Каждый узел этого кластера способен держать нагрузку до 35 Гбит/с.

    Естественно, дело не только в грамотно подобранном железе, но и в замечательных самописных модулях для сегментации, написанных нашим системным чудо-архитектором и замечательном видеобалансировщике, созданном командой разработки. Работы по выяснению предельных возможностей данной платформы продолжаются — остались слоты под SSD и сетевые карты.

    2015 год ознаменовался заменой всего основного сетевого оборудования, включая переход с аппаратных балансировщиков нагрузки на программные (Linux + x86). Вместо коммутаторов Juniper EX8216, большей части EX4200, Extreme Summit X650-24x и X670-48x заступили на службу маршрутизаторы Cisco ASR 9912 и коммутаторы Cisco Nexus 9508, Cisco Nexus 3172PQ и Cisco Nexus 3048. Конечно, развитие нашей сетевой подсистемы повод для отдельной большой статьи.

    Cisco


    После работ по замене старого серверного оборудования и сети стойки выглядят вновь не так хорошо, как хотелось бы. В обозримом будущем закончим наведения порядка и опубликуем красочную статью с фотографиями, как мы вступаем в 2016 год.
    Rutube
    57,00
    Компания
    Поделиться публикацией

    Комментарии 17

      0
      Хороший ЦОД СВС, но пустой по прежнему :(
        0
        ЦОД интересный с точки зрения инженерки, но есть нюансы…
        +2
        Скромный оффтопик
        Напоминание про HTML5, а там глядишь и помощнее железо придется нарастить

          0
          А может и не придётся. :)
          0
          В глазах Фичи — Боль Всея Девелопмента…
            0
            Поверьте: она ищет, кого бы уничтожить.
            0
            зачем вам Cisco ASR 9912, если не секрет? Я хорошо представляю на что способна эта машина и сколько она стоит и не пойму зачем она вам?
              0
              Бордер с возможностью роста. Интересует что, сколько трафика там ходит или какие фичи используем?
              +2
              > маршрутизаторы Cisco ASR 9912 и коммутаторы Cisco Nexus 9508, Cisco Nexus 3172PQ и Cisco Nexus 3048. Конечно, развитие нашей сетевой подсистемы повод для отдельной большой статьи.
              Было бы интересно почитать. Перечислена довольно странная подборка оборудования. Вам реально есть чем забить 9912-й — как по портам, так и по трафику? Если вы любите ToR — зачем гроб 9508, когда можно было бы организовать классный spine-leaf на нескольких более компактных 40G свитчах? Или — зачем 3000-е нексусы, когда можно было пойти по пути ACI?
                0
                На ASR пока занято 2/10 слотов. Но мы знаем, как мы быстро растём по трафику — в 50 раз за время службы (5 лет) прошлого сетевого оборудования.

                Спайн-лиф нам не нужен, у нас трафик на 99% идёт снизу вверх. Потребности ACI для нас тоже пока не актуальны.
                Ещё у нас Cisco Nexus 9300 есть. :)

                P. S. В общем и целом мы довольны своим выбором, странный со стороны набор железа вызван конкретными задачами и требованиями. Выбирали мы почти год, вариантов смотрели множество.
                  +2
                  > Спайн-лиф нам не нужен, у нас трафик на 99% идёт снизу вверх.
                  Ну сейчас у вас, как я предполагаю, все ToR сходятся на два 9508-х. От каждого из 9508-х несколько 40G/100G линков до ASR'ов. С тем же успехом можно было бы поставить 4 или 8 более компактных spine железок, сохранить ту же самую емкость до ASR'ов, и при этом при отказе любого из spine свитчей совершенно не париться. Вплоть до рутинного снятия трафика с любого из них прямо посреди дня, что сейчас с гробами вы себе вряд ли можете позволить.

                  Ну в общем нужна статья, причем с «зачем?» и «почему?». Заинтриговали.
                0
                который закончился поэтапным внедрением СХД собственной разработки


                если не секрет, то на базе чего СХД?
                  0
                  FileHeap. Коллега из департамента разработки писал про него в комментариях к первой нашей статье. Можно почитать ветку комментариев по ссылке: habrahabr.ru/company/rutube/blog/269227/#comment_8622741
                  0
                  А чем вызван уход с Juniper? Не нашлось подходящих по мощности/фичам железок?
                    0
                    У Juniper не было на тот момент железок с желаемой плотностью портов.
                    0
                    А куда обращаться-то чтобы купить «списанные в запас» железки? И какая у них стоимость? :)
                      0
                      Ко мне, всё обсудим. Желательно на рабочую почту pvinogradov собака и имя нашего сайта. :)

                    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                    Самое читаемое