kyur Jul 5 2017 at 16:27

Дата-центр ВКонтакте

6 min

56K

VK corporate blogIT Infrastructure*Network technologies*Data storage*

+61

Comments 35

Arrest Jul 5 2017 at 17:07

Теперь мы знаем, что сетевое оборудование у вас называется A9922-E-5 и A9922-E-7.

K0Y0T Jul 6 2017 at 13:06

И ещё мы знаем, что используется WDM железки Ciena (Nortel).
Только что нам это даст?

0x5cef Jul 5 2017 at 18:29

Вот это мощь! А как все начиналось…

bondbig Jul 6 2017 at 10:20

как?

DarthVictor Jul 6 2017 at 15:37

Известно как

Adward Jul 7 2017 at 05:13

Но ведь до этого была уже проведена какая то работа?
Вячеслав и Михаил Мирилашвили, Лев Левиев уже принесли немножко денег для первых серваков и программистов ;)

Acuna Nov 18 2017 at 04:27

Ахах)

realkludge Jul 6 2017 at 13:06

Кстати, а как? Есть фото самого первого сервера (серверов) ВК?

Alaniyatm Jul 5 2017 at 22:48

Добрый вечер!
Можете подсказать чем осуществляете мониторинг? Если это конечно не секрет.
Очень любопытно )))

greediness Jul 6 2017 at 17:04

Мониторинг сделали сами. Работает по SNMP. Либо в железо ставятся интерфейсные карты, либо ставятся контроллеры а-ля сухой/мокрый контакт <-> SNMP.
Коллектор собирает данные, далее можем отображать для мониторов больших и маленьких, телефонов и т.п.

Alaniyatm Jul 8 2017 at 13:22

Механика понятна. Вопрос был именно к программной части, тк выглядит очень прилично.

TimsTims Jul 6 2017 at 01:46

А если умирает подстанция, то оба канала электричества пропадают?
А что если во всём городе выключается свет? Допустим, ваш ЦОД работает, но ведь множество соседних узлов оставшиеся без электричества просто не смогут передавать сигналы до абонентов, и всё-равно, вконтакте будет недоступен…

UFO just landed and posted this here

TimsTims Jul 6 2017 at 08:56

Почему же глупости… Москва, 2005 год, веерное отключение электричества. Некоторые ЦОДы хоть и работали, но ближайшие узлы операторов в тех или иных мечтах — нет. В итоге, 20% интернета не работало.

greediness Jul 6 2017 at 17:11

Дизель-генераторные установки (ДГУ) поддерживают жизнь в дата-центре в случае затяжной аварии или плановых работ в системе электроснабжения. Кроме топливных баков в самих ДГУ установлена автоматическая контейнерная заправочная станция большой ёмкости. Топливо из резервуара подаётся автоматически во все ДГУ, запас рассчитан минимум на сутки. В случае необходимости бензовоз с дизельным топливом прибудет в течение двух часов.

slavabars Jul 6 2017 at 13:06

Я предполагаю, что если умрут все последующие точки связи (маршрутизаторы), то связи с дц не будет. НО т.к. используется много магистралей, то подобную ситуацию, наверное, можно исключить.

UFO just landed and posted this here

click0 Jul 6 2017 at 07:34

640 стоек * 10 КВт = максимум 6.4 MBт

UFO just landed and posted this here

sirocco Jul 6 2017 at 07:45

Они требуются при обслуживании, они там есть. Их берёшь к месту работы. А всё огромное помещение покрывать резиной смысла, и требований, нет.

Pave1 Jul 6 2017 at 09:35

Вот интересно — а зачем так запариваться с запитыванием серверов без резервного блока питания через отдельный балансировщик и т.д.? Это же лишние юниты, лишняя сложность.
Ведь, как я понимаю — предполагается полное резервирование на уровне софта, и выход из строя одной ноды — не должны влиять на сервис?
Ну и укладку кабеля я бы бережной точно не назвал)) Скажем так, она адекватна и функциональна. Но не более)))

И да, спасибо за статью. Интересно.

quantum Jul 6 2017 at 10:53

Как мне кажется из за того, что при внезапном отключении электричества может многое сломаться, от ОС до железа

Tramantor Jul 6 2017 at 13:06

Вы может быть не читали статью от Нага? На их фоне это ваще! очень бережная и аккуратная укладка.

NAI Jul 6 2017 at 13:06

А я правильно понимаю, что если навернется ИБП1, вы получите только одно плечо питания от ДГУ2? Не захлебнется?
Как рассчитываете потребление серверов (и соответственно время работы ИБП)?

karibskii_koks Jul 6 2017 at 13:06

Никогда не был знаком с большими объемами серверов.
Но полагаю, что это очень грамотно построенный проект.
Судя по материалу и вакансии Системного администратора ВК, работы там Ого-го сколько.

greediness Jul 6 2017 at 17:07

Работы много. Интересной и разносторонней. Админы очень нужны :)

donvictorio Jul 6 2017 at 13:06

А с Селектел вы совсем и навсегда расстались?

freeseacher Jul 6 2017 at 13:06

А расскажите, пожалуйста, как используются qr коды на оборудовании? Куда ведут? Как используются ?

Fitrager Jul 6 2017 at 13:06

Я испытал экстаз, прочитав эту статью.

qpPeW Jul 6 2017 at 13:09

Главное не пускать в помещение уборщицу бабу Валю, а то будет беда… =)

UFO just landed and posted this here

kursoriks Jul 6 2017 at 13:09

Как хорошо контактом охраняются фотки котиков, однако.

miga Jul 6 2017 at 15:16

Это что, все лежит только в одном ДЦ?

maximosipov Jul 6 2017 at 16:45

Километры бережно уложенных проводов… на это можно смотреть бесконечно

KorDen32 Jul 6 2017 at 23:45

А почему все сетевое оборудование сведено в отдельные стойки, в которые сходятся огромные пучки? Не проще ли ставить условно по паре коммутаторов на каждые две стойки, но рядом с оконечными серверами? Есть же вроде уменьшение энергопотребления для коротких кабелей витой пары и т.п.

В случае с текущим расположением — если коммутаторы соединены между собой (стекирование, etc) — не эффективнее ли с точки зрения нагрева, энергопотребления,… использовать dirrect-attach медные кабели вместо оптических патчкордов? Или же на больших скоростях все совсем наоборот?