Заказные серверы Google.

[@Masterkey]

малютка

оочень хорошее решение. мне лично было бы интересно купить и потестить его
а идеальным было бы чтоб они их продавали

[@nickon]

> «а идеальным было бы чтоб они их продавали»
чтоб ещё бушные, с нетронутыми хардами, дабы посмотреть какие же секреты там внутри :D

[@Masterkey]

думаю если они продадут их с данными, то никаких секретов ты не получиш ибо не сможеш попросту их прочитать!

[@mrskam]

Ну продают же они Search Appliance и Mini. Что-то мне подсказывает, что там слегка переделаная их ось, которой они сами пользуются, та же GFS, тот же bigtable (что по сути Berkeley DB), тот же поисковый паук и т.п.
Разве что механизмы ранжирования отличаются. Так что ничего интересного, все давно описано и расписано. И их софт нужен только им, нам он для 1-10-50 серверов все равно не пригодится, он расчитан на чуть поболее кластера, имхо :)

[@pr0r0k_d]

Если еще и гугл, вслед за сиско, выйдет на рынок серверов, то в hp точно обосруться.

[@Masterkey]

вообще, чем больше корпораций мучаються, тем проще рядовым пользователям и рядовым админам!

[@pr0r0k_d]

что значит «мучаються»?

[@Masterkey]

это завуалированное слово конкуренция

[@szver]

если гугль начнёт продавать сервера — это будет уже не кризис…

[@aosiniao]

Проблема в том, что эти батарейки служат 1,5-2 года, а потом их можно выбрасывать. А постоянно менять батарейки — накладно.

[@zar0ku1]

постоянно? я думаю подходить к серверу раз в 1,5 года не сильно накладно, да и как часто вы меняете комплектующий у сервера?

[@aosiniao]

Допустим, сервер требует ремонта либо замены винчестера или вентилятора один раз в 1000 дней (~3 года). Это значит, что в парке из 1000 серверов каждый день один сервер требует ремонта.

[@zar0ku1]

какие-то у вас идеальные сервера, или вы просто работаете в идеальном ДЦ, лично у меня в глубинке все намного плачевнее, да и ДЦ даже на 100 серверов не найдешь

[@atomicxp]

Я пытался узнать сколько серверов у гугла, но что-то так и не нашёл. Может потому что гугловским поиском пользовался. То ли у них 80 тысяч серверов, то ли больше, так и не понял, понял что много, и дата центры по всему миру раскиданы.

[@iliar]

Я точной цифры тоже не знаю. Но в какойто из новостей слышал цифру что поисковая база растет со скоростью 6-8 терабайт в сутки (которые надо не просто мронить на винты и еще и отсортировать и построить инексы)

[@lenar]

где-то видел цифру 400 тысяч, но это было уже больше года назад и за правдивость не ручаюсь :)

[@Adelf]

>> На 2006 год система включала в себя 450000 недорогих серверов

Взято отсюда

[@iliar]

Интересно было узнать как из высказывания «в глубинке ДЦ даже на 100 серверов не найдешь» следует то что в ДЦ Google мало серверов.

[@zar0ku1]

где я писал что у гугл мало серверов в дц? я всего лишь удивился безотказностью работы серверов aosiniao, у гугл есть закрытые города, со своими электростанциями, школами и больницами и думаю поменять блокпитания на сервере для инженеров так же обычно как заменить винт или лампочку в коридоре

[@LFK]

Прям как Dharma Initiative. Мурашки пробежали.

[@SHSE]

Закрытые города? Где? Откуда информация?

[@tigrenok]

ну это только если их по очереди по одному раз сутки подключали… =)
к тому же ведь централизованные системы резервирования питания тоже не вечны.
имхо чтобы заменить «батарейки» лучше по-одному вырубать серваки (особенно если есть дублирующие кластера), чем все сразу, чтобы переподключить «большую батарейку»…

[@vinzz]

подключать батарейки hot-swap'ом умеют даже относительно дешёвые APC SmartUPS 1500 и выше. Тут что-то другое…

[@tigrenok]

Ну подключать то такое дело — а вот если сломается — то все сразу, а так по одному будут ломаться…

[@lost_shadow]

Именно поэтому я подключаю блоки питания сервера на разные UPSы. Серьёзных серверов, имеющих менее, чем 2 блока питания не встречал.

[@Mordraug]

Гугл строит надежность не на безотказности одного элемента (увеличение надёжности одного сервера — влияет на его цену очень ощутимо), а на большом количестве простых и дешевых элементов в системе. При этом отдельно взятый элемент проще заменить целиком, чем починить – поэтому чем дешевле и проще, тем не хуже.

Погуглите на тему архитектуры Гугла — много интересного :)

[@Mordraug]

это я в смысле, что добавление этой простой батарейки к каждому простому серверу — в масштабах всей системы повышает надежность очень ощутимо :) и большего просто не нужно.

[@Theasus]

Читал, что Google всё же ремонтирует свои серверы. Каждый день несколько десятков серверов выходят из строя, столько же восстанавливают :)

[@MYPABEU]

А если у них щелочной аккамулятор?? Тогда нихрена ему не будет! У меня до сих пор в инсте еще советские с 1975 года в качестве аккумуляторов для упсов работают…

[@aosiniao]

Гугл установил маленькие атомные реакторы. Заряда хватает на 25 лет.

[@tangro]

Холодный термоядерный синтез наверняка втихаря юзают и не колятся.

[@ready_pro]

На первой картинке показалось, что блок питания — UPS странно примотан :D А насчет батареек, это не так уж накладно выходит, тем более думаю в гугле просчитали плюсы и минусы их варианта.

[@glazik]

а как гугаль сказал — значит так и надо?
доверяй — но проверяй.

[@almaz]

профильные/тематические 1апрельскии шутки? правда типа ещё есть инсайд видео (мужик с фотки от туда) следующим числом но про тот же день — www.youtube.com/watch?v=bs3Et540-_s&fmt=18

[@asmarty]

Ну если это и шутка, то кто то очень мощно потратился. И такая железка таки существует.

[@norguhtar]

Все же помоему это шутка. ПОсмотрите маркировку платы. А теперь посмотрите эту:
www.gigabyte.com.tw/FileList/Image/server_productimage_ga-9ivdth-pl_big.jpg

Ничего не замечаете? Плата такая действительно существует, но выпускается исключительно в баребонах :)

[@bruce]

На вашей фотографии только 6 слотов памяти, а не 8.

[@norguhtar]

И что? Разводка аналогична. Если вы пройдете по ссылке, то там есть большая фотография, на которой четко видно маркировку платы.

[@asmarty]

Где это вы видели баребон на двух Ксеонах. Да и посмотрите внимательно на плату — где питание подключается, сколько памяти и т.д. Та да не та эта плата.

[@norguhtar]

А я где-то говорил, что это та же плата? Это та же серия. Мне вам что ссылку набольшую фото дать где четко видна маркировка Gigabyte?

[@kurokikaze]

Где то проскакивала инфа что у гугла custom-built гигабайтовские платы.

[@tsepelev]

Хмм, на видео 1 апреля =)

[@Smorpy]

да скайнету гуглу уже бесполезно отключать электричество, очередной шаг сделан :)

[@DROS]

Да и в принципе, какая рзница в данном контексте у кого длнее ***, и так все ясно.
Сомневаюсь что тут есть представители дата-центра той же рапиды +)))))

[@kabachok]

Не смешно

[@Varnak]

говорится со специфической интонацией:
Моя прелесть…

[@cre8or]

«Заказных серверах Google» — что за заказные серверы? Кому их заказывают :)

[@almaz]

да, они сами себя давно заказывают и электрозамками придерживают необходимый персонал для обслуживания ;)

[@vitcom]

С первым апреля :)

[@Freek]

вот интересно, а жесткие диски то у них вроде на видео не SSD, а ведь недано говорилось что компания перешла на них. Или это они?

[@MadGreen]

почему -то у админа досада на лице(((

[@xattabych]

news.cnet.com/8301-1001_3-10209580-92.html а вот полная инфа…

[@GrustniyKot]

иметь отдельный ИБП на каждом сервере очень эффективно — но дороже.
Если у вас централизованная система ИБП — сгорает она, выходит из строя весь ДЦ.
Здесь же — всего лишь выгорает 1-2 зеркальных сервера.

Представляю хор ИБП в ДЦ, при отрубании электричества. Хотя эти я думаю беззвучные.

[@agorlov]

Дешевле. Констукция упса сложней — в нем 12 в аккума надо преобразовать в 220В переменки, которые потом блок питания компа обратно преобразует в 12в, и свою линейку напряжений.
За это отвечает инвертор в конструкции блока питания, кстати довольно дорогое устройство и чем мощнее инвертор тем он дороже.

Тут 12В уже приходят от батарейки и их преобразовывать туда обратно не нужно! И еще важен тот факт, что лишние преобразования сильно ухудшают КПД.

Мне нравится их сервер, хорош. Жду когда такое начнут продавать :)

Сами покупаем дорогие железки, а это чудо, уверен стоит не больше 20-30тр. хотя мы сейчас за 1U сервер платим 60-100т.р.

[@Halt]

Тем более что отдельно говорили что гугл заказывал разработку именно 12V плат (без подвода других напряжений). Тогда может быть понятно зачем и почему :)

[@goodbear]

Это «чудо» рассчитано на работу таких серверах, в определенных условиях. Себе под сервер тако «чудо» в единственном экземпляре не зачем.

[@HID]

ИМХО бред! 100 мальенких бесперебойников всегда будут менее эффективны, нежели один большой в ту же стоимость. Есдинственный плюс — надежность вследствие распределенности.
Да и вообще как-то топорно смотрится эта поделка. По сравнению с тем что мы видели раньше.

[@agorlov]

Вторую половину упса (после батарей) занимает — трансформатор и силовая электроника инвертора.
В этом варианте ни трансформатор ни инвертор не нужен! получается дешевле и эффективней!

В этом варианте даже зарядное устройство как таковое не нужно. Как в автомобиле, генератор вырабатывает чуть больше напряжение чем 12В за счет чего идет зарядка аккумулятора. Стандартный блок питания уже выдает 12В.

[@ew1abz]

Порадовало наличие COM-порта на материнской плате.

[@Garrett]

Куда без него!

[@stolen]

И отсутствие монитора. Используют old-school консоли, видимо.

[@norguhtar]

Монитор не нужен. После установки используется сетевая консоль. До установки хватит и serial

[@yuuyake]

А мне кажется, что конструкция очень не удачна. Конечно гуглю виднее, но не фейк ли это? Сам по себе сервер хлипкий, зачем тратить столько пространства, когда в 1U можно 3 таких вместить? БП очень большой, для серверов можно и меньше делать. Он будто бы на коленке собран. А заменить вышедший из строя диск можно только выключив его.

Источник есть?

[@agorlov]

Фишка этого корпуса в его отсутствии! В 1U серверах стоит как минимум 5-8 вентиляторов которые создают много шума, но обеспечивают постоянный проток воздуха.

Тут за счет такой открытости — вентиляторов как в обычном десктопе. А если в серверы ставить низкопотребляющие и не греющиеся Atomы, то вообще можно вентилятором БП обойтись.

Энергия дорогая.
И с этим я уже сталкивался, работал в гос. учреждении в течении последних 10 лет там постоянно вводилось в эксплуатацию новое оборудование. Но в этом году закончилась мощность :-) выделенная на здания учреждения. Теперь там народ начал думать и об эффективном расходовании эл. энергии, о чем раньше никто не парился.

[@Psih]

Судя по размерам на фотке (сравните провод питания и размеры самой коробки), в 2U пространство влезет штук 6 таких.

[@norguhtar]

Два. С одной стороны и со второй. БП стандартный ATX он занимает 2 юнита.

[@Psih]

У него ширина такая, что туда два рядом влезет.

[@norguhtar]

Хм. Точно. Два в ряд влезут. Значит четыре. Куда еще два пихать? :) В середину стойки?

[@norguhtar]

сам по себе сервер хлипкий

Это банальная полка.

зачем тратить столько пространства, когда в 1U можно 3 таких вместить?

Если 1U сервера короткие и с двух сторон то четыре.

БП очень большой, для серверов можно и меньше делать.

Это стандартный блок питания формата ATX. Поэтому у него такой размер.

А заменить вышедший из строя диск можно только выключив его.

Гугловцы заменяют сразу сервер, а не диски :)

[@kibitzer]

Это все еще размещается в обычном контейнере для перевозки. Типа ДЦ для быстрой развертки. Может это и фейк, но идея интересная. Т.е. там вдоль стенок контейнера такие вот стойки для серваков, обычные полочки, они даже не прикручиваются, а посередине один коридор. В полу вентиляция.

[@tangro]

Это Вы не с Sun-овской системой (ну, на которую Web Archive переехал) перепутали?

[@kurokikaze]

Нет, он прав. У Sun такие же стандартные контейнеры, используется такой вариант довольно давно.

[@Valery35]

По моему локальный и центральный юпсы никак не мешают друг другу.
Пока центральный меняют — работают локальные. Вообще в блок питания их надо встраивать :)

[@Shafeev]

Не понимаю что за память. DDR I стоит чтоль? Объем на планку какой-то огромный.

[@kagen]

а что за прозрачная штука на батарейке? лампочка или резиновая заглушка?

[@LDEV]

это всё-таки фейк на 1е апреля. не зря же там дата написана :)

а вообще прикручивать БП тряпочной лентой, как и винты — никакого теплообмена.

по сути без корпуса иногда проще, но зато в такой стойке нет воздухообмена — и получается, что нижний сервер поджаривает верхний — чем выше, тем хуже. и всё это не обдувается.

БП на такую конфигурацию можно и поменьше ставить…

[@alteist]

Ссылку на первоисточник дал выше xattabych. Это не шутка, о чем говорит сам автор в комментариях и сам Гугл в твиттере. Последний также обещает выложить больше информации, включая слайды с презентации и видео, в т.ч. тур внутри контейнера.

Основные тезисы из статьи по ссылке:
— 12В батарея на каждом сервере;
— с 2005 года дата-центры Гугла состоят из стандартных 1ААА контейнеров;
— каждый контейнер содержит 1160 серверов и потребляет до 250 кВатт энергии;
— представленный на фото сервер — 6-е или 7-е поколение собственного дизайна;
— Гугл достиг энергоэффективности, которой Environmental Protection Agency надеется добиться в 2011 году;
— батарея на сервере — дешевле центрального UPS, стоимость бесперебойного питания всегда соответствует количеству серверов;
— эффективность такого подхода — выше 99.9%, тогда как у UPS — 92-95%;
— высота 2U, 2 HDD, 2 x86 CPU, 8 RAM;
— процессоры как от Intel, так и от AMD;
— батарейки встроены также и в сетевое оборудование Гугла;
— у Гугла есть патенты на дизайн со встроенными батареями, но возможно он будет давать на них лицензии вендорам;
— блок питания подает в материнскую плату только 12В, что удорожает её на 1-2$, но удешевляет БП и повышает его эффективность;
— Гугл ведет учет эффективности использования мощности — PUE. Показатель «1» значит что вся энергия идет на вычисления, «1.5» — половина идет на остальное. В первом квартале 2009, эффективность ДЦ Гугла — 1.19;
— старые ДЦ Гугла имеют PUE до 1.12;
— выбор архитектуры x86 продиктован лучшим соотношением затраченных средств на поисковый запрос.

[@norguhtar]

представленный на фото сервер — 6-е или 7-е поколение собственного дизайна;

А почему маркировка Gigabyte? И по чему по этой маркировке гуглятся сервера?

[@alteist]

Что такого в том, что мат.платы выпускаются признанным вендором? Или я не понял вопроса. Вы же не думаете, что эти платы доступны всем желающим? Вот увеличенное фото, видна модель GA-9IVDP, информация о которой в сети появилась только после презентации.

[@norguhtar]

Что такого в том, что мат.платы выпускаются признанным вендором?

Ничего. На фотографии не видно ту часть что закрыта винчестерами.

Гуглится на 9IVDC т.е. не P по характеристикам похоже.

[@norguhtar]

Да и еще вопрос :) Почему нет фото и видео включенного сервера? :)

[@alteist]

Может его на презентации и включали, просто фото не выложили. Да и на что там смотреть, по большому счету? На вентиляторы и лампочки?

Вобщем, на 1 апреля никак не похоже, так правдоподобно шутить — признак дурного вкуса, чего за Гуглом не замечал. Другое дело, что представленный образец выглядит не очень:
— непонятно как крепится этот жестяной совок к стойке;
— винты плохо закреплены — вибрации в таких условиях их убьют очень быстро. Хотя неизвестно что быстрее убьет настольный саташный винт в таких условиях — вибрации, нагрузки или температуры;
— всё же непонятно как организовано охлаждение. По идее, при такой компоновке ДЦ и серверов, должно хорошенько дуть сбоку, иначе тёплый воздух будет гулять между матплат.

Думаю в ближайшее время часть вопросов отпадет, Гугл обещал еще информацию по теме.

[@norguhtar]

Да и на что там смотреть, по большому счету? На вентиляторы и лампочки?

ни них самых.

Другое дело, что представленный образец выглядит не очень

Меня смущает та часть что закрыта винчестерами.

[@alteist]

И еще собственные соображения — уж очень заинтересовала тема:

— судя по 3.5" HDD, глубина платы ~600 мм, а ширина ~320 мм, т.е. 13", а не 19" как писали выше в комментариях;
— из цифр 250 кВатт, 1160 серверов и PUE 1.2 следует, что максимальное энергопотребление сервера ~180 Ватт;
— на вид батарейка имеет ёмкость 5-6 Ач;
— контейнер 1ААА имеет параметры длина/ширина/высота 12192х2438х2896 мм;
— по фото человека-шкафа между стойками и схеме видно что стойки расположены в длину возле стен контейнера, между ними проход;
— вобщем, путем нехитрых расчетов получается, что стоек в контейнере примерно 60, где-то по 20 серверов и одному свичу в каждой.

[@kurokikaze]

Кстати, в твиттере Google упомянул что скоро откроется сайт с более подробным описанием архитектуры.

[@Erraen]

А винты у них тоже собственной разработки?
Если блок питания только 12V выдает — откуда 5V для винтов брать?

[@dustin]

Питаются от материнской платы?!

[@Erraen]

Нет, там судя по фото на винты все-таки и 12 вольт подается с блока питания, и 5 — явно видно выходяшие из него красный и желтый провода.
А только 12 — только на мать. Впрочем 12DC->5DC — не такая сложная штука, на старых сетевухах встречались преобразователи 12DC (или все-таки 5DC, не помню точно)->9DC в почти интегральном исполнении.

[@Erraen]

Хотя нет, тот красный, который видно — это вход от батареи.