Pull to refresh

Comments 90

малютка

оочень хорошее решение. мне лично было бы интересно купить и потестить его
а идеальным было бы чтоб они их продавали
> «а идеальным было бы чтоб они их продавали»
чтоб ещё бушные, с нетронутыми хардами, дабы посмотреть какие же секреты там внутри :D
думаю если они продадут их с данными, то никаких секретов ты не получиш ибо не сможеш попросту их прочитать!
Ну продают же они Search Appliance и Mini. Что-то мне подсказывает, что там слегка переделаная их ось, которой они сами пользуются, та же GFS, тот же bigtable (что по сути Berkeley DB), тот же поисковый паук и т.п.
Разве что механизмы ранжирования отличаются. Так что ничего интересного, все давно описано и расписано. И их софт нужен только им, нам он для 1-10-50 серверов все равно не пригодится, он расчитан на чуть поболее кластера, имхо :)
Если еще и гугл, вслед за сиско, выйдет на рынок серверов, то в hp точно обосруться.
вообще, чем больше корпораций мучаються, тем проще рядовым пользователям и рядовым админам!
что значит «мучаються»?
это завуалированное слово конкуренция
если гугль начнёт продавать сервера — это будет уже не кризис…
Проблема в том, что эти батарейки служат 1,5-2 года, а потом их можно выбрасывать. А постоянно менять батарейки — накладно.
постоянно? я думаю подходить к серверу раз в 1,5 года не сильно накладно, да и как часто вы меняете комплектующий у сервера?
Допустим, сервер требует ремонта либо замены винчестера или вентилятора один раз в 1000 дней (~3 года). Это значит, что в парке из 1000 серверов каждый день один сервер требует ремонта.
какие-то у вас идеальные сервера, или вы просто работаете в идеальном ДЦ, лично у меня в глубинке все намного плачевнее, да и ДЦ даже на 100 серверов не найдешь
Я пытался узнать сколько серверов у гугла, но что-то так и не нашёл. Может потому что гугловским поиском пользовался. То ли у них 80 тысяч серверов, то ли больше, так и не понял, понял что много, и дата центры по всему миру раскиданы.
Я точной цифры тоже не знаю. Но в какойто из новостей слышал цифру что поисковая база растет со скоростью 6-8 терабайт в сутки (которые надо не просто мронить на винты и еще и отсортировать и построить инексы)
где-то видел цифру 400 тысяч, но это было уже больше года назад и за правдивость не ручаюсь :)
>> На 2006 год система включала в себя 450000 недорогих серверов

Взято отсюда
Интересно было узнать как из высказывания «в глубинке ДЦ даже на 100 серверов не найдешь» следует то что в ДЦ Google мало серверов.
где я писал что у гугл мало серверов в дц? я всего лишь удивился безотказностью работы серверов aosiniao, у гугл есть закрытые города, со своими электростанциями, школами и больницами и думаю поменять блокпитания на сервере для инженеров так же обычно как заменить винт или лампочку в коридоре
Прям как Dharma Initiative. Мурашки пробежали.
Закрытые города? Где? Откуда информация?
ну это только если их по очереди по одному раз сутки подключали… =)
к тому же ведь централизованные системы резервирования питания тоже не вечны.
имхо чтобы заменить «батарейки» лучше по-одному вырубать серваки (особенно если есть дублирующие кластера), чем все сразу, чтобы переподключить «большую батарейку»…
подключать батарейки hot-swap'ом умеют даже относительно дешёвые APC SmartUPS 1500 и выше. Тут что-то другое…
Ну подключать то такое дело — а вот если сломается — то все сразу, а так по одному будут ломаться…
Именно поэтому я подключаю блоки питания сервера на разные UPSы. Серьёзных серверов, имеющих менее, чем 2 блока питания не встречал.
Гугл строит надежность не на безотказности одного элемента (увеличение надёжности одного сервера — влияет на его цену очень ощутимо), а на большом количестве простых и дешевых элементов в системе. При этом отдельно взятый элемент проще заменить целиком, чем починить – поэтому чем дешевле и проще, тем не хуже.

Погуглите на тему архитектуры Гугла — много интересного :)
это я в смысле, что добавление этой простой батарейки к каждому простому серверу — в масштабах всей системы повышает надежность очень ощутимо :) и большего просто не нужно.
Читал, что Google всё же ремонтирует свои серверы. Каждый день несколько десятков серверов выходят из строя, столько же восстанавливают :)
А если у них щелочной аккамулятор?? Тогда нихрена ему не будет! У меня до сих пор в инсте еще советские с 1975 года в качестве аккумуляторов для упсов работают…
Гугл установил маленькие атомные реакторы. Заряда хватает на 25 лет.
Холодный термоядерный синтез наверняка втихаря юзают и не колятся.
На первой картинке показалось, что блок питания — UPS странно примотан :D А насчет батареек, это не так уж накладно выходит, тем более думаю в гугле просчитали плюсы и минусы их варианта.
а как гугаль сказал — значит так и надо?
доверяй — но проверяй.
профильные/тематические 1апрельскии шутки? правда типа ещё есть инсайд видео (мужик с фотки от туда) следующим числом но про тот же день — www.youtube.com/watch?v=bs3Et540-_s&fmt=18
Ну если это и шутка, то кто то очень мощно потратился. И такая железка таки существует.
Все же помоему это шутка. ПОсмотрите маркировку платы. А теперь посмотрите эту:
www.gigabyte.com.tw/FileList/Image/server_productimage_ga-9ivdth-pl_big.jpg

Ничего не замечаете? Плата такая действительно существует, но выпускается исключительно в баребонах :)
На вашей фотографии только 6 слотов памяти, а не 8.
И что? Разводка аналогична. Если вы пройдете по ссылке, то там есть большая фотография, на которой четко видно маркировку платы.
Где это вы видели баребон на двух Ксеонах. Да и посмотрите внимательно на плату — где питание подключается, сколько памяти и т.д. Та да не та эта плата.
А я где-то говорил, что это та же плата? Это та же серия. Мне вам что ссылку набольшую фото дать где четко видна маркировка Gigabyte?
Где то проскакивала инфа что у гугла custom-built гигабайтовские платы.
да скайнету гуглу уже бесполезно отключать электричество, очередной шаг сделан :)
Да и в принципе, какая рзница в данном контексте у кого длнее ***, и так все ясно.
Сомневаюсь что тут есть представители дата-центра той же рапиды +)))))
говорится со специфической интонацией:
Моя прелесть…
«Заказных серверах Google» — что за заказные серверы? Кому их заказывают :)
да, они сами себя давно заказывают и электрозамками придерживают необходимый персонал для обслуживания ;)
вот интересно, а жесткие диски то у них вроде на видео не SSD, а ведь недано говорилось что компания перешла на них. Или это они?
почему -то у админа досада на лице(((
иметь отдельный ИБП на каждом сервере очень эффективно — но дороже.
Если у вас централизованная система ИБП — сгорает она, выходит из строя весь ДЦ.
Здесь же — всего лишь выгорает 1-2 зеркальных сервера.

Представляю хор ИБП в ДЦ, при отрубании электричества. Хотя эти я думаю беззвучные.
Дешевле. Констукция упса сложней — в нем 12 в аккума надо преобразовать в 220В переменки, которые потом блок питания компа обратно преобразует в 12в, и свою линейку напряжений.
За это отвечает инвертор в конструкции блока питания, кстати довольно дорогое устройство и чем мощнее инвертор тем он дороже.

Тут 12В уже приходят от батарейки и их преобразовывать туда обратно не нужно! И еще важен тот факт, что лишние преобразования сильно ухудшают КПД.

Мне нравится их сервер, хорош. Жду когда такое начнут продавать :)

Сами покупаем дорогие железки, а это чудо, уверен стоит не больше 20-30тр. хотя мы сейчас за 1U сервер платим 60-100т.р.
Тем более что отдельно говорили что гугл заказывал разработку именно 12V плат (без подвода других напряжений). Тогда может быть понятно зачем и почему :)
Это «чудо» рассчитано на работу таких серверах, в определенных условиях. Себе под сервер тако «чудо» в единственном экземпляре не зачем.
ИМХО бред! 100 мальенких бесперебойников всегда будут менее эффективны, нежели один большой в ту же стоимость. Есдинственный плюс — надежность вследствие распределенности.
Да и вообще как-то топорно смотрится эта поделка. По сравнению с тем что мы видели раньше.
Вторую половину упса (после батарей) занимает — трансформатор и силовая электроника инвертора.
В этом варианте ни трансформатор ни инвертор не нужен! получается дешевле и эффективней!

В этом варианте даже зарядное устройство как таковое не нужно. Как в автомобиле, генератор вырабатывает чуть больше напряжение чем 12В за счет чего идет зарядка аккумулятора. Стандартный блок питания уже выдает 12В.
Порадовало наличие COM-порта на материнской плате.
И отсутствие монитора. Используют old-school консоли, видимо.
Монитор не нужен. После установки используется сетевая консоль. До установки хватит и serial
А мне кажется, что конструкция очень не удачна. Конечно гуглю виднее, но не фейк ли это? Сам по себе сервер хлипкий, зачем тратить столько пространства, когда в 1U можно 3 таких вместить? БП очень большой, для серверов можно и меньше делать. Он будто бы на коленке собран. А заменить вышедший из строя диск можно только выключив его.

Источник есть?
Фишка этого корпуса в его отсутствии! В 1U серверах стоит как минимум 5-8 вентиляторов которые создают много шума, но обеспечивают постоянный проток воздуха.

Тут за счет такой открытости — вентиляторов как в обычном десктопе. А если в серверы ставить низкопотребляющие и не греющиеся Atomы, то вообще можно вентилятором БП обойтись.

Энергия дорогая.
И с этим я уже сталкивался, работал в гос. учреждении в течении последних 10 лет там постоянно вводилось в эксплуатацию новое оборудование. Но в этом году закончилась мощность :-) выделенная на здания учреждения. Теперь там народ начал думать и об эффективном расходовании эл. энергии, о чем раньше никто не парился.
Судя по размерам на фотке (сравните провод питания и размеры самой коробки), в 2U пространство влезет штук 6 таких.
Два. С одной стороны и со второй. БП стандартный ATX он занимает 2 юнита.
У него ширина такая, что туда два рядом влезет.
Хм. Точно. Два в ряд влезут. Значит четыре. Куда еще два пихать? :) В середину стойки?
сам по себе сервер хлипкий

Это банальная полка.

зачем тратить столько пространства, когда в 1U можно 3 таких вместить?

Если 1U сервера короткие и с двух сторон то четыре.

БП очень большой, для серверов можно и меньше делать.

Это стандартный блок питания формата ATX. Поэтому у него такой размер.

А заменить вышедший из строя диск можно только выключив его.

Гугловцы заменяют сразу сервер, а не диски :)
Это все еще размещается в обычном контейнере для перевозки. Типа ДЦ для быстрой развертки. Может это и фейк, но идея интересная. Т.е. там вдоль стенок контейнера такие вот стойки для серваков, обычные полочки, они даже не прикручиваются, а посередине один коридор. В полу вентиляция.
Это Вы не с Sun-овской системой (ну, на которую Web Archive переехал) перепутали?
Нет, он прав. У Sun такие же стандартные контейнеры, используется такой вариант довольно давно.
По моему локальный и центральный юпсы никак не мешают друг другу.
Пока центральный меняют — работают локальные. Вообще в блок питания их надо встраивать :)
Не понимаю что за память. DDR I стоит чтоль? Объем на планку какой-то огромный.
а что за прозрачная штука на батарейке? лампочка или резиновая заглушка?
это всё-таки фейк на 1е апреля. не зря же там дата написана :)

а вообще прикручивать БП тряпочной лентой, как и винты — никакого теплообмена.

по сути без корпуса иногда проще, но зато в такой стойке нет воздухообмена — и получается, что нижний сервер поджаривает верхний — чем выше, тем хуже. и всё это не обдувается.

БП на такую конфигурацию можно и поменьше ставить…
Ссылку на первоисточник дал выше xattabych. Это не шутка, о чем говорит сам автор в комментариях и сам Гугл в твиттере. Последний также обещает выложить больше информации, включая слайды с презентации и видео, в т.ч. тур внутри контейнера.

Основные тезисы из статьи по ссылке:
— 12В батарея на каждом сервере;
— с 2005 года дата-центры Гугла состоят из стандартных 1ААА контейнеров;
— каждый контейнер содержит 1160 серверов и потребляет до 250 кВатт энергии;
— представленный на фото сервер — 6-е или 7-е поколение собственного дизайна;
— Гугл достиг энергоэффективности, которой Environmental Protection Agency надеется добиться в 2011 году;
— батарея на сервере — дешевле центрального UPS, стоимость бесперебойного питания всегда соответствует количеству серверов;
— эффективность такого подхода — выше 99.9%, тогда как у UPS — 92-95%;
— высота 2U, 2 HDD, 2 x86 CPU, 8 RAM;
— процессоры как от Intel, так и от AMD;
— батарейки встроены также и в сетевое оборудование Гугла;
— у Гугла есть патенты на дизайн со встроенными батареями, но возможно он будет давать на них лицензии вендорам;
— блок питания подает в материнскую плату только 12В, что удорожает её на 1-2$, но удешевляет БП и повышает его эффективность;
— Гугл ведет учет эффективности использования мощности — PUE. Показатель «1» значит что вся энергия идет на вычисления, «1.5» — половина идет на остальное. В первом квартале 2009, эффективность ДЦ Гугла — 1.19;
— старые ДЦ Гугла имеют PUE до 1.12;
— выбор архитектуры x86 продиктован лучшим соотношением затраченных средств на поисковый запрос.
представленный на фото сервер — 6-е или 7-е поколение собственного дизайна;

А почему маркировка Gigabyte? И по чему по этой маркировке гуглятся сервера?
Что такого в том, что мат.платы выпускаются признанным вендором? Или я не понял вопроса. Вы же не думаете, что эти платы доступны всем желающим? Вот увеличенное фото, видна модель GA-9IVDP, информация о которой в сети появилась только после презентации.
Что такого в том, что мат.платы выпускаются признанным вендором?

Ничего. На фотографии не видно ту часть что закрыта винчестерами.

Гуглится на 9IVDC т.е. не P по характеристикам похоже.
Да и еще вопрос :) Почему нет фото и видео включенного сервера? :)
Может его на презентации и включали, просто фото не выложили. Да и на что там смотреть, по большому счету? На вентиляторы и лампочки?

Вобщем, на 1 апреля никак не похоже, так правдоподобно шутить — признак дурного вкуса, чего за Гуглом не замечал. Другое дело, что представленный образец выглядит не очень:
— непонятно как крепится этот жестяной совок к стойке;
— винты плохо закреплены — вибрации в таких условиях их убьют очень быстро. Хотя неизвестно что быстрее убьет настольный саташный винт в таких условиях — вибрации, нагрузки или температуры;
— всё же непонятно как организовано охлаждение. По идее, при такой компоновке ДЦ и серверов, должно хорошенько дуть сбоку, иначе тёплый воздух будет гулять между матплат.

Думаю в ближайшее время часть вопросов отпадет, Гугл обещал еще информацию по теме.
Да и на что там смотреть, по большому счету? На вентиляторы и лампочки?

ни них самых.

Другое дело, что представленный образец выглядит не очень

Меня смущает та часть что закрыта винчестерами.
И еще собственные соображения — уж очень заинтересовала тема:

— судя по 3.5" HDD, глубина платы ~600 мм, а ширина ~320 мм, т.е. 13", а не 19" как писали выше в комментариях;
— из цифр 250 кВатт, 1160 серверов и PUE 1.2 следует, что максимальное энергопотребление сервера ~180 Ватт;
— на вид батарейка имеет ёмкость 5-6 Ач;
— контейнер 1ААА имеет параметры длина/ширина/высота 12192х2438х2896 мм;
— по фото человека-шкафа между стойками и схеме видно что стойки расположены в длину возле стен контейнера, между ними проход;
— вобщем, путем нехитрых расчетов получается, что стоек в контейнере примерно 60, где-то по 20 серверов и одному свичу в каждой.
Кстати, в твиттере Google упомянул что скоро откроется сайт с более подробным описанием архитектуры.
А винты у них тоже собственной разработки?
Если блок питания только 12V выдает — откуда 5V для винтов брать?
Питаются от материнской платы?!
Нет, там судя по фото на винты все-таки и 12 вольт подается с блока питания, и 5 — явно видно выходяшие из него красный и желтый провода.
А только 12 — только на мать. Впрочем 12DC->5DC — не такая сложная штука, на старых сетевухах встречались преобразователи 12DC (или все-таки 5DC, не помню точно)->9DC в почти интегральном исполнении.
Хотя нет, тот красный, который видно — это вход от батареи.
UFO just landed and posted this here
Sign up to leave a comment.

Articles