Комментарии 127
Получается, что сервера должны располагаться в горизонтальной стойке полностью залитой маслом, как мне кажется это создаст неудобство с подключением серверов к сети.
И как быть с хардами? Особенно если их периодически (несколько раз в полгода\год) нужно будет заменять.
И как быть с хардами? Особенно если их периодически (несколько раз в полгода\год) нужно будет заменять.
А для хардов отдельно есть NAS видимо.
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
Видите ли, внутри HDD воздух, и есть демпфирующее отверстие в корпусе, которое выравнивает его давление с атмосферным. Так что погружение винчестера в масло чревато.
НЛО прилетело и опубликовало эту надпись здесь
Вы никогда его не разбирали? О_о
НЛО прилетело и опубликовало эту надпись здесь
Естественно нет. Пыль же ему противопоказана. Для доступа воздуха там есть спец деталь вроде такой коробочки заполненной мелкими шариками. Либо просто тканевый фильтр, закрывающий отверстие.
НЛО прилетело и опубликовало эту надпись здесь
А принцип почитайте. Головки летят над диском на воздушной подушке потому не касаются поверхности. В вакууме они бы упали на блины и наступил бы мгновенный ППЦ.
НЛО прилетело и опубликовало эту надпись здесь
Другой вопрос почему бы туда сразу не закачать азот и загерметизировать все нафиг.
НЛО прилетело и опубликовало эту надпись здесь
Сколько там этого давления. с таким корпусом ему +- атмосфера не страшна
НЛО прилетело и опубликовало эту надпись здесь
Корпус крепкий, но верхняя крышка обычно тонкая жестяная. При условии герметичности будет хлопать от перепадов атмосферного давления. Можно, конечно, сделать жесткую крышку и надежно все загерметезировать, но получится сложнее и дороже, чем дырочка+фильтр.
Два ребра жесткости, и ничего хлопать не будет. Я сомневаюсь, что и так будет хлопать. Нет, дело в чем-то другом…
Наверное в том, что негде размещать эти два ребра жёсткости.
Вы жесткий разбирали? Там места полно. И крышка внушительной толщины из алюминия, + сверху магнитозащита. Пару атмосфер точно выдержит.
господа, о чем вы спорите-то? о необходимости масляного охлаждения жестких дисков? о технической реализации оного?
У меня к вам вопрос: А ЗАЧЕМ?
нет, можно, конечно, это реализовать, придумать, внедрить, но стоимость внедрения в разы превысит целесообразность.
У меня к вам вопрос: А ЗАЧЕМ?
нет, можно, конечно, это реализовать, придумать, внедрить, но стоимость внедрения в разы превысит целесообразность.
о смысле отверстия в жестком.
breathe hole (оно же don not cover this hole!) — выравнивает давление внутри гермозоны (с) К.О.
Спасибо, КО. А зачем его выравнивать? Почему бы не сделать его герметичным?
вы прикалываетесь или серьезно?
вакуум нельзя сделать, потому что тогда в гермозону будет тянуться пыль, которая из вибраций и неплотной герметичности рано или поздно попадет. К тому же головкам нужна воздушная подушка, что в условиях вакуума несколько проблематично.
/ИМХО, я даже не задумывался над такими вопросами, потому как мне казалось, что это очевидные вещи. У меня ощущение, что объясняю, почему колесо — круглое/
вакуум нельзя сделать, потому что тогда в гермозону будет тянуться пыль, которая из вибраций и неплотной герметичности рано или поздно попадет. К тому же головкам нужна воздушная подушка, что в условиях вакуума несколько проблематично.
/ИМХО, я даже не задумывался над такими вопросами, потому как мне казалось, что это очевидные вещи. У меня ощущение, что объясняю, почему колесо — круглое/
Герметичность =! вакуум. В контексте работы в масле, мне интересно почему нельзя сделать как предлагает dihalt «Другой вопрос почему бы туда сразу не закачать азот и загерметизировать все нафиг.»
Понятно, что раз так не делают, на то есть причины. Вот они-то мне и интересны.
Понятно, что раз так не делают, на то есть причины. Вот они-то мне и интересны.
А возможно по тому же. Рано или поздно излишек азота выйдет наружу через щели, а дальше при игре атмосферного давления насосет туда пыли. Уж лучше насасывает через специально продуманные для этого отверстия.
1) Усложнение конструкции (требование герметичности) и тех. процесса
2) Следствие первого пункта — удорожание
3) Зачем на 1 и 2, если в ТЗ не стояло требование окунания его в масло?
2) Следствие первого пункта — удорожание
3) Зачем на 1 и 2, если в ТЗ не стояло требование окунания его в масло?
Правильно. Вакуум не может быть без герметичности, но герметичность может быть без вакуума (чистая атмосфера при создании диска, фильтрующий элемент на отверстии для уравнивания давлений).
Касательно «Другой вопрос почему бы туда сразу не закачать азот и загерметизировать все нафиг.» Извините, а какой состав воздуха? Что изменится, если вместо ~79% азота под крышкой будет 100%? Это напоминает на популярную лет 5-7 назад разводку «качать колеса азотом». Т.о. мы опять возвращаемся к вопросу «можно все что угодно сделать, другой вопрос — ЗАЧЕМ».
Причины, почему так не делают? Ответ прост — НЕЗАЧЕМ.
ЗЫ Дать вам дохлый диск на растерзание, чтобы вскрыть его и увидеть устройство? Тогда все вопросы отпадуд сами содой (должны, по к.м.)
Касательно «Другой вопрос почему бы туда сразу не закачать азот и загерметизировать все нафиг.» Извините, а какой состав воздуха? Что изменится, если вместо ~79% азота под крышкой будет 100%? Это напоминает на популярную лет 5-7 назад разводку «качать колеса азотом». Т.о. мы опять возвращаемся к вопросу «можно все что угодно сделать, другой вопрос — ЗАЧЕМ».
Причины, почему так не делают? Ответ прост — НЕЗАЧЕМ.
ЗЫ Дать вам дохлый диск на растерзание, чтобы вскрыть его и увидеть устройство? Тогда все вопросы отпадуд сами содой (должны, по к.м.)
Я так понимаю тут не учтен важный фактор — масло-то тоже нужно охлаждать. Т.е. сам сервер, может, и не будет тратить энергию на охлаждение и конвекцию, уложившись в упомянутые 2-3%, но в конечном итоге нужна какая-то промышленная установка по теплоотводу, которая тоже будет потреблять энергию.
Перенос тепла от сильно греющихся элементов и отвод тепла от стоек — две задачи, которые и сейчас решаются раздельно.
Да, но я говорю о том, что между переносом тепла от плат и отводом тепла от стоек потребуется дополнительная прослойка, отводящая тепло от жидкости. Это может быть пассивный радиатор, но скорее всего все равно понадобится что-то активное.
Как мне кажется, это будет не сложнее, а то и проще, чем используемые сейчас в ДЦ системы отвода тепла от стоек в виде продува холодным воздухом снизу-вверх. Т.к. можно будет реализовать теплообменник непосредственно в ванне с маслом и перенос тепла по трубам с жидкостью.
Но ведь это замена отводу тепла от плат. Тепер вместо кулеров будет масло. Сделать небольшое течение, для движения масла и не нужны никакие кулера/радиаторы на платах. А от басейна отвод, это уже второй этам. Который заменит отвод тепла от стоек.
Но учитывая теплоемкость масла, гонять его нужно будет с гораздо меньшей скоростью. И есть возможность сделать один очень большой радиатор снаружи и охлаждать его (если потребуется). За счет большой площади рассеивание тепла будет идти гораздо быстрее…
Масло можно гонять через теплообменник, который будет отдавать тепло на какие-то полезные нужды. Ну а гонять масло более экономично, чем гонять воздух, так как перемещение несжимаемой среды менее накладно нежели сжимаемой.
Представил «полезные нужны» — горячее масло по трубе попадает в соседний Макдональдс, где на нём тут же пекут картошку фри.
масла тоже разными бывают ведь. Почему-то при словах «машинное масло» у вас нету таких ассоциаций. Тут будет просто «серверное масло».
Даже не нужно «серверное масло» изобретать. По свойствам и назначению как раз подойдут трансформаторные масла.
Я уже прочел внизу, познакомился с терминологией. Но спасибо, что исправили ^^
Хотя что-то мне подсказывает, что если идея пойдет в массы, то будет отдельно масло для серверов от HP, отдельно для серверов от Intel и так далее. И маркетологи будут заявлять, что в их масле сервер работает до 10% быстрее при тех же энергозатратах. Ну или что-то подобное придумают.
Хотя что-то мне подсказывает, что если идея пойдет в массы, то будет отдельно масло для серверов от HP, отдельно для серверов от Intel и так далее. И маркетологи будут заявлять, что в их масле сервер работает до 10% быстрее при тех же энергозатратах. Ну или что-то подобное придумают.
тепловой насос во фритюрницу
Как шпроты в масле…
Масло обладает заметно большей диэлектрической проницаемостью по сравнению с воздухом. И как следствие повыситься емкость между проводниками. На сколько сильное влияние этот фактор может оказать влияние?
а если захочется еще что-либо подключить( к примеру если один сетевой кабель), а контакты все в масле, которое электричество не проводит...?
я так понимаю что целиком они погружены чисто для теста влияния масла на электронику. в продакшене я думаю в масло будут погружены только греющиеся элементы а все комуникационные порты и некоторые девайсы будут «сухими», они-же не греются.
Так сразу все вывести на сетевую панель. А потом уже с панелью работай сколько влезет.
будет как в фильме пекло.
Здесь должна быть картинка этого же мужика в такой же позе с металлической сеткой картошки фри.
Между какими?
НЛО прилетело и опубликовало эту надпись здесь
У нас решили бы тазиком…
НЛО прилетело и опубликовало эту надпись здесь
Из серьезных методов могу предложить 2:
1. Специальные провода с наполнителем, чтобы внутри не было воздуха в капиллярах.
2. Провода заваривают, в любом месте, горячими щипцами, например, так, чтобы внешняя и внутренняя изоляция спекались в однородную массу. (есть риск закоротить провода, конечно, но как вариант — думаю, вполне рабочий метод).
3. (Фантастический) Провода через герметичную стенку уходят в другое помещение с более высоким давлением. В масляной емкости с серверами наблюдаем аэрацию.
1. Специальные провода с наполнителем, чтобы внутри не было воздуха в капиллярах.
2. Провода заваривают, в любом месте, горячими щипцами, например, так, чтобы внешняя и внутренняя изоляция спекались в однородную массу. (есть риск закоротить провода, конечно, но как вариант — думаю, вполне рабочий метод).
3. (Фантастический) Провода через герметичную стенку уходят в другое помещение с более высоким давлением. В масляной емкости с серверами наблюдаем аэрацию.
Так можно провода к потолку вывести и всё, выше метра не поднимется масло.
Капиллярный эффект?
Можно попробовать на провода в качестве отсекателя надевать «юбку»
«Продается сервер б/у. Самовывоз, самоотмыв от масла.»
Туда б порезанной полосками картошки побросать :)
Скоро профессия «системный администратор» будет примерно как в этом анекдоте:
Стаpый заслyженный сантехник взял с собой «на дело» молодого новичка.
Пpишли. Смотpят — там где пpоpвало — полная тpаншея воды и кyча фекалий плавает. Hy, делать нечего, бывалый сантехник ныpяет под водy. Чеpез некотоpое вpемя выныpивает и оpет молодомy: «Ключ на 10», тот подает. Еще чеpез некотоpое вpемя: «ключ на 8» тот опять подает.
Затем вылазит: «все», говоpит, «сделал», стpяхивает фекалии и поyчительно добавляет: «А ты смотpи и yчись, а то так и бyдешь всю жизнь ключи подавать».
Стаpый заслyженный сантехник взял с собой «на дело» молодого новичка.
Пpишли. Смотpят — там где пpоpвало — полная тpаншея воды и кyча фекалий плавает. Hy, делать нечего, бывалый сантехник ныpяет под водy. Чеpез некотоpое вpемя выныpивает и оpет молодомy: «Ключ на 10», тот подает. Еще чеpез некотоpое вpемя: «ключ на 8» тот опять подает.
Затем вылазит: «все», говоpит, «сделал», стpяхивает фекалии и поyчительно добавляет: «А ты смотpи и yчись, а то так и бyдешь всю жизнь ключи подавать».
Почему до сих пор не запостили эту ссылку?
www.thg.ru/howto/20060123/index.html
www.thg.ru/howto/20060123/index.html
Лучше в пост призвать dlinyj он еще году в 2000 сделал брутальную систему работающую в трансформаторном масле и юзал этот комп около года.
Вот после этого пожары в ДЦ станут реально крутыми. Прикиньте, 5-10т масла, тщательно распределённого по помещению.
Про проблемы в стиле «ой, я тут на ваш сервер с кулерами случайно брызнул машинным маслом....» даже говорить не приходится.
Замена битой планки памяти превратится в операцию сравни «перебрать цилиндры в двигателе».
Про проблемы в стиле «ой, я тут на ваш сервер с кулерами случайно брызнул машинным маслом....» даже говорить не приходится.
Замена битой планки памяти превратится в операцию сравни «перебрать цилиндры в двигателе».
ЕМНИП нормальное трансформаторное масло не горит нихрена.
Я совсем не спец в теме, но в обсуждениях слышал что масло как-раз в них горит при пожарах.
А пожары на трансформаторах обычно эпичные:
www.youtube.com/results?search_query=transformer+fire
Может от температуры зависит? И с определенной температуры все же горит?
А пожары на трансформаторах обычно эпичные:
www.youtube.com/results?search_query=transformer+fire
Может от температуры зависит? И с определенной температуры все же горит?
Горит ахренительно, и тушить при этом очень сложно
А что нужно чтобы поджечь? Дуга? Спичкой или даже газовой горелкой оно не зажигается.
Если блок питания AC-DC погружен в масло, и с ним приключилась какая-то весьма серьезная поломка…
Не исключено, что интел питает сервера от DC 48V. В конце концов, это сейчас модно.
Не исключено, что интел питает сервера от DC 48V. В конце концов, это сейчас модно.
Ну такая поломка не даст той дуги, что дает размыкание выключателя на 110КВ
НЛО прилетело и опубликовало эту надпись здесь
Да, именно что модно. Это с любой точки зрения эффективнее, чем многократное DC-AC-DC преобразование. Сейчас же все за экологию бьются и за PUE…
НЛО прилетело и опубликовало эту надпись здесь
При куда более безопасном для человека напряжении (а для буржуев это тоже важнее сечения кабеля).
НЛО прилетело и опубликовало эту надпись здесь
Даже один ампер абсолютно смертелен. А 20 или 100 — уже как-то без разницы.
Вы никогда не держались руками за телефонную пару в нормальном состоянии (60В) и в момент звонка (120В)? Я вот как-то раз умудрился провести сравнение, когда в процессе создания моими руками мерзких скруток кому-то позвонили. Собственно, потом минут 5 на диванчике сидел, отдыхал.
А все потому, что 60в с большим трудом проходит через кожу, а вот для 120 это малость попроще. А нечто с напряжением 3,3В и стотыщами амперов можно абсолютно спокойно трогать руками.
Это так, матчасти ради :)
Вы никогда не держались руками за телефонную пару в нормальном состоянии (60В) и в момент звонка (120В)? Я вот как-то раз умудрился провести сравнение, когда в процессе создания моими руками мерзких скруток кому-то позвонили. Собственно, потом минут 5 на диванчике сидел, отдыхал.
А все потому, что 60в с большим трудом проходит через кожу, а вот для 120 это малость попроще. А нечто с напряжением 3,3В и стотыщами амперов можно абсолютно спокойно трогать руками.
Это так, матчасти ради :)
НЛО прилетело и опубликовало эту надпись здесь
Ну если человек будет лизать 12в, то да, всякое возможно.
«Протолкнуть через кожу» можно: для этого нужно разорвать 48-вольтовую шину, пока кто-то держит её двумя руками по разные стороны от разрыва. Правда наверняка на ней стоит какая-нибудь защита от подобных вещей, иначе этот рубильник просто дугой расплавит при отключении.
Подав 120В на концы в два раза же и увеличилась сила тока и именно она имеет травматический эффект, иначе б человечество давно уже вымерло из-за пьезоэлементов (большое напряжение, малые токи). А 60В вполне достаточно для того, чтоб пробить кожу, там, по-моему, порядка 20В надо.
Безопасным напряжением считают 36 В (для светильников местного стационарного освещения, переносных светильников и т. д.) и 12 В (для переносных светильников при работе внутри металлических резервуаров, котлов). Но при определенных ситуациях и такие напряжения могут представлять опасность.
Например может убить свалившимся с крыши 12ти вольтовым аккумулятором.
Пусть сопротивление тела от руки к руке 50 КОм. таким образом если взяться двумя руками за провода 12/40000 = 0,0003 ампера или 300 микроампер. что в два раза меньше минимально ощутимого тока. А чтобы убить ток должен быть более 90 миллиампер.
Пусть сопротивление тела от руки к руке 50 КОм. таким образом если взяться двумя руками за провода 12/40000 = 0,0003 ампера или 300 микроампер. что в два раза меньше минимально ощутимого тока. А чтобы убить ток должен быть более 90 миллиампер.
НЛО прилетело и опубликовало эту надпись здесь
Не хочу менять сбойную память или батарейку рейд-контроллера на такой системе. Утилизировать сервер потом тоже не хочу. А так же перевозить сервер на новое место.
С другой стороны, проблема с заменой масла для машины решается навсегда.
С другой стороны, проблема с заменой масла для машины решается навсегда.
Что мешает одеть робу специально для масла и после извлечения железа и стекания масла просто запаковать его в полиэтилен?
>Что мешает одеть робу специально для масла и после извлечения железа и стекания масла просто запаковать его в полиэтилен?
ОК. Сбоит память. Одеваем защитный костюм (хб или пленочный, не суть). Достаем сервер. Ждем, пока стечет остаточное масло. Ждем, Ждем, ждем. Берем тонну салфеток. Начинаем разбирать корпус. Пачкаемся, материмся, не можем открыть отсек, т.к. ручка открывания скользит и выскальзывает из рук. Тратим полтонны салфеток. Добираемся до памяти. Вытаскиваем модуль. Вставляем новый. Собираем корпус. Вставляем обратно. Сервак не заводится, потому как масло попало на контакты и память не стартует. ФЕЙЛ!
Короче, одноразовая система. Оставь надежду, всяк опустивший сюда сервер!
ОК. Сбоит память. Одеваем защитный костюм (хб или пленочный, не суть). Достаем сервер. Ждем, пока стечет остаточное масло. Ждем, Ждем, ждем. Берем тонну салфеток. Начинаем разбирать корпус. Пачкаемся, материмся, не можем открыть отсек, т.к. ручка открывания скользит и выскальзывает из рук. Тратим полтонны салфеток. Добираемся до памяти. Вытаскиваем модуль. Вставляем новый. Собираем корпус. Вставляем обратно. Сервак не заводится, потому как масло попало на контакты и память не стартует. ФЕЙЛ!
Короче, одноразовая система. Оставь надежду, всяк опустивший сюда сервер!
1. Костюм можно и в начале смены одевать.
2. Какой корпус? Я понял так, что в масло только материнка с обвесами помещается, а не корпус целиком.
3. Масло не так уж и долго стекает.
4. Для чего салфетки? Вы например двигатель от чего-нибудь хоть раз разбирали, или например рыбу чистили?? Тоже тонну салфеток тратили?
5. У оперативки контакты имхо достаточно жесткие, от масла не будет неконтакта.
2. Какой корпус? Я понял так, что в масло только материнка с обвесами помещается, а не корпус целиком.
3. Масло не так уж и долго стекает.
4. Для чего салфетки? Вы например двигатель от чего-нибудь хоть раз разбирали, или например рыбу чистили?? Тоже тонну салфеток тратили?
5. У оперативки контакты имхо достаточно жесткие, от масла не будет неконтакта.
4. Для чего салфетки? Вы например двигатель от чего-нибудь хоть раз разбирали, или например рыбу...
Когда процессор будет крепиться 4мя гайками на 19 — я соглашусь с этим доводом.
Тут буквально пол часа назад, пришла информация, что выдумали перчатки. Говорят, очень полезная вещь, когда не хочется пачкать руки.
Дело не в грязных руках, а в габаритах крепежных элементов. Каждый раз крепя густо промасленные салазки в очередной серверный шкаф я вспоминаю до 7го колена всех кто эти салазки придумал, собрал, смазал и мне продал…
Вы так и не сказали, зачем вам салфетки то? Сервера ведь в такой системе будут стоять без корпусов. Откинули защелку. Поднял материнку, нажал защелку на оперативке и вытащил ее. Вставил новую планку, защелка сама встала на свое место. Опустили материнку на свое место. защелкнули крепления обратно, чтобы не шаталась плата. Сняли перчатки. Ну и дальше, в зависимости от чистоплотности. Вымили руки трижды с мылом в дистилированой воде. Провели дизенфекцию спиртом.
Ну и конечно, совершенно никого не смущает, что «кубометр» этого охладителя весит ~900кг
И вас, конечно, не смущает, что в таком басейне большую часть пространства занимают сервера, а не масло?
Нет не смущает. Просто я знаю, что вес масла в масляном трансформаторе составляет от 30 до 50% в противном случае объема недостаточно для отвода тепла без систем активной проточки и охлаждения.
А в чем проблема сделать проточку в серверной, с выводом радиаторов на улицу и воздушным охлаждением масла? Сомневаюсь, что течением будет срывать оперативку со слотов. Минимальная циркуляция жидкости не должна создать огромных проблем в реализации.
А проблемы нет.
Есть огромный вес жидкости.
Есть значительно бОльшая теплоемкость, по сравнению с воздухом, которую сложнее (более ресурсоемко) охлаждать т.к. система закольцована и приток брать нельзя.
Есть жидкость и в случае прорыва магистрали фонтанирующая жижа посреди зала в дата центре с температурой в 70 градусов Цельсия это не самое приятное, что может быть.
А то, что останется на полу и под полом, после ее устранения аварии — в общем феерические картины рисует моя бурная фантазия.
Есть огромный вес жидкости.
Есть значительно бОльшая теплоемкость, по сравнению с воздухом, которую сложнее (более ресурсоемко) охлаждать т.к. система закольцована и приток брать нельзя.
Есть жидкость и в случае прорыва магистрали фонтанирующая жижа посреди зала в дата центре с температурой в 70 градусов Цельсия это не самое приятное, что может быть.
А то, что останется на полу и под полом, после ее устранения аварии — в общем феерические картины рисует моя бурная фантазия.
НЛО прилетело и опубликовало эту надпись здесь
Вес — не такая уж и большая проблема. Да, придется вносить значительные конструктивные модификации в ДЦ, но мне кажется, что масляное охлаждение окажется необходимостью.
+Это потребует экономического обоснования — возможно, окажется дешевле перейти на масло, чем воздухом охлаждать.
У нас на электростанциях масло под давлением 2 МПа почему-то не спешит бить фонтаном каждый день. Я думаю, что при давлении в 20 раз ниже проблема утечки масла не будет такой уж серьезной, как вам кажется. К тому же, кто будет просто так, под потолком вести маслопровод? Куда лучше основной (и резервный) маслопроводы проводить в специальных (проходимых) коробах с желобами-маслосборниками, а после сбора — очищать и возвращать в СО.
+Это потребует экономического обоснования — возможно, окажется дешевле перейти на масло, чем воздухом охлаждать.
У нас на электростанциях масло под давлением 2 МПа почему-то не спешит бить фонтаном каждый день. Я думаю, что при давлении в 20 раз ниже проблема утечки масла не будет такой уж серьезной, как вам кажется. К тому же, кто будет просто так, под потолком вести маслопровод? Куда лучше основной (и резервный) маслопроводы проводить в специальных (проходимых) коробах с желобами-маслосборниками, а после сбора — очищать и возвращать в СО.
И фраза «Поставили сервера на профилактику… масло протекает» и «Залил в сервер вторичку, а чего с ним будет» станут реальностью.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Intel тестирует систему охлаждения сервера на основе минерального масла