понятно что 8 лучше чем один. вопрос насколько лучше или хуже. Например если использовать Xeon E5-26xx то в целом разница была не столь существенная как там память стоит. А тут разница радикальная, что мы наглядно и показываем.
это еще не приступали к эксплуатации, это еще не пытались что-то освежить из этого зоопарка софта по отдельности, это еще из-за какого-то мелкого глюка весь этот кластер не рассыпался по частям на мелкие кусочки, которые надо склеивать руками неделю с полным простоем. Это еще не расходился цеф, на само-восставление которого потребуется несколько дней с полным простоем. Лучше далеко не отходите, не планируйте много на выходные, не пейте ничего алкогольного вечером - может придется срочно выезжать ночью.
это все теория. а практика такова что я подумывал так сделать имея собственный ЦОД на 1000 серверов с которыми я могу делать все что захочу, посмотрел детально что к чему и отказался от этой затеи. В том числе и по соображениям обслуживания, имя такой опыт с погружным охлаждением сотни машин.
по поводу "найти предприятие" - ну-ну, удачи. Придется все самим делать, начиная от покупки станков или в Китае заказывать. Ценник правда будет такой что все это будет абсолютно бессмысленно.
Осмотритесь вокруг - много в ЦОД жидкостных проектов? Ни одного не видно? Это не зря так.
я очень даже одобряю, просто это дорого и весьма специфическая ниша для гиперскэйл-хостеров или компаний калибра яндекс-гугл-... со своими ЦОД и суперкомпьютеров. Тут у нас есть некий компромис, который позволяет предложить этот вариант и обычным клиентам ЦОД
https://www.coolitsystems.com/ - точно? 100М баксов выручки в год на коленке с 20-и летней историей? Вы сейчас про каких профессионалов, если эти не профессионалы?
1) между ними тоже надо соединить еще. любом случае стыков много.
2) у них теплоемкость в 3-5 раз меньше чем у воды/гликолевой смеси. Там масса своих приколов, в первую очередь что придется строить альтернативную систему охладжения. С таким в ЦОД точно не пустят, придется свой строить
3) можно, но протечет рано или поздно
4) как сказать ничего страшного, лужи на полу, облитые водой ПДУ с 220В, завоздушивание магистрали - не все так однозначно. Точно не позволят - я бы сам не позволил.
5) сложно, дорого и долго. Руками паять займет больше часа и результат непредсказуем. Просто трубки погнуть точно это целая история, а надо погнуть сотни турбок и одинаково. Потом еще все проверить. Кустарщина-с, очень дорого - я бы оценинил минимум в 2-3 часа работы квалифицированного рабочего, по европейским меркам это около 150-200 евро только за работу на один комплект. Вам же не одна нужна что бы всем этим заниматься, а примерно 1000 для начала разговора.
преимущество по сравнению с чем? мы сравниваем с обычным воздушным.
По сравнению с "водянкой" тут преимущество в том что при схожей эффективности у нас всего 2 разъема на подвод жидкости и их легко можно гарантированно изолировать. При использовании обыных трубок этих соединений будет минимум 8 на каждый сервер + 2 на вводах. на 40 двух процессорных серверов = 400 соединений которые могут начать течь в любой момент. Плюс сами быстроразъемные соединители с исключением протечки имеют неочвидный дизайн и не продаются вот так просто со склада - я как-то день потратил что бы найти что-то похожее за разумные деньги на сечение 5-8мм, бесполезно. Тот же OVH в итоге использует жесткую паянную конструкцию внутри серверов, они делают это на станках с ЧПУ. Выводы без БРС торчат сзади сервера, довольно далеко от корпуса - так если из нее будет литься, то не попаедт в сервер
В общий зал с таким добром не пустят. Цод не станет делать какие то отводы охлаждения в общем зале, а городить свою центральную водянку в стойке как правило экономического смысла не имеет
Мы и не сравниваем, потому что это не имеет отношения к водянке и тем вариантам которые промышленно эксплуатируются в ЦОД и разнообразных серверных инсталяциях. Про использование водянок в наших GPU серверах мы сейчас пишем отдельный обзор, а для использования этой технологии в обычных серверах потребуется свой собственный машинный зал.
Мы обсуждаем конкретную систему на контурных тепловых трубках, которая позволяет технологично использовать обычные сервера в обычном ЦОД - существенно снижая выхлоп горячего воздуха в горячий корридор, что позволяет ЦОД выделить больше электричества на машинный зал без модернизации системы охлаждения.
Так тоже можно, посмотрите как OVH делает, а ещё больше используют прямую приточку с фильтрами и подмесом горячего воздуха. В серверной 24-28 градусов это сейчас совершенно нормально, большинство обычных серверов работают стабильно в таком диапазоне температур.
Но текст и тесты не про это, а про контурные тепловые трубки.
Думаете его эльфы в таймстопе с нуля каждый раз пишут? Мы имели опыт с очень известным софтом для геофизики, вот ноги именно там. Думаю системы моделирования и предсказания тоже не вчера написали, только на новом железе они быстрее работают
Софт часто уже есть и переписывать его не вариант. А часто он уже готовый, без исходников или те исходники на фортране 40 лет назад написали. Часто проще сделать больше ядер, быстрее интерконнект, срубить на этом - чем потратить лет 10 работы роты разработки с неочевидным результатом и сроками.
понятно что 8 лучше чем один. вопрос насколько лучше или хуже. Например если использовать Xeon E5-26xx то в целом разница была не столь существенная как там память стоит. А тут разница радикальная, что мы наглядно и показываем.
однако странная нагрузка. Если хотите - выдадим сервер, попробуете и опубликуем результаты. Готовы заняться?
это еще не приступали к эксплуатации, это еще не пытались что-то освежить из этого зоопарка софта по отдельности, это еще из-за какого-то мелкого глюка весь этот кластер не рассыпался по частям на мелкие кусочки, которые надо склеивать руками неделю с полным простоем. Это еще не расходился цеф, на само-восставление которого потребуется несколько дней с полным простоем. Лучше далеко не отходите, не планируйте много на выходные, не пейте ничего алкогольного вечером - может придется срочно выезжать ночью.
А под них (OpenCL) толком нет библиотек для МЛ
У меня вот такой набор был, год примерно 85-87
Любая простая подойдёт, та что в ноутбуке с cuda тоже. А так публика охотно берет 1080 старые например.
это все теория. а практика такова что я подумывал так сделать имея собственный ЦОД на 1000 серверов с которыми я могу делать все что захочу, посмотрел детально что к чему и отказался от этой затеи. В том числе и по соображениям обслуживания, имя такой опыт с погружным охлаждением сотни машин.
по поводу "найти предприятие" - ну-ну, удачи. Придется все самим делать, начиная от покупки станков или в Китае заказывать. Ценник правда будет такой что все это будет абсолютно бессмысленно.
Осмотритесь вокруг - много в ЦОД жидкостных проектов? Ни одного не видно? Это не зря так.
я очень даже одобряю, просто это дорого и весьма специфическая ниша для гиперскэйл-хостеров или компаний калибра яндекс-гугл-... со своими ЦОД и суперкомпьютеров. Тут у нас есть некий компромис, который позволяет предложить этот вариант и обычным клиентам ЦОД
такой наколеночный что ATOS поставляет свои кластеры/суперкомпьютеры по всему миру с их системой охлаждения.
https://www.coolitsystems.com/ - точно? 100М баксов выручки в год на коленке с 20-и летней историей? Вы сейчас про каких профессионалов, если эти не профессионалы?
1) между ними тоже надо соединить еще. любом случае стыков много.
2) у них теплоемкость в 3-5 раз меньше чем у воды/гликолевой смеси. Там масса своих приколов, в первую очередь что придется строить альтернативную систему охладжения. С таким в ЦОД точно не пустят, придется свой строить
3) можно, но протечет рано или поздно
4) как сказать ничего страшного, лужи на полу, облитые водой ПДУ с 220В, завоздушивание магистрали - не все так однозначно. Точно не позволят - я бы сам не позволил.
5) сложно, дорого и долго. Руками паять займет больше часа и результат непредсказуем. Просто трубки погнуть точно это целая история, а надо погнуть сотни турбок и одинаково. Потом еще все проверить. Кустарщина-с, очень дорого - я бы оценинил минимум в 2-3 часа работы квалифицированного рабочего, по европейским меркам это около 150-200 евро только за работу на один комплект. Вам же не одна нужна что бы всем этим заниматься, а примерно 1000 для начала разговора.
и так 1000 раз например. вот посмотрите https://www.servethehome.com/how-liquid-cooling-is-prototyped-and-tested-in-the-coolit-liquid-lab-tour/ - ничего из этого не выглядит "незатратно", выглядит как чудовищный хитровывернутый гиммор. Это поди еще дороже будет чем просто поставить еще несколько шкафов кондиционеров на гликоле по несколько тысяч евро.
преимущество по сравнению с чем? мы сравниваем с обычным воздушным.
По сравнению с "водянкой" тут преимущество в том что при схожей эффективности у нас всего 2 разъема на подвод жидкости и их легко можно гарантированно изолировать. При использовании обыных трубок этих соединений будет минимум 8 на каждый сервер + 2 на вводах. на 40 двух процессорных серверов = 400 соединений которые могут начать течь в любой момент. Плюс сами быстроразъемные соединители с исключением протечки имеют неочвидный дизайн и не продаются вот так просто со склада - я как-то день потратил что бы найти что-то похожее за разумные деньги на сечение 5-8мм, бесполезно. Тот же OVH в итоге использует жесткую паянную конструкцию внутри серверов, они делают это на станках с ЧПУ. Выводы без БРС торчат сзади сервера, довольно далеко от корпуса - так если из нее будет литься, то не попаедт в сервер
В общий зал с таким добром не пустят. Цод не станет делать какие то отводы охлаждения в общем зале, а городить свою центральную водянку в стойке как правило экономического смысла не имеет
Мы и не сравниваем, потому что это не имеет отношения к водянке и тем вариантам которые промышленно эксплуатируются в ЦОД и разнообразных серверных инсталяциях. Про использование водянок в наших GPU серверах мы сейчас пишем отдельный обзор, а для использования этой технологии в обычных серверах потребуется свой собственный машинный зал.
Мы обсуждаем конкретную систему на контурных тепловых трубках, которая позволяет технологично использовать обычные сервера в обычном ЦОД - существенно снижая выхлоп горячего воздуха в горячий корридор, что позволяет ЦОД выделить больше электричества на машинный зал без модернизации системы охлаждения.
Так тоже можно, посмотрите как OVH делает, а ещё больше используют прямую приточку с фильтрами и подмесом горячего воздуха. В серверной 24-28 градусов это сейчас совершенно нормально, большинство обычных серверов работают стабильно в таком диапазоне температур.
Но текст и тесты не про это, а про контурные тепловые трубки.
Это если там радиатора нет.
Думаете его эльфы в таймстопе с нуля каждый раз пишут? Мы имели опыт с очень известным софтом для геофизики, вот ноги именно там. Думаю системы моделирования и предсказания тоже не вчера написали, только на новом железе они быстрее работают
Софт часто уже есть и переписывать его не вариант. А часто он уже готовый, без исходников или те исходники на фортране 40 лет назад написали. Часто проще сделать больше ядер, быстрее интерконнект, срубить на этом - чем потратить лет 10 работы роты разработки с неочевидным результатом и сроками.