когда мы их в массе закупали, в наличии были в основном они и цена получалась выгоднее. Сейчас цена примерно одинаковая, но были 970 pro быстрее при прочих равных.
Новые закупки пойдут уже в 980 pro и Samsung PM9A1, они почти близнецы-братья.
М.2 стики практически не греются в серверах - они хорошо продуваются турбинами охлаждения и в самом ЦОД хороший температурный режим. Мы обычно используем Samsung 970 pro, в эксплуатации несколько сотен - никаких проблем с перегревом не наблюдаю многие годы.
С переходником проблема ставить, но 95% клиентов обходятся одним стиком нужного размера. Это не слишком актуальный вариант, хотя на складе всегда есть самые разные переходники и райзеры
вероятно смотря чем заниматься, а так рынок требует что бы все было свежее - иначе не продать. Но они пока обратно совместимы, это радует. Стик m2 не превратится в закладку =)
"Должен сказать, что в 1981 году я чувствовал, что обеспечиваю пользователей достаточным пространством на десять лет вперёд. Произошёл скачок от 64 Кб к 640 Кб, и казалось, что этой памяти хватит надолго. Как бы не так: всего через шесть лет люди ощутили реальный дефицит. " Б.Гейтс. Этот мобильный процессор еще не вышел, а эксплуатироваться будет до 30-х годов явно.
понятно что 8 лучше чем один. вопрос насколько лучше или хуже. Например если использовать Xeon E5-26xx то в целом разница была не столь существенная как там память стоит. А тут разница радикальная, что мы наглядно и показываем.
это еще не приступали к эксплуатации, это еще не пытались что-то освежить из этого зоопарка софта по отдельности, это еще из-за какого-то мелкого глюка весь этот кластер не рассыпался по частям на мелкие кусочки, которые надо склеивать руками неделю с полным простоем. Это еще не расходился цеф, на само-восставление которого потребуется несколько дней с полным простоем. Лучше далеко не отходите, не планируйте много на выходные, не пейте ничего алкогольного вечером - может придется срочно выезжать ночью.
это все теория. а практика такова что я подумывал так сделать имея собственный ЦОД на 1000 серверов с которыми я могу делать все что захочу, посмотрел детально что к чему и отказался от этой затеи. В том числе и по соображениям обслуживания, имя такой опыт с погружным охлаждением сотни машин.
по поводу "найти предприятие" - ну-ну, удачи. Придется все самим делать, начиная от покупки станков или в Китае заказывать. Ценник правда будет такой что все это будет абсолютно бессмысленно.
Осмотритесь вокруг - много в ЦОД жидкостных проектов? Ни одного не видно? Это не зря так.
я очень даже одобряю, просто это дорого и весьма специфическая ниша для гиперскэйл-хостеров или компаний калибра яндекс-гугл-... со своими ЦОД и суперкомпьютеров. Тут у нас есть некий компромис, который позволяет предложить этот вариант и обычным клиентам ЦОД
https://www.coolitsystems.com/ - точно? 100М баксов выручки в год на коленке с 20-и летней историей? Вы сейчас про каких профессионалов, если эти не профессионалы?
1) между ними тоже надо соединить еще. любом случае стыков много.
2) у них теплоемкость в 3-5 раз меньше чем у воды/гликолевой смеси. Там масса своих приколов, в первую очередь что придется строить альтернативную систему охладжения. С таким в ЦОД точно не пустят, придется свой строить
3) можно, но протечет рано или поздно
4) как сказать ничего страшного, лужи на полу, облитые водой ПДУ с 220В, завоздушивание магистрали - не все так однозначно. Точно не позволят - я бы сам не позволил.
5) сложно, дорого и долго. Руками паять займет больше часа и результат непредсказуем. Просто трубки погнуть точно это целая история, а надо погнуть сотни турбок и одинаково. Потом еще все проверить. Кустарщина-с, очень дорого - я бы оценинил минимум в 2-3 часа работы квалифицированного рабочего, по европейским меркам это около 150-200 евро только за работу на один комплект. Вам же не одна нужна что бы всем этим заниматься, а примерно 1000 для начала разговора.
преимущество по сравнению с чем? мы сравниваем с обычным воздушным.
По сравнению с "водянкой" тут преимущество в том что при схожей эффективности у нас всего 2 разъема на подвод жидкости и их легко можно гарантированно изолировать. При использовании обыных трубок этих соединений будет минимум 8 на каждый сервер + 2 на вводах. на 40 двух процессорных серверов = 400 соединений которые могут начать течь в любой момент. Плюс сами быстроразъемные соединители с исключением протечки имеют неочвидный дизайн и не продаются вот так просто со склада - я как-то день потратил что бы найти что-то похожее за разумные деньги на сечение 5-8мм, бесполезно. Тот же OVH в итоге использует жесткую паянную конструкцию внутри серверов, они делают это на станках с ЧПУ. Выводы без БРС торчат сзади сервера, довольно далеко от корпуса - так если из нее будет литься, то не попаедт в сервер
В общий зал с таким добром не пустят. Цод не станет делать какие то отводы охлаждения в общем зале, а городить свою центральную водянку в стойке как правило экономического смысла не имеет
Мы и не сравниваем, потому что это не имеет отношения к водянке и тем вариантам которые промышленно эксплуатируются в ЦОД и разнообразных серверных инсталяциях. Про использование водянок в наших GPU серверах мы сейчас пишем отдельный обзор, а для использования этой технологии в обычных серверах потребуется свой собственный машинный зал.
когда мы их в массе закупали, в наличии были в основном они и цена получалась выгоднее. Сейчас цена примерно одинаковая, но были 970 pro быстрее при прочих равных.
Новые закупки пойдут уже в 980 pro и Samsung PM9A1, они почти близнецы-братья.
М.2 стики практически не греются в серверах - они хорошо продуваются турбинами охлаждения и в самом ЦОД хороший температурный режим. Мы обычно используем Samsung 970 pro, в эксплуатации несколько сотен - никаких проблем с перегревом не наблюдаю многие годы.
С переходником проблема ставить, но 95% клиентов обходятся одним стиком нужного размера. Это не слишком актуальный вариант, хотя на складе всегда есть самые разные переходники и райзеры
вероятно смотря чем заниматься, а так рынок требует что бы все было свежее - иначе не продать. Но они пока обратно совместимы, это радует. Стик m2 не превратится в закладку =)
"Должен сказать, что в 1981 году я чувствовал, что обеспечиваю пользователей достаточным пространством на десять лет вперёд. Произошёл скачок от 64 Кб к 640 Кб, и казалось, что этой памяти хватит надолго. Как бы не так: всего через шесть лет люди ощутили реальный дефицит. " Б.Гейтс.
Этот мобильный процессор еще не вышел, а эксплуатироваться будет до 30-х годов явно.
это теория, а практика она выше с картинками. Если Вы это знаете и вероятно пробовали, то не значит что остальным это не интересно.
Например после тестов мы убрали возможность заказа таких эпиков с меньше чем 128 памяти, надо минимум 8 планок что бы он работал сносно.
понятно что 8 лучше чем один. вопрос насколько лучше или хуже. Например если использовать Xeon E5-26xx то в целом разница была не столь существенная как там память стоит. А тут разница радикальная, что мы наглядно и показываем.
однако странная нагрузка. Если хотите - выдадим сервер, попробуете и опубликуем результаты. Готовы заняться?
это еще не приступали к эксплуатации, это еще не пытались что-то освежить из этого зоопарка софта по отдельности, это еще из-за какого-то мелкого глюка весь этот кластер не рассыпался по частям на мелкие кусочки, которые надо склеивать руками неделю с полным простоем. Это еще не расходился цеф, на само-восставление которого потребуется несколько дней с полным простоем. Лучше далеко не отходите, не планируйте много на выходные, не пейте ничего алкогольного вечером - может придется срочно выезжать ночью.
А под них (OpenCL) толком нет библиотек для МЛ
У меня вот такой набор был, год примерно 85-87
Любая простая подойдёт, та что в ноутбуке с cuda тоже. А так публика охотно берет 1080 старые например.
это все теория. а практика такова что я подумывал так сделать имея собственный ЦОД на 1000 серверов с которыми я могу делать все что захочу, посмотрел детально что к чему и отказался от этой затеи. В том числе и по соображениям обслуживания, имя такой опыт с погружным охлаждением сотни машин.
по поводу "найти предприятие" - ну-ну, удачи. Придется все самим делать, начиная от покупки станков или в Китае заказывать. Ценник правда будет такой что все это будет абсолютно бессмысленно.
Осмотритесь вокруг - много в ЦОД жидкостных проектов? Ни одного не видно? Это не зря так.
я очень даже одобряю, просто это дорого и весьма специфическая ниша для гиперскэйл-хостеров или компаний калибра яндекс-гугл-... со своими ЦОД и суперкомпьютеров. Тут у нас есть некий компромис, который позволяет предложить этот вариант и обычным клиентам ЦОД
такой наколеночный что ATOS поставляет свои кластеры/суперкомпьютеры по всему миру с их системой охлаждения.
https://www.coolitsystems.com/ - точно? 100М баксов выручки в год на коленке с 20-и летней историей? Вы сейчас про каких профессионалов, если эти не профессионалы?
1) между ними тоже надо соединить еще. любом случае стыков много.
2) у них теплоемкость в 3-5 раз меньше чем у воды/гликолевой смеси. Там масса своих приколов, в первую очередь что придется строить альтернативную систему охладжения. С таким в ЦОД точно не пустят, придется свой строить
3) можно, но протечет рано или поздно
4) как сказать ничего страшного, лужи на полу, облитые водой ПДУ с 220В, завоздушивание магистрали - не все так однозначно. Точно не позволят - я бы сам не позволил.
5) сложно, дорого и долго. Руками паять займет больше часа и результат непредсказуем. Просто трубки погнуть точно это целая история, а надо погнуть сотни турбок и одинаково. Потом еще все проверить. Кустарщина-с, очень дорого - я бы оценинил минимум в 2-3 часа работы квалифицированного рабочего, по европейским меркам это около 150-200 евро только за работу на один комплект. Вам же не одна нужна что бы всем этим заниматься, а примерно 1000 для начала разговора.
и так 1000 раз например. вот посмотрите https://www.servethehome.com/how-liquid-cooling-is-prototyped-and-tested-in-the-coolit-liquid-lab-tour/ - ничего из этого не выглядит "незатратно", выглядит как чудовищный хитровывернутый гиммор. Это поди еще дороже будет чем просто поставить еще несколько шкафов кондиционеров на гликоле по несколько тысяч евро.
преимущество по сравнению с чем? мы сравниваем с обычным воздушным.
По сравнению с "водянкой" тут преимущество в том что при схожей эффективности у нас всего 2 разъема на подвод жидкости и их легко можно гарантированно изолировать. При использовании обыных трубок этих соединений будет минимум 8 на каждый сервер + 2 на вводах. на 40 двух процессорных серверов = 400 соединений которые могут начать течь в любой момент. Плюс сами быстроразъемные соединители с исключением протечки имеют неочвидный дизайн и не продаются вот так просто со склада - я как-то день потратил что бы найти что-то похожее за разумные деньги на сечение 5-8мм, бесполезно. Тот же OVH в итоге использует жесткую паянную конструкцию внутри серверов, они делают это на станках с ЧПУ. Выводы без БРС торчат сзади сервера, довольно далеко от корпуса - так если из нее будет литься, то не попаедт в сервер
В общий зал с таким добром не пустят. Цод не станет делать какие то отводы охлаждения в общем зале, а городить свою центральную водянку в стойке как правило экономического смысла не имеет
Мы и не сравниваем, потому что это не имеет отношения к водянке и тем вариантам которые промышленно эксплуатируются в ЦОД и разнообразных серверных инсталяциях. Про использование водянок в наших GPU серверах мы сейчас пишем отдельный обзор, а для использования этой технологии в обычных серверах потребуется свой собственный машинный зал.