Comments 98
Не очень понятно, вентилятор втягивает воздух из холодного коридора через горячий радиатор СЖО, затем выбрасывает это на GPU?
Ещё интересна средняя температура в ЦОДе.
Со своей стороны я собирал в 3U Exegate Pro (рекомендую) 9900X на стандартных компонентах - всё ок, можно было это запихнуть даже в 2U с помощью кулеров Dynatrone.
Уплотнение для чего? Чтобы что? С какой целью?
деньги же. за условных 10 серверов вместо 9 в стойке можно больше денег взять
Место в серверных стойках ограничено
Системы охлаждения ЦОД тоже ограничены. 20 кВт со стойки удалось снять?
Ребят. Как художник художникам. То, что вы разместили масс маркет в самодельные корпуса в стойку - они от этого серверами не станут. У серверов основное отличие - взаимозаменяемость компонентов, особенно горячая, и гарантия три года. А, ну и правильный вендор серверов привезет вам переставший работать компонент на замену в течении 4 часов. То, что описано в статье, никак этим правилам для серверов, не соответствует.
Все комплектующие есть в наличии у нас на складе. А то что дестоп комплектующие то это вариант дешевых серверов(chipcore) для того чтобы закрыть потребности любого клиента.
Это вариант рабочих станций (даже не производительных - производительные, это Ryzen Threadripper). С общим доступом. Вы в отраслевых определениях плаваете. Соответственно заголовок никак не соответствует описанию. Сервер - это отказоустойчивые система. У вас даже зеркалирования этих рабочих станций не предусмотренно. А при выходе из строя компонента этой рабочей станции, через сколько миллисекунд она снова будет в работе?
Сервер — это устройство, которое хранит данные и даёт доступ к ним большому числу клиентов. Им может быть абсолютно любое устройство. Мы же предоставляем инфраструктуру под любой бюджет, соответственно и сервера на базе дестктоп компонентов у нас есть.
Смелое определение. Т.е. внешний расшаренный usb диск по вашему определению тоже является сервером? И для расширения вашего кругозора. На десктоп решениях сервера построить невозможно. По мнению производителей. Но кто они такие :). Мне в принципе с базой знаний в вашей компании все понятно. Просто хотел прочитать про сервера, а подсунули даже не высокопроизводительные рабочие станции. Всего хорошего.
Сервером может быть что угодно, в щависимости от жадности, бедности или потребности того, кто его разворачивает. Хотя я согласен, что это не продакшн решение из-за зоопарка компонентов и отсутствия поддержки и нормального удалённого доступа, как минимум, это всё таки сервак. Не ынтерпрайз, но сервак.
Читаю комментарии и ржу. Продакшн решение? Больше ада в комменты. Держать данные в ЦОДах с такими спецами наверное очень дешево. Сервер - это аппаратно программное решение. Поэтому даже "сервер" на Линукс не может считаться сервером - там тупо нет инфы о смартах дисков в рейде. По крайней мере мне никто таких данных тут не приводил. Все жду.
Поэтому даже "сервер" на Линукс не может считаться сервером - там тупо нет инфы о смартах дисков в рейде.
что я сейчас прочитал? если вы не умеете инструментом пользоваться, это не значит что его нет
Я в Линукс не умею и не собираюсь. Но все аппаратные рейд утилиты на Линукс идут от ведущих проприетарных производителей железа. На масс маркете вы соберете только софтовый рейд с соответствующей производительностью. Читайте дальше.
ну понятно, Пастернака не читал, но осуждаю. все аппаратные рейды идут с тулами вендора и все там есть.
Это вы мне пишете? Почитайте сначала всю дискуссию. На данный момент вы в России нигде не купите официально все эти аппаратные рейды. Энтерпрайз уровень имеется ввиду. И соответственно сервер собрать не сможете. О чем все мои комменты. Потому что три года уже прошло.
Дилетанты берут на Хабре количеством. И все с плюсовой кармой и рейтингом. Прикольно.
вам-вам пишу, у вас какое-то раздвоение личности.
то вы топите за вендоров и готовые сервера, называя авторов статьи пионерами в подвале, копающимися в говне, то пишете про "сбор" серверов с ручным втыканием рейд-контроллеров и дисков. это ровно такой же колхоз.
"нормальные" сервера, с вашей тз - dell/lenovo/etc сейчас прекрасно продает и обслуживает по гарантии как минимум крок (не реклама). берете конфигуратор и вам под ключ приводят все. какая разница - кто вам зипы возит и решает проблемы, если он ив итоге решаются? к слову сказать - "шикарная" официальная поддержка леновы так и не смогла решить проблему с вылетающими дисками из рейда под нагрузкой. самая ближайшая аналогия - это официальные дилеры у авто, которые рукожопы донельзя и делают только крупноузловой ремонт, в то время как профильные сервисы с большей вероятностью решат проблему меньшими силами и деньгами.
Это не продакшн решение в некоторых нероссийских ЦОДах целые машзалы занимает и неплохо так конкурирует с высокоэнтерпрайзными серверами.
Поддержка осуществляется собственными инженерами. У которых даже есть склад с запчастями под рукой. Или обязательно надо только сторонними? Надо Селектелу посоветовать инженеров в отдельную контору вывести - сразу всё в кровавый энтерпрайз превратиться, надо понимать?
Удалённый доступ есть - внешним IP-KVM, возможно с Али, в какой-то статье ранее рассказывали про них.
Да, я к тому, что решения "на коленке" и решения от вендоров различаются не так кардинально, как говорит человек с минусами на комментариях.
Да, тут встречаются люди, которые до сих пор верят в магию!
КровавоЭнтерпрайзный сервер нельзя собрать на коленке, ведь у вендора такой уровень магии, что любой Мерлин обзавидуется.
Облака - это великая магия, а не чьи-то сервера, возможно даже без SLA с вендором и не в ЦОДе, а в сарае.
Ну и так далее.
Магии нет - есть инженеры. И у них разный уровень, как и у остальных людей.
У вас наверное сейчас шаблон порвет, но Hetzner называет это серверами, и да, они сами проектируют и делают корпуса. Прекращайте уже быть снобом, а то я встречал таких которые и Supermicro за сервера не считают.
Скрытый текст
Есть определение ведущих производителей, что такое сервера. Назовите статью - наши клиенты считают, что мы сдаём им в аренду сервера - вопросов не будет. Все зависит от круга вашего общения. Сколько в вашем кругу сертифицированных пресейлов по серверам? Правильно, их нет. Поэтому не надо ваши (или не ваши) домыслы, выдавать за что то весомое. Спасибо.
Супермикро сервера? Какие у них номера курсов и экзаменов по серверам? Мне чисто для расширения кругозора.
Это очень потешно читать в РФ. Какие сертифицированные пресейлы? Просыпайтесь.
P.S. Готов поспорить что у меня больший чек в Leaseweb на правильных (тм) серверах, но если мне нужен сервер с 5Ghz, я выберу бгомерзкий Hetzner за $200.
Вы отлично, сами того не понимая, описали очень низкий ваш уровень, и основной массы "администраторов". Когда "профессионализм" считается в часах, а не глубине подтвержденных знаний. Вообще первый раз вижу человека делающего упор на аренде, а не на сложности сконфигурированного лично им программно-аппаратного комплекса. Правильно. На масс маркете это невозможно. И на супермикрах тоже. А приводить в пример аренду - тот ад непонимания, о котором я и писал выше.
сложности сконфигурированного лично им программно-аппаратного комплекса
Вы меня путаете с эникейщиком
Профи-администратор решает все проблемы сам, т.к. имеет соответствующие знания, а не зовёт каждый раз мамочку инженера поддержки вендора, которого в текущих условия можно и не дождаться, кстати.
Зато с самосбором и СуперМикрами нет проблем - все спецы в наличии и под рукой. (И на сертифицированных пресейлах экономия немалая выходит.)
Совершенно верно. У Хецнера весьма своебразный инженерный подход. Его фильмы про дата-центры можно смотреть вечно. Решения близкие к гениальности. Впрочем, в дата-центры FAANG тоже делают самопальные сервера на коленке. Великих и могучих "вендоров" эти ребята отодвинули в сторону больше 15 лет назад. Свайпнули влево, как говорят зумеры.
Существуют серверы без отказоустойчивости даже от дело,ЗП,ibm, супермикро. У них часто даже нет полноценного ipkvm в базе, но серверами они от этого быть не перестали.
К НР и IBM серверу вам подвезут вышедший из строя компонент до 4 часов. У супермикро нет такой опции. Мне каждому на пальцах объяснять элементарные вещи чем сервер отличается от "сервера"? :).
К НР и IBM серверу вам подвезут вышедший из строя компонент до 4 часов
Много лет работал в телекоме. Был у нам некий супер контракт с HP. Даже по контракту там было 8 часов. в реальности то, что сломалось в субботу вечером в миллионном городе (не было природных катаклизмов и компонент был в стране, от столицы 900км) привезли только в понедельник днем. Это был 2008-й.
А если компонента нет в стране, то можете звонить и жаловаться хоть куда - ответ будет "ждите поставки, срок от 2-х недель"
Потому многие и выбирают, в том числе очень крупные - лучше поставить Н своих пусть недорогих чем платить непонятно за что, что все равно никто не исполнит.
На собственный склад сходить - не сильно быстрее?
Даже с бюрократией на бумажках в час уложиться - не проблема, думаю.
У серверов основное отличие - взаимозаменяемость компонентов, особенно горячая, и гарантия три года. А, ну и правильный вендор серверов привезет вам переставший работать компонент на замену в течении 4 часов.
При наличии компонентов и присутствии в регионе эксплуатации сервера - ссылаетесь на SLA ссылайтесь до конца.
Мы в проектах всегда поставляем ЗИП сервер, чтобы он лежал на складе и реально был доступен в течение 0-24 ч. В отличие от склада вендора и его "упс, мы заложили ЗИП на несколько заказчиков и вот вчера произошел инцидент...в общем жите запчасть, приедет через 2 месяца"
Горячая заменимость компонентов... ну... что вы там на горячую, кроме HDD и БП можете заменить? Резервированный PSU можно вставить без проблем - выбирайте. Резервирование HDD - это вообще история про Raid-контроллер (программный или аппаратный)
Память например. Есть у вас такие варианты? Проблема в том, что ваш непроверенный сервер из ЗИП, может не стартовать именно по тому компоненту, который нужен именно сейчас. Вы же его не проверяли :). Именно в этом отличие и выгодность крупных вендоров типа НР. Когда в ЗИП лежат не сервера, а компоненты. И ведётся статистика по отказоустойчивости. Не благодарите :).
Add.
Блоки питания с гарантией 2? (Видимо года, может месяца, в датащите не нашел :)). Вы масс маркет продаете. О чем я и пишу. Вы знаете чем корпоратив любой от бренда отличается от масс маркета? Гарантией. Корпоратив три года. У вас два.
Вывод - масс маркет+. Ничего нового вы не откроете.
Вы знаете чем корпоратив любой от бренда отличается от масс маркета? Гарантией. Корпоратив три года. У вас два.
Никогда бы не подумал, что от кровавого энтерпрайза меня отделяет дополнительный год гарантии в DNS
Память например. Есть у вас такие варианты?
а вы точно знаете значение слова "горячая замена"? Или я что-то не так понял в вашем диалоге?
И надеюсь, мы оба с вами понимаем, что сервер начинается от $10.000? И не надо объяснять почему? А то пионеры в комментах утомили :).
*Отличный вопрос на собеседовании, кстати. От какой цены начинается сервер и почему. Очень сэкономит время на понимание глубины знаний на место админа. На хорошую з.п. само собой.
Для меня сервер начинается с задач, требований, наличия и уже потом где-то там в конце цены. Железка должна решать проблемы бизнеса максимально эффективно.
Если вам поступит запрос от стартапа в 2.5 человека на сервер для файловой шары и вы им выкатите ценник в 10к $, ну... специалист из вас сильно так себе.
Точно так же как в на объекты крит.инфры ставить стойку без защит по питанию и пучка бумаг ооочень опрометчиво.
Инженер Саша, с кармой 45 :). Расчет сервера начинается с времени доступности. Ты не сможешь продать сервер никому, даже стартапу. Потому что никто из бухгалтеров и юристов тебе не даст прописать в договоре Tier 1 хотя бы :). Со штрафными санкциями, само собой. Потому что вы не сможете обеспечить даже это простое требование. А то, что ты считаешь там лично про себя - это не отраслевой стандарт. А выдумки Саши. Вы не продаете сервера. У вас их нет :).
С каждым годом на Хабре все хуже в комментах с компетентностью. Симптоматично.
Про сервер критической инфраструктуры орнул. Он даже до Tier 1 не дотягивает скорее всего.
Обычно на личности начинают переходить когда по существу уже сказать нечего, а признать свою некомпетеность\неправоту не хватает _________ (пусть каждый впишет свое).
Вы не продаете сервера.
Все так, мы не продаем сервера, мы продаем системы которые должны 15+ лет работать и при этом предъявляются очень жесткие требования начиная от сейсмики (трясли когда-ндь шкаф набитый серверами под нагрузкой?) и ЭМСа (это когда у вас за стенкой может быть генератор) и заканчивая SLA в 2 часа на любой компонент системы. И нажрались мы этой вендорской поддержки.
Так что, анон, как говорится, "ваше мнение очень важно для вас", мы пойдем дальше решать проблемы бизнеса, пока вы там теряете клиентов из-за 10к не сервер.
отраслевой стандарт
То что лично вы, ваши юристы и бухгалтера считают отраслевым стандартом, для реальной отрасли является попилом бабла и прогревом гоев. Вот и вся разница. Поэтому можно сколько угодно упарываться вендорным копиумом, обвинять всех вокруг в некомпетентности и так далее. Но свою компетентность, в общем, вы продемонстрировали на всеобщее обозрение)
Вы отраслевым стандартом "сервера" называете частный, очень узкий и крайне ограниченный кейс конкретного назначения, выдаете его как единственную верную истину. Этакие свидетели "кошерного сервера от вендора" обязательно на гарантии, и стоимостью от 10к$. На следующий день после истечения гарантии сервер перестает быть сервером и становится тыквой, отправляясь в ближайшую пятерочку на полку с продуктами, видимо)
У серверов основное отличие — взаимозаменяемость компонентов, особенно горячая, и гарантия три года. А, ну и правильный вендор серверов привезет вам переставший работать компонент на замену в течении 4 часов.
Такие серверы у нас тоже есть, настоящий enterprise с горячей заменой, регистровой памятью, аппаратными рейдами и самыми актуальными поколениям серверных процессоров. И даже платформы А-брендов.
А собственный склад железа и резервирование компонентов позвляет делать замену даже быстрее, чем за 4 часа.
Описанное выше решение предназначено для другого сегмента клиентов и мы здесь не пионеры, такой продукт есть у ряда крупных провайдеров
Мне админы тут порезали права на ответы, поэтому всем отвечать не могу. Вот про Энтерпрайз сервера и надо было писать под таким заголовком. Сдача в аренду часов на рабочих станциях - никак не аренда сервера. Или вы с этим не согласны?
HP Enterprise устроит в качестве примера конторы, делающие настоящие кровавые энтерпрайз сервера?
https://habr.com/ru/companies/servermall/articles/942860/
Ну вот вам вчерашняя статья про микросервера от HP/HPE.
PS: Но после Gen8 до них дошло, ЧТО они натворили и они в следующих поколениях исправились. Что, конечно, печально.
А почему бы не использовать готовые серверные водянки (1u варианты даже есть), в паре с серверным бп и matx доской для варианта без видюхи? А то эффективность использования поверхности радиатора там под вопросом.
При первичной отладке прототипов степень охлаждения поверхностей измеряли простым пирометром. Ни в одной точке он не зафиксировал температуру выше 85 5°C.
Это каких поверхностей? Если у вас так врм жарилось или водянка, то на самом проце была сотка получается? И при каком тдп? Короче не хватает тестов эффективности теплоотвода.
Какое общее потребление стойкой? На какой поток рассчитана стойка? Какой верхний порог температуры воздуха на входе? Сколько времени у админа на выключение стойки в случае выхода охлаждения из строя по общей причине?
После "описания тестов" перестал читать.
А чем не подошёл asrockrack и прочий асус с гигабайтом? Или выходит дороже?
дороже, но они тоже у нас есть (с десктопными процессорами)
такие платформы уже поддерживают резервирование питания, ЕСС память и KVM
Спасибо.
А почему дороже? Стойкоместо же сейчас само по себе стоит очень дорого, мне кажется, возможность установить на 20 серверов больше должна быть ценной.
Или уже по теплоотведению не справляется, если забить всю?
теоретически должно быть выгодно, но тут есть ньюансы:
полагаю, если даже и теплоотведение и питание стойки справится, то из-за flex-atx блоков питания и не самых дешёвых 1u водянок будет всё же дороговато... да и при добавлении сетёвок нужен райзер...
это то что касалось цены. сюда же стоит добавить, слабую распространённость и доступность дешёвых БП и компактных водянок. Да, можно заказать, но при массовых деплоях этих серверов оказаться может так, что чего-то не хватит и придётся заказывать из Китая партию и ждать долго... клиенту это не понравится и он может уйти...
На долгосрок тоже не ясно, что может произойти с не популярными комплектующими, скорее всего ничего, но вендоров дешёвого немного и они могут закрыть линейку товаров, что-то приведёт к большим затруднениям с обслуживанием серверов.
Просто загуглить взрыв сжо. Это просто жесть, так рисковать данными клиентов.
А почему бы просто все платы условно не побросать в ванну с охлаждающей жидкостью?
Проблема в том, что нужно всё же обслуживать и лезть в жижу охлаждающую, вполне возможно, из-за экономической нецелесообразности это будет отметено. Если бы это были энерпрайз решения - без проблем (наверное).
А ещё к комменарию выше, "стойки" для иммерсионного охлаждения это горизонтальные ванны, что занимает большую площадь, и нельзя просто так поставить в имеющий я зал.
Вроде бы смысл сервера в надежности, в ecc памяти, качественном рейд контроллере. Горячей замене много чего, возможности удаленного управления установки ос, включении, отключении и контроле состояния через всякие штуки типа ilo,bmc,cimc и т.д.
Согласен, но что же делать когда нужен сервер бюджетного формата?)
У вас нет случайно статистики, насколько менее надежны десктопы без ECC памяти и дисков SAS?
как измерить это «менее надёжны»?
это примерно как пытаться измерить «насколько женщины ниже мужчин», может оказаться, что где-то в ЮВА средний рост мужчин ниже, чем средний рост женщин в США
По доступности или по числу BSOD/kernel panic VM размещенных на традиционных серверах и десктопах.
На ваш вопрос тоже есть ответ - примерно на 8%
увы, намёк вы не поняли. число bsod больше зависит от конкретных версий железа/прошивок, чем от наличия ecc и т.п.
ecc и прочие ipmi/kvm — это больше про удобство («ага, эта планка второй раз за месяц выдала ошибку, надо её поменять как будет возможность» вместо «блин. третий раз за год bsod, не прогнать ли мне тест памяти? да ну нафиг, это минимум на сутки выключать хост; может это софтовая ошибка или БП»)
Зачем всё это, если мне нужен сервер для моих pet проектов? Меня предложенная конфигурация вполне устроит при соответствущей цене. По сути, меня бы белый ip провайдера даже больше устроил, но он дороже.
И таких людей немало. И они место в нормальных стойках занимают. А места осталось мало, насколько я знаю.
Интересный обзор.
а почему не используете бекплейны для раздачи низковольтного питания на несколько блейдов?
Интересно, но лютый колхоз кмк. Выкидываем СЖО, она не несёт никакой пользы, не охлаждает судя по температуре 85 градусов, занимает кучу места и стоит не дешево. Ставим пассивный радиатор на процессор и одноюнитовые вентиляторы на продув, 170 ватт слёзы, а не мощь. Меняем БП и корпус на одноюнитовые и вуаля, у нас в два раза выше плотность и стандартные корпуса. Порты оказываются внутри корпуса, но нам нужна только сеть, можно вывести её отдельным контроллером за тыщу рублей.
Но ведь в таком случае, придётся менять и материнскую плату на нормальную серверную, ибо десктопная не совсем подходит к 1ю корпусу из-за расположения плашек ОЗУ.
Да и проц охлаждаться будет, честно говоря, плохо из-за этого и никакие пассивные радиаторы тут не помогут, можно, конечно, клепать свои радиаторы под каждую модель материнки...
Но будто бы, мы уже сделали сервер, который должен быть очень дешёвым, дороже раза в 2-3... клиенты точно будут огорчены таким раскладом(
А так да, творчество и полёт фантазии тут на высоте))
Ставить материнку плашками вдоль сервера. Или по высоте они не влазят? Даже 2U будет лучше тем что не нужны специальные стойки и плотность выше чем сейчас.
«правильные» материнки для am5 есть, даже у asus, я не говорю уже про supermicro
170 ватт слёзы, а не мощь
В случае десктоп процов от амд это кипятильник, который на 200вт уже фиг чем охладишь. На фотке пример колхозного охлада который смог отвести 220 вт от 9950х, разогрев его до 90+ (это еще с андервольтом). При 15 градусах воздуха и сама вертушка жрет 50 вт)
1u охлад тут не справится никак.
1u охлад тут не справится никак.
Dynatron L25 не тестировали? (он как раз тянет в наших задачах)
Нет речи о разгоне. Топовые Ryzen равны EPYC 4xx5 с теми же TDP. Для серверов это маломощные процессоры для нищебродов. Потому как в нормальных EPYC TDP 400-500 Вт, по 2 штуки таких в 1U сервере.
Так и я не говорил о разгоне. Лишь разные лимиты тдп. Настройки вольтажа и частот на этой супермикре вообще недоступны.
У эпика кристаллов больше, частоты ниже, площадь теплоотвода больше. Поэтому от него проще отвести тепло. Точно так же как от видюх отводят сотни ватт не напрягаясь, а рязань тупо упирается в теплопроводность крышки, пасты и тд.
что-то странно, честно говоря. у вас и площадь радиатора, и воздушный поток получаются выше, чем на эпиках, которые без проблем снимают заявленные 400Вт (и 500Вт, думаю, тоже; но эпиков на 500Вт у нас нет)
Разный тепловой поток, у ryzen площадь кристалла в несколько раз меньше чем у epyc а общий тдп отличается всего в двое, да и старшие epyc на 300+ ватт идут с СЖО, мы рассматривали серверы с двумя epyc и все что выше 300 ватт на проц на СЖО.
Там ещё и радиатор холодный когда проц под сотку. Нюансы современных рязаней)
170 ватт слёзы, а не мощь
у десктопных камней площадь рассеивания сильно меньше, чем у серверных. Поэтому это вполне себе мощь, которую может быть достаточно сложно снять в таких условиях
Изобретая OCP
OCP - "вещь, в себе", она начинает устаревать с момента начала разработки дизайна материнской платы под новый процессор, так как стандарты размещения крепежных отверстий ATX/EATX и габариты блоков питания реже меняются чем сокеты AMD, Intel и прочих (синие 2011 только 3 версии наклепали).
Здесь, используя один корпус, можно регулярно делать обновления вычислительной мощности с возвратом части вложенных средств через реализацию старого на вторичном рынке, тогда как в OCP для каждого нового, более производительного процессора вы должны как минимум заново разрабатывать дизайн материнской платы под новый процессор, потом заказывать ее изготовление, что гораздо дороже заказа специального корпуса под устоявшийся стандарт.
Intel® Core™ Ryzen™ Xeon®
У вас мусор в тексте.
А вы не хотите в опенсорс выложить файлики корпусов?) Я бы себе домой в стойку пару таких сделал))
А не было варианта сделать централизованную СВО - внутри сервера только ватерблок, наружу два быстросцепа к двум магистралям, а от магистралей уже отводить тепло?
Правда, сразу проблема залития возникает, в отличие от маленького контура недоСВО.
Как в одной стойке мы разместили не 8, а 21 сервер на Core i9 и Ryzen 9