Как стать автором
Обновить

Комментарии 204

> Это блюдо может быть приготовлено в дорогом ресторане из качественных ингредиентов по уникальным рецептурам поваров из Dell, Fujitsu, HP, IBM и Sun.

Оу, предвижу высокую оценку вашего труда любителями вкусного, недорогого и
нажористого Доширака :-}
Ну, сейчас набегут со словами — что за сервер без ECC?
У кого-нибуть есть реальные цифры по ошибкам non-ECC памяти?
У гугла есть. Пойдет?
www.cs.utoronto.ca/~bianca/papers/sigmetrics09.pdf
Это я видел, но тут железо уже древнее, да и больше интересна инфа из первых рук )
И количество ошибок найденое в этом исследовании такое, что в это не хочется верить… :-(
Если не хочется верить — не верьте. У нас все же свобода совести. :-/
Да. Варьируется от однобитовой ошибки за час на гигабайт памяти до однобитовой ошибки за век на гигабайт памяти в зависимости от уловий.
Есть статья от CERN: indico.cern.ch/getFile.py/access?contribId=3&sessionId=0&resId=1&materialId=paper&confId=13797

в которой анализируются ошибки HDD, RAID и памяти.

We have 44 reported memory errors (41 ECC and 3 double bit) on ~1300 nodes during a period of about 3 month.
И все как один гоняют тесты на ECC памяти…
Что за сервер с max 16gb RAM?
Если ставить 8gb планки по 180$ каждая — это уже не доширак :)
К счастью, цены на память достаточно низкие и 8ГБ модули можно купить намного ниже $180.
За $1000 можно сторговать брендовый 1U сервер…
Причем на Xeon X3440.
image
двух с половиной тысяч рублей даже на один (новый) жесткий диск не хватит. не говоря уже о том, что памяти в два раза меньше, чем тут.

да и X3440 на треть слабее. могу даже бенчмарки погонять, Supermicro'вская машина с этим процессором лежит в паре метров от меня.
Где салазки в Вашей конфигурации?
Как будто на допрос попал :)
Рельсы еще не купил. Но обязательно сделаю это перед отправкой сервера в дата-центр.
Вот и памяти добавите в этот конфиг за эти деньги…
Вы опять забыли про жесткие диски…
А что интел убрал рельсы из комплекта?
да, к сожалению, с 16х0 не идут рельсы. сам напоролся недавно.
С этой платформой идут рельсы в комплекте.
Забыл сказать, что я ведь тоже в какой-то степени сторговался. Синтекс отгрузил мне железо по ценам ниже, чем я тут указал. А жесткие диски я купил еще в тот момент, когда у ритейлеров они только-только начали дорожать ввиду всем известных печальных событий.
Но если бы я изначально написал «свои» цены, то в комментариях было бы еще больше вопросов. Поэтому торг торгом, а указанные в публикации цены следует сравнивать с обычными магазинными.
Как я понял использовать KVM intel PRO можно только через RealVNC Plus, у них не стандартный протокол VNC или я ошибаюсь?
Если честно, с KVM я еще не заморачивался. Обновлю публикацию, когда до этого дойдет.
Очень интересно буду ждать, думаю у многих возник такой же вопрос!
Да, там нестандартный протокол, и VNC Viewer Plus его полностью поддерживает. Пользуюсь на работе этими плюшками уже более года — никак не нарадуюсь. Удаленный BIOS, монтирование удаленных образов, включение-выключение, KVM, который не зависит от состояния (да и наличия) операционной системы… Кой-чего умеет Radmin, но у него нет поддержки KVM-режима.

Вот тут есть список софта, который так или иначе поддерживает возможности Intel VPro.
Спасибо за подробный ответ, жаль что используют свой протокол а не стандартный! Но теперь покупая шлюз в маленький удаленный офис буду знать какую материнку надо выбирать!
Не за что. Обрати внимание, что важна не только материнская плата, но и процессор — он тоже должен поддерживать функции vPro.
А можно еще фото, как это выглядело в собранном состоянии.
Задней панель я так понимаю не было?
Сделал всего две фотографии. Первая вверху, вот вторая.



Задней планки нет. Дело в том, что высота корпуса 1U меньше, чем высота стандартной I/O заглушки. Можно, конечно, немного обрезать идущую в комплекте с «мамкой» планку, но смысла в этом нет. Пусть лучше оттуда беспрепятственно выходит горячий воздух.
А если использовать корпус 2U, то задняя панель тоже не подойдет?
В этом случае стандартная планка подойдет.
Еще хорошо что бы туда беспрепятственно не залезала живность погреться. Чем больше дырки, тем крупнее живность.
Живность боится воздушного потока. Ни в один из компьютеров ни разу *тьфу-тьфу-тьфу* не залезали тараканчики. А вот в мониторе, где почти совсем нет потока и выключенном притнере им нравится, да.
Живность в ДЦ? Не, не слышал.
Очень интересно смотрится этот комментарий с ником :-)

А если серъёзно, то зависит от ДЦ, конечно. Цены разные — подход разный.
Я бы лично не рисковал своим сервером оставляя его без задней панели. Например, если сетевой или видео провод дёрнут случайно, то могут мамку помять зря. Возможно, это просто моя личная параноя.
Я смотрю, вы очень богаты, раз позволяете себе на такую ерунду тратить 2U. Незаслуженно обиженная «вторым эшелоном» супермикра давно делает платформы в формате 2x1U (то бишь два сервера в одном юните) или 4x2 (4 сервера в одной 2U платформе). При этом в платформе два hotplug БП, на каждом сервере IPMI и прочие вкусные плюшки нормальных серверов.

А у вас получилось ну очень богатое решение (сколько у нас там квадратный метр кондиционированного пространства серверной стоит?)
А если площадь д.ц. больше подведенного электропитания? Тогда юниты дарят… Да, бывает и такое…
… Вопрос обычно решают подведением доп.мощности (что ещё больше увеличивает стоимость юнита в стойке).
В Москве очень сложно получить много мощи…
НЛО прилетело и опубликовало эту надпись здесь
Эта статья про сборку сервера в корпусе 1U. Откуда вы взяли 2U — непонятно.
Видимо читали запись отрывками.
Я сначала рассказываю, почему самосбору обычно предопределено место в корпусе 2U, а потом показываю, что и в 1U корпусе можно без проблем собрать производительный сервер, если ответственно подойти к выбору комплектующих.
Я так понял, что он все таки в 1U уложился.
Не подбросите ссылки на это чудо техники? А то полгода назад рассматривался такой вариант, с общей шиной +12 и прочими плюшками типа общего КВМа, но как-то оно заглохло.
Спасибо, но шасси за 5куе как-то дороговато, при учете цен HP и Dell. Проще уж за те же 5куе собрать блейд из беушных серверов.
Насколько я понимаю, это включает в себя мамки. Плюс я ткнул в первую попавшуюся, возможно, есть дешевле.
Я смотрел украинских ресселеров, и это цена без материнок, только шасси.
SYS-6026TT-HIBQRF
Корпус + МП + остальное (список в разделе Parts List по ссылке выше) — 4800$-5000$ в России.
А где позволяют ставить собственные сборки? У нас, например, просят сертификацию…
У нас, например. Что хотите, то и ставьте, лишь бы в параметры заказанной мощности и габариты укладывалось.
А ежли оно банально сгорит, в смысле огнем?
Газовая система пожаротушения. Дальше будут разбирательства «кто, кому и сколько».
… и выяснится, что это сервер фирмы, зарегистрированной на украденный паспорт, и по адресу регистрации ее не знают, и за сгоревшую от такой самоделки стойку (или по крайней мере 2-3 соседних сервера сверху) платить клиентам придется вам, как крайнему. Оно вам надо?
Замените китайский БП скрепкой в брендовом БП. Где разница?

Сколько я видел горящих БП, они горят весьма специфично (с выбросом плавленной меди наружу и т.д.), я полагаю, что их либо снесёт тут же автоматом в стойке, либо потушит.
Разница в цене подхода. Во втором случае еще нужна скрепка. В первом — часто не нужно ничего :)
К сожалению, бренд можеть гореть таким же салютом как и не бренд. Даже без инвестиций в скрепку.
Так нельзя. Представляете, на какой риск идет владелец ДЦ, если не дай бог случиться пожар по вине владельца такого сервера, который решил сэкономить на блоке питания.
А если пожар случится по вине сервера, владелец которого не сэкономил на БП к крутой желеке, но забыл там скрепку внутри?

Ответ одинаковый — пожар тушится.
Я, если честно, не понимаю, почему многие комментаторы придираются именно к БП. Seasonic ведь является чуть ли не инноватором в отрасли производства блоков питания, да и продукты их не имеют нареканий. По крайней мере, они левые конденсаторы не используют, в отличие от Ablecom ;)
Наличие сертификата — не признак того, что сервер не может «гореть огнем» )
Тут владельцу ДЦ стоить смотреть не на сертификат сервера клиента, а на нормальную систему мониторинга и автоматизированную систему (правильно настроенную и протестированную) пожаротушения в собственном ДЦ. Вспомнился случай с ДЦ hosting.ua.
Сертификат — вещь нужная, но это не гарантия пожаробезопасности. Считаю, что при одновременном отсутствии сертификата сервера клиента и нормальной системы пожаротушения в ДЦ, большая вина за пожар все-таки на стороне владельца ДЦ, а не сервера.
Наличие сертификата это все же минимальное свидетельство, что его собирали не люди, которые экономили «на спичках» и делали свой первый стоечный сервер в жизни.
И? Что из этого следует? Сертификат (особенно та херня, которую в россии выдают) ни каким образом не гарантирует, что там хоть что-то нормальное внутри. Я лично видел как это всё сертифицируется (для втюхивания госорганам) — ничего даже близкого к «свидетельствам» оно в себе не несёт.

Никакой сертификат не гарантирует ничего, кроме того, что получивший его потратил на это получение денег. Отсутствие сертификата означает, что даже на это денег сэкономили.
Какая-никакая, но защита от «моделистов-конструкторов». (на практике — довольно эффективная, кстати)
Может, на сэкономленные деньги взяли более надежный БП… )
Вы идеалист :)
Нет. Это сарказм.
Если бы был идеалистом, не написал бы слово «может» и смайл )
Он гарантирует, что сервер собран не дома сразу после прочтения очередной статьи «собери сам», а все же некой организацией, которая вероятно способна ответить своей репутацией / деньгами / свободой директора. :)
Извините, наличие сертификата это гарантирует? Noway! Как я могу посадить директора cisco? У меня одна из цисок на моей практике сделала дурной чпок в БП и пожгла нахрен всё внутри.
Сами посудите. Вы сейчас обвинили cisco и у вас есть эта возможность. Это и есть плата репутацией с их стороны. Если ущерб для репутации будет серьезный, то они непременно будут бороться за улучшение ситуации. Им еще жить с этим всем. Посадить директора можно, если компания занимается явным мошенничеством, к примеру.

А что взять с человека, который решил собрать свой первый и единственный сервер на коленке?
Согласен, что наличие и «честного» сертификата и хорошей системы пожаротушения — это вдвойне хорошо. Но, как уже написал amarao у нас (Украина, Россия и т.д.) наличие сертификата — не показатель качества техники.
У нас даже многие бренды не сертифицированы в РФ…
НЛО прилетело и опубликовало эту надпись здесь
Это где вас научили SATA-кабели в катушки так мотать и ЗАЧЕМ?
А вообще, да, места столько пропадает… зато прохладно?
А что плохого в катушках?
А что хорошего?
Нафига лишнюю индуктивность делать?
Какая индуктивность? 10 витков, да еще и не на сердечнике… Не придумывайте.
У электронов голова кружится :-)
Где-то читал, что HDD сбоил как-раз из-за скрученного в спираль SATA-кабеля; но, ИМХО, то было вранье. Кабель все-таки — экранированный, да и индуктивность, как выше сказали, там никакая.
Привычка, пришедшая из сборки десктопов. Провода не перекрывают поток и не болтаются где не надо.
Жесткие диски, кстати, выше 29 и 27°C (для левого и правого соответственно) не грелись во время тестов.

Изначально я хотел купить корпус RM12500 (похож на компактные корпуса Supermicro), но его не оказалось в наличии. Да и винчестеры там охлаждались бы похуже.
Не смог найти в гугле ни одного случая неисправности по причине скрученного кабеля SATA.

Единственное, что нашел, это замер производительности прямого и скрученного кабеля. Разница была в пределах погрешности.

По моему мнению, если бы были проблемы, то это должно было отобразиться на скорости.
Я исключительно опираюсь на знания радиоэлектроники и физики, зачем делать лишние витки? Здесь это неоправданно.

P.S. эксперимент проведите, длинный удлинитель в моток смотайте, воткните в него нагрузку по номиналу его сечения, сгорит к херам удлинитель, а был бы прямой — не сгорел :)
Уж про катушку индуктивности, я думаю, здесь большинство в курсе. Но моих знаний не хватит, чтобы посчитать влияние витков друг на друга в данном случае.

Встречал удлинитель, у которого изоляция разных витков друг с другом сплавилась.
НЛО прилетело и опубликовало эту надпись здесь
Вы учитываете, что там симметричная витая пара (точнее, 2 шт) внутри?

Я вот с своими скиллами по радиоэлектронике (школа плюс ошмётки института плюс чуть-чуть хобби) не готов посчитать, что там будет.
Кстати, да, обращал внимание, что многие сборщики так делают. Кабель обычно на отвёртку накручивают, он такой и остаётся.

Зачем делают? Хз. Видимо, со времён телефонных трубок осталось.
Получается дороже чем если взять платформу и прикрутить к ней проц, память и диски. Ваше время тоже надо считать. Кроме всего остального. Диски я бы взял Black — у них 5 лет гарантии поставил в реид. Память с ECC. Проц. xeon — он оптимизирован под серверные нужды, а не под десктопные. И самое главное. Даже если не хотплуг, то где корзина для дисков?

Мое мнение о том что такое сервер — это такая атомная станция или шаттл с 2-3-мя контурами защиты, что бы аптайм был максимален. В случае десктопного недорогого железа я не нашел спосод добиться оного.

В качестве хобби может быть и интересно, но как реальный рабочий образец не выгодно. Слишком дорого, слишком малая функциональность.

ЗЫ: а зачем вам аудиоплата на сервере? ))).
Насчёт проца — неправильно.

Если один сокет — то core (от quad до i5 на выбор). Если два — xeon'ы. Ключевое различие у xeon'а c core — не в производительности, а в поддержке многопроцессорности (в смысле, взаимодействия двух и более чипов через шину на матери).
С каких пор ксеоны только для МП? У них есть много других плюшек — посмотрите отличия того же E3-1230 и i7-2600 (они очень близки, но не близнецы). По производительности да, они на том же уровне, что и десктопные (хотя, с оговорками на задачи).

И поддержу предыдущий коммент — пару недель назад покупал сервер на платформе от супермикро с E3-1230 и 2х8Гб оперативы, сервер получился компактнее, на борту IPMI, и вышел в $830, что на $70 дороже, если не считать винты. И у него riser на борту и нет лишних PCI слотов, что позволяет установить довольно крупную плату (Decklink Extreme 3D стала без проблем).
Какие плюшки, если не секрет? Я вижу только три существенных различия: цена, надпись на крышке и поддержка ECC. Ну и первая плюшка имеет «подплюшки», заключающиеся в том, что модельный ряд шире.

И вам повезло, что уложились в 830 долларов. Где нашли 8-гиговые планки небуферизированной ECC почти за бесценок?
Влезу вот сюда со своим опытом системной интеграции:
Официальной информации нет, но один из инженеров Интела мне как-то сообщал, что для ксеонов используется более толстый кремний для большей прочности кристаллов. да и практика показывает, что 24/7 под полной нагрузкой корки просто разваливаются через несколько месяцев, а ксеоны живут долгие годы. И сервера, в отличие от декстопов, устроены так, что там полная нагрузка бывает почти всегда, в то время как на десктопе она бывает весьма периодически. (А если на вашем сервере не бывает сильной нагрузки хотя бы большую часть его рабочего времени, то зачем он вам вообще нужен?)
>24/7 под полной нагрузкой корки просто разваливаются через несколько месяцев
Покажите, пожалуйста, где и у кого развалились корки. Очень интересно.

>если на вашем сервере не бывает сильной нагрузки хотя бы большую часть его рабочего времени, то зачем он вам вообще нужен?
Странный какой-то вопрос. Если бы ожидаемая нагрузка на сервер была бы меньше, то я установил бы процессор послабее, а не отказывался от него вообще.
Из тех, что на памяти, у радикала разваливались регулярно в прошлом и у агавы в настоящем.
Под нагрузкой я имела ввиду нагрузку серверного типа — 99% времени процессор чем-то да загружен. Да чем-то сильным, так, что каждое ядро чего-то считает. А бывает часто так, что сервер работает пару секунд в минуту, а всё остальное время 1-10%. В этом случае сервер не нужен.
На сервере можно размещать не только сайты ;)
На серверах, если быть точнее.
Конкретно эта железка будет не для сайтов.
Да, я в курсе, спасибо.
Так уж получилось, что на памяти только разваливающиеся корки у компаний, связанных с сайтами.
Да, а на счет разваливающихся корок я все же останусь при мнении, что разваливаются именно машины. Т.е. не процессоры деградируют, а сыпятся винты, вздуваются конденсаторы на типичных десктопных мамках и так далее.
Ну это бывает, конечно чаще, но разваливается вообще почти всё в нашей серверной жизни.
А что будете хостить? Раз уж в этом блоге…
Игровые серверы, как бы это тупо не звучало.
Может, дело случая, но использую машину на базе Core2Quad 9300 / мать Asus / корпус CSV + их же БП / память не помню какой DDR2 2x4Gb. Машина кодирует потоковое видео, 24х7, нагрузка на проц — 50-60% постоянно + раз в 15 минут добавляется нагрузка на пару минут, тогда общая загрузка 80-90%. В таком режиме уже чуть больше 1,5 лет. Сказать по правде, не думал, что больше полугода протянет.
Да, кстати, в этой же машине стоит винт самсунг 642-чего-то-там (640Гб), который постоянно пишет 2х25Мбит потоки все это время (они потом забираются, на этом винте не хранятся).
Ну я бы тоже не стала такие ставить в промышленных масштабах в критичных местах. Кремний — штука родом явно из Кореи, знакомая тесно с рандомом. У меня как-то раз в линейке (давно это было, на Каине ещё, когда он был) сом на +12 заточился с первой попытки. Но строить экономику я бы на этом не стала.
боюсь спросить, более толстый кремний где? допуски в толщине подложки весьма строги
Более толстый кремний это полусарказм, которым я обозначила тот факт, что ксеоны у интела получаются заметно прочнее корок. Технических подробностей этого феномена я не имею, как и не имеет их и тот инженер, но есть информация, что это таки неспроста и сделано целенаправленно, для повышения прочности ксеонов (и итаниумов, на всякий случай).
хм. не могу придумать никаких особых технологий, чтоб при одинаковом техпроцессе поднять наработку на отказ даже в разы. дублирование особо критичных участков?

да, существует некая корреляция между техпроцессом и вероятностью ошибок, но я не скажу к чему это относится — к уменьшению площади отдельных элементов, или к увеличению их числа.
Если сравнивать конкретно E3 vs i7, отличий действительно почти нет: ЕСС, TDP (80/95) и количество PCIe (2/1), а так же отсутствие графики в моем случае (в 1235 она есть). При этом, и цена 1230 ниже, чем i7-2600 (правда, и частота на 200МГц ниже, что для меня не было существенно. 1270 (1275) больше похож на 2600, и ценник выше, но, на мой взгляд, эти 200МГц сильно роли не сыграют, а ценоэффективность выше.

Нашел в Киеве, причем, не под заказ — машинку собрали за 1 час. Стоимость по компонентам не знаю, но в сумме вышло $1660 за два.
Конечно получится дороже, чем взять платформу прошлого поколения и прикрутить к ней серверный процессор и память с ECC, но при этом не прикрутить диски. На данный момент стоимость этих двух винтов составляет порядка 1/5 от стоимости сервера. Если брать винты серии WD Black (или еще более заточенной под серверные нужды WD RE), то доля стоимости дисковой системы будет еще большей.

Корзины для винтов есть.



Аудиоплата мне не нужна, но если я ее оттуда вырву, то гарантия тю-тю.
Немного офтопа. А чем отличаются диски WD RE от Black кроме лейблы и цены?
Они еще быстрее, а также поддерживают TLER. Ну и, само собой, позиционируются производителем как Enterprise-решения, предназначенные для работы в серверах 24/7/365.
Спасибо, буду знать на будущее. Судя по описанию, то это действительно для более серьезных штук, чем базовый уровень защиты — пара дисков на raid1.
RE-шки ещё поддерживают какие то плюшки для более производительного RAID'a
Корзина для дисков- это когда вы можете извлечь диск не разбирая и даже не выключая сервер, а у вас…
Когда можно вынуть жетский диск не разбирая сервер — это корзина hot-swap, а у меня просто корзинка.
и какой от нее толк? =) с таким же успехом можно винч прямо к корпусу прикрутить.
Если стоит достаточное количество таких серверов, то покупается дополнительная корзинка и запасной жесткий диск. Первое соединяется со вторым, и полученная конструкция ждет своей участи. Это позволит при замене винта сэкономить время, затрачиваемое на выкручивание и вкручивание четырех винтов и установку винта в корзинку.
НЛО прилетело и опубликовало эту надпись здесь
Правильный подход. Давайте говорить прямо — крупные компании типа упоменутых Dell и прочих ориентируются на богатого, но глупого (или откатолюбивого) корпоративного клиента и продают ему железки по сильно завышенной цене. Чтобы оправдать цену, правда, иногда туда добавляют какие-то дополнительные компоненты, но это ерунда.

Рассмотрим типичную область применения сервера — сервер для веб-приложения. Что важно для такого сервера? Как можно более мощный процессор, объем памяти и скорость работы диска. Нужна ли серверу брендовая материнская плата? Нафиг не нужна. Нужна ли ECC? Не нужна. В ходе разработки вероятность того, что кто-нибудь зальет на продакшен кривой код и испортит часть базы, во много раз выше того, что космическая частица с альфа-центавры перевернет бит в памяти. Нужны ли горячие блоки питания и жесткие диски? Не нужны, так как в случае поломки все равно придется самому ехать в датацентр и менять комплектующие.

А надежность для веб приложения (на случай, если клиенты например покупают дорогую услугу и хотят денег за простой (если покупают дешевую, пусть терпят и не выпендриваются)) — проще обеспечить вторым сервером в другом датацентре другой компании с другим поставщиком интернета, и это в 100 000 раз надежней чем переплачивать жирным корпорациям за название на корпусе. Вот так-то. Потому что в случае пожара, обрыва сети, спящего админа, глупых программистов мой вариант сработает и спасет ситуацию, а дорогой брендовый сервер накроется медным тазом.

Что самое интересное, полностью аналогичный сервер Supermicro, собранный у одного из главных поставщиков этого бренда в Украине, обойдется в 14987 гривен (без учета телескопических направляющих). Это чуть дешевле, чем два описанных в этой статье самосбора.
Цены на сервера в интернете смотреть неправильно… нужно общаться с поставщиком…
это сильно влияет на результат :)
Но вряд ли поставщик продаст мне один-два сервера с существенным дисконтом ;)
Если (когда) соберетесь покупать в следующий раз, не сочтите за труд, маякните мне… )
Есть хорошие друзья, золотой партнер одного из брендов… все возможно…
Практически без проблем можно получить неплохую скидку даже напрямую. А лучше зачастую брать не у диллера, а у крупных реселлеров, которые уже имеют максимальную скидку у диллера. У меня так и вышло. А если еще и поискать знакомых, имевших объемы — скидка совсем не проблема :)

Кстати, это именно та платформа, что у меня. Только покупалась не у этого поставщика (по крайней мере, не непосредственно)
У всех супермикр что я видел (кроме тех что на атоме) в комплекте идут рельсы. т.ч. отдельно их учитывать не надо.
Вы хотите сказать, что Оникс нагло впаривает второй комплект направляющих?)
Скорее всего, ну или по незнанию.
Я люблю смотреть фотографии комплектации железа здесь, но еще лучше делать это тут.
Поскольку в НИКСе этой платформы нет, то можно довериться Ньюэггу, а также отследить тенденцию по моделям предыдущих поколений для того, чтобы сделать соответствующий вывод.
смотреть лучше на сайте производителя, по платформе 5017C-MF рельсов действительно нет, но это легкий сервер на сколько я помню, чуть тяжелее коммутатора, и монтируется просто на «лапки».
На самом деле 5017 серверу не нужны направляющие просто, поэтому их нету даже в дополнительных компонентах, незнаю куда вы их там крепить собрались. В остальных серверах(более длинных) это стандартный набор. Подобные сервера ставяться в телекомуникационную стойку обычно или шкаф, собственно основная его фича в короткой глубине.
Я точно никуда не собирался их крепить ;)
Раньше ко всем 512-ым корпусам в дополнительных компонентах шли рельсы CSE-PT8L.
Ваша правда, я попутал с 503 и 502.
Ща напишу тут простыню каментов.
Правильный подход. Давайте говорить прямо — крупные компании типа упоменутых Dell и прочих ориентируются на богатого, но глупого (или откатолюбивого) корпоративного клиента и продают ему железки по сильно завышенной цене.

Кроме брендового названия у них ещё есть один плюс и он же минус — совместимость со своими же решениями. Но минус в том, что это vendor-lock-in и нужно оно только тупым богатым дядькам, так что тут всё правильно.

Чтобы оправдать цену, правда, иногда туда добавляют какие-то дополнительные компоненты, но это ерунда.

Компоненты у всех одни и те же, просто некоторые их рекламируют чрезмерно. Добавляется только субстандартизация, которую способен обеспечить просто грамотный интегратор и гораздо дешевле. Но иногда толстые богатые дядьки не хотят платить посредникам за отличную работу и платят гораздо больше поставщикам за хорошую.
Рассмотрим типичную область применения сервера — сервер для веб-приложения. Что важно для такого сервера? Как можно более мощный процессор,

А нахрена, пгостите? Веб-приложению нужен не мощный, а эффективный процессор. И если его мало — можно купить ещё один. И если их мало — ещё один. И если у вас такое мощнющее приложение, а программист не способен написать его так, чтобы оно работало на кластере — гнать такого ссаными тряпками. Дороговизна эффективных процессоров окупается за несколько месяцев их экономичностью.
объем памяти и скорость работы диска.

Очень спорное утверждение. Тут всё сильно зависит от конкретного приложения и кривизны рук программиста.
Нужна ли серверу брендовая материнская плата? Нафиг не нужна.

Тут может возникнуть сильное недопонимание. Брендовая — да, не нужна. Серверная — таки нужна. Ибо сэкономив и купив какой-нибудь елитгруп можно получить пожар от того, что она просто не рассчитана работать 24/7 под сильной нагрузкой.
Нужна ли ECC? Не нужна.

Да, лучше сэкономить сотню баксов, а потом искать решение несуществующей проблемы, накапливавшейся долгие годы =) Ецц нужна в любом случае, если в памяти есть сколько-нибудь ценные данные. Данные текстур и моделек очередного кризиса, пожалуй, не особо ценные. Данные, которые бывают в памяти сервера — должны быть ценные, иначе чего они забыли в этой памяти?
В ходе разработки вероятность того, что кто-нибудь зальет на продакшен кривой код и испортит часть базы, во много раз выше того, что космическая частица с альфа-центавры перевернет бит в памяти.

Во-первых не надо брать на работу криворуких кодеров и не будет такой проблемы.
Во-вторых повреждения от кривого кода можно обнаружить и найти их причину и понять, какие последствия она могла вызвать и исправить всё это, повреждения от вылетевшей ячейки памяти хаотичны и не всегда поддаются диагностике. И лучше таки потратить сотню-другую баксов на память, сэкономив потом побольше на диагностике, которая рано или поздно случится, если данные в памяти представляют хоть какую-то ценность. Или как минимум наймите хороших программистов и используйте программную избыточность.
Нужны ли горячие блоки питания и жесткие диски? Не нужны, так как в случае поломки все равно придется самому ехать в датацентр и менять комплектующие.

Почувствуйте разницу:
— ехать три часа в датацентр и сервер всё это время лежит
— ехать три часа в датацентр и сервер всё это время работает
И не стоит забывать, что сервер должен приносить прибыль и быть нужным, ибо:
— если сервер не приносит прибыли, то зачем он вообще нужен? Свои персональные блоги и сайты-визитки можно хранить и на виртуальном хостинге.
— если без сервера можно несколько часов обойтись, то зачем он вообще нужен? Не проще ли всё держать на отдельном офисном компе? И ехать к нему ближе в случае поломки.
А надежность для веб приложения (на случай, если клиенты например покупают дорогую услугу и хотят денег за простой (если покупают дешевую, пусть терпят и не выпендриваются)) — проще обеспечить вторым сервером в другом датацентре другой компании с другим поставщиком интернета,

Может и проще, но точно не дешевле. Собрать raid0 всяко дешевле, чем ещё один сервер.
и это в 100 000 раз надежней чем переплачивать жирным корпорациям за название на корпусе. Вот так-то.

Надёжней, но не дешевле. С учётом полуторной наценки на бренды это получается на 25% дороже, но эффективность тут зависит от кривизны рук проектировщика и сборщика. Хорошие руки будут стоить гораздо больше наценки даже самых дорогих брендов, а плохие могут собрать так, что потом больше денег уйдёт на устранение проблем и простой. Другое дело, если сервера для вас — профильное и массовое занятие. Тут только какая-нибудь супермикра (чтобы не париться по поводу выгоряющих элементов на матплатах или невлезающих деталях в корпуса) и хороший персонал.
Потому что в случае пожара, обрыва сети, спящего админа, глупых программистов мой вариант сработает и спасет ситуацию, а дорогой брендовый сервер накроется медным тазом.

Такие случаи стоит исключить в первую очередь, ибо от них не спасёт ни что.
> Такие случаи стоит исключить в первую очередь, ибо от них не спасёт ни что.
Про ECC и контуры защиты.

Я повторяюсь как в предыдущем посте.

Сервер в первую очередь должен быть сервером — это означает что он должен выдавать максимальное количество аптайма, даже если началась ядерная война, планка сдохла, диск в корзине RAID сдох и даже гипотетически искрит в блоке питании, сервер должен брыкаться слать мольбу о помощи и отвечать на запросы.

Еще раз. Дело тут не в нагрузке, а банально в аптайме.
Ещё было бы неплохо, если бы во время этого аптайма сервер не захлёбывался бы от плохо запланированной нагрузки и отвечал бы в разумные сроки. Мало толку от 100% аптайма при ответе с задержкой в час.
Ну так если у вас сайт имеет такую посещаемость, что сервер падает — вы уже «миллионер» пошли купили сервак покруче/докупили сервер БД. Или я реально чего-то не понимаю в вопросе того — сколько может давать денег 500-т ваттный сервер?
имеется ввиду на 100% загруженные 500-т ватт.
Судя по моей карме видимо не понимаю. Ну ладно, пускай будет так.
Вы считаете, что больше одного сайта на сервере не бывает?
500Вт сервер будет давать как минимум 500-1000$$ прибыли в месяц, если сдавать его в аренду (если это не самосбор на корках, конечно; если эти 500Вт обоснованы серверных железом)
Стоить хороший 500Вт (Как мы вообще ваттами меряем производительность? Я с себя офигеваю..) будет не больше 10000$ и даже при тупейшей аренде окупит себя максимум за год. А устареет железо в нём года через два только.
А можно ещё запастись репутацией, хорошими поставщиками, серверной с админом и интернетом и сдавать его ещё дороже, собрав ещё дешевле.

Небольшое лирическое отступление:
Нафига вы пишете «500-т»? Что это такое вообще обозначает?
Окончание слова пятьсот? почему тогда не 500-тьсот?
И если вам так не нравится числительное без окончания, то почему-бы не написать его буквами вместо цифр?
Очень бесят приписываемые окончания у числительных цифрами в именительном падеже. Это просто рак какой-то, похуже окончаний на тся-ться.
Я не производительность ваттами меряю, я вообще о ней особо не думаю, у меня все меряется в эффективонсти, ниже пояснение. По поводу производительности. Если вы уже переходите с эффективонсти до решения вопросов производительности и хранения (покупаете 4U для сервера бекапов, 2U для сервера БД, 3-4 инстанции 1U), то вас уже даже цена вопроса не должна волновать (относительно конечно) — вы высоконагруженный проект.

За каждые сто ватт, свыше пятисот требуется доплачивать ну по крайней мнении в том ДЦ где мы размещаем. За траф свыше 10Мб надо доплачивать. Значит эффективность ресурса(ов) может вычисляться из дохода минус затраченные ресурсы на размещение. Так вот почему я и написал, что «видимо не понимаю» потому что наш сервер слабенький забит чуть ли не на четверть или на половину в пиках, а доходность уже в разы привышает вашу заявленную от $1000, даже если считать, то как минимум, то я бы его поднял до «от $3000 за забитый сервак» — а это означает полная окупаемость сервера за 1 месяц и докупка сервера БД если что-то начнет падать.

На самом деле я еще и еще раз удивляюсь хабру, по поводу того, что своего мнения тут не любят. А ведь за мнение минусовать не правильно в принципе, так как мнение — это такое понятие которое включает в себя и недостатки, и достоинства. Я минусую исключительно за неквалифицированные ответы, обязательно комментируя, либо за неправильное поведение. И все. Мои недостатки в данном случае — сервер стоит чутка дороже, будь даже в полтора два раза, но это, чутка если считать от низкого ценового сегмента, при правильной доходности с сервера. Мои достоинства, мы получаем гарантированно отказоустойчивую систему и не важно что ядерной войны никогда не произойдет мы получаем гарантии аптайма, начиная с гарантии фирмы, кончая гарантиями архитектуры.

Так вот, еще раз говорю, если ваш сервер забит в максимум, смело находим инвесторов, покупаем еще один — вы успешный человек. Это мое мнение — если это не так, я в этом не виноват и минусовать меня не надо ни по какой причине. Начиная от зависти, кончая не разделением чужого мнения.
Тут ещё принято минусовать за упоминание минусования, хотя последнее время хабр уже не торт.

Моё мнение заключается в том, что если сервер не «забит», то он и не нужен такому проекту, достаточно взять виртуальник в аренду — выйдет быстрее и дешевле. А если он забит, то аптайм — далеко не самый важный (но тоже значимый, конечно) его параметр.
Да согласен, собственно нас и погнали с нашим говнокодом с виртуального VIP тарифа. Решили временно вертикально мастабироваться.
Так лучше вы эти деньги потратили бы на курсы для программистов — всяко более ценное вложение средств и окупится проще и быстрее.
Кстати, из ECC не нужно делать панацею от всех бед. Нет, я не веду к тому, что влияние этой технологии мало. Просто некоторые хостеры, сдающие серверы в аренду, из этого частенько делают маркетинговую фишку. Мол, сервер будет Supermicro, память — ECC, а процессор можем поставить Core i3. И плевать, что этот самый i3 не имеет поддержки ECC в контролере памяти.
ЕСС это базовая опция. следующий уровень — зеркалирование памяти.
Не забываем что все серверные матери это твертотельные конденсаторы и серверная сетевая карта, а не десктопная.
Не все конденсаторы твердотельные. Посмотрите на платы Intel хотя бы.
У фуджитсу сетевой контролер Intel 82579V. Такие ставит на свои (десктопные) платы Intel и ASUS на топовые продукты. Ну и вроде как на других платах с Q67 такой же. Эт я к тому, что не ширпотребный Realtek.
Я про ваш частный случай и не говорю. Фуджитсу вобще видно делают качественно, собственно это и потверждает современный контролер и конденсаторы. А лишь о том что маму надо с умом брать если уж решил поработать «руками и паяльником» :)
НЛО прилетело и опубликовало эту надпись здесь
Я не говорила, что не смогут. Я говорила о вероятностях.
Бывают такие ситуации, в которых экономия пары сотен баксов не нужна, а вот каждое уменьшение рисков — может потенциально сэкономить кучу денег.
да и у серьёзных компаний редко бывает так, что сервер приносит так мало прибыли, что стоит экономить эти пару сотен баксов.
Но бывают и ситуации, когда сервер приносит относительно мало денег и прибыль берётся из массовости, как у дешевых хостеров, например — тут экономия может оказаться уместной, но я бы рисковать не стала.
Хетцнеру ваших данных и аптайма не жалко. Ну потеряют данные, ну получат простой полдня. Вернут вам за полдня денег — все счастливы.
Не всех такое устраивает. И не всегда.
Мы, как продавцы брендов, можем только приветствовать такие статьи и такой подход. Потом пострадавшим куда проще объяснять разницу между хорошим сервером и «самоделкой».

> Нужны ли горячие блоки питания и жесткие диски? Не нужны, так как

Есть люди, которые не делают бэкапы, и люди, которые уже делают. Есть люди, которые считают, что «не нужны» и те, кто уже знают, зачем они нужны :)
Добавлю:
Есть люди, которые знают, что сисадмин за два часа зарабатывает больше, чем стоит резервное оборудование, а есть те, кто нанял сисадмина за 25 000 рублей в месяц и думает, что он сделает блоки питания несгораемыми.
это где это админ зарабтывает 300уе за два часа? (300уе — стоимость резервного БП «среднего» брендового сервера(HP, Dell))
Зарабатывает не всегда в свой карман, но приносит таковую прибыль компании. Если не приносит — значит или контора подвального типа или плохой сисадмин.
Про прибыль еще объяснять надо, а то у нас ИТ-отдел обычно не приносящзий, а как бы наоборот, затратный
А другого подхода в этой публикации и быть не могло. Ну кому будет интересна статья в пять строк, где будет написано:
1. Идем в магазин
2. Берем Supermicro, Xeon, ECC Unbuffered и HDD
3. Собираем
4. ???
5. PROFIT!
С другой стороны, если бы этой статьи не было, то и вы бы похвалиться здесь не смогли…
Да вы не беспокойтесь, у меня найдется где похвалиться, даже без Хабра вовсе ;)
ну объясните? Я провозился с IBM, больше не хочу: это один сплошной геморрой. Что-то вечно не запускается, не включается, стоит бешеных денег. Покупаешь россыпью бытовое железо и оно _всегда_ запускается без проблем.

С брендовым серверным железов _всегда_ проблемы.
> ну объясните?

Да ладно? Разве вас интересует мой ответ? Вас интересует возможность рассказать мне свой ;)

> С брендовым серверным железов _всегда_ проблемы.

С любым серверным железом всегда проблемы. Не сейчас, так однажды.
«Нужны ли горячие блоки питания и жесткие диски? Не нужны»

Вы себя с потрахами сдаете, признайтесь у вас один или два сервера :)

Хотсвапные БП очень нужны, один БП подключается к одному ИБП, второй к другому ИБП. В случае смерти одного БП, сервер работает на втором и без останова обслуживания в любой удобный момент дохляка можно сменить.

Хотсвапные диски вообще просто капец как нужны, без них вообще жить нельзя. Сдох диск, выводим его из массива, звоним в ЦОД и просим поменять диск БЕЗ выключения сервера. Заменили диск за 2 минуты, вводим его обратно в RAID массив. А если диски внутри, то сервер надо выключить, вынуть, разобрать, вывентить диски и всё в обратном порядке, а это 20-30 минут простоя в лучшем случае.
Не знаю, огорчу я вас или обрадую, но жесткие диски с интерфейсом SATA поддерживают горячую замену независимо от типов корзин, в которые они установлены. Для этого нужно включить в биосе AHCI.
Я разве утверждал обратное? Суть в том что заменить диски в вашем случае без выключения питания невозможно.
Я бы не был таким категоричным…
Не воспринимайте так остро в штыки пожалуйста, я понимаю вы защищаете свое решение. Вы ведь прекрасно понимаете о чем я говорю. Да поменять без выключения можно, но действовать надо ювелирно и аккуратно, а саппорт ЦОДа этого делать не станет им этот риск ни к чему.

Я же не пытаюсь занизить ваши заслуги, а просто делюсь своим опытом эксплуатации серверов. А их я видел очень много и разных. И самосборы сам лепил по принципу «сдохло выкинул и переставил диски в соседний самосбор», и в критичные места ставил пролианты (например когда увольнялся с последнего места работы, HP DL360 G2 которому уже много много лет, продолжал работать без единого сбоя).
вам 20 минут простоя одного сервера — фатально? Значит у вас один сервер на проекте?
Бренды еще обещают быструю доступность запчастей в течении определенного времени. Фиг его знает как это в СНГ конечно работает. Но иногда это важно. Плюс сертификация софта для работы с определенным оборудованием. Иногда бренды удавалось купить по сравнимой цене с тем же супермикро (нам ингда звонит поставщик и говорит что есть такое-то железо по вкусной цене. Вот недавно нахватили два сервака IBM по 28тыс рублей. Два года назад брали НР в корпусе тавер, так тот получался по деньгам 1в1 как самосборный писюк с аналогичными ТТХ…
Кого я вижу, да на Хабре :)
Статья хорошая, спасибо.

P.S — Если нужны будут корзины для винтов — напиши, у меня есть несколько :)
Хорошая статья.
Во первых имеет смысл собирать в 1U только голимый бюджет. Про это я кстати писал, а вот при вашем бюджете проще и дешевле купить к примеру вот такую железяку www.nix.ru/autocatalog/server_systems_intel/Intel_1U_SR1630HGP_LGA1156_i3420_SATA_RAID_3xHotSwapSAS_SATA_2xGbLAN_6DDRIII_350W_92886.html а дальше докупить винтов и памяти. Быстрее проще и лучше со многих позиций.
Эта железяка будет на 15% дороже и на 30% медленнее.
Эта железяка будет на проверенной платформе и будет обладать hot-swap под три диска. Ну а насчет медленнее лучше сейчас немножко больше денюжек заплатить чем потом расплачиваться.
Хорошо, я пока попробую свою платформу сделать мало-мальски проверенной…
Для товарищей из Украины — рекомендую контору по корпусам csv.com.ua люди крайне адекватные и цены на корпуса оченьь приятные.
Только если 2U, имхо. 1U не впечатляют ни ценой, ни конструкцией.
Мне CSV 1U-F показался вроде ничего. Кроме того, 1Ю это довольно странный формат, большинство колокейшенов готово принимать до 2Ю (а некоторые и до 4).
Откровенно говоря, для самособора совсем уж толковых корпусов 1Ю я не встречал (толковых относительно Dell R610)
Описанный в этой публикации самосбор более менее правилен, поскольку холодный воздух попадает в корпус спереди, а выходит сзади. Корпуса типа CSV 1U-F рассчитаны на чуть более, чем полностью самосборный самосбор, где используется плата с иным расположением слотов памяти. И охладить такой самосбор в традиционном 1U нереально.
Да в 1Ю-Ф тоже, вроде как, воздуху негде взяться, кроме как спереди, через винчестера
Но выходит горячий воздух сбоку. Это не есть правильно. В отдельно стоящей открытой стойке еще прокатит, а в дата-центре со шкафами и разделением потоков на холодный и горячий коридор — вряд ли.
Ну там вообще, вроде как, отверстия два, одно сбоку, другое сзади.
Дело не в отверстиях, а в вытяжных вентиляторах.
А где ставиться будете, если не секрет?
Еще толком не определился, если честно.
А требования какие?
НЛО прилетело и опубликовало эту надпись здесь
Назовите хоть парочку в Украине.
hosting.ua, besthosting.ua
Благодарю за ликбез. Но, как правило, серьезные ЦОДы у себя тауэры размещают при покупке 4-5ти юнитов, а это не оправдано. Вообще любопытно конечно, башня действительно дешевле и модулей туда можно запихать много и моульные БП бывают
В башне глупо собирать сервер хотя бы потому, что если в процессе размещения что-то не понравится, то придется не просто переезжать, а покупать рэковый корпус и пересобирать сервер, причем в 2U как минимум.
Видимо все проходят через этап самосбора :)

Лично у меня на практике вылезали проблемы:
1. если хоть один компонент сгорит, придется бегать по всей стране и искать замену.
2. два блока питания для самосбора или не найти или цена выше готовой платформы intel/supermicro/asus
3. обслуживать не удобно, очень часто нужно быстро сменить диски, добавить память. У самосборов это не двухминутная задачка.
4. установка контроллеров (RAID или телефонных) малореальна, нужно тонко подбирать плату, корпус, Raiser.

А так да, самосборы работали по несколько лет на моей практике :)
Наибольшая вероятность выхода из строя, имхо, принадлежит жестким дискам. Дабы эта парочка не накрылась медным тазом одновременно, можно банально взять винчестеры из разных партий.
Из труднодоступных компонентов здесь применены плата и кулер. Вентилятор кулера вряд ли выйдет из строя раньше, чем через три-четыре года (за это время процессор морально устареет). Плата по заверению производителя рассчитана на использование 24/7/365 (я же ее не просто так сюда впихнул). Даже если строить сервер на основе дешевого Биостара, то и эта плата, опять-таки имхо, не сдохнет сразу же, только хотя бы потому, что эта компания некоторое время делала недорогие баребоны в 1U на подобных платах. Зато Биостар этот проще найти будет.
Сменить жесткие диски при включенном сервере можно будет, но, конечно, это сложновато. Если работники ДЦ согласятся это делать при выключенном сервере, то можно будет попросить их произвести замену в непиковое время, то есть утром. А память в данном случае уже не добавить ;)
Платы расширения поставить можно будет, лишь бы они не были слишком длинными и массивными. Обычный рейзер должен подойти, слот расширения на плате расположен удачно, посадочное место на корпусе есть.
Лично моя практика показывает что платы мрут без видимых причин, кулера клинит через месяц после того как их купили. Я же говорю, у меня есть опыт использования самосборов. У них есть плюсы и минусы, с какими-то минусами можно мириться, с какими-то нет. Всё зависит от того где применяются.
Кстати золотые слова, любой аникейщик который вырос в хорошего инженера, знает всю эту кухню. И сейчас его он будет использовать тазик только в крайнем случае если уж денег не дают :). Дело ведь не только в стабильности, дело в удобстве еще обслуживания.
На таком сервере должна стоять Gentoo Linux :)
Название нужно было сделать: «Рецепт приготовления 1U сервера в домашних условиях для домашнего использования»
А вообще зачем делать 1U-сервер из чего зря если нет денег? Зачем брать более дорогой 1U корпус и, при этом, урезать необходимый для отказоустойчивости функционал. Сервер должен быть надежным в первую очередь — минимум без хот-свап дисков и БП это мало возможно. Далее вызвал интерес вопрос охлаждения. При комнатной температуре такие решения не тестируются 5 минут — сервера тестируют в термокамере при температуре выше 30 градусов в течение суток (в идеале). В таких условиях без пары вытяжных кулеров это решение не продержится и 5 минут (i7-2600 при полной нагрузке).
Очень сомнительное решение ИМХО.
Вы сами себе противоречите.
Особо комментировать этот набор предложений нет желания, но я все-таки попрошу вас найти менее дорогой 1U корпус аналогичной компоновки с отказоустойчивым функционалом (хост-своп диски и БП) и вытяжными вентиляторами кулерами ( :) ). Может кого-то заинтересуют такие модельки.

А вообще статью с таким названием разрешаю опубликовать вам :)
Я имел ввиду, если бюджет ограничен, то лучше взять 2U/3U/4U, но без отказа от важных параметров, обеспечивающих надежность и бесперебойность работы. Если эти условия не соблюдаются, то это творение вряд ли можно называть сервером, скорее 1U-десктоп какой-то…
Самое бюджетное 4U хранилище и вычислялка (дешевле чем у supermicro если за 1 3,5 диск): bitblaze.ru
Можно ли воткнуть в такой корпус материнку с 2011 сокетом и поперечным расположением памяти?

Мне нужна максимальная мощность на несколько часов (1-10) потом простой. Соответственно хочется самые шустрые Core i7 на 2011 сокете, а пихать обычные корпуса в стойку не хочется.
соответственно, херня типа «сервер должен быть надежный как атомная станция» — это даже не рассматривается, потому что сказки про надежную одну железку пусть рассказывают в детском саду.

Сервер имеет право выйти из строя когда хочет, но он должен быть рентабельным.

Мне для установки в офисной стойке, не в ДЦ.
Да, статья прекрасная, большое спасибо за неё.

Сейчас как раз столкнулся с проблемой сбора _мощных_ и _дешевых_ компьютеров для обработки статистики.
Приходится решать вопрос: как засунуть Core i7 в стойку.
Топик старый но может кто-то заскочит поможет. Имеется вот такое древнее железо в корпусе 2U. Сейчас надо построить сервак в корпусе 1U. Возьмем предложенную ТС конфигурацию — можно ли ее сопоставить с этим старым железом?

Мать — SUPERMICRO H8DA8 (http://www.supermicro.com/Aplus/motherboard/Opteron/8131/H8DA8.cfm)
2хAMD Opteron 275 (Socket 940)
4xKINGSTON 1GB DDR 400ECC
4xSaegate 500GB SATA 7200rpm/sec
3ware 9650SE 12ml

Так же вроде как стоит RAID 10, и какой-то левый переходник на контроллер потому чтомать не поддерживает SATA
Зарегистрируйтесь на Хабре , чтобы оставить комментарий

Публикации

Истории