Комментарии 90
В частности, слушать совет «не используйте ECC память, дорого же, а скорость даже меньше» я бы не стал.
Главное в таком сценарии — озаботиться качественным охлаждением (серверные «камни» щеголяют TDP порядка 120 Вт взамен 95 Вт у стандартных четырёхъядерников)Поэтому берут обычно E-серию, у которой TDP сопоставим с десктопными камнями.
Ещё приведу цитату с другого ресурса:
Сейчас пошла мода на Socket 2011 (первого поколения) и дешевые Xeon'ы. Можно собрать очень мощную систему с 6-8 ядерниками. Поддерживается крайне дешевая серверная регистровая память ECC.
Процессоры 8-ядерники с HT (заблокирован множитель): Xeon E5-2650, E5-2660, E5-2670
Процессоры 6-ядерники с HT (разблокирован множитель): Xeon E5-1650, E5-1660
Память: 4x4Gb PC3-10600, ebay
Мать: Huanan X79, лучше заказывать через посредника на taobao.
C E5-1650 можно получить разлоченный шести-ядерный Xeon на базе SandyBridge (берет 4,5Ghz) с Hyper Threading и четырех канальным контролером памяти
C другой стороны, за те же деньги можно взять в Китае инженерный Core i7 поколения Skylake, а остальное докупить у нас в рознице.
Его старый компьютер достался мне. Мы нашли, что в него можно вставить шестиядерный ксеон X5680 ( 3.33GHz) вместо Core i7-920, и 24Gb RAM вместо 8GB :)
Нужные комплектующие были закуплены на ebay за...$184, доставка их в РФ в сборной посылке LiteMF, вместе с кучей других посылок вышла в ~$20.
На многопоточной нагрузке скайлейк мужа быстрее этой апгрейженной системы всего чуть-чуть (хотя очень быстрее на однопоточной, конечно), на процентов 5!
А у меня основная нагрузка именно многопоточная. Я работаю DevOps, удалённо на западную контору, и часто тестирую деплой всякого разного в виртуалках и контейнерах :)
К слову, для игр мы ещё сделали для компьютера мужа(у нас у обоих Linux default OS) PCI passthrough дискретной видеокарты в qemu/KVM виртуалку с WIndows. Рейтинг производительности в гостевой ОС получился 7.8(разумеется, в качестве диска Windows raw том LVM, установленны паравиртуальные драйверы на всё) Он играет больше, но мы иногда летаем вместе в Elite Dangerous, и думаем сделать для моего компьютера тоже самое.
Да и на однопоточной нагрузке тоже вопросы — разгонится ли конкретный экземпляр так, что станет быстрее x5680? + вопросы с охлаждением… У x5680 TDP, конечно, 130вт, но на бывшем компьютере мужа мы поставили, как и на его новый комп Noctua(точнее, она там уже была), достаточно тихую, и температура процессора под максимальной нагрузкой всего 62 градуса — даже есть мысли попробовать поставить делитель оборотов, что бы стала ещё тише, по-идее 70+ градусов не должны быть проблемой. А получится ли тихая система на разогнанном скайлейке?
X5680 на многопоточной может быть и быстрее, но вы пишите что муж взял i7-6700K и это вышло дорого, и при этом разница по скорости от старого компа небольшая. Так вот — взял бы инженерный проц, сэкономив около 15 тысяч рублей, и уже было бы не так грустно от того, что новое железо не шибко быстрее старого. Имхо стоковые 6700 просто-напросто не стоят своих денег, а вот инженерные — как раз «сколько заплатил — столько и получил». Разумеется в идеале к нему надо приложить руки и голову: скальпировать, материнку купить не первую попавшуюся, а почитать сначала обсуждение и выбирать из проверенного списка, и т.п. Но всё это занимает полдня от силы, ежели без опыта, а экономия в деньгах заметная, и в итоге получается вполне нормальный по цена/качество комп.
X5680 на многопоточной может быть и быстрее, но вы пишите что муж взял i7-6700K и это вышло дорого, и при этом разница по скорости от старого компа небольшая.
Разница и в многопоточной и в однопоточной нагрузке, в играх с его старым компом i7-920/8Gb/GTX-790 очень хорошая как раз, вот после апгрейда разница уже не такая большая для многопоточной нагрузки — 6700K быстрее X5680 всего на 5% на многопоточной нагрузке, но и быстрее на 48% на однопоточной. Так как у меня основная нагрузка именно многопоточная, и размер RAM под мои задачи важнее, мне мой «новый» (его старый апгрейженный) комп очень нравится.
Скальпированный разумеется, родная термопаста под крышкой в современных Intel'ах ужасна.
Муж очень обжёгся на скальпировании, убив один процессор, аналогичный (но не ту же модель) i7-920.
При этом разогнанный компьютер получил всего процентов 10% максимум прироста производительности, если не 5%(по частоте разница вышла существенно больше, но судя по бенчмаркам, это ни на что не повлияло), но при этом стал работать не слишком стабильно. И шуметь как вертолёт.
Насчёт убитого CPU — у него руки растут, в отличие от меня, например, откуда нужно — он менял трижды экраны у своих смартфонов, два раза моим телефонам, и пару раз нашим друзьям удачно, и только один раз неудачно (и скорее всего, это не именно его ремонт убил телефон, а полученные повреждения телефоном помимо экрана). Он делал мебель нам домой, подключал посудомойку, итд.
Если Вы не съели собаку на скальпировании, Вы можете просто потерять деньги, убив процессор.
А любой разгон даёт очень нестабильный результат. Гарантий, что именно Ваш образец процессора разгонится хорошо, дав Вам прирост реальной производительности, никто дать не может.
К тому же апгрейд на старый Xeon, если старая материнка хорошая, это не только лучший результат в многопоточной производительности, но и более дешёвый апгрейд — Вам не нужно менять материнскую плату!
но при этом стал работать не слишком стабильно.
Это — баловство. Нормальный разгон на каждый день — когда процессор в разгоне проходит хотя бы 12, а по-хорошему — 24 часа стресс-тестирования Linpack или Prime95. Вот с таким разгоном проц можно не боясь грузить сутками любой работой и всё будет стабильно. К примеру, мой проц так 3800МГц держит. А «скриншотный» разгон, чисто загрузить ОС и сделать скрин — берет 4200МГц. На 4000 — проходит тесты по часу. Так вот 3800МГц я и оставил, и пользуюсь.
Твердых гарантий разгона разумеется нет, но если по опыту сообщества большинство процессоров разгоняются до, допустим, 3,5ГГц, и этой частоты опять же по опыту достаточно для того, чтобы производительность в играх не упиралась в проц, а только в видяху — значит это уже вполне себе не лотерея, а гарантия. Ибо шанс купить стоковый процессор унылый есть точно такой же, а за цену одного стокового можно купить 2-3 инженерных, причем неудачные еще и продать потом, пусть и дешевле, но всё же — вернуть часть денег.
В общем — сейчас (ну вернее 1-6 месяцев назад, а как вот прям сегодня — уже не подскажу) выгодный вариант апгрейда это материнка Асус на чипсете Z170, инженерный i7-6400t в идеале ревизии q0, и оперативка самсунг ддр4, т.к. самая дешевая из берущих частоту в районе 3ГГц. Это можно приобрести было в районе 20-25 тысяч рублей, получив самую современную платформу, в которую можно поставить любой современный ssd, любую современную видеокарту и получить высокую производительность. Если есть чем занять 8 и более ядер (не потоков, а именно ядер, что есть только на 2011 сокете сейчас) — тогда возможно ксеоны и прочее становятся актуальны. Мне не влом потратить 5-7 секунд на перезагрузку в Windows, чтобы запустить какую-то игрушку, вместо проброса видеокарты в виртуалку, а дома пары-тройки одноядерных виртуалок для тестирования достаточно, что-то большее я запускаю уже на серверах на работе (да, я тоже DevOps).
i7-920 с припоем под крышкой
Там был другой процессор, но под тот же сокет
Мне не влом потратить 5-7 секунд на перезагрузку в Windows,
Мне не подходит, т.к. не хочется ставить в Windows никакие постоянно нужные приложения вроде телеграмма, не хочется там вводить пароль от почты и тем более всяких банк клиентов.
А ещё, иногда деплой всякого разного сложного, Вы это знаете, может и час-другой занимать (особенно если несколько тысяч строк кода на паппете или ансибле), и пока оно деплоится, у тебя свободное время… Но нужно поглядывать.
По поводу вылетов — найдите в шапке соответствующего топика на overclockers.ru инструкцию по вшиванию микрокодов в биос, если ещё этого не делали. Есть подтверждённые случаи, когда микрокоды добавляли этим инженерникам стабильности в определённых тяжёлых приложениях (грубо говоря, в конкретно взятой игре были вылеты при переходе из главного меню непосредственно к игре, а с микрокодами всё заработало как надо).
В новых биосах блокируются эти процы скорее всего из-за требований Intel — им ну очень эти движуха невыгодна.
3800МГц достаточно для раскрытия GTX1080 в любых современных играх, так что частота выше особо и не нужна — куда её девать? Так что нормальный у вас разгон вышел.
Ну и время доставки — вместо двух месяцев 15 дней ожидания других посылок для формирования одной сборной вместе с доставкой в Москву в Боксберри через LiteMf.
В России таких не очень много.
Возможно, некоторые компании просто не хантят девушек. Например, такое о mail.ru рассказывают для некоторых позиций, вроде админских.
Intel® Xeon® CPU X5680 @ 3.33GHz
Материнская плата (по данным dmidecode):
Manufacturer: ASUSTeK Computer INC.
Product Name: P6X58D PREMIUM
Version: Rev 1.xx;
Видео GTX 790;
6 x 4GB PC3-10600;
Thermaltake Armor VA8003SWA Silver корпус. Мы полагаем, что это плохой корпус. Используется просто по тому, что он часть старого компа;
Кулер на процессор Noctua NH-C12P SE14 (Сейчас таких уже нет, можно взять другую модель );
XFX Radeon R7 240 LP Silent V/H/D — вторая видеокарта, для того, что бы GTX 790 пробрасывать в гостевую ОС. Это необязательный компонент апгрейда, это больше линуксойдам будет интересно;
2 x Noctua NF-S12A 120mm в корпус;
Есть мысли поставить ещё пару куллеров в корпус, и делитель на процессорный куллер, что бы сделать компьютер совсем бесшумным.
Второй компьютер — основная видео карта XFX R7 240 с пассивным охлаждением, пробрасываемая GTX 790
Nvidia действительно мешает, и не любит, когда её прокидывают в виртуалку.
Нужно передать vendor_id и поставить флаг hidden state = on для KVM'а
Для libvirt в теги features это можно вставить, например, так:
<features>
<acpi/>
<apic/>
<hyperv>
<vendor_id state='on' value='null'/>
</hyperv>
<kvm>
<hidden state='on'/>
</kvm>
</features>
Для этого нужен свежий Qemu. Если у Вас Ubuntu LTS 16.04 или Centos 7, то такой конфиг не заработает. Есть либо ворк эраунд, который требует отключать SELinux/Apparmor (ну или их дополнительную настройку), либо нужно обновить qemu. Для Убунты возьмите пакет из свежей не лтс убунты, а для центоси подключите репозиторий RHEV, там, по-идее, достаточно свежий Qemu (не проверяла, достаточна ли свежесть, у меня Fedora)
Если первая видео карта это пробрасываемая Nvidia, то этих действий недостаточно. Ещё нужно перезаливать Bios видео карты перед стартом виртуалки
Конфигурация примерно такая же. Хост через i5-6500 показывает, в гостя пытаюсь Nvidia GTX 970 прокинуть.
qemu насколько свежий нужен?
У меня
~> qemu-kvm --version
QEMU emulator version 2.7.0(Virtualization / openSUSE_Leap_42.2)
~> libvirtd --version
libvirtd (libvirt) 3.1.0
В качестве гостя пробовал Windows 7 и Windows 10, везде в лучшем случае error 43 в диспетчере устройств. Может оно ещё от версии драйвера зависит? При попытке поставить старые Windows 10 bsod-ит
перезаливать Bios видео карты перед стартом виртуалкиОригинальный от неё, или нужно как-то модифицировать?
Оригинальный от неё, или нужно как-то модифицировать?
Расскажите свой аппаратный конфиг пожалуйста. Вам это не потребуется скорее всего.
Может оно ещё от версии драйвера зависит?
Мы используем самый последний виндовый драйвер.
У меня по данным мониторинга записано 1.4TB за 2200 часов. Единственный диск в системе, рабочая машина для вэб-разработки. Такими темпами его ресурса (70TB) должно хватить примерно на 10 лет. Думаю, серверный SSD дома не нужен.
Quadro P6000 содержит наиболее «полную» версию графического чипа GP102 и по этой причине обходит в производительности крутую геймерскую GeForce 1080 почти на 20%
А в цене, на все 100%! = )
За эти деньги я вот почти уверен будет лучше взять две 1080.
Если верить гуглу у P6000 fp62 1/32 от fp32, а это почти как у rx480 за 200$.
Не все Quadro одинаково полезны. В поколении на Паскалях, 1/2 только у Quadro GP100 на одноименном чипе. P6000 основана на чипе GP102 (как Nvidia Titan X), у чипов отличия в том что GP102 идет с GDDR5/5X и физически FP64 = 1/32 FP32.
Подтверждения этому можно найти в анонсах или полных спецификациях.
+256 cuda cores, вдвое больше видеопамяти. Оптимизация драйверов. По слухам система охлаждения чуть другая и может работать в стойках без риска перегрева в отличии от игровых карт.
Ближайший аналог GTX 1080 — это P5000, столько же ядер CUDA, но памяти у P5000 в два раза больше, и она ECC. Производительности FP16, FP32 и FP64 у них будут совпадать. Но при этом P5000 стоит в три раза дороже. Соответственно, данную видеокарту нет никакого смысла использовать в домашнем компьютере вместо обычной игровой видеокарты.
P6000 имеет уже 3584 ядер и на треть быстрее P5000/GTX 1080.
Только GP100 имеет полноценные FP16 и FP64, и только её можно действительно называть профессиональной видеокартой. А P5000 и P6000 — обычные игровые карты, но с ECC памятью для тех, кому это действительно критично.
Так что с одной стороны — дешево и мощно, с другой — нестабильно.
Ещё можно попробовать биос с микрокодами (здесь, если полистать, можно найти готовые биосы для большинства вендоров), если не прошивали. В биосах десктопных материнок закономерно отсуствуют микрокоды для серверных процессоров.
Корпус формата десктоп традиционно считается бытовым корпусом с горизонтальным расположением.

Ваши оппоненты, судя по всему, имеют в виду стоечный серверный корпус, он тоже горизонтальный.

Вы же, насколько я могу понять, имели в виду серверный корпус формата Big Tower

Серверных корпусов такого формата я не видел, и про их существование не слышал.
Super Micro — Tower / 4U Chassis
Основной цимес немолодого серверного железа в том, что его часто можно купить б/у у частных лиц за копейки, но это не относится к б/у флэш-памяти и «механике». Так что прости, Kingston, но беру только память с паритетом, старые SSD оставляйте себе. Впрочем, если реально серверные с околонулевым пробегом по SMART, пишите в личку, заберу себе под SLOG:))
Поддержка регистровой памяти, к примеру, позволяет исправлять ошибки «на лету», а это пригождается при большом аптайме (сервер же!).Наверное, ошибки выправляет механизм контрольных сумм (ECC), а не регистр. Есть ещё переходной вариант с «паритетом», но без без буфера, ECC Unbuffered DIMM (UDIMM). Она подешевле вроде, но и пореже встречается. А конские объёмы ОЗУ с контрольной суммой очень хорошо идут в сочетании с ZFS, для поддержания end-to-end целостности на уровне дисковых томов. Это для домашних NAS, которые все норовят собрать из консюмерного г*вна и палок. Я же рекомендую использовать серверное г*вно и серверные палки, работает совершенно по-другому, проверял и хочу поделиться результатами.
Просто серверная ОЗУ устроена чуть иначе — она содержит регистр между микросхемами и системным контроллером памяти для того, чтобы снизить электрическую нагрузку на контроллер и иметь возможность установить больше модулей в одном канале памяти.Вот, сами себя и поправили. Контрольная сумма и регистр (буфер) часто идут вместе, но это как калькулятор и блокнот.
только это даже не про «дома», это реальный проект в малом бизнесе, три года издевательств 24x7, увидите чужую боль и страдания ;) подписывайтесь и участвуйте в дискуссии, я с аудиторией общаюсь с удовольствием
ECC позволяет лишь зарегистрировать факт ошибки, что может быть сигналом софту считать данные «испорченными» а администратору что пора менять модуль памяти если ошибки не одиночны.
Оперативная память с ECC использует 64 бита данных и 8 битов кода (9 микросхем шириной по 8 бит). Наиболее широко применяемый код исправляет одну ошибку инверсии любого из этих 72 битов и детектирует двойные ошибки, сокращенно обозначается SECDED — https://en.wikipedia.org/wiki/Hamming_code#SECDED "extended Hamming codes are single-error correcting and double-error detecting, abbreviated as SECDED… Particularly popular is the (72,64) code, a truncated (127,120) Hamming code plus an additional parity bit, which has the same space overhead as a (9,8) parity code."
Для исправления произвольной ошибки длина кода должна быть достаточна для указания номера бита с ошибкой (т.е. на исправление 1 ошибки в 72 битах код размером не менее 7 бит).
Были эксперименты с кодами SEC-DED-S4ED и DEC-TED, которые обнаруживают несколько ошибок в четверке смежных битов, расположенных по смещению, кратном 4 битам (если собрать планку шириной 72 бита из 18 чипов по 4 бита, будут исправлены ошибки одного чипа).
Были варианты с хранением одного элемента данных (кеш-линии) в двух ECC-модулях, каждый из которых обеспечивает SECDED — lockstep memory.
Более продвинутые коды и схемы чередования: Chipkill, Extended ECC (Sun), Advanced ECC / Chipspare (HP), SDDC, некоторые можно запустить на 72-битной памяти, защищая блоки по 128 или 256 бит более сложным кодом. SEC-DED обнаруживает лишь около 30% многобитовых ошибок
Обзор ошибок памяти по результатам эксплуатации двух суперкомьютеров и в плане построения т.н. "экзамасштаба" — https://science.energy.gov/~/media/ascr/ascac/pdf/meetings/201512/ResilienceASCAC2015.pdf — "A FIT is ONE failure per Billion hours of operation… A FIT rate of 1 corresponds to… For 1,144,832 DRAM chips: Failure every 36 days; Real FIT rates… Target DRAM chip FIT rate of 35: failure every 1 days". Делят ошибки на: исправленные, обнаруженные неисправляемые, необнаруженные в нужных данных (SDC, Silent Data Corruption), необнаруженные в ненужных данных. Некоторые шины достаточно защищать четностью — в случае сбоя передачи данные можно просто повторить (Address/command parity в DDR3). В SRAM памяти тоже бывают ошибки (L3, L2, L1 кэши). Частота ошибок памяти зависит от вендора и высоты над уровнем моря.
Еще опыт эксплуатации — fiala.me — https://habrahabr.ru/company/intel/blog/205608/#comment_8078171 "While double bit flips were deemed unlikely, the density of DIMMs at Oak Ridge National Lab’s Cray XT5 causes them to occur on a daily basis (at a rate of one per day for 75,000+ DIMMs)"
> Играют же как-то гики на видеокартах для рабочих станций,
> очень скоро игры оптимизируют
> как обстоят дела в играх.
Вы знаете, сколько я искал бенчмарк того, как ведет себя gcc на сборке того же дефольтного ядра линукса на 4-х оптеронах под старенький g34? А то же самое в сравнении с похожей конфигурацией на мифическом E7?
- 2x Xeon E5-2683v3 ¥1890/шт
- Asus Z10RP-D16 ¥1850/шт
- 4x Samsung PM863 480GB ¥800/шт (это свежий SSD, если ориентироваться на цену — можно дешевле)
- 4x Samsung 16G DDR4 ¥650/шт
Итого выходит очень гуманная по цене (¥11430 ~100к рублей) рабочая станция с 28 полноценными ядрами.
Xeon E5-2683v3 был выбран долгим и нудным сравнением бенчмарков и цен, как самый выгодный CPU в такой ценовой категории.
В тему может кто-то подскажет, на каком сравнительно ретро:) можно собрать аналог Mac Pro, с конфигом типа 2 процессора по 6 ядер?
а) Число зависаний (с этим можно смириться, т.к. достаточно редкое событие)
б) Уменьшает вероятность повреждения данных.
Второе, как мне кажется, весьма актуально, потому что один раз неудачно попорченная файловая система портит нервы весьма изрядно.
Микроскопом по гвоздям: стоит ли ставить серверное железо в домашний ПК?