Недоступная роскошь от Intel: Core i9-9990XE с 14 ядрами на частоте 5,0 ГГц (1 часть)
Intel выпустил свой самый быстрый потребительский процессор для настольных ПК: Core i9-9900KS, у которого все восемь ядер работают на частоте 5,0 ГГц. Вокруг нового процессора много шума, но не всем известно, что у компании уже есть процессор с тактовой частотой 5,0 ГГц, к тому же с 14 ядрами: Core i9-9990XE. Эта крайне редкая вещь не доступна для обычных потребителей: Intel продает ее только избранным партнерам, и только через аукцион, один раз в квартал, и без каких-либо гарантий со своей стороны. Сколько бы вы заплатили за такую роскошь? Ну что ж, нам удалось раздобыть один из этих монстров, чтобы проверить насколько он хорош.
Построй, и они придут (одна из 100 известных цитат из американских фильмов за 100 лет по версии AFI)
Core i9-9990XE — вершина 14-нм техпроцесса Intel, некий предел возможностей. К слову Intel не может ни гарантировать, сколько процессоров она сможет произвести, ни каким-либо образом обеспечить поддержку. В отличие от других процессоров массового рынка, здесь нет такого понятия, как «EOL». Выигрывая процессор на аукционе, вы заплатите за него непомерно дорого, ведь в этом то и идея торгов. Заполучить 14 ядер, работающих на 5,0 ГГц — лот, за который стоит вступить в «финансовую гонку».
Этот процессор — часть семейства high-end, работает на некоторых материнских платах X299. Это, к тому же, Core i9, а не Xeon, что означает только четыре канала памяти и отсутствие поддержки ECC. Технически, он поддерживает разгон. Это процессор только для одного рынка, и этот рынок готов потратить большие деньги, чтобы получить преимущество в виде снижения задержки на миллисекунду: высокочастотный трейдинг.
На первом аукционе мы изначально знали о трех компаниях, которые должны были принять в нем участие. Для тех, кто решил участвовать в торгах, закрытый аукцион оставался загадкой: было известно, только какое оборудование предлагается от Intel, а не количество единиц. Из трех компаний, с которыми мы разговаривали, одна лишь присутствовала, так и не сделав ставок, вторая — заполучила три процессора, третьей же достались остальные. Количество лотов и потраченные суммы на них — неизвестны.
Высокочастотные торговые системы не чуждаются экзотических договоренностей. Мне приходилось слышать истории о том, что компании тратят десятки миллионов на внедрение линий СВЧ-передатчиков в линии прямой видимости, чтобы сократить время ожидания на 3 миллисекунды. Все крупные финансовые трейдеры имеют серверы, расположенные как можно ближе к бирже, потому что скорость света через оптический кабель все еще недостаточно высока для них. Эти компании не только платят за железо, но и платят экспертам и специалистам за настройку этих систем с низкой задержкой. Это означает настройку памяти, разгон процессора и даже внедрение нестандартного охлаждения, чтобы получить полностью стабильную, но максимально быструю систему.
Так сколько же эти люди заплатят за предварительно разогнанный 14-ядерный процессор с частотой 5,0 ГГц? Некоторые из них, возможно, работают выше этого уровня, так как стандартный Core i9-9980XE с полки, потенциально может работать на этой скорости. В итоге мы получили ответ от CaseKing, получателя большинства из Core i9-9990XE: $ 2800. Фактически, с того момента цена выросла до 2850 долларов. Не так много по сравнению с Core i9-9980XE ($ 1979) или недавно анонсированным Core i9-10980XE ($ 999), и конечно, трейдеры легко потратят на $ 1000-2000 больше на процессор x86 с самой низкой задержкой на рынке.
Итак, с чего начать? У нас есть образец процессора. Технически, у нас есть целая система, от International Computer Concepts, или ICC. Это специалисты по серверам. Мы впервые встретились с ними на Supercomputing 2015, где они представили сумасшедшую Tower систему с 8 различными серверами. ICC тесно сотрудничают с Intel, чтобы предоставлять конкретные решения для различных вертикалей рынка: нефтегазовой, медицинской, вычислительной техники. И, что очень важно, для финансового сегмента, где они могут продавать разогнанную до предела систему.
К сожалению, из-за некоторых запатентованных технологий мы не можем показать вам внутреннюю часть сервера, который нам прислали. Это стандартный дизайн 1U с материнской платой ASUS X299 внутри и 32 ГБ настраиваемой памятью. Чтобы держать горячий Core i9-9990XE под контролем, используется жидкостная система охлаждения (полностью медная). Для большинства процессоров такое охлаждение абсолютно излишнее. Это система форм-фактора 1U, что означает 1,75 дюйма в высоту (4,45 см), и значит, необходимость размещения этого чудовищного процессора требует использовать охлаждение высшего класса, и тут ICC не экономит. Важный момент: система очень шумная. Навряд она станет комфортным соседом из-за чересчур громкой работы. Больше подробностей далее в текущем обзоре.
Помимо стандартных спецификаций, ICC внесла дополнительные изменения в BIOS для обеспечения минимальной задержки и стабильности. Опять же, мы не можем раскрыть все подробности, но для нашего тестирования BIOS мы не обновляли. Сервер 1U имеет место для двух видеокарт, двух дисков M.2, четырех дисков SATA и поставляется с блоком питания 1200 Вт. Мы уделили некоторое внимание обзору потребляемой мощности ниже.
Осторожно, не ронять
На первый взгляд, Core i9-9990XE — стандартный чип LGA2066. В нем используется обычный 18-ядерный “HCC” кремний Intel Skylake, однако он ориентирован на «потребительскую» платформу, что является частью стратегии сегментации продуктов Intel. Процессор не поддерживает память с коррекцией ошибок, и поэтому ограничен 128 ГБ стандартной памяти DDR4, хотя можно быть уверенным, что любая HFT-система, использующая этот процессор, будет работать с высокоскоростной памятью. Чип имеет 44 линии PCIe 3.0, как и другие представители LGA2066, и, поскольку он не Xeon, не поддерживает функции управления RAS или vPro.
Здесь обнаруживается одна из проблем этого чипа: такая цена, как правило, может заинтересовать профессиональных пользователей, которым требуются функции внутреннего управления и другие элементы безопасности, чтобы их дорогое оборудование оставалось безопасным и обеспечивало соответствующую управляемость. Обозначив процессор как Core i9, а не как Xeon W, Intel снимает эти предложения со счетов: OEM-производители, которые покупают и перепродают деталь конечным пользователям, должны будут объяснить, что этот редкий чип имеет некоторые ограничения.
На данный момент мы не знаем, сколько чипов Intel собирается выпустить на рынок. Корпорация Intel проводит ежеквартальные аукционы, на которых предлагает чипы, прошедшие все проверки. Если предположить, что все OEM производители захотят купить их для своих клиентов, можно говорить не более чем о 100 единицах в год. Из-за этих нюансов «то ли продукт, то ли не продукт» Core i9-9990XE не получил свою собственную страницу в базе данных процессоров Intel, и он никогда не попадет под программу «end-of-life», так как не подпадает под стандартный процесс заказа и доставки товара. Вся долгосрочная поддержка процессора оказывается в руках компании или OEM-производителя, который их покупает.
Чип и наши тесты
Говоря по существу, Core i9-9990XE представляет собой 14-ядерный процессор с базовой частотой 4,0 ГГц и тепловой расчетной мощностью на этой частоте 255 Вт. Турбо частота этого процессора составляет 5,0 ГГц на всех ядрах. Но это создает небольшую проблему при классификации процессора как «все ядра с тактовой частотой 5,0 ГГц».
В наших интервью с представителями Intel говорилось о том, как должен включаться турбо: каким образом система включает турбо-режим, зависит от используемых инструкций и от производителя материнской платы. Турбо определяется пределом мощности более высокого уровня (PL2) и временем турбо-бюджета (Tau). Обычно Intel «предлагает» потребление в режиме турбо на 25% выше, чем заявленный TDP (то есть для TDP 255 Вт потребление составит 319 Вт), и от 8 до 200 секунд турбо в зависимости от платформы.
На сервере 1U, который нам дали для тестирования, ICC включил турбо в режиме «неограниченного энергопотребления в течение неограниченного времени» (технически, я полагаю, до 4096 секунд), поскольку они хотят, чтобы процессор постоянно работал на частоте 5,0 ГГц на всех ядрах. Для этого, как уже упоминалось выше, требуется очень эффективное охлаждение. Задача со звездочкой для ICC, учитывая форм-фактор 1U, для ее решения была разработана запатентованная технология охлаждения.
Технически этот чип поддерживает Turbo Max 3.0, благодаря чему Intel определяет наиболее производительные ядра для применения еще более высоких турбо частот. В нашем случае из 14 10-е ядро определилось как лучшее. В Windows интерфейс ACPI обнаруживает ключевое программное обеспечение (или определяет его по активному окну), и попытается запустить его на этих «лучших» ядрах с дополнительным повышением частоты (+100 МГц или около того). Что касается нашей системы, так как интерфейс TBM3 и ACPI фиксировал программное обеспечение на определенных ядрах, мы не увидели увеличения частоты из-за такого способа настройки системы. Одна из ключевых особенностей для пользователей систем ICC – постоянная низкая задержка. Чтобы не изменять эту согласованность, TBM 3.0 не влияет на частоты процессора в нашем тестировании.
Другими особенностями чипа являются поддержка четырехканальной памяти DDR4-2666 в одно ранговом режиме. ICC поставила нашу систему с пользовательскими модулями памяти и соответствующими радиаторами, а система работала на DDR4-3600 CL16. Этот чип также имеет 44 линии PCIe 3.0, как и другие процессоры 9-й серии Intel HEDT.
Core i9-9990XE просто окружен конкурентами.
Первый из них — предстоящий Core i9-9900KS, восьмиъядерный процессор, который поддерживает все восемь ядер на частоте 5,0 ГГц. Этот чип использует стандартный потребительский кремний, и поэтому имеет только два канала памяти и 16 линий PCIe 3.0.
Другим конкурентом является новый 18-ядерный флагман Cascade Lake-X, Core i9-10980XE, ценой 999 долларов. Это новейший высокопроизводительный процессор для настольных ПК с (как мы полагаем) последними обновлениями безопасности от Intel, а также с повышением некоторых частот в сравнении с Core i9-9980XE. В конечном итоге у него на четыре ядра больше, чем у 9990XE, но более низкие частоты, и он дешевле. Пользователь, которому посчастливилось получить хороший образец, может разогнать его до 9990XE. Core i9-10980XE имеет на четыре линии PCIe 3.0 больше, и такое же количество каналов памяти.
Со стороны AMD, выходящий в ноябре 16-ядерный процессор Ryzen 9 3950X – лишь первый из конкурентов. Будучи построен на 7 нм, он, безусловно, более энергоэффективен, а микроархитектура Zen 2 имеет более высокий IPC, чем чипы Intel, но процессор не сможет достичь таких же высоких частот. Он предназначен для домашних ПК, и снаряжен 24 линиями PCIe 4.0 и двумя каналами памяти. Учитывая MSRP в 749 долларов он, безусловно, будет стоить намного дешевле процессора Intel.
Необходимо обратить внимание на запуск AMD нового поколения Threadripper, основанного на тех же Zen 2 и 7 нм. На данный момент у нас не так много деталей, кроме того, что AMD заявила о выходе линейки в ноябре, и стартовать линейка будет с 24-ядерного процессора. Ожидается, что он будет иметь четыре канала памяти, 64 линии PCIe и сможет работать на частоте около 4,0 ГГц. Он по-прежнему не сможет достичь такой высокой тактовой частоты, как у Intel, и его цена и потребляемая мощность пока неизвестны.
К тому же, AMD выпустила серверное оборудование Zen 2 серии EPYC 7002. Вместо того, чтобы смотреть на высокочастотный 14-ядерный процессор, пользователи могут рассмотреть 32-ядерный ЦП с восемью каналами памяти, высоким IPC и 128 линиями PCIe 4.0. Опять же, они столкнутся с дефицитом частоты, а это очень важный параметр для трейдеров HPC. EPYC 7502P продается по цене около 3400 долларов, и на подходящем сервере это может быть вариантом, если HPC-трейдеру необходимо масштабироваться.
С чем бы мы его не сравнивали, нельзя отрицать, что Core i9-9990XE расширяет границы возможностей Intel для 14-нм процесса. Вот почему у него нет MSRP, и почему Intel не может предсказать, какое количество будет выпущено в следующем квартале. Не даром CaseKing выставил его на продажу (с гарантией на год от OEM) за 2849 евро, ведь он куда выше любого другого процессора Intel для настольных ПК, и для этого есть веская причина.
Наш испытательный стенд
Сразу следует отметить, что последние обновления Intel, касающиеся Spectre, Meltdown и ZombieLoad, могут повлиять на производительность. На основании данных, которые мы получили от Intel, меры по снижению угроз безопасности наносят наименьший ущерб новейшему оборудованию (по сравнению, скажем, с Broadwell). Система, предоставленная ICC, не имеет встроенных средств защиты в микропрограмме, однако мы использовали версию ОС, в которой были применены некоторые программные исправления безопасности. ICC ясно дала понять, что некоторые из ее клиентов, хотя и обеспокоены этими проблемами, зачастую просто хотят иметь самую быструю систему из возможных — в зависимости от того, как они используют эти системы.
В результате наши результаты не совпадают с нашими предыдущими обзорами. Из-за того, что используется кастомный BIOS с заблокированными параметрами разгона, данные эталонного теста не обязательно будут отражать работу свежеприобретённого процессора на вашем домашнем ПК, а скорее продемонстрируют его работу на собранной специально под него системе, что, в конечном счете, ожидаемое применение для этих чипов. В результате мы ставим звездочку возле наших результатов, чтобы отметить, что среда испытания этого чипа была другой.
- CPU: Intel Core i9-9990XE, 14 Cores, 4.0 GHz Base, 5.0 GHz Turbo, 255W TDP, $Auction
- DRAM: 4x8 GB Custom ICC Modules, DDR4-3600 CL16
- Motherboard: ASUS X299
- GPU: Sapphire Radeon RX460 2GB
- Cooling: ICC Proprietary Liquid Cooling
- Power Supply: Dual 1200W 1U Redundant Supplies
- Storage: Micron MX500 1TB SSD
- Chassis: 1U Rack Server
В наших обзорах мы обычно проводим тестирование на открытом воздухе, с мощным охлаждением, высококлассной материнской платой, DRAM на поддерживаемых производителем частотах, и новейшей общедоступной версией BIOS для этой материнской платы.
Для тестов мы использовали наш стандартный набор процессоров. Из-за форм-фактора 1U, и особенностей применения этого чипа, мы не использовали большую графическую карту для игровых тестов. Пользователям, которые хотят получить эту систему и связать ее с большой картой CUDA для финансового моделирования, скорее всего, придется немало поднапрячься. А для игр лучше всего подождать выхода Core i9-9900KS.
Содержание этого обзора:
- Анализ и конкуренция
- Core i9-9990XE: Чемпион по компиляции
- Производительность процессора: тесты рендеринга
- Производительность процессора: тесты кодирования
- Производительность процессора: системные тесты
- Производительность процессора: офисные тесты
- Производительность процессора: веб-тесты и устаревшие тесты
- Потребляемая мощность и термические свойства
- Выводы и заключительные слова
Чемпион компиляции, Windows VC ++ и Chrome
Многие из читателей AnandTech являются разработчиками программного обеспечения, которых интересует производительность оборудования на привычных им задачах. Хотя компиляция ядра Linux является «стандартом» для рецензентов, которые часто компилируют, наш тест немного более вариативен — мы используем инструкции Windows для компиляции Chrome, а точнее сборки Chrome 56 от марта 2017 года, как это было с начала использования этого теста. Google дает довольно подробные инструкции о том, как скомпилировать под Windows, наряду с возможностью загрузки 400k файлов для репозитория. Это, безусловно, один из наших самых популярных тестов, он является хорошим показателем производительности ядра, многопоточной производительности, а также скорости доступа к памяти.
В этом тесте мы, следуя инструкциям Google, используем компилятор MSVC и инструменты разработчика Ninja для управления компиляцией. Как вы могли предположить, этот тест является многопоточным, с некоторой зависимостью от DRAM, где более быстрые кэши дают преимущество. Данные, полученные в результате тестирования — время компиляции, которое мы конвертируем в количество компиляций в день. Тест занимает от одного часа на быстром высокопроизводительном настольном процессоре, до нескольких часов на самых медленных ПК.
В этом тестировании два процессора боролись за превосходство почти на равных: 16-ядерный Ryzen Threadripper 2950X и 8-ядерный i9-9900K. Вооруженный еще шестью ядрами, намного большей частотой и дополнительно двумя каналами памяти, Core i9-9990XE с легкостью проходит этот тест, выполнив компиляцию за 42 минуты и 10 секунд, и является единственным процессором, преодолевшим 50-минутную отметку (не говоря уже о 45-минутной).
Rendering Tests
В профессиональной среде рендеринг часто является основной рабочей нагрузкой процессора. Он используется в разных форматах: от 3D-рендеринга до растеризации, в таких задачах как игры или трассировка лучей, и использует способность программного обеспечения управлять мешами, текстурами, коллизиями, алиасами и физикой (в анимации). Большинство рендереров предлагают код для ЦП, в то время как некоторые из них используют графические процессоры и выбирают окружение, использующее FPGA или специализированные ASIC. Однако для крупных студий процессоры по-прежнему являются главным аппаратным обеспечением.
Blender 2.79b: 3D Creation Suite
Высококлассный инструмент для рендеринга, Blender — продукт с открытым исходным кодом, имеющий множество настроек и конфигураций, используется многими высококлассными анимационными студиями по всему миру. Недавно организация выпустила тестовый пакет Blender, через пару недель после того, как мы решили уменьшить использование теста Blender в нашем новом пакете, однако новый тест может занять более часа. Для получения наших результатов мы запускаем один из подтестов в этом пакете через командную строку — стандартную сцену «bmw27» в режиме «только CPU», и измеряем время завершения рендеринга.
Blender умеет использовать преимущества большего количества ядер, и хотя частота 9990XE выигрывает по сравнению с 7940X, этого недостаточно, чтобы обогнать 18-ядерное оборудование.
LuxMark v3.1: LuxRender через различные кодовые пути
Как указано выше, существует много разных способов обработки данных рендеринга: CPU, GPU, Accelerator и другие. Кроме того, существует множество фреймворков и API, в которых можно программировать, в зависимости от того, как будет использоваться программное обеспечение. LuxMark, бенчмарк, разработанный с использованием механизма LuxRender, предлагает несколько различных сцен и API.
В нашем тесте мы запускаем простую сцену «Ball» на коде C ++ и OpenCL, но в режиме CPU. Эта сцена начинается с грубого рендеринга и медленно улучшает качество в течение двух минут, давая окончательный результат в показателе, который можно обозвать «среднее количество тысяч лучей в секунду».
Мы видим небольшое отставание производительности по сравнению с 7940X, что любопытно. Интересно, является ли фиксированный меш 2,4 ГГц ограничивающим фактором?
POV-Ray 3.7.1: трассировка лучей
Движок трассировки лучей Persistence of Vision — еще один известный инструмент бенчмаркинга, который какое-то время находился в спячке, пока AMD не выпустила свои процессоры Zen, когда внезапно оба Intel и AMD стали пушить код в основную ветку проекта с открытым исходным кодом. Для нашего теста мы используем встроенный тест для всех ядер, вызываемый из командной строки.
Encoding Tests
С ростом количества стримов, видеоблогов и видеоконтента в целом, тесты кодирования и транскодирования приобретают всё большее значение. Мало того, что становится всё больше домашних пользователей и геймеров, занятых преобразованием видеофайлов и видеопотоков, но и сервера, обрабатывающие потоки данных, нуждаются в шифровании на лету, а также компрессии и декомпрессии логов. Наши тесты кодирования нацелены на такие сценарии, и учитывают мнение комьюнити, чтобы обеспечить самые актуальные результаты.
Handbrake 1.1.0: потоковое и архивное транскодирование видео
Популярный инструмент с открытым исходным кодом, Handbrake — программное обеспечение для преобразования видео любым возможным способом, которое, в некотором смысле, является эталоном. Опасность здесь кроется в номерах версии и в оптимизации. Например, последние версии программного обеспечения могут использовать преимущества AVX-512 и OpenCL для ускорения некоторых типов транскодирования и определенных алгоритмов. Версия, которую мы используем, представляет собой чистую работу с CPU, со стандартными вариантами транскодирования.
Мы разделили Handbrake на несколько тестов, используя запись с нативной веб-камеры Logitech C920 1080p60 (по существу, запись стрима). Запись будет преобразована в два типа потоковых форматов и в один для архивирования. Используемые параметры вывода:
- 720p60 at 6000 kbps constant bit rate, fast setting, high profile
- 1080p60 at 3500 kbps constant bit rate, faster setting, main profile
- 1080p60 HEVC at 3500 kbps variable bit rate, fast setting, main profile
Наши тесты кодирования требуют хорошего баланса ядер и частоты, в итоге 14-ядерное оборудование с частотой 5,0 ГГц легко опережает 7940X и показывает, что наличие 28 ядер не всегда залог победы.
7-zip v1805: популярный архиватор с открытым исходным кодом
Из всех наших тестов архивации / разархивации 7-zip является наиболее востребованным, и обладает встроенным бенчмарком. В наш тестовый набор мы внесли последнюю версию этого софта, и мы запускаем бенчмарк из командной строки. Результаты архивации и разархивации выводим как единый общий балл.
В этом тесте хорошо видно, что современные процессоры с несколькими матрицами имеют большое различие в производительности между сжатием и декомпрессией: хорошо проявляют себя в одном, и плохо в другом. Кроме того, у нас ведутся активные дискуссии о том, как Windows Scheduler реализует каждый поток. Когда мы получим больше результатов, с удовольствием поделимся своими соображениями на этот счет.
Обратите внимание, если вы планируете где-либо публиковать данные сжатия, пожалуйста, включите и результаты разархивирования. В противном случае вы предоставите лишь половину результата.
Здесь показывает свою силу наличие 28 ядер, и дополнительная частота не может склонить чашу весов.
WinRAR 5.60b3: Архиватор
Когда мне нужен инструмент для сжатия, обычно я выбираю WinRAR. Многие пользователи моего поколения использовали его более двух десятилетий назад. Интерфейс почти не изменился, хотя интеграция с командами right-click в Windows весьма приятный плюс. Он не имеет встроенного бенчмарка, поэтому мы запускаем сжатие каталога, содержащего более тридцати 60-секундных видеофайлов и 2000 небольших веб-файлов, с нормальной скоростью сжатия.
WinRAR имеет переменную многопоточность, и требователен к кэшированию, поэтому в нашем тесте мы запускаем его 10 раз, и вычисляем среднее значение за последние пять прогонов, чтобы проверить только производительность процессора.
WinRAR является одним из тестов с переменной многопоточностью, поэтому здесь важно сочетание количества ядер и частоты. Интересно, что 9990XE, несмотря на более высокую частоту, немного медленнее, чем 7940X. Возможно, дополнительная мощность, необходимая для разгона ядер до пиковой частоты, может вызывать дополнительные задержки при работе с большим количеством небольших файлов.
Шифрование AES: защита файлов
Ряд платформ, особенно мобильные устройства, по умолчанию шифруют файловые системы для защиты содержимого. В устройствах на базе Windows для шифрования часто применяется BitLocker или стороннее программное обеспечение. В тесте шифрования AES мы использовали discontinued TrueCrypt в бенчмарке, который проверяет несколько алгоритмов шифрования непосредственно в памяти.
Данные, полученные в результате этого теста, — комбинированная производительность AES для шифрования / дешифрования, измеренная в гигабайтах в секунду. Программное обеспечение использует команды AES, если процессор это позволяет, но не использует AVX-512.
Недоступная роскошь от Intel: Core i9-9990XE с 14 ядрами на частоте 5,0 ГГц (2 часть)
Немного рекламы :)
Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, 30% скидка для пользователей Хабра на уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2650 v4 (6 Cores) 10GB DDR4 240GB SSD 1Gbps от $20 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).
Dell R730xd в 2 раза дешевле? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?