Привет, Хабр!
В очередной статье нашего цикла мы оценим производительность системы на воздушном охлаждении, чтобы иметь опорные значения и осязаемые метрики для сравнения и оценки той же системы, но уже после погружения в диэлектрик.
Ранее уже писали:
Почему мы решили делать иммерсионное охлаждение домашнего ПК
В какую жидкость будем погружать и почему
Целевые показатели
Основное целевое применение технологии жидкостного охлаждения мы видим для высокопроизводительных систем, работающих на пике производительности почти все время эксплуатации (рендер — фермы, HPC, майнинг).
Одна из главных проблем при такой эксплуатации — снижение производительности и сброс рабочих частот при достижении пиковых температур (троттлинг), а также ускоренный износ компонентов (знаменитые «карты из под майнинга» не дадут соврать).
Тем самым, обращаем внимание на следующие ключевые показатели:
1. Максимальные температуры компонентов в пиковой нагрузке, в т.ч. компонентов, охлаждаемых пассивно
2. Время наступления троттлинга
3. Результаты в бенчмарках, имитирующих разные сценарии нагружения (рендеринг, динамическая нагрузка)
Подготовительный этап
Напомним технические характеристики стенда:
МП: ASUS Z170A
Процессор Intel Core i5-6600K в разгоне по множителю до 4,1 ГГц
Видеокарта AMD Radeon HD7990 (2 GPU на одной плате)
4*16 ГБ оперативной памяти DDR4 на 2400 МГц
SATA SSD 256 ГБ
БП на 1 кВт 80 Plus Gold
Компьютер был вычищен от пыли, был проведён функциональный кабель‑менеджмент (вся свободная длина кабелей убрана в заднюю крышку), была заменена термопаста CPU. Схема охлаждения проиллюстрирована ниже:
Видеокарта была приобретена специально под сборку как очень теплонагруженная. Было также известно, что она использовалась в целях майнинга в том числе, поэтому её термопасту также заменили. Однако первые же тесты показали недостаточность проведённого ТО: VRM GPU (управление питанием видеокарты) нагрелись выше 130 градусов. Ясно, что и термопрокладки подлежат замене. Выглядели они и правда жутко!

После очистки и полной замены, на всякий случай ещё раз поменяли термопасту на самих GPU и собрали всё обратно (фото ниже).

Температура VRM стала ниже температуры ядер. Раз уж так, то почему бы не сделать умеренный разгон? Описывать процесс и итерации не будем, скажем только что в данной конфигурации нагрузочное динамическое тестирование в FurMark 3D в режиме отлова артефактов артефактов не обнаруживало. Для стационарной задачи и больший разгон продолжал работать стабильно, но сканер артефактов показывал, что ошибки начали возникать. Итоговый разгон на скрине ниже (идентичный для обоих GPU). Для разгона использовался только штатный драйвер, без управления вольтажом.

Используется последняя актуальная Pro Enterprise версия драйвера. Драйвер серии Adrenaline не работал с некоторыми тестами и показывал худшие результаты в бенчмарках.
Логирование
Для снятия логов применялась программа HWiNFO64, исходные логи будут доступны для скачивания. Для всех тестов настройки логирования оставались неизменными.

Условия проведения тестов
Тесты проводились в условиях нормального расположения компьютера: под столом, с закрытыми крышками. Расстояние за компьютером не менее 20 см до стены, боковая стенка с вентилятором не ограничена. Настройки вентиляторов штатные, кроме CPU, там откорректирована кривая.
В OCCT Power удалось забрать «из стены» 701 Вт.
Максимально замеренный уровень шума составил 75 дБА.
Температура в помещении во время проведения всех тестов колебалась в диапазоне 22,8..25,1 °С.
Описание тестов
Для проведения всесторонней оценки мы руководствовались следующей логикой:
Длительный тест в рендер‑бенчмарке LuxMark v3.1 + встроенный «дожигатель» HWiNFO на процессор.
a. Тест со стабильной нагрузкой, нагружающий оба GPU на максимум, но не допускающий троттлинга и с дополнительной нагрузкой на процессор для общей оценки системы охлаждения
b. Цель — оценить состояние системы при достижении температурного равновесия при максимальной стационарной нагрузке
c. Бытовое сравнение — автомобиль выпустили на очень длинное прямое шоссе, поставили круиз‑контроль на оптимальном режиме работы двигателя и зафиксировали ключевые параметрыБенчмарк в LuxMark v3.1
a. Стабильная нагрузка фиксированная по времени, в том числе многократные повторения
b. Цель — оценить производительность в стационарном режиме, без экстремальной нагрузки
c. Бытовое сравнение — замер пройденной автомобилем дистанции за фиксированное времяДлительный тест в FurMark (пончик) на избыточных настройках
a. Постановка заведомо невыполнимой задачи для оценки устойчивости в пиковом режиме
b. Цель — поставить видеокарту на колени максимально быстро (заставить уйти в режим защиты по температуре T‑state), оценить время до потери работоспособности
c. Бытовое сравнение — закрепить автомобиль к стене, зажать педаль газа в пол и посмотреть, насколько быстро автомобиль сломаетсяБенчмарк в FurMark на избыточных настройках
a. Оценка производительности в запредельном режиме
b. Цель — оценка кратковременной пиковой производительности
c. Бытовое сравнение — пустить Запорожец на Нюрнбургринг, сказав пилоту, что после заезда машину утилизируютДлительный тест в FurMark на адекватных настройках
a. Постановка гранично‑сложной задачи на пределе возможностей видеокарты для оценки устойчивости работы в максимальном, но ещё разумном режиме
b. Цель — оценить время работы в максимальном режиме и тепловой предел системы в целом.
c. Бытовое сравнение — 24 часа Ле‑МанаБенчмарк в FurMark на адекватных настройках
a. Оценка производительности в пиковом режиме, в том числе после троттлинга
b. Оценка кратковременной максимальной производительности и устойчивости этой максимальной производительности
c. Бытовое сравнение — оценка времени круга на обычной трассе
Тесты, не включённые в итоговый отчёт
Некоторые тесты были проведены или запланированы, но по разным причинам будут спрятаны под кат:
Power Test OCCT. Странно взаимодействует с драйвером видеокарты, то не нагружает её вовсе, то уводит в T‑state, то работает разумно (но на финальной конфигурации системы работать разумно перестал).
Длительный рендеринг в реальном софте. Устаревшая видеокарта не поддерживает актуальные технологии. Для оценки необходимо было установить устаревшие версии программ для поддержки OpenCL, но никто из нас не занимался рендерингом ранее и мы засомневались в том, что сможем создать адекватную сцену для оценки.
Игровая производительность. Времени нет играть в игоры, а нагрузка была бы недетерминированной.
Результаты тестов
Для наглядности данные представлены в виде графиков. Значения частот выведены с делителем 100.
Стоит отметить, что из‑за конструкции системы охлаждения и внутренней компоновки видеокарты, температура первого ГП всегда выше второго. Тем самым ограничения производительности всегда сначала достигают первого ГП, а из‑за связанности системы охлаждения, вторая ГП никогда не достигает критических значений.
Длительный тест в рендер‑бенчмарке LuxMark v3.1 + встроенный «дожигатель» HWiNFO на процессор

Нагрузка на оба графических ядра стабильная, 99%. Частоты обоих ГП — 1050 МГц без просадок. Температуры обоих ГП, процессора и корпусного датчика Т1 стабилизировались на 93, 88, 69 и 51 °С соответственно.
Тест длиной 24 часа был проведён с тем же результатом, но настройки логирования были нарушены и данные восстановить не удалось.
Бенчмарк в LuxMark v3.1
Проведены пять последовательных тестов с минимальной задержкой между собой. Результаты каждого теста последовательно: 5575, 5620, 5608, 5613, 5615 баллов соответственно.

Частоты и загрузка ГП ведут себя аналогично, температуры также вышли на плато.
Длительный тест в FurMark (пончик) на избыточных настройках (FullHD).
Здесь и далее FurMark 2.10.2, Fullscreen, Crossfire включен.

Видеокарта не может работать на полной загрузке, систематически падает до 60%. Частоты также сбрасываются, штатные 1050 МГц не достигаются вообще, сбрасываясь до ~998 МГц. Через 2:46 после начала теста температура первого ГП достигает 103 °С, что является верхним пределом работоспособности, видеокарта уходит в T‑state (защиту по температуре).
Бенчмарк в FurMark на избыточных настройках (Full HD).

Проведено несколько испытаний:
Первое — те же настройки, что и в длительном тесте. Второй — в оконном режиме для быстрого отключения Crossfire, период охлаждения, затем третий — аналогичный первому.
Кадров за 60 секунд соответственно: 5786, 3003, 5884.
Тесты подряд, вероятно, привели бы к повторению результата длительного теста, что не являлось целью, так как видеокарта на коленях уже была.
Длительный тест в FurMark на адекватных настройках (VGA 640×480).
Теперь тот тест, который мы считаем самым показательным и самым важным в серии. Разрешение сцены ниже и подвластно видеокарте в длительном режиме, но достаточно высоко, чтобы вызвать системный перегрев. Охлаждение видеокарты происходит воздухом из корпуса. Когда температура всей системы повышается, воздух, подаваемый на видеокарту сам становится горячее, снижая эффективность охлаждения и повышая температуру теплового равновесия. Режим, в котором такой сценарий реализовывается был в итоге найден на разрешении VGA:

Первые 7:14 секунд видеокарта работает на пике производительности: частота стабильно 1050 МГц, загрузка стабильно 95%.
Затем температура первого ГП пробивает 101 °С и частота сбрасывается до безопасных 998 МГц. На сниженной частоте загрузка перестаёт быть стабильной и колеблется в диапазоне от 91 до 100%, наступает длительный период работы в режиме троттлинга.
Его начало хорошо заметно по графикам средней частоты кадров, (падение с ~166 до ~160), тактовой частоты ГП1 (линии ГП1 и ГП2 становятся различимы) и по графику загрузки ГП1 (гладкая линия начинает «шуметь»).
Но такой режим не является стационарным, в отличие от тестов на статичный рендеринг. Температура корпуса повышается, а пиковая температура, казалось бы вышедшая на плато, постепенно повышается.
Троттлинг длится 31:32 минуту (38:46 с момента начала теста), после чего ГП достигает заветных 103 °С и падает в T‑state, вызывая значительный спад производительности.
Бенчмарк в FurMark на адекватных настройках (VGA 640×480).
А тут автор теста допустил ошибку. Радостно уйдя спать после успешного сорокаминутного прошлого теста и оставив систему остывать, автор благополучно забыл о том, что показатели бенчмарка на адекватных настройках ещё не сняты и приступил к пересборке системы для совсем новой статьи, ради которой всё и затевалось.
Но зная логику работы бенчмарка в FurMark можно достоверно восстановить данные по результатам длительного теста! “Баллы” FurMark — не абстрактные величины, а количество кадров за 60 секунд:

Прося прощения за допущенную оплошность и обещая быть внимательнее впредь, автор тестов восстанавливает референсные значения по данным прошлого теста:
Режим | Средний FPS | «Оценка» бенчмарка |
Пиковый | 164,9 | 9894 |
Троттлинговый | 159,6 | 9576 |
Данные в T‑state нерелевантны, режим требует перезагрузки для возврата к какой‑либо производительности.
Выводы
Удалось оценить производительность системы по разным метрикам, в том числе:
Температуры всех компонентов при стационарном длительном рендеринге
Результаты синтетических тестов с зафиксированными условиями и всеми побочными данными
Время до срабатывания степеней защиты от перегрева в контролируемых условиях
Данных было собрано очень много, вставить всё в статью было бы слишком амбициозной задачей. Мы привели только те наблюдения, которые сделали сами. Но, зная аудиторию хабра, не хотим скрывать ничего, поэтому сырые данные, а также инструмент анализа (таблицу Excel, графики из которой мы приводили) мы также представляем вашему вниманию.
Как уже говорилось выше, все тесты мы обязательно проведем повторно, но уже с применением жидкостной системы охлаждения. Именно тогда можно будет делать выводы о преимуществах и недостатках жидкостного охлаждения.
В следующих статьях поговорим о проектировании нового корпуса для погружения ПК, численном моделировании системы охлаждения, инженерные мытарства с размещением компонентов ПК и их креплением и многое‑многое другое!

