В эпоху «бума майнинга», глядя на то, как любое железо, способное добывать криптовалюты, моментально сметается с прилавков, корпорация NVIDIA приняла решение выпустить на рынок чипы, не прошедшие полноценный контроль качества. При обычных обстоятельствах такие микросхемы утилизируются, но если неликвид можно продать, то почему бы и нет?

Так появились сначала видеокарты P100, P104 и P106 на ядре Pascal, а затем серия CMP (ядра Turing и Ampere). Они отличались от своих «полноценных» собратьев:

  • Отсутствием видеовыходов;

  • Урезанной версией шины и её шириной (PCIe 1.1 x4);

  • Меньшим объёмом памяти;

  • Отсутствием поддержки определённых технологий (NVENC, NVLink).

Некоторые из ограничений обусловлены дефектами кристаллов, а другие соображениями экономии (например, шина x4 превращается в x16 после распайки недостающих SMD‑элементов).

Эти карты могут даже служить 3D‑ускорителями (если выводить изображения через интегрированное в процессор видеоядро или вторую видеокарту), хотя NVIDIA относится к этому негативно и, как только тема «играем на дешёвых картах для майнинга» стала набирать обороты, компания внесла блокирующие изменения в драйверы. Впрочем, энтузиасты быстро научились этому противостоять.

Среди майнинговых карт особняком стоит самая малоизученная и дорогая (на старте продаж цена составляла сумасшедшие 5000 долларов, но с потерей актуальности опустилась до 200–300) — CMP 170HX. В отличие от остальных, она является родственницей не игровым GTX/RTX, а серверным Tesla A100 и, подобно им, наделена памятью HBM2 (располагается на одной подложке с видеочипом). Как следствие, все CMP 170HX имеют на борту 6 сборок памяти — столько же, сколько их старшие собратья, карты Tesla. Однако эта память не прошла контроль качества и урезана до 8 или 10 ГБ (существуют две версии CMP 170HX: 8-гигабайтная и 10-гигабайтная).

В реальности памяти даже ещё больше. Например, 80-гигабайтная Tesla A100 на самом деле физически несёт на себе 96 гигабайт (вероятно, в процессе соединения GPU и HBM, часть памяти повреждается).

На примере 8-гигабайтной CMP 170HX это выглядит так:

  • Общее количество памяти — 96 ГБ

  • Память разделена на 6 HBM‑сборок (их можно увидеть рядом с кристаллом GPU)

  • Размер сборок урезан с 16 до 2 ГБ программно в прошивке VBIOS (что превращает суммарную память в 12 ГБ)

  • Каждая сборка разделяется на пару FBP (Frame Buffer Partition)

  • Два FBP (2 ГБ памяти) помечены (аппаратно через физические фьюзы кристалла GPU) как «отключенные». Ещё два — как «дефектные».

Исследователь Jon Pry утверждает, что сумел обойти многие из упомянутых ограничений, в том числе разблокировал программно урезанную память.

Со своей стороны NVIDIA максимально усложнила задачу любителям модифицировать её продукты. Современные видеокарты защищены покруче, чем тюрьмы для особо опасных преступников:

  • Безопасность через неясность (NVIDIA старается раскрывать как можно меньше информации);

  • Отдельный сопроцессор, отвечающий за защиту кода от несанционированных изменений;

  • Несколько уровней безопасности (L0—L3);

  • Шифрование кода (AES);

  • Цифровая подпись кода (RSA);

  • Неизменяемый загрузчик;

  • Стековые канарейки.

Главной задачей было найти способ модифицировать защищённые от записи со стороны хоста регистры, переопределяющие фьюзы GPU, в которых хранятся заданные производителем «урезанные» значения. Снять с них защиту может только Falcon (специальный сопроцессор — «ядро безопасности», присутствующее в каждом графическом чипе NVIDIA). Казалось бы, проще всего модифицировать прошивку, но, начиная с поколения Pascal, она подписана цифровой подписью, а GPU содержит в себе публичный ключ, с помощью которого проверяет подлинность прошивки и отказывается работать, если подпись повреждена.

Исследователь сосредоточился на поиске уязвимостей в прошивке.

Точкой входа стал загрузчик, который поставляется в составе драйверов, и исполняется сопроцессором Falcon. Первая линия обороны NVIDIA здесь — загрузчик зашифрован (AES), а ключ шифрования корпорация держит в секрете. Однако вместе с релизной версией загрузчика поставляется его отладочная версия, которая по какой‑то причине или недосмотру зашифрована простым ключом вида 123456... При этом отладочная версия полностью идентична релизной. Фактически NVIDIA любезно сама и сняла шифрование.

Исследователь обнаружил, что в загрузчике есть баг с переполнением буфера памяти. Предположительно, подобные ошибки сложнее обнаруживать статическими анализаторами, поскольку запись выполняет DMA‑движок, а не обычный memcpy. Возможно, именно по этой причине инженеры NVIDIA проглядели баг. Тем не менее, они предусмотрели защиту от такого класса атак — так называемую «стековую канарейку» (в стек помещается значение, а перед возвратом функции проверяется, что оно не изменилось). Сделано всё как по учебнику: значение генерируется аппаратным генератором случайных чисел и меняется при каждом запуске. Но дальше программисты допустили фатальную ошибку, сводящую защиту на нет — значение хранится в области данных, которую физически может перезаписать то самое переполнение буфера, от которого канарейка должна была защищать.

Переполнение буфера, в свою очередь, позволяет выполнить произвольный код. Что самое приятное, код выполняется уже после того, как подпись проверена. А значит, с точки зрения GPU всё в порядке: подпись корректна, безопасность загрузки не нарушена.

Следующей сложностью стало то, что Falcon не позволяет хосту читать свою память (за исключением одного mailbox‑регистра). Пришлось написать эмулятор прошивки. Поскольку Falcon не имеет собственной операционной системы, потоков или прерываний, то можно в любой момент воспроизвести состояние памяти и отладить полезную нагрузку, не имея возможности видеть стек на реальном железе.

Дальше выполняем наш код, который в режиме Heavy Secure способен открыть PLM (priv‑level masks), защищающие регистры‑переопределители фьюзов. После этого можно обычным образом писать в регистры с хоста и менять их значения на нужные.

Что удалось получить:

  • Снять ограничение производительности вычислительных блоков (SM), производительность FP32/64 выросла в десятки раз;

  • Объём памяти увеличился в 8 раз;

  • Удвоилась пропускная способность шины PCIe. Как упоминалось выше, ширину шины можно увеличить ещё вчетверо, но потребуется физическое вмешательство (распайка SMD‑элементов возле слота PCIe).

Что не удалось:

  • Завести память на полной скорости (выдаёт ошибки в стресс‑тестах). Оказалось, что на штатной частоте у 10-гигабайтной CMP 170HX способна работать лишь половина памяти. Пришлось увеличить тайминги памяти — ошибки пропали, но производительность памяти упала на треть. По свидетельствам других экспериментаторов 8-гигабайтные карты этому не подвержены, но и доступной памяти у них меньше — всего 64 гигабайта. Таким образом, выбор стоит между 80 гигабайтами более медленной и потенциально нестабильной памяти (CMP 170 HX 10 ГБ) против 64 гигабайт быстрой и полностью рабочей памяти (CMP 170 HX 8 ГБ);

  • Включить поддержку ECC;

  • Разогнать шину PCIe до Gen3 (не найден регистр‑переопределитель). Возможно это уже физическое ограничение со стороны чипа.

В работе подчёркивается, что два последних пункта не являются принципиально невозможными, просто исследователь не смог их победить.


В настоящий момент сообщество энтузиастов пытается повторить описанное в этой работе и создать рабочий эксплоит. Уже удалось снять ограничение производительности SM. На очереди разблокировка памяти.

Есть слабые свидетельства того, что это можно будет адаптировать к другим CMP‑картам и, возможно, даже к линейке RTX. Впрочем, это далеко не первоочередная цель, хотя возможность за счёт более широкой шины превратить 60-долларовую CMP 90HX в нечто близкое к RTX 3080 по игровой производительности выглядит тоже весьма заманчиво (сейчас эти карты в играх буквально задыхаются из‑за PCIe 1.1).

Уже можно смело сказать, что это самый серьёзный взлом прошивки видеочипов NVIDIA за последние 10 лет, открывающий очень заманчивые перспективы.

Update: китайцы опубликовали свою версию эксплоита (здесь очишенный вариант, только патчи к официальным драйверам). В отличие от упомянутой выше, которая работает в виде независимых от драйвера скриптов, китайская версия предполагает модификацию драйвера, но зато (как заявлено) позволяет разблокировать не только «дефектную», но и «отключённую» память, превращая 8 ГБ в 64 Гб).