AMD тестирует технологию MEXT, которая обеспечит производительность на уровне 99% от максимума при использовании вдвое меньшего объёма оперативной памяти (DRAM) — при условии, что вместе с новым сервером на базе процессора Epyc приобретается лицензия на программное обеспечение.

Это стало возможным благодаря использованию моделей искусственного интеллекта, которые заблаговременно перемещают страницы памяти в более дешёвое NVMe‑хранилище ещё до того, как операционная система или приложения потребуют этих данных. По сути, это напоминает механизм подкачки (SWAP) или файл подкачки в Windows.

AMD приобрела эту технологию у компании Mext в июне. По словам бывшего генерального директора Mext Гэри Смердона, данное решение позволяет сократить расходы на корпоративные серверы на величину до 83% за счёт замены дорогостоящих модулей памяти RDIMM на флеш‑накопители. Согласно его оценкам, на 145 системах, где уже внедрено это ПО, клиенты сэкономили в общей сложности $5 млн, избежав затрат на покупку оперативной памяти.

«Если говорить консервативно, то в очень крупных системах стоимость оперативной памяти может составлять 60, 70, а то и 80–90% от общей стоимости сервера», — пояснил он.

Смердон отмечает, что даже в системах с высоким уровнем загрузки памяти значительная часть данных фактически не используется в данный момент. Он сослался на исследование компании Meta*, согласно которому от 50 до 80% страниц памяти остаются невостребованными в течение пяти, десяти и более минут: «Для процессора Epyc пять минут — это целая вечность».

Технология MEXT позволяет выгружать такие редко используемые страницы памяти на флеш‑накопители. Однако, как объясняет Смердон, здесь есть нюанс: хотя флеш‑память в 50 раз дешевле в пересчете на бит и потребляет в 30 раз меньше энергии, она при этом работает в 500 раз медленнее.

Именно поэтому при настройке виртуальных частных облаков (VPC) или серверов специалисты стараются по возможности избегать использования дисковой подкачки: это катастрофически снижает производительность приложений и делает невозможным соблюдение соглашений об уровне обслуживания (SLA). Чтобы технология работала, необходимо было гарантировать, что любые страницы памяти, выгруженные в хранилище, вернутся в DRAM до того, как они понадобятся системе. 

«Мы поняли, что можно использовать искусственный интеллект для мониторинга системы и упреждающего возврата нужных страниц в DRAM. Таким образом, для приложения или операционной системы всё выглядит так, будто эти данные всё время находились в оперативной памяти. В основе лежит модель, производная от архитектуры трансформеров — подобно тем, что используются в ChatGPT, Claude и других известных нейросетях. Только вместо прогнозирования следующего слова в тексте мы предсказываем, какая страница памяти потребуется следующей», — поясняет Смердон. 

По его словам, главное, чтобы нужные страницы оказались в DRAM до того, как возникнет запрос на них. При этом строгий порядок их размещения не имеет значения.

Обучение моделей точному прогнозированию шаблонов доступа к памяти сопряжено с рядом трудностей, из‑за чего предварительное обучение моделей оказывается нецелесообразным, отмечает Смердон.

Вместо этого система задействует одно ядро ​​процессора Epyc и обучает модель «менее чем за одну секунду». В дальнейшем модель постепенно дорабатывается и дообучается, пока не начинает точно предсказывать, какие страницы памяти и в какой момент должны быть доступны. Как подчёркивает Смердон, весь процесс обучения происходит на ядрах центрального процессора. Это означает, что практически любой клиент, использующий процессоры Epyc, может воспользоваться данной программной платформой.

Хотя GPU не нужен, стоит отметить, что в виртуализированных средах программное обеспечение требует выделения одного ядра на каждую виртуальную машину или виртуальный частный облачный экземпляр. Таким образом, накладные расходы растут пропорционально уровню виртуализации. В случае с контейнерными средами подобных ограничений, по всей видимости, нет. 

По заявлению AMD, технология действительно работает. Смердон отмечает, что изначально компания ориентировалась на приложения, требовательные к объёму памяти — например, системы автоматизированного проектирования электроники (EDA) и инструменты для создания контента, — но впоследствии расширила поддержку на приложения, чувствительные к задержкам, такие как базы данных и конвейеры для работы автономных ИИ‑агентов.

«Когда страницы памяти не используются активно, мы можем переместить их во флеш‑память, и это практически не сказывается на производительности», — утверждает он.

Согласно результатам тестирования с использованием пакета EDA — Synopsys PrimeTime, — при переносе половины объема данных во флеш‑память с помощью технологии MEXT система сохраняет 95% производительности по сравнению с конфигурацией, использующей только DRAM. В тестах AMD при использовании 25% DRAM и 75% флеш‑памяти производительность составила 80% от базового уровня.

Инструменты для проектирования электроники крайне требовательны к объёму памяти, однако количество данных, с которыми ядра работают в каждый конкретный момент времени, зачастую исчисляется лишь мегабайтами. В других сценариях, например, при работе с Apache Spark, по данным команды AMD, производительность сохраняется на уровне 99% — даже если половину оперативной памяти (DRAM) в системе заменить на флеш‑память.

Хотя внедрение этой технологии может привести к некоторому снижению производительности, в AMD рассчитывают, что клиенты пойдут на такой компромисс ради существенной экономии на оперативной памяти, дефицит которой ощущается на фоне масштабного строительства дата‑центров для нужд искусственного интеллекта.

В настоящее время AMD работает над интеграцией MEXT в свой портфель решений для корпоративного сектора. Как сообщается, это программное обеспечение будет доступно исключительно для оборудования AMD и будет распространяться по лицензии через OEM‑партнеров.

Для использования технологии в системах под управлением Linux достаточно установить драйвер ядра. Кроме того, предлагается отдельное приложение RAM View, которое помогает компаниям определить, на каких именно системах и рабочих нагрузках стоит задействовать MEXT.

По заявлению разработчика процессоров, сейчас идет первый этап внедрения Mext: компания сотрудничает с OEM‑партнерами (например, HPE), чтобы подготовить системы к работе с этой технологией. На втором этапе планируется начать продажу лицензий на программное обеспечение, а также поставку платформ Epyc с предустановленным приложением RAM View.

В июле AMD уведомила клиентов о повышении закупочных цен на наборы «GPU + память». Стоимость таких комплектов для сборки дискретных ускорителей Radeon выросла примерно на 10%. Повышение цен коснулось карт серии Radeon RX 9000. Корректировки цен уже получили Sapphire, ASUS, Vastarmor и XFX.

Meta Platforms*, а также принадлежащие ей продукты Facebook** и Instagram**:
* признана экстремистской организацией, её деятельность в России запрещена;
** запрещены в России