Cистема уменьшит расходы на электроэнергию в два раза.
/ фото Andy Melton CC BY-SA
Зачем нужна новая архитектура
По оценкам Data Centre Dynamics, к 2030 году электронные устройства будут потреблять 40% всей вырабатываемой на планете энергии. Приблизительно 20% от этого объема придется на ИТ-сектор и дата-центры. По данным европейских аналитиков, ЦОД уже «забирают» 1,4% всего электричества. Ожидается, что эта цифра вырастет до 5% к 2020 году.
Значительную часть электроэнергии потребляют SSD-хранилища. В период с 2012 по 2017 год доля твердотельных накопителей в дата-центрах выросла с 8 до 22%. Хотя SSD потребляют на треть меньше мощности (PDF, стр.13), чем HDD, в масштабах дата-центров счета за электричество остаются крупными.
Чтобы сократить энергопотребление твердотельных накопителей в ЦОД, инженеры из MIT разработали новую архитектуру SSD-хранилищ. Она получила название LightStore и позволяет подключать накопители напрямую к сети дата-центров, минуя серверы хранения. По словам авторов, система уменьшит расходы на электроэнергию в два раза.
Как это работает
LightStore — это флеш-хранилище типа ключ-значение, в котором пользовательские запросы к накопителям отображаются в виде ключей. Затем они отправляются на сервер, который выдает данные, связанные с этим ключом.
Система содержит встроенный энергоэффективный процессор, DRAM и NAND-память. Управляют ей контроллер и специальное программное обеспечение. Контроллер отвечает за работу с массивами NAND, а ПО — за обработку KV-запросов и хранение пар ключей. Архитектура программного обеспечения выстроена на базе LSM-дерева, которое используется во многих современных СУБД.
Схему архитектуры можно представить следующим образом:
На схеме изображены базовые компоненты LightStore. Кластер узлов работает с парами ключ-значение. Серверы приложений подключаются к системе с помощью адаптеров. Они преобразуют клиентские запросы (например, fread() от API POSIX) в KV-запросы. Также архитектура имеет отдельные адаптеры для YCSB, блочных (на базе BUSE-модуля) и файловых хранилищ.
Распределяя запросы, адаптер использует согласованное хеширование. Его применяют в системах вроде Redis или Swift. С помощью ключа KV-запроса адаптер генерирует хеш-ключ, значение которого определяет целевой узел.
Емкость кластера LightStore масштабируется линейно — достаточно подключить к сети дополнительные узлы. В некоторых случаях может понадобиться приобрести новые свитчи. Однако разработчики снабдили каждый узел дополнительными слотами для подключения NAND-микросхем.
Потенциал архитектуры
Инженеры из MIT говорят, что пропускная способность решения на базе LightStore составляет 620 Мбит/с для 10-гигабитного Ethernet. Один узел потребляет 10 Вт вместо привычных 20 Вт (в SSD-системах, используемых дата-центрами сегодня). Кроме того, оборудование занимает в два раза меньше места.
Сейчас разработчики дорабатывают некоторые моменты. Например, LightStore не умеет работать с запросами по диапазону и небольшими запросами. Эти функции добавят в будущем, так как LightStore использует LSM-деревья. Также система пока обладает ограниченным набором адаптеров — поддерживаются YCSB- и блок-адаптеры. В дальнейшем LightStore сможет обрабатывать SQL-запросы и др.
Другие разработки
Летом 2018 года Marvell, компания-разработчик СХД, представила новую линейку SSD-контроллеров на базе систем ИИ. Разработчики внедрили ускорители глубокого обучения NVIDIA в стандартные контроллеры для ЦОД и клиентских приложений. В результате они создали автономную архитектуру, которая потребляет меньше энергии, по сравнению с классическими SSD-контроллерами. В компании надеются, что система найдет применение в периферийных вычислениях, аналитике больших данных и IoT.
Недавно обновилась линейка накопителей Western Digital Blue. В апреле разработчики представили решение — WD Blue SSD на базе технологий SanDisk, которую WD приобрели год назад. Обновленные WD Blue SSD отличаются повышенной производительностью и энергоэффективностью. Архитектура выстроена на базе спецификации NVMe, которая открывает доступ к SSD, подключённым по PCI Express.
Эта спецификация повышает эффективность работы SSD-накопителей с большим числом одновременных запросов и ускоряет доступ к данным. Дополнительно NVMe позволяет стандартизировать интерфейс SSD — hardware-производителям больше не придется тратить ресурсы на разработку уникальных драйверов, разъёмов и форм-факторов.
Перспективы
Рынок SSD-накопителей для ЦОД движется в сторону упрощения архитектуры, автоматизации работы компонентов хранилищ и повышения энергоэффективности. Разработка инженеров из MIT решает последнюю задачу. Авторы рассчитывают, что LightStore станет отраслевым стандартом для SSD-хранилищ в ЦОД. И можно предположить, что в будущем на его основе появятся новые, еще более эффективные архитектуры.
Несколько материалов из Первого блога о корпоративном IaaS:
- Развитие дата-центров: технологические тренды
- Avito.ru: как облако IaaS помогает в организации бизнеса компании
- Как повысить энергоэффективность дата-центра
- Что нужно знать о PCI DSS: обзор стандарта
- Почему компании используют виртуальные машины, а не контейнеры
- Как IaaS помогает развивать бизнес: три задачи, которые решит облако
- Бессерверные вычисления в облаке – тренд современности или необходимость?
