Комментарии 5
Давайте рассмотрим, чем принципиально различаются между собой NVMe-oF TCP и RDMA over iSCSI/NFS. Независимо от типа протокола для его реализации требуется поддержка RDMA как на уровне hardware (в сетевых картах и коммутаторах), так и на уровне software (в ОС хоста и на стороне СХД).
NVMe-oF TCP подразумевает использование RDMA по всему маршруту “ОС хоста – пространство хранения на СХД”.
Ну как бы нет. NVMoF TCP не требует ни RDMA, ни lossless сети. В этом как раз его смысл. https://nvmexpress.org/wp-content/uploads/NVM-Express-TCP-Transport-Specification-Revision-1.1-2024.08.05-Ratified.pdf Более того, а какой RDMA протокол использует TCP (iWarp не в счет - он умер уже)?
RDMA over iSCSI/NFS
Оно наоборот. Это iSCSI over RDMA (aka iSER/SRP), NVMe over RoCEv2, NFS over RDMA. Потому что вы берете iSCSI (или NFS, или NVMe) команды и заворачиваете их в RDMA на уровне транспорта (транспорт может быть разный - но нынче это исключительно RoCE v2 на практике, если речь про Ethernet).
Вот картинка для NVMe:
Так как работа данного протокола заканчивается на входе в СХД, здесь могут использоваться любые типы накопителей (даже обычные NL-SAS диски)
NVMe over RoCE v2, NVMe/FC, iSER, NVMe/TCP тоже работает в общем-то с любыми дисками в СХД. Это (front-end и back-end) теплое и мягкое. Вот вам пример от NetApp (https://www.netapp.com/media/8127-sb-3904.pdf), где на фронте NVMe/FC,IB,RoCE, а на бекенде SAS:
И в целом, тут все в большую кучу. У вас есть отдельно блочные протоколы (SCSI, NVMe) и файловые (NFS), а отдельно есть транспорт для этих протоколов - TCP (iSCSI для SCSI over TCP, NVMe/TCP, nfs over TCP), RoCEv2 (iSER для scsi, NVMe/RoCEv2 для nvme, NFS over RDMA), PCIe, IB, etc.
Вот наглядная картинка от NVMe (https://nvmexpress.org/specifications/), где есть транспортные протоколы, а есть сам NVMe спецификация:
Спасибо за развернутый комментарий. Мы именно поэтому и упомянули в статье, что много где (и Qsan не исключение) имеется определенная путаница с терминами.
Так проблема не в терминах (хотя мне не очень понятно, что там за путаница, если это все стандарты и их можно открыть и посмотреть, как там пишется), а в том, что вы пишите вещи, которые не соответствуют действительности.
В первую очередь, это касается NVMe/TCP прямо целиком, потому что вы почему-то считаете, что это RDMA, хотя это не так. И отсюда строите странные выводы на протяжении всей статьи. Но в том числе и "RDMA over iSCSI/NFS", а про NVMe over RoCEv2 почему-то совсем забыли.
Собственно, RoCEv2 здесь и используется. Но поскольку производитель не считает нужным где-либо упоминать этот термин, мы также воздержались от его использования.
Эм.. Т.е. на самом деле вы всю статью пишите про NVMe over RDMA/RoCEv2, но называете это NVMe over TCP? Это же принципиально два РАЗНЫХ протокола/транспорта.
Ну и даже в блоге, который вы привели, вполне себе указывается все три варианта - "NVMe-oF supports Fibre Channel, RDMA (Remote Direct Memory Access), and TCP/IP protocols", где первый это NVMe/FC, второй NVMe/RDMA (RoCEv2, если речь про Ethernet), третий NVMe/TCP (и в нем нет RDMA).
Влияние RDMA на производительность СХД