RDMA技术场景和参数优化-技术圈

RDMA是一种直接内存访问技术，RDMA 通过网络把资料直接传入计算机的存储区，将数据从一个系统快速移动到远程系统存储器中，而不对操作系统造成任何影响，这样就不需要用到多少计算机的处理功能。它消除了外部存储器复制和文本交换操作，因而能解放内存带宽和CPU 周期用于改进应用系统性能。这允许高通量、低延迟的网络通信，尤其适合在大规模并行计算机集群中使用。

常见的 RDMA 实现包括 iWARP、RoCE 与 InfiniBand。其中，InfiniBand 是超级计算机最常用的技术，其可以做到 1ms 的延迟及超过 100Gb 每秒的传输速率。这对于超大规模的计算机集群是必要的。超级计算机、人工智能，云计算的数据中心都会受益于 InfiniBand 的卓越效能。世界 TOP500 超级计算机（2017年 6 月排行榜）中 36%使用了 InfiniBand 技术。

Mellanox 提供从 HPC（高性能计算中心）、数据中心、WEB2.0、机器学习、云服务器等解决方案，并专门针对目前火热的人工智能算法进行了架构优化。其客户包括 Facebook、Paypal、NVIDIA、百度、京东、腾讯等。

E级超算已经成为世界各国在超算领域追逐的新目标。目前，由江南计算所、国防科大和中科曙光公司根据不同技术路线研制的三台 E 级原型系统已经完成并分别安装在济南、天津和深圳国家超级计算中心。据 Hyperion Research 公司按照系统验收的时间估算，2021 至 2026 年期间，全球将建成 28～38 台 E 级或接近 E 级的超级计算机，总价值约在 100～150 亿美元。

在实现上，RDMA 实际上是一种智能网卡与软件架构充分优化的远端内存直接高速访问技术，通过将 RDMA 协议固化于硬件(即网卡)上，以及支持 Zero-copy和 Kernel bypass 这两种途径来达到其高性能的远程直接数据存取的目标。其通信过程使得用户在使用 RDMA 时具备如下优势：

➢ 零拷贝(Zero-copy) - 应用程序能够直接执行数据传输，在不涉及到网络软件栈的情况下。数据能够被直接发送到缓冲区或者能够直接从缓冲区里接收，而不需要被复制到网络层。

➢ 内核旁路(Kernel bypass) - 应用程序可以直接在用户态执行数据传输，不需要在内核态与用户态之间做上下文切换。

➢ 不需要 CPU 干预(No CPU involvement) - 应用程序可以访问远程主机内存而不消耗远程主机中的任何 CPU。远程主机内存能够被读取而不需要远程主机上的进程（或 CPU)参与。远程主机的 CPU 的缓存(cache)不会被访问的内存内容所填充。

➢ 消息基于事务(Message based transactions) - 数据被处理为离散消息而不是流，消除了应用程序将流切割为不同消息/事务的需求。

➢ 支持分散/聚合条目(Scatter/gather entries support) - RDMA 原生态支持分散/聚合。也就是说，读取多个内存缓冲区然后作为一个流发出去或者接收一个流然后写入到多个内存缓冲区里去。

目前，RDMA 技术在超算、AI 训练、存储等多个高性能场景大量部署，已形成广泛应用。但是 RDMA 技术路线也有很多，用户及各家厂商对于 RDMA 技术路线的选择也不尽相同。

在三种主流的 RDMA 技术中，可以划分为两大阵营。一个是 IB 技术, 另一个是支持 RDMA 的以太网技术(RoCE 和 iWARP)。其中，IBTA 主要聚焦 IB 和 RoCE 技术，而 iWARP 则是在 IEEE/IETF 标准化的技术。

在存储领域，支持 RDMA 的技术早就存在，比如SRP(SCSI RDMA Protocol)和iSER(iSCSI Extensions for RDMA)。如今兴起的 NVMe over Fabrics 如果使用的不是 FC 网络的话，本质上就是 NVMeover RDMA。换句话说，NVMe over InfiniBand, NVMe over RoCE 和 NVMe over iWARP 都是 NVMe over RDMA。

下载链接：

《RDMA技术参考文献汇总》

《RDMA技术合集（下）》

1、总线级数据中心网络技术白皮书.pdf

2、RDMA提高数据传输效率.pdf

3、配置 InfiniBand 和 RDMA 网络.pdf

4、华为RDMA.pdf

5、面向AI智能无损数据中心网络.pdf

6、面向分布式 AI智能网卡低延迟Fabric技术.pdf

7、NVMe存储SPDK 加速前后端 IO.pdf

8、基于RDMA多播机制的分布式持久性内存文件系统.pdf

9、云环境下分布式存储性能优化实践.pdf