采用SPDK技术优化虚拟机本地存储的IO性能

虚拟机存储前端驱动

我们可以使用virtio-blk作为虚拟机内部的存储驱动，也可以直接使用原生态的NVMe驱动。Virtio-blk可以实现虚拟机与物理机之间快速的数据传输。Virtio是一套标准的半虚拟化协议，专门为虚拟化场景进行设计和优化，能极大的提高虚拟机内部IO的处理性能。Virtio blk是在virtio协议之上实现的块设备半虚拟化接口，能够像其他接口一样，对设备进行格式化，创建文件系统等操作，另外Virtio blk在存储协议层进行了极大了优化，从而减少了协议层的开销。如果在虚拟机内部直接使用原生NVMe驱动，该驱动能直接与SPDK vhost的后端交互，避免了任何协议转换的开销，从而能达到更高的IO性能。

SPDK+vhost

SPDK的全称是Storage Performance Development Kit，它是Intel发起的一组用来编写高性能，高扩展性的用户态存储应用的工具集。官方网址：https://spdk.io/。

SPDK重用了很多DPDK中的一些公共组件，比如内存管理，轮询方式的实现等，SPDK的核心是通过无锁，轮询的方式实现高效的用户态驱动集合：

 -   SPDK将NVMe协议的实现放在用户态，存储应用程序直接通过SPDK提供的API访问设备，不需要Linux内核提供的驱动支持。

  -   SPDK一个重要的设计理念是无锁化，这样避免了多线程由于对锁的争抢而引入的性能开销。

  -   轮询模式，SPDK使用轮询方式处理数据，这样避免了传统中断方式由于上下文切换而引入的性能开销。

NVMe SSD

在增强型DC2中，我们使用了Intel的高性能NVMe SSD，从协议和物理介质上也保证了快速的IO处理。NVMe协议比传统的SCSI带宽更高，延时更低，适合高性能的使用场景。

为了使SPDK技术真正产品化，在使用SPDK本地存储的情况下，我们加入了vhost热升级和QEMU热升级的支持，同时还支持vhost意外退出的自动恢复机制。这样我们可以在虚拟机完全无感知的情况下，在线热修复SPDK和QEMU的问题，升级过程中，我们会确保对虚拟机内部运行程序的影响控制在一定的范围内。

通过对SPDK+vhost整体方案的改造和产品化，我们使用fio工具对虚拟机中的IO操作进行性能测试，IO调度器设置为noop，fio进行IOPS测试的参数为：

--bs=4k 

--rw=randread/randwrite 

--direct=1 

-numjobs=4 

-iodepth=128

在随机读方面，增强型DC2本地存储的IOPS能达到73w左右，随机写能达到47w左右。

fio进行延时测试的参数为：

--ioengine=psync 

--bs=4k 

--rw=randread/randwrite 

--direct=1 

-numjobs=1 

-iodepth=1

在随机读方面，强型DC2本地存储的延时为96us，随机写为23us。