存储需求爆发之下，成本与性能还能否两全？

作者｜康翔

来源｜胖头陀

英特尔宣布已于近日开始生产的第三代英特尔®至强®可扩展处理器（代号“Ice Lake”）将于2021年第一季度实现规模量产。

作为俄罗斯最大的在线社交平台，VKontakte（意为“接触”，以下简称：VK）的全球注册用户超过了2亿，支持包括中文在内的86种语言。按照Alexa的数据统计，VK全球流量排名第14位，在俄罗斯则排名第一位。

每天，VK用户查看90亿条帖子、观看6.5亿个视频、发送100亿条消息，顺道还要点数十亿次的“赞”。这么说吧！在一年的时间里，VK用户会上传至少600PB的新数据，其中包括大量照片和视频，这些数据以及用户在网上的各种动作必须永久存储。

由于所有的数据必须通过网络进行流传输，同时还需要保证为用户提供最佳的应用感受，因此数据存储基础设施已经成为VK最大成本支出，能够占据到公司年度预算的60%至65%。

基于此，如何让现有的1.1EB数据在“住得好”的前提下，更进一步地优化存储总体拥有成本（TCO），就成为VK首当其冲的紧迫需求，并且将会长期影响到公司的长远发展。

业务现状与需求

毫无疑问，数据理应存储在距离上传位置较近的地方，无论业务逻辑，抑或是应用体验，都需要VK做出这样的选择。

目前，VK拥有三个主要的数据中心，以及差不多19000台服务器。数据的访问由30个内容分发网络（CDN）提供支持，以此加快最热数据的访问速度。

然而我们知道，俄罗斯疆土广阔，城市之间的距离非常远，因此VK需要出色的CDN缓存基础设施在靠近用户的位置存储数据，以便用户在使用VK的社交网络平台时，能够获得良好的体验。

此前，VK在其CDN服务器上采用的是三层数据缓存结构：首先是热数据，这主要是最近上传到网络且仍被经常访问的数据；温数据则是不再被频繁访问的数据——通常是最长一个月前上传的数据；冷数据是那些很少被访问的数据。

在这种结构下，随着数据的由热变温、由温转冷，数据会逐渐向下层移动，存储到不同的介质上。

在采用新技术之前，CDN中的冷数据存储在遍布俄罗斯的分布式数据网络中的硬盘上，温数据存储在SATA固态盘中，而热数据则存储在DRAM里。

此外，基于Nginx Web服务器的数据库服务器使用SATA固态盘和硬盘来存储数据，使用DRAM来存储索引。

显然，将DRAM用做存储介质，在性能上绝对是一流的，足以支撑最严苛的需求。然而，DRAM的缺陷也显而易见，那就是过于昂贵，而且断电就会造成数据的丢失。

热数据是维持社交网络热度的核心资源，VK希望能够找到一种更加经济而且能够保持极高性能的存储方案。

需要指出的是，为了满足各种各样的用户设备需求，VK采取的办法是为每个图像存储多个不同的副本，这种做法的效果立竿见影，但是也会占据更大的空间，为此VK同样寻求一种更加高效的方法。

现代化的架构改造

在英特尔的帮助下，VK对其存储架构进行了现代化的改造。

首先，针对CDN 服务器，VK将原有的热数据从昂贵的DRAM转移到英特尔傲腾固态盘DC P4800X系列，并且通过引入英特尔傲腾持久内存，来取代DRAM来处理相关工作负载，由此降低单位比特的成本（见图一）。

图一 在全新的存储解决方案里，VK采用性能更出色的固态盘来存储温数据，采用成本更低的快速存储器来存储热数据，达到了成本和性能的完美平衡

通过英特尔傲腾固态盘P4800X系列，VK可以经济地消除数据中心存储的性能瓶颈，便于处理更大、更具性价比的数据集。如果工作负载支持英特尔傲腾持久内存特有的App Direct模式，那么内存就具备了持久性，数据也不会因断电而消失。

在VK新的存储架构中，温数据存储在非易失性存储器 (NVMe) 英特尔固态盘D5-P4320系列上。与以前的固态盘相比，英特尔固态盘D5-P4320系列的性能更好，能够为热数据提供强劲的支持，提供良好的用户体验。

得益于新的存储架构，热数据和温数据均可以保存在固态盘上，帮助VK大大降低了DRAM的用量，在降低成本的同时，用户的应用感受没有任何的缩水。

对于数据库服务器，VK引入了英特尔傲腾持久内存来存储数据库索引（见图二），将数据库本身从硬盘或SATA固态盘迁移到非易失性存储器(NVMe) 英特尔固态盘D5-P4320系列，有效地提高了性能和存储密度。

图二 全新存储解决方案的一大亮点，是将索引从昂贵的DRAM迁移到性价比更高的英特尔傲腾持久内存

众所周知，英特尔傲腾持久内存具有更强的内存寻址能力，可以有效地提升数据库的性能，而将数据从DRAM迁移到英特尔傲腾持久内存，还可极大地降低数据库索引的存储成本。

更低成本，更高性能

新的数据库服务器和CDN服务器，均是基于两颗英特尔至强金牌6238处理器、六块英特尔固态盘D5-P4320系列、八套英特尔傲腾持久内存，以及两个25Gbps网卡。

此前的服务器采用了英特尔至强金牌6230处理器，升级到新的处理器后，系统拥有了更好的存储和计算性能，而且优化了总体拥有成本，能够从计算能力中获得更出色的每瓦性能。

VK在2020年的预测显示，升级处理器为VK降低了一半的计算成本，将每瓦性能提高了33%（见图三），而且实现了性能的显著提升。

图三 降本增效，英特尔至强金牌6238处理器真的是名不虚传

为了进一步优化存储并提高能效，VK正在部署采用英特尔Arria 10 GX FPGA的英特尔可编程加速卡（英特尔PAC，见图四），并运行 CTAccel 图像处理器工作负载。

图四 采用英特尔Arria 10 GX FPGA 的英特尔PAC概念和内部视图

通过采用低功耗、单槽、半高PCIe英特尔PAC，VK可以在各类服务器中轻松部署多个FPGA。与在通用处理器上运行的软件相比，FPGA可以通过提供定制硬件大幅加速应用功能。

此外，通过利用FPGA的可配置性，VK能够将高分辨率图像即时转换为所需的大小和格式，这样就只需存储高分辨率图像，从而减少了总体存储需求。与VK测试过的其他解决方案相比，这一方案还能显著提高能效。

据估计，通过引入全新的存储解决方案，VK可以节省总计数亿美元的成本。新的存储解决方案能够在1U服务器中存储高达0.4PB 的数据，因此VK只需更少的机架就能存储相同数量的数据。

得益于以上，在数据中心的空间、供电和散热等方面，VK还将实现持续不断的成本节约，让IT投资发挥出最大的价值。

通常人们总是说，“又要马儿跑，又要马儿不吃草”是一对矛盾，在现实中难以两全。不过，通过采用英特尔最新技术构建存储架构，VK却真正实现了“以更低成本获得更高性能”。

据悉，该公司还计划在未来引入英特尔固态盘D5-P4326系列，从而进一步降低成本、增加存储容量。无疑，VK的案例既有启示意义，更有实践价值，值得更多客户思考与借鉴。