数据库技术的发展依靠应用需求的牵引力和新硬件产品的推动力。最近十几年，新硬件产品对数据库系统设计的影响一直是一个比较热门的主题。期间最主要的硬件技术进步是多处理器(SMP)、多核(MultiCore)、大内存(Big Memory)和SSD。

新硬件对数据库设计的影响

多处理器、多核的流行促使了数据库系统设计要考虑充分利用多处理器和多核的并行处理能力，传统数据库的设计针对的是单一处理器或少数几个处理器的场景，并没有把重心放在这里。多核多处理器对数据库系统的高并发需求演进到了并行需求，这也是为什么 1990 年代并行数据库技术的研究非常热门。

而 SSD 的出现大大提高了块设备的处理能力(很高的 IOPS和很低的延迟)，极大的缓解了慢速磁盘设备给数据库系统带来的挑战。可是 SSD 的物理特性(擦写、寿命等)又和磁盘存在较大的差别。

很多研究和创新都集中在基于 SSD 的新存储引擎设计上，试图发明一些新的引擎，既可以充分利用 SSD 设备的 IO 能力，又避免其擦写和寿命的问题。甚至有一些研究试图针对数据库的特点，定制 SSD 的访问 API。

现在回顾来看，传统的引擎，包括 Oracle、SQL Server 等的磁盘引擎并没有针对 SSD 做出什么明显的改变，倒是 SSD 直接替换了磁盘，凭借优秀的 IO 能力就已经解决了很多现实问题。大内存对产品改变主要体现在 SQL Server 等增加了内存引擎，也出现了很多的内存数据库产品。

最近几年，针对 NVM 的研究和开发出现得更多了一些，针对 NVM 设计一个全新的引擎更多的属于学术研究和创业企业的范围，企业产品更多的是针对产品的某些部件做一些改进，例如 Oracle、SAP HANA、SQL Server 等。

除了NVM之外，还有一些硬件，例如 GPU、FPGA、RDMA 等也一直受到关注。其中，GPU、FPGA对数据库而言，起到的主要是对特定操作加速的作用，因此大多用在 OLAP 的场景。

新硬件引入的不同阶段

针对新硬件的引入，可以分为以下几个阶段：

纯粹的学术研究阶段：主要的参与者为学术机构以及各大公司的研究部门。通常的做法是针对新硬件完全从头设计一个新的存储引擎，并评估各种设计的可能，然后以此原型为基础，实现 SQL 等功能。主要目的是研究各种潜在的可能性，并发表论文和专利等。偶尔也会有人根据论文创立公司。
工程化的研究阶段：主要的参与者为各大公司的研究部门或实验室。做法一般比学术研究要务实一些，通常基于现有的产品做局部性的改造或者融合新老产品。在此过程中也可能会产生一些工程性的论文或专利等。此时，也可能会出现一些创业性公司。
产品化阶段：主要的参与者是公司的工程化团队，也会有研究部门或实验室的参与。到了这一阶段就可以认为技术已经足够成熟。在商业化产品足够成熟后，小型的产品或一些开源的产品也会逐步采纳相关的技术。

新硬件相关的数据库产品

多处理器、多核、大内存、SSD 等的进步，对实际系统的影响要相对小一点；也就是说现有系统不做大的改动，实际上也很继续跑。对多处理器和多核的支持主要体现在并行处理上，这实际上也是 1990 年代的研究主流，因此在现有的商业产品中早就得到了不同程度的优化。

大内存主要促进了内存数据库引擎的发展，不仅出现了很多新型的内存数据库如 MemSQL、HANA 等，传统产品中也出现了一些新的内存引擎，如 SQL Server 的 Heckton。SSD 领域的研究虽然很多，但是对实际产品的影响似乎不大。业界明显可以看到的反而是 LSM 类引擎的流行，例如以 RocksDB 为代表的 KV 存储引擎。

GPU、FPGA、NVM/SCM等t硬件设备本身很比较特殊，因此对数据库系统的影响要相对大很多。而且由于它们也不像处理器、内存、SSD 那样通用，早期很多公司都把产品设计为专用的 Appliance，近些年则大多是在大型互联网公司的机房内进行规模化部署。专用性比较强的设备意味着可以做深度的定制开发，充分发掘其优势；反

过来，也意味着数据库的通用性可能会受限制，不利于用户的采纳。GPU、FPGA 都适合做特定的数据库操作的加速，容易想到的如数据的 SCAN 以及谓词过滤，大量数据的排序，大表的 JOIN、聚集等操作。甚至有一些 CPU 厂商或 SSD 厂商也可以利用 FPGA 或处理器的富余计算能力，在做压缩、CRC、加解密之外，也来加速数据库操作。

硬件技术: GPU

GPU技术日益成熟，GPU在特殊数据应用加入方面也得到了发展和应用。GPU相关的数据库创业公司主要有 Kinetica (2009 年成立)、 SQream (2010 年成立)、 ParStream (2011 年成立)、PG-Strom (2012 年 NEC)、MapD (2013 年成立)等。

硬件技术: FPGA

FPGA在OLAP领域最出名的产品应该是Netteza。此外还有KickFire(2005) 等公司。前者被IBM收购，后者被 Teradata 收购，发展都不是很理想，市场上的声音也小了很多。最近几年，互联网公司又在FPGA的加速方面做了很多探索，例如微软用 FPGA 来加速网卡的处理，百度用 FPGA 来加速查询处理等。

硬件技术: NVM/SCM

NVM作为很多种持久化内存形态的总称，最近几年因为Intel推出了相关的产品DCPMM(基于3D XPoint非易失性存储/内存技术)，Optane数据中心持久化内存技术引起了更广泛的关注。SAP HANA等产品也与 Intel 合作，提供了一些改进的版本。主要的数据库厂商如 Oracle、SQL Server 等也不甘落后。此外，CMU等研究机构也发表了相关领域的论文。

原文链接：

https://zedware.github.io/NEW-HARDWARE

转载申明：转载本号文章请注明作者和来源，本号发布文章若存在版权等问题，请留言联系处理，谢谢。

推荐阅读

更多架构相关技术知识总结请参考“架构师技术全联盟书店”相关电子书(35本技术资料打包汇总详情可通过“阅读原文”获取)。

内容持续更新，现下单“架构师技术全店打包汇总(全)”，后续可享全店内容更新“免费”赠阅，格仅收188元(原总价270元)。

温馨提示：

扫描二维码关注公众号，点击阅读原文链接获取“架构师技术全店资料打包汇总(全)”电子书资料详情。

数据库：如何正确搭讪GPU、FPGA和SCM技术？