GPU、CPU和DRAM接口互联技术

本文来自“AI服务器：详解接口互联芯片技术”，据 TrendForce 数据，AI 服务器出货约13万台，占全球服务器出货约1%，展望2023年，Microsoft、Meta、Baidu 与 ByteDance 相继推出基于生成式 AI 衍生的产品服务而积极加单，预估 23 年 AI 服务器出货量年增率可望达 15.4%，且随着未来 ChatGPT 对 AI 服务器需求用量，预计 2023-2027 年 AI 服务器将以 12.2%年复合增速成长。

服务器算力篇：

• 算力竞赛，开启AI芯片、光模块和光芯片需求
  

• AI算力租赁行业深度研究（2023）
  

• 大模型算力：AI服务器行业（2023）
  

• 计算设备算力报告（2023年）
  

• UCIe封装与异构算力集成
  

• 算力技术未来发展路径概述（2023）
  

• AI算力研究框架：时势造英雄，谋定而后动（2023）
  

• 算力网络：在网计算（NACA）技术
  

• 一文理解“高广深”先进算力网络
  

• 联邦学习算力加速方案（2023）
  

• 中国AI服务器算力市场规模及空间测算（2023）
  

• 多样性算力：新一代超异构计算架构
  

• 大模型AI算力剧增，谁来扛国产GPU大旗？
  

• 超级芯片GH200发布，AI算力是H100两倍
  

• 中国绿色算力发展研究报告（2023年）
  

• 详解：算力网络基础知识（2023）
  

• AIGC算力全景与趋势报告（2023）
  

• AI科普报告（2023）：算法、算力、数据和应用
  

• 国内外AI芯片、算力综合对比
  

• 华为算力编年史（2023）
  

• AI算力研究框架（2023）
  

• 大模型训练，英伟达Turing、Ampere和Hopper算力分析
  

• AI大语言模型原理、演进及算力测算

• 大算力模型，HBM、Chiplet和CPO等技术打破技术瓶颈
  

• 走进芯时代：AI算力GPU行业深度报告

DGX H100 于 2022 年推出，是 NVIDIA 的 DGX 系统的最新迭代产品，也 是 NVIDIA DGX SuperPOD 的基础。DXG 服务器配备 8 块 H100 GPU，6400亿个晶体管，在全新的 FP8 精度下 AI 性能比上一代高 6 倍，可提供 900GB/s 的带宽。

在 DGX H100 服务器内部，蓝色方块为 IP 网卡，既可充当网卡又可发挥 PCIe Switch 扩展功能，成为 CPU 与 GPU（H100）之间互联的桥梁。其内部采用 PCle 5.0 标准。此外，CX7 以网卡芯片的形式做成 2 块板卡来插入服务器，每 4 个 CX7 芯片组成一块板卡并且对外输出 2 个 800G OSFP 光模块口。

而 GPU（H100）之间互联主要通过 NV Switch 芯片来实现。每个 DGXH100 内的一个 GPU 向外伸出 18 个 NVLink ，单链双向带宽为 50 GB/s，共计18*50GB/s=900GB/s 双向带宽，拆分到 4 个板载的 NV Switch 上去，因而每个NV Switch 对应 4-5 个 OSFP 光模块（共计 18 个）。每个 OSFP 光模块采用 8 个光通道，每个通道的传输速率为 100Gbps，因此总速率高达 800Gbps，能够实现高速的数据传输。

1、CPU、GPU等组件互联：PCIE Switch、Retimer芯 片

PCIe Switch 即 PCIe 开关或 PCIe 交换机，主要作用是实现 PCIe 设备互联， PCIe Switch 芯片与其设备的通信协议都是 PCIe。由于 PCIe 的链路通信是一种端对端的数据传输，因此需要 Switch 提供扩展或聚合能力，从而允许更多的设备连接到一个 PCle 端口，以解决 PCIe 通道数量不够的问题。目前 PCIe Switch 不仅已经被广泛应用在了传统存储系统中，而且在部分服务器平台也逐渐普及，用于提高数据传输的速度。

PCIe 总线技术升级，PCIe Switch 每代速率提升。 PCIe 总线是 PCI 总线的 高速串行替代品。2001 年，Intel 公布取代 PCI 总线的第三代 I/O 技术——“3GIO”，2002 年该项技术经过 PCI 特殊兴趣组织（PCI-SIG）审核后正式改名为“PCI Express”，标志着 PCIe 的诞生。2003 年，PCIe 1.0 正式发布，可支持每通道传输速率为 250MB/s，总传输速率为 2.5 GT/s。2007 年 PCI-SIG 宣布推出 PCI Express Base 2.0 规范。在 PCIe 1.0 的基础上将总传输速率提高了一倍，达到 5 GT/s，每通道传输速率从 250 MB/s 上升至 500 MB/s。2022 年 PCI-SIG正式发布 PCIe 6.0 规范，将总带宽提高至 64 GT/s。

随着PCIe 在服务器中越来越广泛地被应用，PCIe Switch 的市场需求也被带 动起来。根据 QYResearch（恒州博智）的统计及预测，2021 年全球 PCIe 芯片市场销售额达到了 7.9 亿美元，预计 2028 年将达到 18 亿美元，年复合增长率（CAGR）为 11.9%。

中国是 PCIe Switch 最大市场。 随着服务器对海量数据存储与传输的要求日 益提高，PCIe Switch 市场发展成为一片蓝海。中国是全球最大的电子产品生产和消费国家之一，在大数据、云计算、人工智能等领域，需要大量高速互联解决方案来实现海量数据传输。而 PCIe Switch 作为高速互联解决方案，在中国市场具有极大的需求。

在 AI 服务器中，GPU 与 CPU 连接时至少需要一颗 Retimer 芯片来保证信号 质量。具体而言，很多 AI 服务器都会配置多颗 Retimer 芯片，例如 Astera Labs在 AI 加速器中配置了 4 颗 Retimer 芯片。

PCIe Retimer 蓝海市场三足鼎立，潜在竞争者跃跃欲试。 目前谱瑞-KY、 Astera labs、澜起科技是 PCIe Retimer 蓝海市场中的三家主要厂商，占据领先地位。其中澜起科技布局 PCIe 较早，是全球可量产 PCIe 4.0 Retimer 的唯一中国大陆供应商，且目前 PCIe 5.0 Retimer 研发顺利。

此外，包括瑞萨，TI，微芯 科技等在内的芯片厂商也在积极投入 PCIe Retimer 的产品研发中。根据官网信息，瑞萨可提供包括 89HT0816AP 和 89HT0832P 在内的两款 PCIe 3.0 Retimer产品；TI 可提供一款 16Gbps 8 通道 PCIe 4.0 Retimer——DS160PT801；同样地，微芯科技于 2020 年 11 月发布 XpressConnect 系列 Retimer 芯片，可支持PCIe 5.0 的 32GT/s 速率。

2、GPU与 GPU连接：NVLink、NVSwitc h

全球各大芯片厂商均在关注高速接口的相关技术，除了 NVDIA 的 NVLink 之 外，AMD 的 Infinity Fabric 和 Intel 的 CXL（Compute Express Link）等也为服务器内部的高速串联提供了解决方案。

不断迭代更新的 NVlink 掀起高速互联技术革命。 NVLink 是一种由 NVIDIA 开发的高速互连技术，旨在加快 CPU 与 GPU、GPU 与 GPU 之间的数据传输速度，提高系统性能。从 2016 年到 2022 年，NVLink 已经迭代至第四代。

2016 年，NVDIA 发布了 Pascal GP100 GPU 所搭载的新的高速接口芯片— — NVLink ， 这 是 第 一 代 NVLink 。NVLink 采 用 High-Speed Signalinginterconnect（NVHS）技术，主要用于 GPU 与 GPU 之间、GPU 与 CPU 之间的信号传输。GPU 之间传输 NRZ（Non-Return-to-Zero）编码形式的差分阻抗电信号。第一代NVLink单链可实现40 GB/s的双向带宽，单芯片可支持4链路，即 160 GB/s 的总双向带宽。

此后，NVLink 历经多次迭代更新，掀起了高速互联技术革新浪潮。2017 年， 基于 Volta 架构的第二代 NVLink 发布，单链可实现 50 GB/s 的双向带宽，单芯片可支持 6 链路，即 300 GB/s 的总双向带宽。2020 年，基于 Ampere 架构的第三代 NVLink 发布，单链可实现 50 GB/s 的双向带宽，单芯片可支持 12 链路，即 600 GB/s 的总双向带宽。2022 年，基于 Hopper 架构的第四代 NVLink 发布，传输信号变为 PAM4 调制电信号，单链可实现 50 GB/s 的双向带宽，单芯片可支持 18 链路，即 900 GB/s 的总双向带宽。

2018 年 NVDIA 发布了第一代 NVSwitch，为提高服务器内部带宽、降低延 迟、实现多 GPU 间通信提供了解决方案。第一代 NVSwitch 采用台积电 12nmFinFET 工艺制造，共有 18 个 NVLink 2.0 接口。一台服务器内部可以通过 12 个NVSwitch 支持 16 个 V100 GPU，实现以 NVLink 最高速率互联。

目前 NVSwitch 已经迭代至第三代。第三代 NVSwitch 采用 TSMC 4N 工艺 构建，每个 NVSwitch 芯片上拥有 64 个 NVLink 4.0 端口，GPU 间通信速率可达 900GB/s，这些通过 NVLink Switch 互联的 GPU 可用作单个高性能加速器，拥有深度学习的功能。

3、CPU 与 DRAM高速互联，拉动内存接口芯片

服务器内存模组主要类型为 RDIMM、LRDIMM ，相较于其他类型内存模 组，服务器内存模组对稳定性、纠错能力以及低功耗均有较高要求。 内存接口芯片是服务器内存模组的核心逻辑器件 ，是服务器 CPU 存取内存数据的必由通路。 其主要作用是提升内存数据访问的速度及稳定性，满足服务器 CPU 对内存模组日益增长的高性能及大容量需求。

从 DDR4 至 DDR5，内存接口芯片速率持续升级 。2016 年开始，DDR4 成 为内存市场的主流技术，为了实现更高的传输速率和支持更大的内存容量，JEDEC 组织进一步更新和完善了 DDR4 内存接口芯片的技术规格。在 DDR4 世代，从 Gen1.0、Gen1.5、Gen2.0 到 Gen2plus，每一子代内存接口芯片所支持的最高传输速率在持续上升，DDR4 最后一个子代产品 Gen2plus 支持的最高传输已达 3200MT/s。随着 JEDEC 组织不断完善对 DDR5 内存接口产品的规格定义，DDR5 内存技术正在逐步实现对 DDR4 内存技术的更新和替代。

目前 DDR5 内存 接口芯片已经规划了三个子代，支持速率分别是 4800MT/s、5600MT/s、6400MT/s，行业内预计后续可能还会有 1~2 个子代。

内存接口芯片按功能分为两类，分别为是寄存缓冲器（RCD）以及数据缓冲 器（DB）。 RCD 用来缓冲来自内存控制器的地址、命令、控制信号，DB 用来缓 冲来自内存控制器或内存颗粒的数据信号。

DDR5 内存模组升级带来内存接口芯片及模组配套芯片新机遇。 2016 年全 球内存接口芯片市场规模约 2.8 亿美元，2018 年达到约为 5.7 亿美元，三年年化增长率为 40%。DDR5 升级，将带来内存接口芯片市场规模攀升。相较于 DDR4， 由于 DDR5 支持速率更高、设计更为复杂， DDR5 第一子代内存接口芯片的起始单价比 DDR4 内存接口芯片更高。 同时，随着 DDR5 内存在服务器、PC 端的渗 透率逐步提升，DDR5 相关内存接口芯片市场规模有望实现高速增长。

内存接口芯片行业壁垒高，三足鼎立格局已经形成。 内存接口芯片是技术密 集型行业，需要通过 CPU、内存和 OEM 厂商的全方位严格验证后，方可进行大规模使用，新的玩家很难介入。随着技术难度不断升级，内存接口芯片玩家从DDR2 世代的 10 多家到 DDR4 世代只剩 3 家，行业基本出清，三足鼎立格局已经形成。在 DDR5 世代，全球只有三家供应商可提供 DDR5 第一子代的量产产品，分别是澜起科技、瑞萨电子（IDT）和 Rambus。

更多InfiniBand技术，请参考文章“ 英伟达Quantum-2 Infiniband技术A&Q ”，“ InfiniBand高性能网络设计概述 ”，“ 关于InfiniBand和RDMA网络配置实践 ”，“ 高性能计算：RoCE v2 vs. InfiniBand网络该怎么选？ ”，“ 收藏：InfiniBand与Omni-Path架构浅析 ”，“ InfiniBand网络设计和研究（电子书更新） ”，“ 200G HDR InfiniBand有啥不同？ ”，“ Infiniband架构和技术实战(第二版) ”，“ 关于InfiniBand架构和知识点漫谈 ”等等。

免责申明： 本号聚焦相关技术分享，内容观点不代表本号立场，可追溯内容均注明来源，发布文章若存在版权等问题，请留言联系删除，谢谢。
推荐阅读 更多架构相关技术知识总结请参考“架构师全店铺技术资料打包(全)”相关电子书(41本技术资料打包汇总详情可通过“ 阅读原文 ”获取)。 全店内容持续更新，现下单“架构师技术全店资料打包汇总(全)”一起发送“ 服务器基础知识全解(终极版) ”和“存储系统基础知识全解（终极版） ” pdf及ppt版本，后续可享全店内容更新“免费”赠阅，价格仅收249元(原总价 399 元)。

温馨提示：

扫描 二维码 关注公众号，点击 阅读原文 链接 获取“ 架构师技术全店资料打包汇总(全) ” 电子书资料详情 。