CXL：破解AI时代“内存墙”新途径

AI大模型的快速发展推动“算力”和“存力”需求快速增长，“内存墙”问题由来已久，在 AI 时代表现的愈发明显，“算力”和“运力”之间的差距越来越大。Transformer 类的模型参数的数量呈现指数增长，每两年增加 410 倍，而 GPU 内存仅以每两年 2 倍的速度扩展。

1、AI时代“内存墙”问题愈发明显

AI 大模型的快速发展推动“算力”和“存力”需求快速增长，与此同时，对“运力”也提出了更高的需求。“运力”是指在计算和存储之间传输数据的能力，AI 时代，系统需要更大的运力，需要更高的带宽、更快的传输。

“内存墙”问题由来已久，在 AI 时代表现的愈发明显，“算力”和“运力”之间的差距越来越大。“内存墙”指内存的性能提升速度远低于处理器的性能提升速度，从而导致处理器无法充分发挥其计算能力。由于内存的读写速度相对较慢，处理器在等待数据从内存中读取或写入时会出现空闲状态，从而限制了系统的性能，即使增加处理器数量和核数，也无法有效提高整体的计算能力。Transformer 类的模型参数的数量呈现指数增长，每两年增加 410 倍，而 GPU 内存仅以每两年 2 倍的速度扩展。

2、CXL 高速互联应运而生，提高内存利用效率

CXL(Compute Express Link)技术是一种新型的高速互联技术，旨在提供更高的数据吞吐量和更低的延迟，同时实现内存共享、提高内存利用效率，为化解“内存墙”问题提出新的解决方案。它最初由英特尔、AMD 和其他公司联合推出，并得到了包括谷歌、微软等公司在内的大量支持。CXL 的目标主要是为了解决 CPU 和设备、设备和设备之间的内存鸿沟，解决内存分割造成的较大浪费、不便和性能下降。CXL 通过将计算和存储分离，形成内存池，从而能动态按需配置内存资源，提升效率。

3、CXL 技术优势明显

与 PCIe 技术相比，CXL 技术具有优势。1）CXL 延迟较低，通常为 10ns，而 PCIe的延迟为 100ns。2）CXL 支持内存一致性，一致性的缺乏限制了 PCIe 应用程序。3）CXL 地址空间可按定义缓存，PCIe 地址空间通常不可缓存。但相较于 PCIe 庞大且成熟的生态系统，CXL 目前应用并不广泛，仍有广阔的发展空间。

4、CXL 版本持续升级迭代

CXL 历经 5 个版本的升级发展，内存共享和设备的灵活性增强。CXL1.0 于 2019年 3 月发布，后历经 1.1、2.0、3.0 版本，2023 年 11 月，CXL 联盟发布了最新的CXL3.1 版本。随着 CXL 技术的不断演进，未来数据中心各个计算节点和内存节点的互联将更加快速、高效和灵活。

CXL1.0 及 1.1 版本归为一代标准，二者相比并没有较大的区别。CXL2.0 发布于2020 年，新增了切换、内存池化、按需内存分配、IDE（完整性和数据加密）功能。

CXL3.0 版本在三个关键领域进行重大改进。1）PCIe 协议由 PCIe5.0 上升到PCIe6.0，传输速率由 32GT/s 提升至 64GT/s；2）CXL3.0 可以支持更加灵活的 Switch拓扑；3）除了支持内存池化，CXL3.0 还进一步支持内存共享。

CXL3.1 新版本对横向扩展 CXL 进行了结构改进、增加了新的可信执行环境功能，并对内存扩展器进行了改进。1）支持使用全局集成内存（GIM）通过 CXL 结构进行主机间的通信，这可以大大提高系统性能。2）通过 CXL 对内存事务的直接点对点支持来增加 GPU 内存的使用效率，这对于处理大规模数据集和 AI 工作负载非常有帮助。

5、国际巨头纷纷加入CXL联盟

CXL 联盟由英特尔牵头成立，目前成员已经超过 255 个成员，涵盖了主要的 CPU、内存、存储和网络设备制造商。国际巨头纷纷加入 CXL 联盟，积极布局 CXL 技术，推出支持 CXL 技术的产品，助力 CXL 的发展。

6、CXL联盟定义了三种类型的设备

CXL 标准定义了三个协议：1）CXL.io 协议本质上是 PCIe 5.0 的改进，用于初始化、链接、设备发现和列举以及寄存器访问。2）CXL.cache 协议定义了主机和设备间的交互，允许连接的 CXL 设备以极低的延迟高效地缓存主机内存。3）CXL.mem 协议提供了主机处理器，使用加载和存储命令访问设备连接的内存。

CXL 联盟定义了三种类型的设备，分别支持不同的子协议。CXL.io 协议用于初始化和链接，所以必需获得所有 CXL 设备的支持，如果该协议发生故障，链接就无法运行。第一种设备用于智能 NIC 等设备。第二种设备用于带有内存的加速器，如 CPU、GPU、FPGA 等。第三种设备用于内存拓展和池化。

7、CXL市场空间广阔，DRAM占据主要份额

CXL 高速互联目前处于市场应用的早期阶段，未来有望迎来快速发展，采用 CXL协议服务器的占比持续提升。根据 Yole 的预测，到 2025 年，采用 CXL 协议的数据中心服务器占比达到 60%左右，到 2027 年，这一数据将接近 100%。Yole 预测到 2028年，CXL 市场总收入将超过 150 亿美元。

DRAM 占据 CXL 市场的主要份额，国际巨头纷纷进行布局。Yole 预计到 2028 年，DRAM 市场规模达到 125 亿美元，占到 CXL 市场规模的 79%。三星和海力士相继推出了采用 CXL 内存控制器的 CXL 内存模组。2023 年 5 月，三星电子推出其首款支持CXL2.0 的 128GB DRAM，加速下一代存储器解决方案的商用化进程。

相关阅读：

• Arm架构升级，v9与v8版本有何差异？
• 从X86到ARM，跨越CPU架构鸿沟

• ARM vs x86云数据库性能深度测评与对比

• 从Arm v8到v9，服务器发展之路

• ARM与x86：有何区别？

• Arm增长突出，中国服务器市场占比达16%

• 分布式软件：X86/ARM CPU混合部署

• Arm竞争加剧，全球众多巨头涌入

• ARM处理器架构和天梯图解析

• 信创始于芯：Arm64体系结构编程与实践

• ARM v8处理器概述、架构、及技术介绍
  

• 飞腾系和鲲鹏系：国产Arm架构CPU服务器正在崛起
  

• Fujitsu A64FX：继承SPARC64架构的Arm超级处理器
  

• 收藏：从全球超算战略看ARM指令架构在HPC领域的发展
  

• 众多科技巨头涌入ARM，国内研发进展及玩家详解
  

• 亚马逊最新Arm服务器芯片详解

• 计算芯片变革：ARM取代x86成为趋势

• 国内外AI芯片、算力综合对比
  

• 华为算力编年史（2023）
  

• AI算力研究框架（2023）
  

• 大模型训练，英伟达Turing、Ampere和Hopper算力分析
  

• AI大语言模型原理、演进及算力测算

• 大算力模型，HBM、Chiplet和CPO等技术打破技术瓶颈
  

• 走进芯时代：AI算力GPU行业深度报告

转载申明：转载本号文章请注明作者和来源，本号发布文章若存在版权等问题，请留言联系处理，谢谢。

推荐阅读

更多架构相关技术知识总结请参考“架构师全店铺技术资料打包(全)”相关电子书(41本技术资料打包汇总详情可通过“阅读原文”获取)。

全店内容持续更新，现下单“架构师技术全店资料打包汇总(全)”一起发送“服务器基础知识全解(终极版)”和“存储系统基础知识全解（终极版）”pdf及ppt版本，后续可享全店内容更新“免费”赠阅，价格仅收249元(原总价399元)。

温馨提示：

扫描二维码关注公众号，点击阅读原文链接获取“架构师技术全店资料打包汇总(全)”电子书资料详情。