内存互连技术在云上异构池化架构实践

共 2046字,需浏览 5分钟

 ·

2022-02-16 08:36



当前内存架构存在的问题


  • 一个典型集群的内存利用率。当内存资源局限在一台物理服务器内时,则很难提高内存利用率

  • 在分布式计算架构中,通常为了减小节点间数据搬运的开销,会在各节点保存数据副本,消耗了大量内存资源

  • 内存型数据库,PageRank,图计算等场景体现出单点大容量的诉求,而目前常见的解决方案是依靠多路CPU的堆叠,成本较高

  • CPU核心数与内存容量的固定配比,会导致售卖时产生内存碎片

  • 网络从100G向200G/400G演进,而CPU的内存通道数并未等比例增加。按照这个趋势,网络与内存带宽是否会mismatch?


云上内存架构的演进趋势


  1. 单节点大容量:内存型数据库、大数据运算、图计算
  2. 共享内存减少节点间数据副本、实现业务秒级扩/缩容、宕机快速恢复
  3. CPU/Memory解耦vCPU/Mem灵活配比、快速升降内存配置、降低实例内存成本。

新型接口协议与新内存介质

  • 1. 阿里巴巴作为CXL的创始成员和Gen-Z的主要成员,推动了生态伙伴的不断完善,参与了协议的制定、使用场景分析以及原型搭建。
  • 2. Compute Express Link 是开源的互联协议规范。CXL提供高带宽,低时延的处理器与异构加速器之 间的互联。其物理层基于PCIe 5.0. CXL的内存一致性和内存语义的特点,可以有力支持节点内的内存扩展应用。
  • 3. Gen-Z是以内存为核心的平面化架构的互联协议。在Gen-Z体系中,任何部件都可以发起对其他部件内存的操作,不再需要host的角色。且CPU与内存解耦,内存可以独立scaleout。Gen-Z 的物理层可以支持远距离传输,与CXL互补。
  • 4. Storage Class Memory (SCM) 作为新出现的可持久化内存,与DDR相比,可以带来更好的TCO以及数据的可靠性。

分布式共享内存创新架构

  • 全局访问:为云上应用程序提供一致本地和远端(全局)内存系统;本地可作为远端cache或近端内存,本地和远端统一呈现
。
  • 极致时延:并提供跨节点间us级数据访问,构建适合内存语义的互联技术,获得极致时延。
  • 单机容量:突破单机内存容量
;容量
当前受限于CPU封装技术,单机容量有限,受限于服务器物理尺寸,DIMM形式转向卡式。
  • 弹性共享:提供极致内存弹性和数据共享,基于扩展内存,实现内存容量物理解耦,数据直接共享,避免IO栈带来开销。

构建云上异构池化架构

  • 本地的高性能DDR可以服务对SLA要求高的应用,扩展内存池可以作为容量上的补充
  • 扩展内存池的实现可以是FPGA下挂DDR或SCM,通过一致性接口如CXL,与处理器互联
  • 将支持内存语义的高性能互联协议如GenZ,覆盖到FPGA的网络端口,构建Memory Fabric
  • FPGA还可以作为近内存计算引擎,加速如加解密,压缩/解压缩等操作

异构内存池化架构的收益

  • 1. 支持业务快速扩容,秒级弹性,宕机快速恢复
  • 2. CPU/Mem灵活配比,快速升降内存配置
  • 3. 实现计算与内存解耦,内存独立scale out,降低系统TCO,满足大内存容量诉求
  • 4. 减少数据副本,降低内存开销
  • 5. 基于SCM的内存池,降低内存TCO的同时可以作为本地持久化方案
  • 6. 近内存池计算带来的性能提升。

下载链接:

内存互连技术在云上异构池化架构实践

实现PCI Express 5.0和CXL设计的最大吞吐量和最低延

Hyperion_Research:CXL and Gen-Z Consortiums Combine Forces

内存技术篇

《1、半导体行业存储器技术研究》

《2、存储器结构性分道篇-重内存》




下载链接:

内存互连技术在云上异构池化架构实践

实现PCI Express 5.0和CXL设计的最大吞吐量和最低延

Hyperion_Research:CXL and Gen-Z Consortiums Combine Forces

内存技术篇

《1、半导体行业存储器技术研究》

《2、存储器结构性分道篇-重内存》

CCIX缓存一致性互联技术概述

ARM CPU处理器资料汇总(1)

ARM CPU处理器资料汇总(2)

ARM系列处理器应用技术完全手册

CPU和GPU研究框架合集


本号资料全部上传至知识星球,更多内容请登录智能计算芯知识(知识星球)星球下载全部资料。





免责申明:本号聚焦相关技术分享,内容观点不代表本号立场,可追溯内容均注明来源,发布文章若存在版权等问题,请留言联系删除,谢谢。



电子书<服务器基础知识全解(终极版)>更新完毕,知识点深度讲解,提供182页完整版下载。

获取方式:点击“阅读原文”即可查看PPT可编辑版本和PDF阅读版本详情。



温馨提示:

请搜索“AI_Architect”或“扫码”关注公众号实时掌握深度技术分享,点击“阅读原文”获取更多原创技术干货。


浏览 105
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报