异构算力统一标识与服务白皮书(附下载)
文章参考“异构算力统一标识与服务白皮书”,白皮书内容覆盖 异构算力产业发展现状、 异构算力发展需求、异构算力统一标识和资源抽象等。
下载链接:异构算力统一标识与服务白皮书
当前算力网络架构中的算力可以由不同的硬件架构组成,一般包括 CPU、GPU、FPGA 和 AISC 等类型;CPU 主要有 X86 和 ARM,虽然 ARM 设计之初作为面向低功耗等场景推出的定制化的 ASIC 芯片,但是随着 ARM 在服务器和嵌入式终端的广泛应用,目前也是作为通用芯片来应用和部署;GPU 主要是快速实现矢量的图形化数据处理的专有架构;FPGA 作为可编程逻辑门电路在硬件加速等方面具有优势;而面向特定场景的处理需求需定制专用芯片来进行处理,比如当前针对深度学习设计的各种 TPU、NPU 属于领域的定制的 ASIC。
CPU 采用冯诺依曼架构,将计算分为取指、译码、发射、执行、写回等几个阶段,通过软件调度,可以完成任意特点计算。当前 CPU 的架构已经相当复杂,并且真正有效计算在 CPU 整体功耗比例中不到 10%,所以 CPU 适合控制复杂,而计算密度不高的应用场景。X86 CPU 在数据中心和云计算领域具有统治地位,而ARM CPU 由于其低功耗、低成本的特点占据绝大部分终端市场。另一方面,随着国内在推动国产化服务器的布局,ARM 服务器也已经逐渐进入数据中心作为异构算力的组成部分。
GPU 采用的是 SIMD/SIMT 架构,虽然本质上还是冯诺依曼架构,但减少了取值、译码开销,GPU 同样具有很强的通用性,以 NVIDIA 为代表的 GPU 厂商,培养了非常好的 GPU 生态系统,为用户提供了非常方便的开发环境,所以 GPU 在高性能计算、图像处理和 AI 领域都有非常广泛的应用。
FPGA 为现场可编程门电路,可以认为是细粒度可重构芯片,FPGA 非常适合数据流驱动的计算架构,具有高空间并发和低时延的特点,理论上 FPGA 可以实现任意功能,但 FPGA 开发周期比较长,同时对开发人员的专业技能要求也比较高,这些都影响了 FPGA 的应用场景。
ASIC 是一种专用芯片,与传统的通用芯片有一定的差异,是为了某种特定的需求而专门定制的芯片。ASIC 芯片的计算能力和计算效率都可以根据算法需要进行定制,所以 ASIC 与通用芯片相比,具有以下几个方面的优越性:体积小、功耗低、计算性能高、计算效率高、芯片出货量越大成本越低。但是缺点也很明显,只能针对特定的某个或某几个应用场景,一旦算法和流程变更可能导致 ASIC无法满足业务需求。
高性能计算 HPC,主要应用在气象、地震、勘探等科学计算领域,一般是建设一定规模的计算集群通过高速网络互联。高性能计算项目中的算力一般使用X86 CPU 和中高端 GPU,近期 ARM 处理器的集群逐渐增多,在某些专用领域也可使用 FPGA 和 ASIC 来加速计算。
另外一种 HPC 的方案是分布式计算,利用分散的计算机和其它终端的闲置处理能力来解决大型计算问题,如生物病理研究、药物研究、寻找地外文明的信号等项目。主要利用的是 X86 CPU、消费级的显卡等算力资源。
物联网(IOT)通过各种信息传感器设备,实时采集任何需要监控、连接、互动的物体或过程,采集其声、光、热等各种需要的信息,通过各类网络接入,实现物与物、物与人的泛在连接,实现对物品和过程的智能化感知、识别和管理。
物联网的应用场景包括工业物联网、家庭物联网、车联网等各种应用场景。物联网网关通过支持各种协议将数据收集、转换、传送到云端进行处理,不同应用场景对物联网网关的性能要求差别较大,传统的物联网网关采用配置低功耗 X86 或者 ARM 处理器的小型计算设备。物联网网关的趋势是承担更多的数据处理的任务,对算力的要求越来越高。
IOT 从传感器收集数据,网关做初步计算分析,在边缘云处做本地分析和处理,然后汇聚到数据中心,进行大数据处理和分析。
边缘计算和 5G 的大带宽、低延时相辅相成,边缘计算是在网络边缘为应用开发者和内容服务商提供所需的云端计算功能、互联网技术服务环境等。边缘计算在靠近数据源、终端设备的位置对数据进行处理。边缘计算对算力的要求较高,在视频和图像识别、语音识别等场景需要较大算力,需配置 SoC、GPU、ASIC 或FPGA 等加速处理芯片。边缘计算所需算力分布广泛,可分布于智能装备、工业控制器、传感器、ICT 融合网关和边缘云等处。
人工智能研究的主要目标是使机器能够胜任一些通常需要人类智能才能完成的复杂工作。人工智能的研究领域包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能的三要素是算力、算法和数据。人工智能的算力主要是 GPU、ASIC、FPGA、TPU 等。人工智能在不同层面使用不同算力水平的 GPU,如手机终端上的 GPU、边缘计算中的推理 GPU、数据中心的训练 GPU。
异构算力的统一标识是实现在算力网络连接范围内异构芯片的统一标识。实现异厂家和多数据中心算力资源接入算力网络内部以期能够共同打造算力流通,算力溯源以及确保数据在可信算力环境中可管可控提供切实有效的保障机制。建立异构算力统一标识,其出发点主要基于以下三个方面:
可信算力:基于统一标识,实现算力可信接入、安全认证和鉴权,打造算力安全有效的计算环境,切实保障算力网络安全有效的生态环境;
算力溯源:基于统一标识,可以实现算力溯源,实现算力在云、边、端侧的溯源和安全等级;
算力度量:基于统一标识,构建算力度量,实现算力在分场景下的算力匹配和专家推荐,从而实现算力在联盟范围内的流通。
异构算力统一标识和认证体系架构保障在一个算力联盟内部接入的算力资源提供切实可信的计算环境和算力溯源机制,从而让上层用户应用程序能够在保证数据安全、稳定、有效的计算环境中正常运行和处理;同时,结合不同应用场景提供算力度量机制,为算力流通提供可度量、可推荐的算力评价机制。
依据上述架构图,异构算力统一标识在原有多云接入方式下,通过各家厂商的云系统的 PIM 接口上报异构算力的具体信息,对于非云系统采用其他适配层的方式纳管算力资源。
在算力接入过程中需要通过第三方认证中心进行算力认证并且发放签名证书并通过操作系统保存在可信区中。当算力经过自有云系统或者第三方接口上报至统一资源模型时,需要凭借授权的证书进行认证鉴权,只有经过认证合法的算力才能够作为可信算力纳入到算力管理中,并且经过统一资源模型成为算力资源。
为了给上层用户提供安全可靠的异构算力使用生态环境,包括中国联通在内的整个行业实现异构算力公平可靠的流通,数据能够在可管可控的可信计算环境下安全有效的进行处理。需要具有公立的第三方安全可靠的鉴权认证中心实现可信算力的认证鉴权,并且为了能够降低算力使用者的使用门槛,需要构建统一的资源模型,进行有效的管理,并且能够建立标准的算力度量机制,从而保障算力公平、可靠的流通。
异构算力的统一调度系统框架,按照分层结构,其总体技术架构如下图所示:
面向异构计算节点资源实现统一的资源实时感知,并且对上层提供资源抽象和应用调度抽象,以满足上层多场景需求的使用,具体如下:
该层衔接应用业务对资源的需求与系统资源的统一调度,以用户友好的应用资源需求表示方式和交互界面屏蔽异构算力的资源调度复杂性,实现调度器使用者与统一调度系统之间对作业的联动控制和实时反馈。
该引擎根据应用的资源需求匹配最佳的异构算力资源分配,作业调度流程和策略具有高度模块化、灵活组合、可插件式扩展等能力。一方面满足调度器管理者对系统资源分配目标的统一控制,如控制不同场景任务的资源分配额度、优化系统特定维度资源的使用效率等;另一方面满足调度器使用者的应用个性化资源和业务模型需求,如控制多个应用间的运行依赖行为、资源竞争关系等。应用获取可使用资源的调度过程主要分为作业排队和资源分配两个阶段,其中作业排队用于决定当前优先获得调度资格的作业序列顺序,影响作业调度顺序的因素多种多样,如当前用户或所在组织的资源配额限制、作业之间的启动依赖关系、作业所在排队序列的资源分配策略及可调度份额等。
提供对插件式调度策略的控制面管理能力,根据调度器系统所服务的应用场景配置作业调度各阶段的策略启用行为,满足目标应用的异构算力资源调度需求;提供对租户面的资源配额、运行限制等多维度层次化管理配置能力。
该层实时收集系统内各节点的异构算力资源数量,感知硬件拓扑及运行健康变化,反馈到调度引擎用于匹配作业的资源需求。资源信息感知的反馈及时性对调度引擎的决策实时性和准确性至关重要。
统一调度核心流程满足多租户场景下的算力配额、多用户优先级(作业选择策略框架)、多任务CPU、NPU、GPU、ARM、TPU(资源调度策略框架)算力需求。
作业调度流程主要分为作业选择和资源分配两个阶段,其中作业选择阶段决定了作业调度的优先级,资源分配阶段决定了作业需求资源的最终分配方式。以批处理类作业和长时服务类作业为例,不同负载类型对应不同的核心调度流程和策略。
下载链接:异构算力统一标识与服务白皮书
1、行业深度报告:GPU研究框架
2、信创产业研究框架
3、ARM行业研究框架
4、CPU研究框架
5、国产CPU研究框架
6、行业深度报告:GPU研究框架
免责申明:本号聚焦相关技术分享,内容观点不代表本号立场,可追溯内容均注明来源,发布文章若存在版权等问题,请留言联系删除,谢谢。
电子书<服务器基础知识全解(终极版)>更新完毕,知识点深度讲解,提供182页完整版下载。
获取方式:点击“阅读原文”即可查看PPT可编辑版本和PDF阅读版本详情。
温馨提示:
请搜索“AI_Architect”或“扫码”关注公众号实时掌握深度技术分享,点击“阅读原文”获取更多原创技术干货。