收藏:应用场景高性能测试方法(高性能计算)

共 4223字,需浏览 9分钟

 ·

2022-03-10 11:28



本文选自“服务器应用场景性能测试方法(高性能计算),本文的测试对象为用于高性能计算场景的服务器。本文件中使用的高性能计算场景包括通用场景 及各行业(制造行业、基因行业及气象行业)场景等。


下载链接:

服务器应用场景性能测试方法(高性能计算)

测试平台由计算节点、高速互联网络组件、存储组件、管理与散热组件组成。用户通过 STAR-panel 进行测试运行。计算节点和部分高速互联组件,向 STAR-microbench STAR-proxy 反馈性能信息。计算节点、高速互联网络组件、存储组件和散热与管理组件,向 STAR-panel 反馈功耗信息。

用例参数的取值应使得服务器正常运行的情况下CPU达到满载,每个用例测试3次,结果取平均值。运行某一应用所需要的时间,单位为秒(s),应用运行过程中,服务器的平均功率,单位为瓦(w)


1、通用测试用例 

在行业应用以外,HPC 领域有一些非常专业、有影响力、有代表性的应用可以体现高性能计算各 项性能,本文件选取其作为高性能计算领域的通用测试用例。


高性能共轭梯度(HPCG)基准项目是一项旨在创建用于对 HPC 系统进行排名的新指标的工作。HPCG旨在作为高性能 LINPACKHPL)基准的补充,该基准目前用于对 TOP500 计算系统进行排名。HPL的计算和数据访问模式仍然代表着一些重要的可伸缩应用程序,但不是全部。HPCG 旨在行使与不 同而广泛的重要应用程序更加紧密匹配的计算和数据访问模式,并激励计算机系统设计人员投资于将影 响这些应用程序总体性能的功能。


本测试使用HPCG官网提供的开源版本:OpenHPCG 进行测试。


2、制造行业 

制造行业测试用例、工具及指标按照表的要求。


a) OpenFOAM 用例 

OpenFOAM 的前身为 FOAMField Operation and Manipulation 的简写),后来作为开源代 码公布到网上,任何人都可以自由下载和传播它的源代码。目前 OpenFOAM 有两个版本: 


1) 官方版本:www.openfoam.org 该版本以 Herny weller 为首的 OpenCFD 公司维护。该版本主要基于有限容积方法,功能 比较强大,目前商业 cfd 软件 cfxfluent 能够支持的功能 openfoam 基本都能够支持。 



2) dev 版本:Hrvoje Jasak 为首的在 openfoam 官方版本进行扩充,除了官方版本的有限容积 方法,dev 版本支持有限元、有限面积等。OpenFOAM 是一个完全由 C++编写的面向对象计算流体力学(CFD)软件包,采用类似 于我们日常习惯的方法在软件中描述偏微分方程的有限体积离散化,支持多面体网格(比如 CD-adapco 公司推出的 CCM+生成的多面体网格),因而可以处理复杂的几何外形,其自带的 snappyHexMesh 可以快速高效的划分六面体+多面体网格,网格质量高。支持大 型并行计算,目前针对 OpenFOAM 库的 GPU 运算优化也正在进行中


b) Mini App 用例 1—AMG-2013 

AMG-2013 是一个线性系统的并行代数多重网格求解器,用于求解非结构化网格。在稀疏矩 阵计算,计算流体力学(CFD)中,AMG 方法占据着重要地位,是 CFD 领域的核心求解器之 一。AMG-2013 由美国劳伦斯-利弗莫尔实验室应用计算中心研发并在 GPL-2.1 许可证下开源。本用例将使用 AMG-2013 求解一个大型拉普拉斯方程,利用的计算方法为并行共轭梯度下降方法。每节点求解格点数为 100663296 个。 



c) Mini App 用例 2—MiniFE 

miniFE 全称有限元方法求解器,用于模拟流体力学中常见的隐式非结构化网格求解过程。此 处选用该应用是为了考察 HPC 服务器在这类经典计算场景中的综合性能。



3、基因行业

基因行业测试用例、工具及指标按照表的要求。



a) GATK 用例 

生命科学研究是 ARM HPC 所探索的关键领域之一。生物信息学是生命科学研究中以计算机 为工具对生物信息进行存储、检索和分析的科学,其研究重点体现在基因组学(Genomics) 和蛋白质组学(Proteomics),分析序列中表达结构功能的生物信息。生物信息测序技术包括一代、二代、三代测序技术,当前领域主要应用为二代和三代测序技术。两代测序技术分别对应不同生信软件的移植及使用,二代测序核心软件为GATK 工具集, 三代测序为 CANU。 



GATK, Genome analysis Toolkit. 使用最广泛的二代测序分析软件,重视数据质量、基因分 析、变异查找,是 SNPs Indels 检测的行业标准软件。GATK 最初设计为人类基因和外显子 分析,后来扩展为能对其它任何生物体、有机体进行分析。GATK 提供了一种人工编码算法, 将统计数据应用到测序机器最容易出错的地方。


b) CAUN 用例

Canu 是第三代基因测序工具的一种,专门用于集成 PacBio Oxford Nanopore 基因序列。Canu 处理流程分为3个步骤:correctiontrimmingassembly,每一步又由许多小步骤组成。一般情况下。3个步骤都会执行,但是可以用-correct,-trim or assemble 指定运行哪一步(如果 你想对 reads 做一次 correct 操作,尝试别的不同的方法做 assemble)。大多数算法都可以实现 多线程(在一个node 上使用多个core),并行化(使用 grid 中的多个 node),或者两者都有。具体选用 CANU 开源算例 PacBio 来进行评测。


c) Mini App1 用例—wtdbg

Wtdbg2 是一个三代测序数据(同时适用于 pacbio nanoporedenovo 组装软件,它是一款基 于 C 语言开发的开源软件。Wtdbg2 是从头序列装配器,用于由 PacBio Oxford Nanopore TechnologiesONT)产生的长噪声读取。它组装原始读取而不进行纠错,然后从中间组装输 出建立共识。Wtdbg2 能够以比 CANU FALCON 快几十倍的速度组装人类甚至 32Gb Axolotl 基因组,同时产生可比的碱基精度的重叠群。



d) Mini App2 用例—NGS Analyzer-MINI 

NGS Analyzer-MINI 基于基因分析软件 NGS Analyzer,由日本理研所基因药学研究中心开发。NGS Analyzer 快速地分析由下一代基因测序软件输出的数据并能够更准确的识别人与人之间 的基因差异或者肿瘤细胞的突变。



4、气象行业 

气象行业测试用例、工具及指标按照表的要求。


a) WRF 用例及算例 

WRFWeather Research and Forecasting Model),是一个天气研究与预报模型,可以用来进 行精细尺度的天气模拟与预报,由美国环境预测中心(NCEP),美国国家大气研究中心(NCAR) 等美国的科研机构为中心开发一种统一的气象模式,分为 ARW(the Advanced Research WRF) 和 NMM(the Nonhydrostatic Mesoscale Model)两种,即研究用和业务用两种形式,分别由 NCEP NCAR 管理维持着,适用于从数十米到数千公里的各种气象应用,是HPC 应用的重要场景之一。具体算例选择使用 Conus 2.5 km 开源算例来进行应用的评测。 



b) Mini App1 用例—NICAM-DC-MINI

Nicam-dc-mini NICAM-DC 应用的一个子集,它包含了运行一个斜压波浪测试的最小计算 流程。斜压波浪测试是一个著名的重现不稳定斜压震荡的大气循环模型。Nicam-dc-mini 保留 了其计算负载的特征,同时加入了完整的性能评测方法。



c) Mini App2 用例—COSMO

COSMO 是一个 1998 年开发的非流体静力学的在限定区域内的大气预测模型。COSMO 基于 原始的热流体动力学方程,描述了湿润大气中的可压缩流,常被用于数值气象预报以及其他基于该模型的科学计算。



本文选自“服务器应用场景性能测试方法(高性能计算)”,绿色计算产业联盟,简称“GCC”。自成立以来 GCC 以协同构建绿色、开放、自主、共享生态体系为目标,致力于推动绿色计算产业发展,GCC 已经成为拥有包括天津飞腾、海 思、MarvellAmpere 等全球最完整的 Arm 基础架构服务器芯片伙伴的全球联盟。截至目前,GCC 已 有单位会员近百家,包括芯片、设备和软件厂商,用户以及相关研究机构、高等院校等。


载链接:
服务器应用场景性能测试方法(高性能计算)
Lustre文件系统操作手册(2021)
Lustre文件系统技术汇总(1)
Lustre文件系统技术汇总(2)
Lustre文件系统技术汇总(3)
Lustre文件系统技术汇总(4)
Lustre文件系统关键特性(1)
Lustre文件系统关键特性(2)
Lustre文件系统关键特性(3)
Lustre文件系统关键特性(4)
Lustre文件系统关键特性(5)
Lustre常见解决方案汇总(1)
Lustre常见解决方案汇总(2)
高性能计算HPC方案及技术汇总

本号资料全部上传至知识星球,更多内容请登录智能计算芯知识(知识星球)星球下载全部资料。




免责申明:本号聚焦相关技术分享,内容观点不代表本号立场,可追溯内容均注明来源,发布文章若存在版权等问题,请留言联系删除,谢谢。



电子书<服务器基础知识全解(终极版)>更新完毕。

获取方式:点击“阅读原文”即可查看182页 PPT可编辑版本和PDF阅读版本详情。



温馨提示:

请搜索“AI_Architect”或“扫码”关注公众号实时掌握深度技术分享,点击“阅读原文”获取更多原创技术干货。


浏览 102
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报