架构师技术联盟

本文来自“《他山之石系列：交换机专题合集》”“交换机专题：国内外交换机发展趋势研究”，据IDC数据，2022年，全球交换机市场规模为3080亿元，同比增长17%，预测2022-2027年CAGR约为4.6%；中国交换机市场规模为591亿元，同比增长9.5%，预计未来5年增速高于全球增速，稳定在7%-

本文来自“模型即服务：MaaS框架与应用研究报告（2024年）”，随着以大模型为核心的人工智能技术的深入发展，模型即服务(MaaS，Model as a Service)作为一种新型人工智能服务模式焕发新生。本章将明确MaaS的概念及主要的服务能力范围，剖析大模型时代MaaS快速发展的必然性，阐述M

更多内容请参考“鲲鹏CPU软件性能调优（精编版）”，从硬件特点分析如何进行性能调优，同时还介绍了项目中性能调优的思路和常用性能采集工具。“终极版：服务器基础知识全解(182页PPT)”和“2024中国服务器CPU行业概览：信创带动服务器CPU国产化”。鲲鹏处理器为核心的华为TaiShan服务器在国产

算⼒需求爆发式增⻓ vs. 算⼒硬件演进呈现领域化、规模化、异构化特征，应⽤的算⼒外需求驱动操作系统在调度机制上突破，新算⼒硬件体系对调度机制造成了多⽅⾯的挑战。本文来自“面向新算力硬件体系的调度技术挑战”，重点分析面向新算力硬件体系的调度技术挑战，以及应对之道。推荐阅读：2024年半导体分析洞察（

目前，AGI处于研发阶段，大模型是实现AGI的重要路径。AI大模型通过预先在海量数据上进行大规模训练，而后能通过微调以适应一系列下游任务的通用人工智能模型。在“大数据+大算力+强算法”的加持下，进一步通过“提示+指令微调+人类反馈”方式，实现一个模型应用在很多不同领域。人工智能的发展已经从“大炼模型

根据Hyperion Research在2024年国际超级计算大会（ISC 2024）前发布的年度HPC市场更新报告，2023年HPC市场整体规模约为370亿美元。由于供应链问题和一些大型系统（如E级系统）的接受度放缓，市场表现相对平稳。本地化服务器收入下降了2.7%，而与HPC相关的云端支出则显著

本文来自“Computex 2024 AMD主题演讲：CPU+GPU+UA互联厂商”，6月3日，AMD在台北 ComputeX 2024 大会上详细展示了其在CPU、GPU及UA互联等方面的最新产品：Zen 5：展示被苏姿丰称之为“迄今为止性能最高、能效最高的处理器核心”——全新

本文参考自“模型变革：云端融合为趋势（2024）”，从GPT-1到GPT-5，GPT模型的智能化程度不断提升。ChatGPT在拥有3000亿单词的语料基础上预训练出拥有1750亿个参数的模型（GPT-2仅有15亿参数），预训练数据量从5GB增加到45TB。AI对云厂商资本开支需求的拉动始于2023年

在深入探究 AI 智算网络的领域时，我们发现市场中主要存在两大主流架构：InfiniBand 和RoCEv2。更多内容参考：“智算中心网络架构设计实践（2023）”、“英伟达InfiniBand：面向AIGC的技术优势分析”、“InfiniBand与RoCE对比分析：AI数据中心网络选择指南”、“关

本文来自“2024面向未来的算力网络连接：中国算力网络市场发展白皮书”，数据中心是用以集中放置计算机系统、通信和存储等设备的基础设施。只提供场地和机柜的数据中心，一般称为DC（Data Center），而同时提供带宽服务的数据中心，一般称IDC（互联网数据中心Internet Data C

HBM即高带宽存储，由多层DRAM Die垂直堆叠，每层Die通过TSV穿透硅通孔技术实现与逻辑Die连接，使得8层、12层Die封装于小体积空间中，从而实现小尺寸于高带宽、高传输速度的兼容，成为高性能AI服务器GPU显存的主流解决方案。目前迭代至HBM3的扩展版本HBM3E，提供高达8Gbps的传

本文来自“英伟达Blachwell平台网络配置详解”。GTC大会英伟达展示了全新的 Blackwell 平台系列产品，包括 HGX B100 服务器、NVLINK Switch、GB200Superchip Computer Node、Quantum X800 交换机和 CX8 网卡（InfiniB

AI大模型的快速发展推动“算力”和“存力”需求快速增长，“内存墙”问题由来已久，在 AI 时代表现的愈发明显，“算力”和“运力”之间的差距越来越大。Transformer 类的模型参数的数量呈现指数增长，每两年增加 410 倍，而 GPU 内存仅以每两年 2 倍的速度扩展。1、AI时代“内存墙”问题

本文转自“英伟达：下一代GPU细节曝光”。Nvidia 正在准备该公司的 GeForce RTX 50 系列 (Blackwell) 产品，以与最好的显卡相竞争。著名硬件泄密者 @kopite7kimi 声称，根据他的信息，Blackwell系列的内存接口配置不会与Ada Lovelace系列有太大

随着AI技术和相关应用的不断发展，大模型、大数据和AI计算能力在AI发展中的重要性日益凸显。大模型和数据集构成AI研究的软件基础，而AI算力是关键的基础设施。在本文中，我们将探讨AI发展对数据中心网络架构的影响。下载链接：AI数据中心网络架构需求：400/800G光模块Fat-Tree数据中心网络架

本文来源于“沙利文：2023年中国服务器操作系统行业市场研究报告”。得益于新基建快速推进、政策引导下信创产业的蓬勃发展，国产服务器操作系统正逐步崛起。中国基础软件根技术自主掌控能力重视程度不断提高，越来越多的中国企业已经意识到其重要性，正在以更加积极拥抱的态度面对服务器操作系统领域的国产化替代趋势。

InfiniBand（IB）是由InfiniBand贸易协会（IBTA）建立的先进计算机网络通信标准。它在高性能计算（HPC）中的广泛采用归功于它能够为网络传输提供卓越的吞吐量、带宽和低延迟。InfiniBand是计算系统内部和外部的关键数据连接。无论是通过直接链路还是通过网络交换机进行互连，Inf

根据TrendForce的数据，AI服务器的出货量约为130,000台，占全球服务器总出货量的约1%。随着微软、Meta、百度和字节跳动等主要制造商相继推出基于生成式AI的产品和服务，订单量显著增加。预测显示，在ChatGPT等应用的持续需求推动下，从2023年到2027年，AI服务器市场预计将保持

NVIDIA NVLink已成为高性能计算（HPC）和人工智能领域的关键技术。本文深入探讨了NVLink的复杂性，并介绍NVSwitch芯片、NVLink服务器和NVLink交换机，以揭示其在不断演进的先进计算领域中的重要性。关于CPU、服务器和存储详细技术，请参考“服务器基础知识全解(终极版)”，

01、术语与基础大模型训练一般都是用单机 8 卡 GPU 主机组成集群，机型包括 8*{A100,A800,H100,H800} 。下面一台典型 8*A100 GPU 的主机内硬件拓扑：| 典型 8 卡 A100 主机硬件拓扑本文来自“高性能GPU服务器硬件拓扑与集群组网”。本节将基于这张