根据 Synergy Research 数据显示,2018 年年底全球超大规模数据中心数量已经达到 430 个,美国占据其中 40%。超大规模数据中心的增长势头不减,公司收入每年平均增长 24%,而资本支出增长则超过 40%——其中大部分用于建设和装备数据中心。据思科预测,2021 年全球数据中心流量将增长到每年 20.5ZB,且 95%的数据中心流量将是云流量。在即将到来的 5G 时代,流量的爆发将汇聚成数字海啸。过去几年,海外云厂商经历了从需求爆发到去库存的周期轮回,但随着 5G 到来,我们认为,数据中心的需求增长仍是确定性的。近期市场担心四季度海外能否起量也仅是短期维度的压制因素,随着 2020 年 5G 整体起量,大型数据中心是不可或缺的基础设施。大型数据中心叶脊架构已成主流架构,新的交换模式可以带来更低的延时,传统三层架构退出历史舞台。首先大型云厂商在即将到来的5G时代,以及云进程的进一步深入加速,大型云厂商数据规模越来越大,数据中心内部东西向流量已然占据主导地位,更适于数据中心内部数据交互的扁平胖宽的叶脊架构已成为数据中心的首选。叶脊架构使得数据中心规模变得更大、更扁平化,这使得整个数据中心需要更多的交换机,交换机之间也需要更快的传输速率以及更高的光纤覆盖率来满足内部海量流量的互通。我们在国内市场的走访中已经越来越多听到关于叶脊架构的讨论。交换机之间连接都需要高端光模块来完成,叶脊架构所需高速光模块数量巨大。对于有1000个机柜(单机柜30台服务器)的大型数据中心,总出口带宽1T,单服务器带宽10G,采用传统三层架构,核心层交换机4个,汇聚层交换机20个,接入层交换机2000个。则核心层与汇聚层之间40G/100G高速光模块4*20*2=160个。同样规模下采用叶脊架构的数据中心,需要的叶交换机数量在300个左右(单台叶交换机下行连接100台服务器),则下行带宽100*10G=1000G,为了保证收敛比,上行带宽约为330G,如果采用40G光模块,则对应脊交换机8个,则需要的高速光模块是300*8*2=4800个;如果采用100G光模块,则对应脊交换机4个,则需要的高速光模块是300*4*2=2400个。对比可知,叶脊架构所需的高速光模块数量是传统三层架构的15-30倍。对大型和超大型数据中心而言,随着机柜和服务器数量增加,整体结构将更趋于大型化和复杂化,对应的叶脊架构下所需高速光模块的数量是巨大的,且数据中心规模越大,需求的加速度越大。100G会有较长的生命力,随着400G的启动会逐步放缓,400G元年启动。我们参考Facebook基于叶脊网络架构基础的fabric网络架构,可以看到对于大型数据中心来说,为了实现数据中心内部东西向流量的通信,在二维叶脊架构基础上,进行了三维拓展,实现了一个立体的结构,使得整个数据中心的拓展延申性得到了维度级的提高。通过fabric架构,Facebook可以从容的应对整个数据中心内部东西向流量的爆发带来的通信难题,通过构建了一个互通性极强的立体结构,既保证了数据中心东西向数据通信的畅通,又保证了其大型数据中心规模的可拓展性,使得整个数据中心更具生命力。光端口升级是大型数据中心必经之路。随着数据流量的爆发,云厂商数据中心的扩建和升级需求是显而易见的。目前以云厂商为主的大型和超大型数据中心都已采用叶脊架构,对于叶脊架构而言,为了实现总带宽的升级,只通过提高端口的数量而不升级端口带宽的方法来实现升级并不是理想的方案。大型数据中心由于规模大、机柜量多,日常的运维管理维护的难度更大,对数据中心的结构和布线等要求更高。
谷歌、微软、亚马逊已陆续开启 400G 升级进程。谷歌为了满足带宽需求,一般超大规模数据中心会每 2-3 年对整体网络架构进行一次升级。我们参考 Googe 数据中心升级路线,谷歌在 2013 年第五代数据中心谷歌开始启用 40G,2016 年下半年则开始大规模使用 100G,以此类推 2019 年年底有望开启 400G 规模商用。400G 以太网技术的同步实施,在今后的数年内将会继续增长,成为交换芯片和网络平台上普遍采用的速度。与此同时,微软、亚马逊也于 2019 年陆续开展 400G 升级的前期工作,前期的送样测试工作基本完成,400G 升级进展顺利。交换机芯片发展顺利,各大厂商陆续推出400G交换机。用于交换机的56G PAM-4ASIC(专用集成电路)芯片在不断发展的过程中功能日益强大,这些新型的ASIC可以提供12.8Tbps的带宽,从而使得下一代交换机可提供32个400 Gbps的端口。从时间线上看,Juniper在2018年7月宣布计划将400G创新成果注入到PTX IP传输系列,QFX数据中心系列和MX WAN系列的交换机中。2018年10月,思科加入了400G行列中,宣布面向超大规模云提供商,大型企业数据中心和电信提供商,提供400G交换机。思科为网络用户推出两款新的Nexus 3400-S固定交换机,并为其大型企业和服务提供商常用的应用中心基础设施(ACI)架构推出两款新的Nexus 9000交换机,这四个交换机都向后兼容Cisco的100G平台。QSFP-DD或成400G光模块主流封装形式,400G光模块的三种封装形式。400G共有三种封装形式,分别是QSFP-DD、OSFP和CFP8。与传统的电信接入网传输设备不同,数据中心互联需要实现信息量更大、更密集的传输,要求交换设备拥有更高速率、更低功耗,以及更加小型化。数据中心400G光模块的解决方案是目前主流的QSFP-DD和OSFP两种封装形式。QSFP-DD的尺寸更小,更适合数据中心应用,是主流发展方向;OSFP封装尺寸稍大一些,功耗更大,更适合电信应用。OSFP和QSFP-DD同样在电接口上提供了8个传输通道,支持25GBaud波特率的PAM4信号(50Gb/s),因此可以实现8x50Gb/s=400Gb/s的信号传输。最后一种CFP8封装是三种型号中功耗最高尺寸最大的,其功耗最高达到18w,尺寸是其他两种封装形式的两倍,更适合长距离传输的电信接入网和DWDM转发系统。
光模块主流厂商的进展情况。OSFP和QSFP-DD是400G光模快的的主流封装形式,国内厂商纷纷发力400G的研发生产。在2019年9月深圳举办的光电博览会上,多家企业纷纷展出了400G QSFP-DDDR4、400G QSFP-DD FR4、400G QSFP-DDLR4和400G QSFP-DD SR8等光模块以及400G AOC等产品,表明相关光模块光器件厂家已具备400G的商用能力。从公司官网数据来看,中际旭创具有最全的400G产品线,其次是新易盛,具有规模出货能力,剑桥科技也在今年推出了新品。
转载申明:转载本号文章请注明作者和来源,本号发布文章若存在版权等问题,请留言联系处理,谢谢。
推荐阅读
更多架构相关技术知识总结请参考“架构师全店铺技术资料打包”相关电子书(37本技术资料打包汇总详情可通过“阅读原文”获取)。
全店内容持续更新,现下单“全店铺技术资料打包(全)”,后续可享全店内容更新“免费”赠阅,价格仅收198元(原总价350元)。
温馨提示:
扫描二维码关注公众号,点击阅读原文链接获取“架构师技术全店资料打包汇总(全)”电子书资料详情。