数据中心液冷方式优缺点对比及浸没式液冷表面强化处理
数据中心运维管理
共 6685字，需浏览 14分钟
·
2023-03-11 00:21
摘要：
本文介绍数据中心传统换热方式，以及当前常用的三种液冷方式，并描述了三种液冷的组成形式，比较三种液冷方式各自的优缺点，并分别从节能、噪声、占地、布置方式、环境需求、服务器可靠性、维护支出和客户接受程度等方面进行有针对性的介绍，为今后液冷技术在特定场景下的应用提供参考依据。此外，针对浸没式液冷技术，微米、纳米级表面改性及表面工程能够增大换热表面积、改善毛细能力和增加成核位点密度来促进成核沸腾，已成为提高浸没式液冷系统池沸腾传热性能的重要课题。
关键词：数据中心；浸没式液冷；冷板；喷淋；强化换热
01、液冷系统的介绍 传统数据中心的散热方式为风冷，即使用空气作为冷媒，对服务器的发热部件进行换热，带走热量的技术。而IDC液冷系统是指使用液体取代空气作为冷媒，为发热部件进行换热，带走热量的技术。采用液冷方式时必须要使用液冷服务器。该服务器是指将液体注入服务器，通过冷热交换带走服务器的散热的一种服务器。
液冷系统的组成主要包含一次侧换热部分和二次侧换热部分，一次侧是指从服务器带走热量并二次侧进行环路介质进行散热的环路，二次侧是指将一次侧的热量排至室外环境或其他热回收单元的环路。 02、液冷方式的主要形式
液冷形式主要分为喷淋式、冷板式和浸没式，三种的主要区别体现在对服务器的散热方式不同。喷淋式液冷是将冷却液通过喷淋的方式淋在服务器的散热元件上带走服务器产生的热量；冷板式液冷是在服务器的CPU等大功耗部件采用液冷冷板散热，其他少量发热器件（如硬盘、接口卡等） 仍采用风冷散热系统；浸没式液冷是指将服务器的发热元器件完全浸没在冷却液中，通过冷却液的对流或相变将服务器的热量带走的散热系统。其次，喷淋式浸没式的服务器没有风扇，而冷板式服务器存在风扇。具体介绍如下： 喷淋式液冷系统
喷淋式直接液冷是面向电子设备器件精准喷淋、直接接触式的液冷技术，冷却液可通过重力或系统压力直接喷淋至IT设备的发热器件或与之相连接的固体导热材料上，并与之进行热交换实现对IT设备的热管理。在热交换的工作过程中，IT设备内冷却液的自由液面低于被冷却的发热器件或与之连接的固体导热材料，系统可通过IT设备外部的换热单元对冷却液换热，满足循环使用要求。
冷板式液冷系统
冷板式液冷机柜的基本工作原理描述如下：采用冷板组件与高热流密度元件接触，发热量经由冷板组件中的冷却介质导出，再经由一个或多个冷却回路热交换传递，最终将设备热量散发到外环境或进行回收利用的一种液冷实现方式。
浸没式液冷系统
浸没式液冷机柜的基本工作原理描述如下：通过把电子信息设备浸没在冷却液中，由冷却液带走热量的一种散热形式。根据冷却液散热过程中的形态不同，分为相变与单相液冷。
充分利用自然冷源，节能效果明显
液冷机柜可以充分利用室外的冷源。液冷机柜除冷板液冷之外，一般喷淋和浸没式液冷的服务器侧进出冷却液的温度在40℃～45℃左右，而室外侧的环境温度一般都能够满足对冷却液的散热要求，喷淋和浸没液冷均能全部采用室外冷源进行服务器的散热，总体PUE效果提升明显，并且可以充分利用自然冷源，节能效果极其明显。
三种液冷方式的PUE均能达到1.2以下，尤其是喷淋式和浸没式液冷系统节能效果更加明显，相对于风冷而言约节约20%的空调电能，再加上因取消服务器内部风机，IT部分电能可节省13％～25％，总体的节能效果在40％以上。
对当前的碳排放而言，浸没式和喷淋式液冷其输出的水侧温度比较高，具有废热回收利用价值，如结合部分余热利用，节能效果会有显著提升的空间之外，也能降低整体数据中心的碳排放强度。
机房可实现低噪声
机房的噪声主要来自服务器的风扇，根据国家现行规定，有人值守的主机房和辅助区，在电子信息设备停机时，位于主操作员 位 置 测 量 的 噪 声 值 应 小 于65dB（A）。随着大型数据中心的不断出现，主机房包含上百台网络设备规模的数据中心现象变得普遍。当这些设备同时工作时，大部分的噪声接近或超过65dB，该数值均在设备正常运行和负载50％～60％ 的情况下测试出的噪声值，如果全速工作，风扇可调速，则噪声值只能更高。当环境噪声超过80dB 时，人员已经无法在该环境里长时间工作，欧美的法律也规定，如果工作场所的噪声达到80dB～85dB时，须提供相应的职业保护。
而采用喷淋和浸没形式的液冷，服务器内部的风扇均不存在，直接去除主要噪声源，因此噪声值可以降到低于30dB以下，即使采用冷板式液冷，一般风扇在较低的转速下工作，噪声较之于常规风冷形式更低，噪声值也有极大改善。
另外由于液冷系统的自身特点，减少了常规冷源部分（如冷水机组、空调室外机等），也能很大程度上降低对环境的噪声影响，对于数据中心的布置及周围环境而言，相对容易且友好。
占地面积较小
由于液冷系统结构简单，且可以充分利用自然冷源，减少了常规数据中心的冷源及附属设备及管道等布局，系统简单，占地面积小，加上一般液冷机柜可以达到高功率密度，能实现10～50kW功率，较之于常规可节省较大面积。
机房环境需求低
对于浸没式及冷板式液冷系统机房，无机房正压要求，另外对于机房的整洁度无额外要求，对于机房的装修如墙面、地板等要求较低。而且，由于机房的环境主要是满足人员维护的需求。减少精密空调的数量及空调间的布置，可采用常规风冷末端，机房的总体冷源的可靠性需求有所降低。
芯片工作温度低，降低能耗
由于液体能效转换效率远远超过空气，且液冷系统可直接对服务器的芯片等关键部件实现散热，散热精准高效，因此服务器的关键部件的运行温度明显低于常规风冷散热温度，且温度恒定，其系统可持续高负载运行，效能翻倍；又由于喷淋式液冷和浸没式液冷移除了服务器系统风扇，可以直接降低服务器的能耗，约降低15％～25％，而冷板式则约降低5％～10％。
服务器寿命提高
服务器的寿命提高主要体现在两个方面：
1）由于芯片工作主要是在较低温度且温度恒定下，当减少风机工作时的震动（喷淋式和浸没式液冷），可以显著提高芯片的寿命；
2）喷淋和浸没液冷机房由于服务器浸没在冷却液内，服务器不需要与室内的空气进行接触，避免了空气中的灰尘等颗粒物在服务器内的累计而导致设备故障。另外也直接减少了环境中的水分及尘埃等对于服务器的腐蚀，提高了设备的可靠性，延长了设备的使用寿命。
设备前期投资较大
由于液冷设备还处于起步阶段，当前液冷形式相对于传统风冷机房而言体量极小，加之部分关键材料如冷却液等暂时受部分公司的垄断，相对于常规机房而言，设备前期投资较大，并且由于部分设备需要定制，如服务器等，当所需数量较小的情况下，成本更高，一般前期投资为传统机房的3倍以上。当单柜管理设备密度在20kW以上且超过500个柜子以上的情况下，成本会有较大的降低。 04、表面技术增强浸没式液冷的沸腾传热性能
Asperitas AIC24 浸
没式液冷系统
下面，介绍几种有望应用于浸没式液冷系统的涂层与表面工程技术。
多尺度电镀多孔 (MuSEP) 涂层
加拿大舍布鲁克大学跨学科创新技术研究所机械工程系（Department of Mechanical Engineering Institut Interdisciplinaire d’Innovation Technologique (3IT)- Université de Sherbrooke Sherbrooke, Canada）和合作方——Systemex Energies开发了一种新型多尺度电镀多孔 (MuSEP) 涂层，其表面具有随机的孔径分布，可显著提高沸腾效率。该涂层在室温下沉积，可以添加到 CPU 和 GPU 等现成的电子部件散热器中。
研究团队将3M公司的介电高润湿液体Novec™ 649应用于具有不同表面特性散热器的池沸腾实验，它们分别是裸铜、添加3M 公司商品化的沸腾增强涂层 (BEC™) 和 MuSEP 涂层的散热器。
左边：SEM image of 3M BEC。右边：SEM image of the MuSEP coating
研究团队将面积为22平方厘米、厚度为4mm的散热器，连接到表面尺寸为 2.54 cm x 2.54 cm 的加热器上，并对这 3 种具有不同表面特性的散热器在浸没式液冷中的热性能进行测试。
测试结果表明，使用 MuSEP 涂层的散热器获得了最佳结果。在 (250±11) W（平均热通量（11.3±0.5）W/cm 2 的沸腾表面 ）的功率下，MuSEP 涂层散热器的外壳温度为 (68±0.1)°C，BEC涂层散热器的外壳温度为 (79±0.1)°C，裸铜散热器的外壳温度为 (93±0.1)°C。
与裸铜表面相比，介电液在 MuSEP 涂层上沸腾时，其表面对液体的热阻 (R s–l ) 从 (0.186±0.008) °C/W 降低到 (0.089±0.004) °C/W。此外，MuSEP 涂层在较低功率下表现出最低的热阻。
在研究团队创建的两相热虹吸冷却系统原型中，MuSEP 涂层通过了超过 22000 小时的 CPU 集成功能测试以及在整个浸没式冷却应用中超过 5500 小时的集成测试，其可靠性得到了证明。
他们认为，凭借卓越的沸腾性能、低制造成本和可靠性，MuSEP 涂层有望成为未来商业化两相冷却解决方案的基本组成要素。
莲花金属
莲花型多孔铜（Lotus-Type Porous Copper）是内部类似于莲花根茎结构的多孔铜金属，具有许多沿同一方向排列的细长孔，冷却剂浸润这些细孔，极大地增加了沸腾面积，从而增强沸腾传热性能。
东京理工大学 Kazuhisa Yuki 教授的团队将莲花金属与每隔一定距离雕刻约 1mm 宽度凹槽的导热良好的金属板结合，并将它们与加热元件接触，对其沸腾传热效应进行研究。实验发现，莲花金属的顶部吸入制冷剂，而蒸汽则经金属板的凹槽排出，且这种结合抑制了薄膜沸腾的发生。团队指出，金属板中的凹槽和莲花金属中的孔隙尺寸决定了冷却性能，他们建立了一种方法，能够根据制冷剂的特性确定凹槽的横截面积和莲花金属孔隙直径。
将莲花金属与带有凹槽的金属板相结合（左边：莲花金属，右边：结合了金属板的莲花金属散热器）（来源：LTS）
在为电动汽车设计的沸腾冷却实验中，团队在一个小尺寸（冷却表面10mm×10mm）的冷却器中测得了超过550W/cm 2 的CHF，在另外一个大尺寸（冷却表面65mm×65mm）的冷却器中测得的 CHF 为 270W/cm 2。
在高性能计算机CPU的冷却研究中，他们将氟化惰性液体作为制冷剂，用体积仅为现有散热器产品一半的莲花金属，实现了同水平的冷却性能。
冷却面温度与冷却性能的关系（来源：LTS）
通过沸腾实验，团队获得了使用水制冷剂（红色圆圈）和氟基惰性制冷剂（蓝色三角形）的情况下的冷却表面温度和热通量的关系：
a、紫色部分：用于服务器的冷却性能区域 b、黄色区域：用于 Si 功率半导体应用的冷却性能区域 c、浅蓝色区域：预期用于 SiC 功率半导体应用的冷却性能区域 来源： 热管理行业观察、数据中心基础设施运营管理 免责声明：文章来源自互联网及其他公众平台，仅供技术交流分享。如涉及作品版权问题，请与我们联系，我们将在第一时间协商版权问题或删除内容！内容为作者个人观点，并不代表本公众号赞同其观点和对其真实性负责。
关键词：数据中心；浸没式液冷；冷板；喷淋；强化换热
01、液冷系统的介绍 传统数据中心的散热方式为风冷，即使用空气作为冷媒，对服务器的发热部件进行换热，带走热量的技术。而IDC液冷系统是指使用液体取代空气作为冷媒，为发热部件进行换热，带走热量的技术。采用液冷方式时必须要使用液冷服务器。该服务器是指将液体注入服务器，通过冷热交换带走服务器的散热的一种服务器。
液冷系统的组成主要包含一次侧换热部分和二次侧换热部分，一次侧是指从服务器带走热量并二次侧进行环路介质进行散热的环路，二次侧是指将一次侧的热量排至室外环境或其他热回收单元的环路。 02、液冷方式的主要形式
液冷形式主要分为喷淋式、冷板式和浸没式，三种的主要区别体现在对服务器的散热方式不同。喷淋式液冷是将冷却液通过喷淋的方式淋在服务器的散热元件上带走服务器产生的热量；冷板式液冷是在服务器的CPU等大功耗部件采用液冷冷板散热，其他少量发热器件（如硬盘、接口卡等） 仍采用风冷散热系统；浸没式液冷是指将服务器的发热元器件完全浸没在冷却液中，通过冷却液的对流或相变将服务器的热量带走的散热系统。其次，喷淋式浸没式的服务器没有风扇，而冷板式服务器存在风扇。具体介绍如下： 喷淋式液冷系统
喷淋式直接液冷是面向电子设备器件精准喷淋、直接接触式的液冷技术，冷却液可通过重力或系统压力直接喷淋至IT设备的发热器件或与之相连接的固体导热材料上，并与之进行热交换实现对IT设备的热管理。在热交换的工作过程中，IT设备内冷却液的自由液面低于被冷却的发热器件或与之连接的固体导热材料，系统可通过IT设备外部的换热单元对冷却液换热，满足循环使用要求。
冷板式液冷系统
冷板式液冷机柜的基本工作原理描述如下：采用冷板组件与高热流密度元件接触，发热量经由冷板组件中的冷却介质导出，再经由一个或多个冷却回路热交换传递，最终将设备热量散发到外环境或进行回收利用的一种液冷实现方式。
浸没式液冷系统
浸没式液冷机柜的基本工作原理描述如下：通过把电子信息设备浸没在冷却液中，由冷却液带走热量的一种散热形式。根据冷却液散热过程中的形态不同，分为相变与单相液冷。
充分利用自然冷源，节能效果明显
液冷机柜可以充分利用室外的冷源。液冷机柜除冷板液冷之外，一般喷淋和浸没式液冷的服务器侧进出冷却液的温度在40℃～45℃左右，而室外侧的环境温度一般都能够满足对冷却液的散热要求，喷淋和浸没液冷均能全部采用室外冷源进行服务器的散热，总体PUE效果提升明显，并且可以充分利用自然冷源，节能效果极其明显。
三种液冷方式的PUE均能达到1.2以下，尤其是喷淋式和浸没式液冷系统节能效果更加明显，相对于风冷而言约节约20%的空调电能，再加上因取消服务器内部风机，IT部分电能可节省13％～25％，总体的节能效果在40％以上。
对当前的碳排放而言，浸没式和喷淋式液冷其输出的水侧温度比较高，具有废热回收利用价值，如结合部分余热利用，节能效果会有显著提升的空间之外，也能降低整体数据中心的碳排放强度。
机房可实现低噪声
机房的噪声主要来自服务器的风扇，根据国家现行规定，有人值守的主机房和辅助区，在电子信息设备停机时，位于主操作员 位 置 测 量 的 噪 声 值 应 小 于65dB（A）。随着大型数据中心的不断出现，主机房包含上百台网络设备规模的数据中心现象变得普遍。当这些设备同时工作时，大部分的噪声接近或超过65dB，该数值均在设备正常运行和负载50％～60％ 的情况下测试出的噪声值，如果全速工作，风扇可调速，则噪声值只能更高。当环境噪声超过80dB 时，人员已经无法在该环境里长时间工作，欧美的法律也规定，如果工作场所的噪声达到80dB～85dB时，须提供相应的职业保护。
而采用喷淋和浸没形式的液冷，服务器内部的风扇均不存在，直接去除主要噪声源，因此噪声值可以降到低于30dB以下，即使采用冷板式液冷，一般风扇在较低的转速下工作，噪声较之于常规风冷形式更低，噪声值也有极大改善。
另外由于液冷系统的自身特点，减少了常规冷源部分（如冷水机组、空调室外机等），也能很大程度上降低对环境的噪声影响，对于数据中心的布置及周围环境而言，相对容易且友好。
占地面积较小
由于液冷系统结构简单，且可以充分利用自然冷源，减少了常规数据中心的冷源及附属设备及管道等布局，系统简单，占地面积小，加上一般液冷机柜可以达到高功率密度，能实现10～50kW功率，较之于常规可节省较大面积。
机房环境需求低
对于浸没式及冷板式液冷系统机房，无机房正压要求，另外对于机房的整洁度无额外要求，对于机房的装修如墙面、地板等要求较低。而且，由于机房的环境主要是满足人员维护的需求。减少精密空调的数量及空调间的布置，可采用常规风冷末端，机房的总体冷源的可靠性需求有所降低。
芯片工作温度低，降低能耗
由于液体能效转换效率远远超过空气，且液冷系统可直接对服务器的芯片等关键部件实现散热，散热精准高效，因此服务器的关键部件的运行温度明显低于常规风冷散热温度，且温度恒定，其系统可持续高负载运行，效能翻倍；又由于喷淋式液冷和浸没式液冷移除了服务器系统风扇，可以直接降低服务器的能耗，约降低15％～25％，而冷板式则约降低5％～10％。
服务器寿命提高
服务器的寿命提高主要体现在两个方面：
1）由于芯片工作主要是在较低温度且温度恒定下，当减少风机工作时的震动（喷淋式和浸没式液冷），可以显著提高芯片的寿命；
2）喷淋和浸没液冷机房由于服务器浸没在冷却液内，服务器不需要与室内的空气进行接触，避免了空气中的灰尘等颗粒物在服务器内的累计而导致设备故障。另外也直接减少了环境中的水分及尘埃等对于服务器的腐蚀，提高了设备的可靠性，延长了设备的使用寿命。
设备前期投资较大
由于液冷设备还处于起步阶段，当前液冷形式相对于传统风冷机房而言体量极小，加之部分关键材料如冷却液等暂时受部分公司的垄断，相对于常规机房而言，设备前期投资较大，并且由于部分设备需要定制，如服务器等，当所需数量较小的情况下，成本更高，一般前期投资为传统机房的3倍以上。当单柜管理设备密度在20kW以上且超过500个柜子以上的情况下，成本会有较大的降低。 04、表面技术增强浸没式液冷的沸腾传热性能
Asperitas AIC24 浸
没式液冷系统
下面，介绍几种有望应用于浸没式液冷系统的涂层与表面工程技术。多尺度电镀多孔 (MuSEP) 涂层
加拿大舍布鲁克大学跨学科创新技术研究所机械工程系（Department of Mechanical Engineering Institut Interdisciplinaire d’Innovation Technologique (3IT)- Université de Sherbrooke Sherbrooke, Canada）和合作方——Systemex Energies开发了一种新型多尺度电镀多孔 (MuSEP) 涂层，其表面具有随机的孔径分布，可显著提高沸腾效率。该涂层在室温下沉积，可以添加到 CPU 和 GPU 等现成的电子部件散热器中。
研究团队将3M公司的介电高润湿液体Novec™ 649应用于具有不同表面特性散热器的池沸腾实验，它们分别是裸铜、添加3M 公司商品化的沸腾增强涂层 (BEC™) 和 MuSEP 涂层的散热器。
左边：SEM image of 3M BEC。右边：SEM image of the MuSEP coating
研究团队将面积为22平方厘米、厚度为4mm的散热器，连接到表面尺寸为 2.54 cm x 2.54 cm 的加热器上，并对这 3 种具有不同表面特性的散热器在浸没式液冷中的热性能进行测试。
测试结果表明，使用 MuSEP 涂层的散热器获得了最佳结果。在 (250±11) W（平均热通量（11.3±0.5）W/cm 2 的沸腾表面 ）的功率下，MuSEP 涂层散热器的外壳温度为 (68±0.1)°C，BEC涂层散热器的外壳温度为 (79±0.1)°C，裸铜散热器的外壳温度为 (93±0.1)°C。
与裸铜表面相比，介电液在 MuSEP 涂层上沸腾时，其表面对液体的热阻 (R s–l ) 从 (0.186±0.008) °C/W 降低到 (0.089±0.004) °C/W。此外，MuSEP 涂层在较低功率下表现出最低的热阻。
在研究团队创建的两相热虹吸冷却系统原型中，MuSEP 涂层通过了超过 22000 小时的 CPU 集成功能测试以及在整个浸没式冷却应用中超过 5500 小时的集成测试，其可靠性得到了证明。
他们认为，凭借卓越的沸腾性能、低制造成本和可靠性，MuSEP 涂层有望成为未来商业化两相冷却解决方案的基本组成要素。
莲花金属
莲花型多孔铜（Lotus-Type Porous Copper）是内部类似于莲花根茎结构的多孔铜金属，具有许多沿同一方向排列的细长孔，冷却剂浸润这些细孔，极大地增加了沸腾面积，从而增强沸腾传热性能。
东京理工大学 Kazuhisa Yuki 教授的团队将莲花金属与每隔一定距离雕刻约 1mm 宽度凹槽的导热良好的金属板结合，并将它们与加热元件接触，对其沸腾传热效应进行研究。实验发现，莲花金属的顶部吸入制冷剂，而蒸汽则经金属板的凹槽排出，且这种结合抑制了薄膜沸腾的发生。团队指出，金属板中的凹槽和莲花金属中的孔隙尺寸决定了冷却性能，他们建立了一种方法，能够根据制冷剂的特性确定凹槽的横截面积和莲花金属孔隙直径。
将莲花金属与带有凹槽的金属板相结合（左边：莲花金属，右边：结合了金属板的莲花金属散热器）（来源：LTS）
在为电动汽车设计的沸腾冷却实验中，团队在一个小尺寸（冷却表面10mm×10mm）的冷却器中测得了超过550W/cm 2 的CHF，在另外一个大尺寸（冷却表面65mm×65mm）的冷却器中测得的 CHF 为 270W/cm 2。
在高性能计算机CPU的冷却研究中，他们将氟化惰性液体作为制冷剂，用体积仅为现有散热器产品一半的莲花金属，实现了同水平的冷却性能。
冷却面温度与冷却性能的关系（来源：LTS）
通过沸腾实验，团队获得了使用水制冷剂（红色圆圈）和氟基惰性制冷剂（蓝色三角形）的情况下的冷却表面温度和热通量的关系：
a、紫色部分：用于服务器的冷却性能区域 b、黄色区域：用于 Si 功率半导体应用的冷却性能区域 c、浅蓝色区域：预期用于 SiC 功率半导体应用的冷却性能区域 来源： 热管理行业观察、数据中心基础设施运营管理 免责声明：文章来源自互联网及其他公众平台，仅供技术交流分享。如涉及作品版权问题，请与我们联系，我们将在第一时间协商版权问题或删除内容！内容为作者个人观点，并不代表本公众号赞同其观点和对其真实性负责。
评论