    |
||
 |
 |
 |
|
||||||
|
|
|
|
服务器浸没式液冷技术研究进展
减少数据中心冷却系统的能耗是实现数据中心节能减排的重要途径。传统机房空调存在高功率、局部热点等问题，导致冷却系统的运行能耗居高不下。由于CPU浸没式液冷技术高效换热的特点，是目前数据中心冷却技术的主要发展方向之一。本文以服务器浸没式液冷技术为研究对象，综述了冷却介质、换热表面特性对沸腾换热的影响，并讨论了基于服务器浸没式液冷的沸腾机理研究进展。最后对浸没式液体冷进行了展望，为建设绿色高效的数据中心提供参考。
关键词：数据中心 浸没式液冷 服务器 沸腾换热
随着数字技术（物联网、人工智能、大数据、5G、云计算等）的不断提升，其在运输、通信、制造、医药和教育等许多行业被广泛应用，对数据处理、存储和传输的需求正在急剧上升。伴随数字技术的发展，数据机房的建设需求增长迅速，海量的服务器产生了巨大的能源消耗。未来，我国大数据产业规模依旧伴随着高增长率快速发展，中国将成为世界第一数据资源大国和全球的数据中心。如图１所示，数据中心能耗结构中冷却系统能耗占比高达40％，成为数据中心进行能效优化的重要因素。另一方面，根据摩尔定律原理，单位面积集成的晶体管越来越多，芯片性能提升导致热流密度不断增大，预计到2025年，15~20kＷ/柜将成为主流，常规的风冷换热系统已经不能满足高热密度服务器的散热需求且严重影响电子元器件的性能和使用寿命。
在数据中心更高密度、更大功率的发展趋势下，空气冷却越来越难以满足散热和节能的要求，冷板式、喷淋式、浸没式液冷的出现为解决这一问题提供了新方向。其中，浸没式液冷由于其高效的能力，越来越成为数据中心冷却技术的主要发展方向。根据换热介质的相态变化可分为单相液冷和两相液冷。单相液冷的冷却液不发生相态变化，直接通过系统强制对流带走热量；两相液冷的冷却液通过沸 腾换热，具有较大的换热系数，成为近年来解决高能量密度芯片散热问题的研究热点。
本文从服务器浸没式液冷关键技术出发，综述了冷却介质、热源表面特性对沸腾换热的影响，介绍了浸没式液冷沸腾换热机理的研究现状，以及系统评价方式。从微观到宏观系统阐述了现有服务器浸没式液冷技术的发展现状，并对浸没式液冷技术的发展进行了展望，对展开浸没式液冷技术应用的研究具有重要意义。 根据目前技术进程的研究成果及冷却原理，将液冷技术分为冷板、浸没和喷淋３种主要形式。
1.1 冷板式液冷 冷板式液冷系统是在常规风冷服务器基础上，将CPU等高密度散热元件一侧紧贴板式换热器，元件热量通过热传导至板内绝缘介质或可相变的热管的系统。冷板式液冷方案中冷却液不与发热设备直接接触，该种技术可实现对CPU和内存等部件进行精确制冷。值得注意的是，冷板式液冷系统不是纯粹的液冷，而是通过冷板进行热传导，系统中的低热流密度元件仍采用风冷散热方式。
冷板式液冷系统在设计时主要分为２种类型，一 类是在机柜外部部署冷却液分配单元（CDU），另一类是无冷却 液分配单元形式。数据中心最常见的液体冷却实施形式是使用CDU将设施冷却系统与机柜冷却系统分开安装处理。由于液体的高比热，相较于传统风冷散热模式，冷板式散热效率有了很大提升。实际的数据中心制冷方式中，一 般将冷板式液冷与风冷系统结合来进行制冷，既可以有效减少总体拥有成本，也显著提高了数据中心的能源利用效率。冷板式液冷系统的安装维护与常规风冷系统基本一致，所以该种液冷技术的运维难度基本与传统空调一致。因此，冷板式液冷系统是目前使用最为广泛的液冷系统。
1.2 浸没式液冷 浸没式液冷系统是指冷却液与电子发热设备直接接 触，将ＩＴ设备直接浸没在绝缘冷却液中，依靠冷却液带走 发热元件产生的热量，然后通过水循环将热量传递到室外 散热装置。根据冷却液是否发生相变，浸没式液冷分为单 相浸没式液冷和相变浸没式液冷。单相浸没式液冷系统设计简单，冷却液容纳更易实现，材料兼容性更强，流体中污染物顾虑更少，其系统原理如图２所示。两相浸没式液冷系统指ＩＴ设备产生的热量直接有效地传递给绝缘冷却液，依靠冷却液的沸腾／凝结相变过程及流动循环将处理器等设备运行产生的热量带走，其原理如图３所示。
相较冷板式液冷系统，浸没式液冷具有更低的对流热阻和传热系数；与此同时，相较于冷板进行热传导，与散热件直接接触的冷却液具有更高的热导率和比热容，运行温度变化率更小，制冷效率更高。浸没式液冷系统无风冷散热系统特点，使得整体耗电降低10％以上，时效性更加突出。该液冷技术适用于对热流密度、绿色节能需求较高的大型数据中心、超级计算、工业及其他计算领域和科研机构，特别是应用于地理环境或安装空间苛刻的数据中心具有明显的优势。
1.3 喷淋式液冷 与浸没式液冷系统相同，喷淋式液冷的冷却液与散热设备直接接触，喷管将冷却液喷淋到发热元件，冷却液将热量吸收后再排出系统，排出的废热由换器热与外部环境直 接或间接进行换热，最终将来自散热元件的热量排走。喷淋液冷系统具有器件集成度高、散热效率强、高效节能和静音等特点，是解决大功耗数据中心散热问题的有效手段之一。但喷淋式液冷系统中存在喷淋板流量不均匀问题， 因此喷淋装置对流体力学计算要求较高，无法应对实际发热过程中随处理器运行效率的变化发热量也不断变化的制冷需求。 在浸没式液冷换热过程中，冷却介质、换热表面特性均 会对浸没式液冷系统沸腾换热产生影响，下文介绍关于冷却介质、换热表面特性、沸腾换热模型及系统评价方式的国内外研究现状。
2.1 冷却介质对散热性能的影响 用于电子设备的液体冷却剂应不易燃、无毒且价格低廉，具有优良的热物理特征，包括高导热系数、比热、传热系数，高绝缘及低黏度，较强的兼容。常见的冷却液分为介电冷却剂和非介电冷却剂，其中介电冷却剂有芳香烃（二乙苯（DBE）、甲苯、苯和二甲苯）、脂肪类（石蜡、矿物油等）、硅酮（硅油）和碳氟化合物（FC－40，FC－72，FC－77和FC－87）等。非介电冷却剂有水（Ｗ）、乙二醇（EG）及这２种物质的混合物（W/EG）。冷却剂的沸点、黏度、密度、比热容、表面张力、填充率等特性都是影响系统换热的重要因素。
2.1.1 单相冷却液 杨明明等人综述了冷却液的分类及其物理化参数，结果表明ＰＡＯ脂类化合物冷却液主要用于贯通式液冷计算机和侧壁液冷计算机中，ＦＣ－７２氟碳化合物冷却液主要用于采用射流冷却液和雾化冷却的液冷计算机中，乙二醇水容易主要用于贯通式液冷计算机和侧壁液冷计算机中。肖新文综述了应用于数据中心的不同液冷技术及其冷却液，结果表明液冷技术冷却温度高，节能效果明显；合理分配使用侧及冷源侧的温差，提高部分负载下液冷系统的节能性，探索冷却温度、节能效率及热回收性能三者之间的最佳耦合关系是数据中心液冷技术应用的研究方向。模拟研究了3MNovec-7100介质对IntelCPUI9-9900K散热的影响，模拟结果表明，加快液体冷却液的流动速度能带走更多的热量，从而降低CPU的温度。但是，由于循环速度较慢，冷却液的流量不变，引起了较高的温度值和不平衡的热分布。值得注意的是散热器的材料不会显著影响结果。设计一种新型的微通道散热器MMC-SOC，利用HFE-7100进行散热测试，实验测量了芯片热通量在20、25、30、35W/cm2时与传统微通道ＭＭＣ散热器相比，当使用HFE-7100冷却剂时微通道具有更低的压降，MMC-SOC散热器可以保持53℃的最高芯片温度而压降仅为3.77kPa。测试了单相浸没式液冷服务器中电子氟化液长期使用后物理特性及成分变化情况，结果表明，单相浸没液冷服务器各项指标均能满足运行基本要求，且电气特性和物理特性均可满足SPEC要求。同时，与风冷系统服务器相比，浸没液冷服务器的CPU等关键散热原件的失效率降低50％以上。氟化液长时间使用后的黏度、介电常数和击穿电压等物性常数均保持稳定，能满足企业长期使用的要求。
2.1.2 两相冷却液 基于纯HFE－7200氟化液，搭配了不同比例的醇或醚并以1cm2的硅发热面作为池沸腾的测试表面，对冷却液的冷却传热能力进行了研究，实验对比了纯HFE－7200氟化液，验证了合成的含氟冷却液具有更好的冷却性能。结合全球环境保护的现状，要求开发具有更好传热性能和适用性的新型传热流体，所以含氟冷却剂具有很大的研究前景。比较了Novec-649和R-134a在池沸腾时的临界热通量和传热系数，使用光滑铝平面作为加热面进行沸腾换热实验，结果表明R-134a具有更高的传热系数和CHF，此外Novec-649的两相传热性能与碳氟化合物FC-72具有很强的相关性。通过计算分子设计（CAMD）和优异值（FOM）分析研究了35种新型流体对沸腾换热的影响，质量分数为７％的C6H11F3和质量分数为93％的HFE7200的混合物的换热属性要比单纯的HFE-7200介质好。研究了3Novec－72DE和7300工作介质对氮化镓晶体管器件散热的影响，实验测试表明，热流量达到了562Ｗ/cm２，能够为2kW的电源进行散热，电源的转化效率达到97.2％。模拟研究了Novec-7000沸腾换热对CPU换热的影响，当入口速度大于0.6ｍ/s时，使用Novec-649冷却液可以确保芯片的正常运行，相比于Novec-649工作介质，Novec-7000较低的沸点能使芯片的平均温度降低17.32℃，上下芯片之间的水平挡板可以显着改善机柜的整体温度均匀性。实验和模拟研究了两相液浸冷匀热板（7100工质）对CPU散热的影响。研究表明，匀热板表现出良好的散热性能，散热量达到900Ｗ。采用Fluent模拟研究了矿物油不同热物性对CPU沸腾换热的影响，与碱性矿物油相比，碳化硅基纳米流体显著增强了传热，当纳米流体在体积分数为0.3％和0.3％纳米流体在低雷诺数下具有更好的热量耗散效应，而3.7％纳米流体在高雷诺数下的表现更好。
2.1.3 冷却液流量与流速 换热冷却液的流动速度亦是影响换热效果的重要因素。研究了单相浸没式液冷机柜不同流量下服务器温度变化趋势，结果表明，在流量增加的过程中，流道温度下降趋势显著。采用6SigmaET模拟发现浸没式液冷系统中CPU散热的温度场与冷却液流量呈负相关。通过CDF模拟了较小流速流体，随流速增大，散热模块最高温度降低；同时当流速越来越大时，散热原件温度降低的幅度逐渐减小，此时出现热饱和的现象。
综上，冷却介质是浸没式液冷的关键技术，冷却介质的种类、流速均影响其换热效率。
2.2 换热表面的物理特性 热源表面的物理特性对液冷效果有着重要影响。本节从换热面材料、表面特性出发综述换热表面特性对浸没式液冷系统的影响。
2.2.1 换热表面物理结构对热换的影响 用于电子元件散热的散热器大小、厚度等结构特点是芯片散热过程中的重要影响因素。利用6SigmaET研究了不同规格散热器在单向浸没式液冷中的散热性能。结果表明，最佳散热器宽度为120ｍｍ，基板长度取140ｍｍ时效率最高；肋片间距大小与温度变化趋势成反比；肋片厚度的增加会使散热原件的温度变化呈现出先变低后变高的趋势。夏爽分析了肋片厚度对散热原件的影响，发现基板厚度主要影响温度分布均匀性，对最高温度的影响较小。
换热平面形状对沸腾过程亦有重要影响，利用CDF模拟对水平微通道平面凹槽结构及数量进行了探究，通过设置不同凹槽数量，发现增加平面凹槽数量可提高微通道流动沸腾的临界热流密度（CHF），与光滑微通道相比，Ｖ型凹槽拥有更高的CHF；对于浸没式冷却换热系统的处理器构建多采用多孔、微通道等以增大换热面积，可增强沸腾换热的效果。Oastuszko在大气压下对水、乙醇和FC-72作为工质进行可视化研究，实验探究了高度为0.5ｍｍ/1ｍｍ的微翅结构加热面的换热特性，对比气泡参数（直径、成核位置、密度、频率）以确定微翅片热通量差异，得到微翅片结构表面的沸腾换热系数比光滑表面提高约6.5倍。
2.2.2 换热表面材料与表面特性对换热的影响 处理器或液冷接触面的物理特性对浸没式液冷系统换热有着重要影响。针对不同导热系数的表面材质进行了研究，发现处理器中的Fe304浓度和含碳纳米管数量越高，对流换热系数则越大，CPU表面温度和热阻越低，使得CPU表面温度分布更加均匀，散热性能更好。EI-Genk采用多孔石墨（PG）改性换热介质表面，研究表明介质液体核态沸腾传热系数和ＣＨＦ显著增强。
电子元件表面特性如液体接触角、粗糙度等均对对流换热及沸腾换热有重要影响。张璐在模拟计算时发现气泡产生时，气泡生长速率随接触角的增大而变快，疏水性好的材料可促进气泡生长，增强换热效率。戴含晖等人总结了核态沸腾传热及强化的模拟研究，从微结构角度出发，对比了目前常见的３类数值模拟方法，即宏观方法、微观方法和介观方法，选择介观方法（格子Bolzmann方法）进行核态沸腾气泡生成的数值模拟，进一步佐证了湿润性对散热性能的影响，强调了换热表面的疏水性与核态沸腾气泡生成速度呈正相关。肖翾等人对气泡脱离散热面板的规律进行了研究，通过建立非稳态数学模型，得到气泡脱离难度随材料表面润湿性的增加而增大。利用纳米涂层方法实现了接触角从０°到160°的加热面润湿性变化，实验研究表明超亲水表面的超强再湿润能力可增大临界热流密度（CHF）70％，显著增强换热效率。潘丰等人绘制出沸腾曲线预测高热流密度下的沸腾传热过程，证明粗糙度较大的表面对壁温更敏感，粗糙度较小的加热壁面上气泡脱离周期较稳定。
2.3 池内沸腾研究 浸没式液冷系统中冷却液体处于受热面一侧的较大空间中，依靠气泡的扰动和自然对流而流动，因此浸没式液冷系统以池内沸腾形式为主。
准确测定沸腾换热过程中的临界热流密度可有效调节换热过程，避免传热工况恶化。戴含晖等人总结核态沸腾传热及强化的模拟研究时，同样发现亲水表面相比疏水表面能够达到更高的临界热流密度。发现CHF随液体过冷度的增大而线性增大。通过可视化研究了PF-5060工质在改性铜表面的沸腾换热过程，研究表明，随着纳米孔表面涂层厚度的增大（从80um增大到230um），CHF从22W/cm2增大到26W/cm2，而相应的表面过热度从15K降低到5Ｋ。总结了当下常用的20个池沸腾临界热流密度的计算方式，但27篇文献通过实际数据对比均发现这些公式误差较大，平均绝对误差为26.2％的EI-Genk-Guo公式误差最小。采用修改物性后的水和水蒸气作为工质，通过修改水和水蒸气的物性参数，对不同润湿性（接触角范围为５°～180°）的光滑表面的池沸腾过程进行数值模拟了，模拟结果首次证明壁面润湿性对整个沸腾曲线的影响。
模态沸腾是沸腾过程中气泡生成时的一类特殊情况，小气泡逐渐聚成大气泡，此时在换热壁面形成一层蒸汽膜覆盖在壁面上，沸腾形式从核态沸腾变为膜态沸腾。当温差足够大，致使沸腾过程超过临界状态，沸腾传热系数随温差的进一步增大而减小，所以当换热面和冷却液之间形成蒸汽膜时，蒸汽膜使整个换热过程的热通量减小，换热效率降低，壁面温度迅速升高时有烧毁的风险。通过实验得到微重力与常重力环境下核态池沸腾过程具有差异性，在微重力情况下，当过冷度增加时气泡产生速率减缓。张璐模拟计算出散热面增大时气泡产生速率也随之增大，通过建立数学模型发现气泡形状在过冷度较小时形状保持球形，相反过冷度较大的冷却介质气泡扩张和收缩交替出现。采用7100工质作为换热介质，研究了两相式浸没式液冷的换热效率，并研究了沸腾换热过程。随着ＣＰＵ主板温度的升高，壁面附近的冷却液被加热，当冷却液过热时（Ｔ≥Tcoolant＋ΔＴ，其中Ｔ为主板温度，Tcoolant为换热液体温度，ΔＴ为过热度），主板附近的小气泡迅速增大，会产生沸腾现象；大部分气泡生长并到达相界面，液体表面产生蒸发现象（Ｔ＞Tboiling，其中Tboiling为液体沸点温度）；液体中的另外一些气泡被周围的液体冷凝（Ｔ≤Tboiling）；最后，蒸发的蒸汽上升至冷却池上部并被上部冷凝器盘管冷凝（Ｔ≤Tboiling）后重力回流至下部液体，往复循环。通过可视化实验研究了乙烷、异丁烷及其二元混合物在水平面上的池沸腾传热特性；对于纯制冷剂和混合物而言，增加热通量可以明显增加气泡脱离直径和频率；对于纯R170和R600a，气泡脱离直径也会随着压力的增大而增大。
2.4 系统评价方式 PUE(powerusageeffectiveness)为 数 据中 心 消 耗 的 所 有能源与ＩＴ负载使用的能源之比，通常作为数据中心电力利用效率的衡量指标，ＰＵＥ越接近１，表示能效水平越高。严逊等人在不同室外温度、不同服务器发热功率条件下对浸没式液冷实验台进行了测试，相比于使用传统风冷为主的空调数据中心，服务器浸没式液冷系统能耗降低了90.2％，据此上海市数据中心全年PUE值仅1.06。李聪聪等人的研究表明使用浸没式液冷技术时，设备负载越高PUE值越低。实验研究了两相浸没式液冷系统，研究表明，系统COP和PUE最佳值出现在高负荷时，分别为6.67和1.15；而最小COP和最高PUE值出现在低负荷时，分别为2.5和1.4；通过对单相和两相浸没式冷却数据中心系统进行热力学、经济性和热经济性评估，两相冷却系统的COP比单相冷却系统高72％～79％。侯晓雯等人通过对比机房环境实测数据发现，浸没式液冷服务器空调PUE因子达到了数据中心PUE值下降到1.2以下的节能目标。针对高热流密度5G路由器开发了液冷散热样机，同时对设计的液冷系统开展了仿真评估和回归分析；并从电能使用效率PUE角度对路由器浸没式液冷散热系统解决方案进行了收益评估，最后得到机房PUE小于1.25，若采用纯液冷解决方案，机房PUE将降至1.15。
企业评效方面，浸没式液冷系统已经进入应用阶段，到2019年，中科曙光已实现首个刀片式浸没相变液冷技术的大规模部署，单机柜功率密度达到160kW，是传统风冷数据中心的4~5倍，单枚刀片上可搭载８颗GPU，是过去的4倍，至2020年末，年总体能效比提升30％，PUE值可降低至1.04。相较于过去风冷服务器部件故障率，阿里巴巴公司对浸没式服务器进行了2年期试运行，发现故障率下降约53％，PUE值低至1.09。 图片 数据中心能耗问题日益成为发展的焦点，对其制冷系统的节能提效尤为重要。浸液式液体技术的高效冷却效果有效地提高了服务器的服务效率和稳定性，单位空间可容纳更多处理器，提高了数据中心的整体运行效率。
本文从浸没式液冷技术在数据机房的应用出发，介绍了浸没式液冷的原理与分类，综述了冷却介质、换热表面特性对浸没式液冷换热的影响。结果发现，国内外针对浸没式液冷系统的冷却介质趋同于使用氟化液为主的制冷溶剂，相较于其他溶液，氟化液具有更好的冷却效果，提高其流速与流量会增强换热效果；液冷过程中的接触面导热系数是影响换热效果的最主要因素，疏水表面更有利于浸没式液冷中的沸腾过程。
目前已有的换热介质生产技术均掌握在欧美国家，如3M公司的(FC7100介质）。开发自主产权的高效冷却液是目前我国解决浸没式液冷技术的研究重点，是重要的“卡脖子”关键技术。对于浸没式液冷领域基础实验的相关模拟及验证研究较少，有待补充与解决，需要在此领域继续努力。
来源：暖通空调HV&AC、TM热管理 + 作者：侯富民1 李超恩1 吴佳育1 蔡伟1 邵璟璟1 胡俊明2 刘一诺1 温小栋1（1. 宁波工程学院、2.上海杰筑建筑规划设计股份有限公司） 免责声明：本平台转载其他网站&平台内容，出于传递更多信息而非盈利之目的，同时并不代表赞成其观点或证实其描述，内容仅供参考。版权归原作者所有，若有侵权，请联系我们删除
北京汉深流体技术有限公司是丹佛斯中国数据中心行业签约经销商 Danfoss Authorized Distributor，汉深专业提供丹佛斯流体管件在冷板式液冷和相变液冷的产品解决方案。冷板式液冷系统主要包括水冷板（water cold plate）、管道（tube）、 快换接头（quick disconnect coupling）、分液器（Manifold）、冷却液分配单元（CDU）与室外冷却设备等组件。丹佛斯流体管件系列产品包括FD83接头，UQD系列快速接头，5400制冷剂接头和EPDM软管EHW194等。 北京汉深流体技术有限公司 Hansen Fluid 地址：北京市朝阳区望京街10号望京SOHO塔1C座2115室
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
