|
||||||
|
|
|
|
数字经济爆发下,全球数据中心耗电量占比逐年攀升。据统计,2024年我国数据中心能耗总量1660亿千瓦时,约占全社会用电量的1.68%,同比增长10.7%。2024年全社会用电增速为6.8%,数据中心用电量增速远高于全社会用电量平均增速【1】。数据中心能耗已成为不可忽视的能源消耗领域。随着人工智能技术的迅猛发展,AI相关行业正经历着前所未有的快速增长和技术迭代。这一变革不仅推动了社会的进步,也带来了对计算能力的巨大需求。智能计算中心,作为AI技术发展的核心基础设施,正面临着前所未有的挑战。
01
AI行业的快速发展 02
高密散热的需求关注 03
液冷技术的应用
制冷路径演进
当机柜功率密度在20~25kW以内时,常规远端风冷方案即可解决服务器散热需求。当机柜功率密度进一步提升,单机柜功率密度在25~45kW时,就应该开始考虑近端风冷的解决方案。风冷方案再叠加背板热交换器(Rear Door Heat Exchanger,RDHx),可以进一步解决单机柜60kW以内的散热需求。单机柜功率密度在40~60kW时,就可以开始考虑采用液冷,但根据服务器或芯片不同,也可以更早开始采用液冷。即使采用液冷,根据风液比不同,服务器仍然有5%~50%的热量需要通过风冷散热来解决,风液混合将成为大多数高热密度机柜散热方案。
根据服务器供液温度要求,室外一次侧需选择不同的散热方案。服务器供液温度要求大于40℃时,室外一次侧散热可以采用完全自然冷的解决方案,当服务器供液温度要求较低时,室外一次侧需要采用机械冷却。
风冷自然冷技术
01
风侧自然冷方案 直接空气自然冷,直接引入自然界新风对数据中心进行冷却,但该方案受空气质量、湿度等因素限制,适用场景较为有限。 间接空气自然冷,借助换热器实现自然界低温空气与数据中心高温空气的热交换,以降低机房温度。 此类方案可有效解决空气质量及湿度问题,但在夏季室外温度较高时,其应用仍会受到限制。
02
水侧自然冷方案
03
氟泵自然冷方案 以上自然冷方式可以单独应用,或者组合应用,充分挖掘室外自然冷潜能,实现节能效果。近期在数据中心领域应用比较多的混合双冷源方案,即为一种组合式的自然冷方案。机房空调设计两组盘管,层叠安装。高温回风首先经过第一组盘管进行预冷,此时预冷冷源可以是氟泵自然冷,也可以是冷却塔提供的冷却水,之后通过第二组盘管,第二组盘管可以是氟泵自然冷,也可以是压缩机机械制冷,根据制冷需求进行自动切换,详见图2所示。
通过“预冷+补冷”的控制思路,实现自然冷源利用最大化,从而实现空调设备高能效,有效帮助降低数据中心PUE。 以数据中心常用100kW空调为例,采用上述自然冷技术的机组,在以下区域应用,可以达到的制冷因子CLF如表1所示。
随着负载率进一步降低,在空调机组50%输出条件下,氟泵自然冷机组的能效已经全面优于水侧自然冷双冷源机组。
不管采用哪种双冷源,北方全年室外环境温度更低,可以收获更好的节能效果。随着负载率降低,氟泵自然冷工作时长显著增加,氟泵功耗远小于水泵功耗,在各地均可获得更好的节能效果。可以看到,利用“预冷+补冷”设计方案,两类双冷源方案可达到系统级的制冷因子相当,在选择具体方案时,需结合项目地自然条件进行选择。
液冷技术 液体冷却是指利用高导热性能的流体介质(诸如25%丙二醇诸如25%丙二醇,去离子水、冷却液或制冷剂)而不是空气来冷却数据中心。液体直接参与数据中心关键发热源(如服务器内部高性能芯片)的热量交换过程。液冷技术缩短了热传导路径,使得热量能够更直接、更有效地从热源导出,进而显著降低了对服务器内部风扇辅助散热的依赖,从而降低整体能耗与噪音水平。
数据中心液冷技术的应用可细分为两大主流类别: 1、直接到芯片(Direct-to-Chip, DTC)冷却技术,常被称为冷板冷却,其特点在于将冷却液直接导入至服务器内部,通过紧贴芯片的冷板结构实现高效热交换。 2、浸没式冷却技术,该技术将整个或部分服务器组件完全浸没于非导电冷却液中,实现热量的全面、均匀散发。
在DTC配置中,液体不直接与电子元件接触,液体冷却剂被泵送到解决服务器内部电子元件散热的冷板上。虽然大部分热量都被冷板带走了,但仍然需要风扇来帮助去除电路板层面的热量,尽管风量和风速都非常低。在这种情况下,一些设计通过空气将热量从服务器机箱交换出去,而另一些设计则需要在机架或行级使用热交换器将热量传输到主冷却回路,具体见图3冷板液冷系统原理图。
CDU是液体冷却系统中必不可少的组件,可在整个系统中均匀分配冷却液。CDU建立了一个独立的二次侧回路,与提供室外散热的一次侧回路隔离开,并调节和控制冷却液的流量以保持二次侧回路所需的温度和流量。其次,CDU要采用高耐腐蚀性的不锈钢材质,确保与冷却液的完美兼容,有效防止腐蚀。设计上尤其要注重关键器件的冗余备份,如电源、泵、传感器及过滤器等,确保系统在任何情况下都能稳定运行。同时,CDU需内置精准温控系统,能有效消除服务器CPU和GPU的热冲击问题。此外,配备补液罐以满足长期运行需求,并设有自动排气装置以排除空气,保持冷却效率。
冷板液冷系统的供液温度设计需充分考虑不同芯片及服务器制造商的特定要求,如Dell可能接受高达32℃甚至更高的供液温度,而Nvidia则设定在25℃至45℃的较宽范围内。需要注意的是,必须严格避免供液温度过低,以防止水蒸气凝结现象的发生,这可能严重损害IT设备的正常运行。此外,系统还需具备强大的稳定性,确保在一次侧流量出现波动时,二次侧仍能维持稳定的供液温度,以保障整体散热效能与设备安全,见图4所示。
2)供液流量 冷板液冷系统的供液流量设计是确保高效散热与稳定运行的关键环节。CDU(冷量分配单元)在此过程中扮演着核心角色,负责精确调控一次流体与二次流体的流量。具体而言,二次流体需维持稳定的流速进入IT设备,以在设备满载时能够有效从冷板中带走所有热量,保持IT入口温度的恒定。同时,一次流体的流量则根据需散热的热量动态调整,并依据CDU的接近温度(ATD)进行调整,见图5所示。
为了确保流量控制的精准性,系统要采用压差控制并辅以实时监控,以确保系统中的泄漏不会导致压力下降。此外,通过CDU内,泵与电源的冗余设计,系统能够在关键业务场景下保障流量的连续供应,进一步提升整体系统的可靠性与稳定性。
3)过滤要求 冷板液冷系统要求冷却液顺畅通过冷板内极其微小的通道,这些通道的宽度可精细至低于50微米,甚至达到30微米以内。堵塞不仅会限制流量,甚至可能完全中断IT设备的冷却,导致维护成本急剧上升,因此系统对冷却液的过滤精度提出了严格标准。通常,这一精度需低于冷板通道的最小尺寸,业界经验倾向于采用25微米或更细的过滤级别。此外,为确保系统长期保持清洁状态,CDU(冷量分配单元)需持续进行在线过滤,这是维护系统高效运行与延长使用寿命的关键措施。
4)流体选择 在设计冷板液冷系统的初期,选择合适的流体化学成分及可靠的供应商非常重要。一旦确定流体策略,后续的任何更改都将涉及繁琐且成本高昂的清洗与净化过程。此外,流体的选择还会在调试阶段带来显著复杂性,包括循环测试、杂质冲洗以及系统气泡的排除,这些工作对于每台服务器及整体解决方案的顺利运行都至关重要。在整个系统使用周期内,对液体的持续关注同样不可或缺,需定期进行pH值、外观、抑制剂浓度及污染物水平的检测,以确保其性能稳定与系统的持续高效运行。同时,所有冷却液均需遵循严格的存储与处理规范,并配备适当的个人防护设备以保障操作安全。
在冷板液冷系统的二次侧流体选择中,存在三种主流方案。首先,去离子水配方液换热效果优越,然而其腐蚀风险不容忽视,需采取额外措施加以防范。其次,乙二醇配方液虽具备一定的防腐能力,但其毒性相对较大,且在环保要求较高的地区,其排放处理成为一大现实问题。最后,丙二醇配方液作为Intel、Nvidia等业界巨头推荐的选择,由于其防腐效果更好,成为众多用户信赖的优选方案。
在选择时,需综合考虑流体性能、成本、环保要求及安全性等多方面因素,以做出最适合自身需求的决策。
5)故障预防和检测 在冷板液冷系统中,除了二次流体网络内其他传感器的监测外,CDU的严密监控与管理是预防并尽早发现故障的关键。数据中心尤为关注泄漏问题,大部分泄漏案例发生在manifold与服务器软管快速断开附件处,对IT设备影响很小。但服务器机箱内部的泄漏,特别是发生在内部manifold、软管与冷板之间的泄漏,则对IT设备构成重大威胁。因此,实施额外过滤与传感器在内的防错系统至关重要,这些措施不仅能在热交换性能下降时提供预警,还能有效遏制人为错误导致的污染物增加或液体质量漏检风险,从而全面提升系统的稳定性与安全性。
全液冷板冷却:目前大部分DTC冷却服务器仅覆盖高功率、高发热部件,如中央处理器(CPU)、图形处理器(GPU),其他部件仍需通过风扇提供的气流进行冷却,包括内存、存储、硬盘驱动器/固态驱动器、外围组件互连高速通道/开放计算项目(OCP)卡和电源单元。全液冷板冷却配置将为所有部件配置冷板,并使用液体进行冷却,完全消除风扇,进一步提高电源使用效率(PUE)。
根据运行时液体的状态,DTC还可以进一步分为单相和双相两类。在单相系统中,液体冷却剂始终保持液态。在双相系统中,液体冷却剂蒸发以将热量从液体中转移出去,然后通过热交换器冷凝并转换回液态。 负压液冷:有三个气密性较好的液腔,分别是主真空腔、储液腔、辅真空腔。主真空腔和辅真空腔交替保持高真空度确保工艺冷媒从服务器冷却环路流回,储液腔保持较低的真空度使工艺冷媒流进服务器冷却环路。二次泵采用低扬程潜水泵,安装于储液腔内部,当检测到二次侧供液温度低于机房的露点温度时,潜水泵将停止工作以确保不会有凝露产生。配有真空泵等负压系统(包含气液分离器、消音排气口,空气流量传感器),用以保证三个腔体的真空度。三个腔体各配有两个气动开关阀,一个接通真空泵,另一个接通大气相连的气液分离器,用于控制各个腔体的真空度,以确保液体顺利循环。
1)同源液冷方案和风冷部分均采用冷却塔同源冷却塔方案,不同末端例如液冷部分(XDU)以及水冷型空气处理机组(AHU)等所需负荷都由同一冷却塔进行供应。 2)非同源液冷方案采用冷却塔,风冷部分采用机械制冷或冷机非同源方案,包括高水温不同源风冷和高水温不同源冷冻水方案。当采用不同源风冷补冷方案时,精密空调和液冷CDU分别采用不同的冷却塔或干冷器;当采用不同源冷冻水方案时,空气处理机组(AHU)冷源采用冷水机组,液冷部分(XDU)冷源采用冷却塔,见图6所示。
3)风液方案:机房已有风冷精密空调设备,需要部署少量液冷机柜,此时集中式风液型CDU方案是优选方案。CDU和液冷机柜间通过软管连接,液冷服务器中的热量通过冷板,Manifold,以及管路传递至风液CDU盘管,最后散至机房,再通过机房空调将所有热量带至室外,见图7所示。
在做液冷方案选择时,需要考虑服务器可接受的冷却液温度,以及机房条件,来选择适合的制冷系统架构方案。
进一步降低风冷占比
进一步降低风冷占比后,可能会面临以下难点: 芯片层面 由于制程改进的效果越来越有限,利用先进封装技术将多个较小的芯片拼装为一体的Chiplet技术正得到普遍的应用,其中的一个重要趋势是3D堆叠,这意味着单位面积上的晶体管数量会继续高速增长,如何将芯片封装内的热量有效的传导出来,将成为行业面对的一大挑战。 机柜层面 以NVIDIA GB200 NVL72为代表的解决方案目前采用风液混合模式,柜内互联采用大量的铜缆,对散热风道的设计形成了一定的阻碍。随着机柜功率的进一步提高,需要提高冷板在各节点内的覆盖率,向全液冷的方向演进。
进一步提高散热能力 (热流密度和单芯片功率)
参考文献
关于我们 北京汉深流体技术有限公司 是丹佛斯中国数据中心签约代理商。产品包括FD83全流量双联锁液冷快换接头(互锁球阀);液冷通用快速接头UQD & UQDB;OCP ORV3盲插快换接头BMQC;EHW194 EPDM液冷软管、电磁阀、压力和温度传感器。在人工智能AI、国家数字经济、东数西算、双碳、新基建战略的交汇点,公司聚焦组建高素质、经验丰富的液冷工程师团队,为客户提供卓越的工程设计和强大的客户服务,支持全球范围内的大批量交付。 公司产品涵盖:丹佛斯液冷通用零泄漏快换接头、EPDM软管、电磁阀、压力和温度传感器及Manifold。 数据中心液冷解决方案 ~ 满足您各种需求的一站式解决方案:
Beijing Hansen Fluid Technology Co., Ltd. is an authorized distributor of Danfoss China, specializing in the data center industry. Our product portfolio includes Danfoss FD83 full-flow double-interlock liquid cooling quick-disconnect couplings (equipped with interlocking ball valves); universal liquid cooling quick-disconnect couplings UQD & UQDB; OCP ORV3 blind-mate quick-disconnect couplings BMQC; EHW194 EPDM liquid cooling hoses; solenoid valves; and pressure/temperature sensors. Amid the convergence of strategic trends such as artificial intelligence (AI), China’s national digital economy, the “Eastern Data and Western Computing” initiative, the “dual carbon” goals, and new infrastructure development, we are committed to building a high-caliber, experienced team of liquid cooling engineers. We deliver exceptional engineering design, robust customer service, and support global large-scale deployment. Products: Danfoss liquid cooling fluid connectors, EPDM hoses, solenoid valves, pressure/temperature sensors, and manifolds. Data center liquid cooling Solutions ~ One partner, every solution :
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|