|
||||||
|
|
|
|
一、GB200液冷方案回顾
1.整体液冷方案 以计算托盘为例,其冷板配置采用“一进一出”设计,每个大型冷板通过一对UQD连接到液冷系统。多个冷板通过歧管汇合,最终连接到机箱外壳。 GB200采用快速接头连接冷板与歧管,每根管两端各有一对快接接头(冷板侧为母头,歧管侧为公头)。 值得注意的是,冷板上的母头隐藏在密封圈内,外部不易察觉,而歧管侧的公头则更突出。这种设计确保了水冷系统的灵活性和可维护性。 2.液冷板设计 冷板方面,GB200采用了当前业内冷板液冷设计,其核心特点是将两个GB200计算单元整合为一个模组,两个冷板模组做并联设计。 其主要特点是: 两个冷板模组均配置快插接头,便于快速开断运维; 每个模组内两个B200冷板并联,汇流后再与G200冷板串联; CPU冷板兼顾了LPDDR5内存和CX7网络芯片等低功耗器件的散热。 图:GB200上的液冷模组 模组内三块冷板(GPU和CPU冷板)之间通过硬铜管或波纹管连接,CPU冷板尺寸较大。从下图采用波纹管连接冷板的模型上,可清晰看出冷板间的串并联结构。 图:GB200液冷模组的液体流动方向 该方案存在以下主要问题: 运维不便:三个芯片冷板作为一组,安装和拆卸复杂度高; 流阻偏高:两个GPU冷板并联后与CPU冷板串联,导致节点内流阻较大; 成本与尺寸问题:CPU冷板需兼顾次级热源,尺寸大且成本高; 扩展性不足:节点内未设计分液器,新增器件冷板需重新规划流阻匹配。
二、GB300冷板演进与设计改进 最重要的变化是冷板结构的创新:GB300放弃了用大型冷板覆盖多颗芯片的模式,而是为每颗芯片配备独立的“一合一”液冷板。 图:GB300计算板关键发热单元 1.冷板设计方案主要优化点 1) 引入分液器(Manifold):节点内设置进出液Manifold,各配置10对快插接头(NVQD03型),实现对GPU、CPU等多器件冷板的并联供液,简化拆装运维。 2) 全冷板覆盖:扩展液冷至配电板(PDB)、OSFP光模块和BF3网卡等器件,确保高功耗关键组件均液冷散热。 3) SSD液冷:为8个M.2 SSD设计专用冷板回路,支持可插拔设计,冷板表面采用TIM确保冷板与SSD接触以降低热阻,并集成耐磨结构以满足插拔需求。 对于两组GB300的冷板设计,从下面的模型中可看出设计方案有如下调整: 4个GPU冷板单独进出液,全并联 CPU冷板并联设计,LPDDR5和CX8的冷板均通过热管将热量传输到CPU冷板上散热,热管具备一定变形能力,可无需将CPU冷板设计为一体的铜块 图:GB300冷板设计模型 上图模型中,所有的快插接头没有明显的区分进出液管的位置,实际节点内设计方案(下图),可明显看出进液快接在上,出液在下。
2. GB300其他器件冷板设计 节点内除两组GB300的6个冷板回路外,其他器件冷板设计如下: OSFP冷板:上方两个OSFP冷板串联,通过软管连接确保每个模块冷板可单独浮动,有效液冷; SSD冷板:独立回路设计,支持可插拔液冷; PDB冷板:单独冷却回路; BF3与下方OSFP共用冷却回路:两个OSFP冷板串联后连接BF3冷板,BF3的QSFP光模块通过弯折铜管嵌入导热板冷却。 图:GB300其他器件冷板设计
三、GB300液冷的突破性创新 GB300采用插槽式处理器模块设计,将CPU、GPU和HBM3内存集成到一个可拆卸模块中。冷板嵌入插槽底座,芯片与冷板之间的微缝隙填充液态金属导热界面材料,以实现高效散热。 2.液态金属界面(LMI)技术 防漏设计:双层密封圈+电磁锁可防止氧化或泄漏。冷板表面镀镍,以防止腐蚀和镓对铜/铝基材的侵蚀。 图:NVIDIA 5090采用LMI技术
四、总结 更长远的一点想法:我们都知道盛极而衰的道理,AI服务器内越来越多器件采用液冷,冷板成本显著提升,某一天突然改成浸没式,变天了!
关于我们 北京汉深流体技术有限公司 是丹佛斯中国数据中心签约代理商。产品包括FD83全流量双联锁液冷快换接头(互锁球阀);液冷通用快速接头UQD & UQDB;OCP ORV3盲插快换接头BMQC;EHW194 EPDM液冷软管、电磁阀、压力和温度传感器。在人工智能AI、国家数字经济、东数西算、双碳、新基建战略的交汇点,公司聚焦组建高素质、经验丰富的液冷工程师团队,为客户提供卓越的工程设计和强大的客户服务,支持全球范围内的大批量交付。 公司产品涵盖:丹佛斯液冷通用零泄漏快换接头、EPDM软管、电磁阀、压力和温度传感器及Manifold。 数据中心液冷解决方案 ~ 满足您各种需求的一站式解决方案:
Beijing Hansen Fluid Technology Co., Ltd. is an authorized distributor of Danfoss China, specializing in the data center industry. Our product portfolio includes Danfoss FD83 full-flow double-interlock liquid cooling quick-disconnect couplings (equipped with interlocking ball valves); universal liquid cooling quick-disconnect couplings UQD & UQDB; OCP ORV3 blind-mate quick-disconnect couplings BMQC; EHW194 EPDM liquid cooling hoses; solenoid valves; and pressure/temperature sensors. Amid the convergence of strategic trends such as artificial intelligence (AI), China’s national digital economy, the “Eastern Data and Western Computing” initiative, the “dual carbon” goals, and new infrastructure development, we are committed to building a high-caliber, experienced team of liquid cooling engineers. We deliver exceptional engineering design, robust customer service, and support global large-scale deployment. Products: Danfoss liquid cooling fluid connectors, EPDM hoses, solenoid valves, pressure/temperature sensors, and manifolds. Data center liquid cooling Solutions ~ One partner, every solution :
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|