液冷服务器会议纪要
2023-04-06 09:04 发表于广东

会议总结：

一、液冷行业

1、渗透率判断：23年10%占比问题不大。23-25年之内，服务器液冷渗透率达到20%。宁畅CDCC交流提到自己建设的相关液冷配套的服务器出货量的初步产线规划18万台。

2、互联网：实际项目/原来暂停项目都在启动，液冷渗透率提升。

3、运营商：在试点，等行业标准成立，扩大规模推广。趋势没问题，比如天府云的一期二期方案里面明确就是用液冷，但是规模和落地和业主方、资方、用户方的节奏有关。

4、电网：南网比较积极，今年几个项目上液冷，浸没式；液冷在相关项目中比例40%。

5、PUE角度：此前业内拿能评的时候，PUE的监管，报稿子含液冷，能评达到要求，但是落地时候可能先上风冷，但是不上液冷。现在论证阶段确定了数据中心方案上液冷的话，就要上。监管是加严的，不像之前可以打擦边球，报了就要落地。


二、冷板 &浸没

1、目前冷板为主，冷板90%，浸没式10%，但是浸没会变成主要的方向，预计2年内冷板和浸没能达到6：4。

2、对标传统制冷成本，冷板1.1-1.2的系数，浸没2-3的系数。目标未来单台服务冷板价格到2000-3000元，可以和风冷PK。


三、高澜股份

1、高澜的液冷技术能力积累更加深，产线在基础设施投入中不需要很多新增，是柔性的，交付产能强，欠缺的是业内IDC的资历，但是作为重要业务方向，营收占比会快速提升，目前几个落地项目的口碑、交付质量都不错。

2、22年矿机份额：高澜60-70%，英维克20%，另一家10%左右。

3、客户端进展：互联网厂商中字节最快，BATJ，运营商慢一些，但是总体容量运营商体量更大。和华为有合作，规模化项目没有。


专家介绍

1、随着ChatGPT的火爆，算力增加，传统数据中心比如电网、各行业等的数据中心的建设，会催生液冷渗透率的上升，目前可以看到，数据中心机柜的功率密度在上升，比如冷板液冷13kw、15kw，浸没功率密度更高，超算可以到30kw、40kw，液冷的应用在实际项目推进中占比比以前高了很多。

2、AI概念火了后，在项目中有明确的应用的趋势，应用AI后，数据中心架构不同了，偏向算力后，单个芯片散热的功率密度在上升，从160w和700w，液冷的应用是必然的。

3、国内的数据中心的应用确实有存在明确的要求，数据中心必须有液冷存在。比如最近南网贵安项目，60%可以传统水冷、浮泵等，剩下40%会上液冷。对行业来说，液冷势在必行。

4、短期来看比如未来一两个月，保守谨慎一些，不会那么快见效，大概在七八九月份液冷的规模会扩大。


交流Q&A

Q：AI的实际项目目前体现不明显这个结论是否合适？

A：结论合适。未来2-3个月内不是很明确。


Q：到Q2或者Q3，项目会集中出现，是有客户相关需求沟通么？

A：目前有，大家对整个架构发生变化后，售前的技术咨询在增多，但没有明确说什么时点会出现什么项目。客户论证完之后会变成内部具体立项，项目就可见了，目前没有。


Q：AI需求催化外，部委以及各个地方政府PUE监管严格，PUE不达标不太批或者阶梯收电价，这个对液冷渗透是否有带动？

A：第一，早前业内拿能评的时候，PUE的监管，报稿子的时候会说1000个柜子中10-20%液冷，能评能达到要求，但是落地时候可能先上风冷，但是液冷迟迟不搞，这是以前的实际情况。

最近1-2年，报了能评之后，会检查是否确实上了液冷，报了就要上。现在论证阶段确定了数据中心方案上液冷的话，就会上。哪怕电网这样的传统市场，现在也要上。监管是加严的，而且不像之前一样可以打擦边球，报了就要落地。


Q：现在中大型数据中心会配套10-20%的液冷比例，这个是主流么？

A：认为会增加，以前可能是10%、20%，现在比例会增高，比如南网就是40%，浸没液冷，比如4000个、6000个柜子的项目就算大了。


Q：4000个柜子是多大的体量？

A：单柜至少13KW以上，TCO才会更好。浸没的话，基本项目都会在20kw以上。


Q：一个项目大几千万？

A：如果上浸没路线，不止。比如1600个柜子(4000*40%)，冷板液冷整体造价1500-2000万之间，看各家商务策略；上浸没的话体量更大，不含工质，不考虑液冷服务器，考虑围绕浸没服务器提供冷却的这些，体量在4000-5000万元，含上工质和服务器体量就更大。


Q：国网南网液冷比例提升已经定调了？

A：国网不好说，但是行业内新闻可以看到浙江省电网已经在招标液冷项目，但是浙江有优势，沿海，外冷借助海水或者湖来冷却。南网内部统筹的数研院，论证的部分，认为是保守的，但是也是创新驱动，40%上液冷，虽然是个别2-3个项目，含上服务器、整体解决方案，体量比较大。南网渗透率比较高，9月份交付，一二三期。


Q：大型互联网公司、电信运营商、其他行业的液冷趋势？

A：
运营商：相对比较稳健，目前一些需求可能没有那么大，但是运营商也有自己的想法，希望温控厂家、相关配套厂家，尽快把标准界定好，通过各省公司试点后迫切希望尽快建立液冷应用标准，而且他们的数据中心形态和互联网不同，要融入更加适应的标准，这个在加速，但是今年上的体量和节奏不好说。

互联网：22年速度放缓，头部企业，除了抖音需求比较大之外，其他头部互联网企业都放缓，目前我们了解的情况来看，BATJ实际项目/原来暂停项目都在启动，比如阿里仁和机房，还没有建设完，现在浸没的部分在加速，自持的数据中心会加速和启动液冷应用，所以头部企业需求会加速，包括目前看到抖音的华东区的项目，1.6万个柜子，分好多期，用冷板的液冷，但是浸没液冷解决方案也在更新，明确看到趋势ok，但是体量多大不好说，业内友商有策略，但是总体向好。


Q：电信运营商在试点，等行业标准成立，扩大规模推；互联网，停滞的项目重启，重启项目液冷渗透率提升？

A：是的，明确用液冷。但是运营商，比如天府云，简阳，天府云的一期二期方案里面明确就是用液冷，但是上多快，分几期上，上多大的规模，上的节奏不好说，和业主方、资方、用户方的节奏有关。


Q：存量的数据中心，液冷的渗透率，不算新建的这些，原先聊了行业的人，不足2%，这个数据怎么看？

A：存量确实渗透率不高。


Q：今年没有AI驱动，政策PUE和各家的选择来看，10%以上能看到？

A：哪怕没有这股风，大家还是会加速进程，10%问题不太大，至少我们了解的情况来讲，会有这个可能性/容量。


Q：原先怎么拍液冷的空间？

A：会根据液冷服务器的出货量来判断，不管是AI服务器还是比如中科曙光的存储液冷服务器。比如400万台服务器，液冷如果占比3%，12万台，如果3000元一台算，算出规模。

存量的不好判断。用服务器出货量衡量，相对准确。看宁畅CDCC讲的，自己建设的相关液冷配套的服务器出货量的初步产线规划18万台。宁畅服务器规模在业内能排上。


Q：目前供应商的情况？

A：从行业的温控厂家来看：

第一，无论是英维克、曙光、高澜还是其他，大家都在讲具备整体解决方案能力，比如英维克全链条，曙光全栈式，高澜一站自动解决方案，申菱和H公司走的多稍微讲的少，但是业内温控公司都阐述自己具备整体解决方案，同时提供产品。

第二，玩家有相通之处，有不同，英维克、申菱本来做空调，转向兼容液冷，高澜本来就是做液冷的，技术积累方面有差异，高澜液冷技术能力比英维克、申菱更强，曙光是特例，可以做冷板也可以做浸没，偏向超算，主营业务偏向超算液冷，大家通过自身基础，行业内资源，通过自己的能力，打出来差异化。但是液冷应用关键一点是产业链的成本要降低，相较冷冻式空调、浮泵、间接蒸发冷，成本太高，液冷应用和用户抉择会有问题，每个友商会致力于降低液冷产业链成本，有共鸣，又合作又竞争。

第三，目前的规模，除了曙光外，其他不太会披露液冷实际产品出货量和毛利率，但是目前2022年，在各个厂家的主营业务中占比都没有那么高，但是无论是整体解决方案还是关键部件替代，每个厂家中液冷占比可能会占到主营业务的20-30%比例，随着趋势向好后，能落地多少，蛋糕足够大，看能力，2年维度来看，判断能占到主营业务20-30%以上。


Q：高澜相对来说历史包袱轻一些？

A：对，高澜两点。

第一，高澜液冷产品，前置条件，市场说能做液冷的厂家很多，但是行业内会问，会不会漏，但是现在大家不会问了，会问可靠性多高，是否能把工艺控制更好，成本控制更低，高澜公司在行业内，资源和顾虑少一些，高澜就是为了液冷而生，不用像海悟、埃摩森、维谛等考虑空调，更加激进。

第二，从应用角度来说，大规模批量业内还没出现，今年过去之后，谁是对液冷更加可靠的，技术积累更深的，高澜有优势，当然其他厂家，比如申菱给华为代工，短期之内技术不一定能更好，但体量应该不错，曙光更加需要商业化项目证明自己，英维克本身是产品概念好的公司，宣传力度更强，但是路遥知马力。


Q：在AI相对高算力场景下，大家解决方案、能力和订单清样上的差别？

A：目前行业内，有个市场大家忽略了，区块链的市场，目前上市公司都在争夺区块链市场，数据中心理念是低成本快速部署体量足够大，体量和传统主流数据中心比体量更大。

我们传统的数据中心涉及讲究更多冗余，加上很多UPS消防等辅助措施，但是区块链市场更多温控厂家进入后，发现如果未来AI更加关注算力的话，数据中心架构会更加简化，投资成本会更低，或者一个集成集装箱不需要设置更多技术壁垒，会更加开放，简洁架构，催生数据中心温控方案更简洁，部署更简单，技术路线更简洁，这样规模会更大。

比如原来温控，必须要2个CDU来冗余，但是如果到了高算力，本来就是计算，比单个系统上设置更多冗余更高效更安全，AI场景应用会要求我们温控厂家，温控做得更简单，单泵少冗余。虽然单体造价会降低，但是数量会增加。我们认为AI应用会让温控解决方案变得更加简洁直接。


Q：供应商进展目前是差不多还是有差别？

A：现在还没有形成领先地位，起跑线差不多。


Q：区块链就是海外矿机数据中心？体量如何分配？

A：对，去年体量超过7亿，基础液冷设施部分。总体来讲，申菱没有进入，高澜60-70%，英维克20%左右，另外一家10%左右。

现在困扰液冷应用的首先是成本，成本规模小，应用的器件和部件形态一样，有规模之后，液冷的配套产业链成本是可以下降的，下降之后就可以去打冷冻水空调等技术路线，虽然不是主流市场，但对整个行业的成熟度会加速提升，而且应用工况比我们主流数据中心的应用工况更加严格，因为所在环境更加严苛，为主流数据中心、算力市场打了前仗。

浸没也占一部分，在传统算力市场，冷板是主流，浸没也是试点，浸没偏向于氟化液，区块链市场要求没那么高，给了合成油、矿物油的很好的试验，所以浸没也是一个很好的方向，至少82开的比例。


Q：现在市场需求来看，冷板和浸没的比例？

A：主流数据中心中冷板是主流，90%比例，浸没式10%。但是浸没会变成主要的方向。


Q：冷板的成本？

A：冷板的液冷，最终对标冷冻水、传统水冷成本，1.1-1.2的系数，但是如果是浸没，2-3的系数。


Q：冷板的需求增速？

A：2年内，冷板和浸没能达到6：4这样。


Q：听说今年冷板需求非常大？

A：不小，但是多大，至少现在看，冷板技术现在成熟，现在浸没的最大问题是工质问题，一些严苛的金融数据中心等，现在在讨论是否可以用油了，用油后差距会变小，现在还是冷板为主。


Q：高澜的竞争优势？

A：高澜的技术能力，在主流市场，不管原来的主营业务电力市场还是储能，在液冷部分相对强势，积累更加深，目前对冷板解决方案部分，从当下订单体量，占比也不差，第二至少产线在基础设施投入中不需要很多新增，是柔性的，交付产能强，第三欠缺的是业内IDC的资历，但是作为重要业务方向，在市场营销包括子公司发展迅速，在战略中占重要部分，营收占比会快速提升，从战略驱动、技术积累、2022应用案例来看，还是有一定的竞争力的，和申菱、英维克都不同，但是在业内也会迅速铺开，目前几个落地项目的口碑、交付质量，至少在第一梯队没问题。


Q：23、24年液冷的空间？

A：没有AI的话，2年之内能到10%就很不错了。政策加持、应用加持，23-25年之内，服务器液冷渗透率达到20%，这个渗透率个人比较乐观看到。

以400万台为基数，每年增加5%，AI加成可能服务器增速也会更乐观，20%渗透率可能能到100+万台，如果按照2000-3000元单台的价值量，体量基本可以测算，几十个亿问题不大。今年肯定达不到100万台。


Q：AI服务是一定要上液冷么？

A：我们以英伟达GPU来讲，如果600w不一定要液冷，可以均温板+重力热管的3D VC技术等解决，但是他们成本可能是比液冷高的，比如均温板+重力热管的3D VC的技术，类似cooler master给英伟达的解决方案，成本最终配套会比液冷高，液冷可能应用会更加直接一些，所以液冷是主要手段，是必须的。


Q：如果从类似厂商来看，冷板和浸没的售价差？

A：2-3倍。前提工质要界定好，哪怕是3M氟化液2025年退出后，国内氟化液还是很贵，比如国内氟化液还在200-300元/升，有些工质（油）50元/升，差距还是很大，温控并不能决定是否用浸没，而是本身工质和液冷服务器的成本决定是否要浸没。


Q：冷板现在成本4000-5000元/kw?

A：未来两年不会这么高，太高了，打不过传统水冷。能控制到2000元以内，是一个最理想的状态。冷板目前还是偏高的成本。浸没也要对标，但是也要TCO来考虑。所以最终是大家怎么在行业内确定标准的问题。


Q：字节专家AI超算10kw、20kw以上一定要浸没式？

A：如果8kw以内上液冷，经济性太差，如果达到12kw、15kw、20kw之后，液冷性价比比传统技术高。

上不上浸没，如果达到20kw之后，如果有新的技术形态（不一定是阿里的架构，54U的tank，对基础设施、承重要求高），业内也有别的方案，比如高澜有一体化的浸没的液冷产品，和冷板比会有基础设施的变化，第二业内也在积极推把整个tank中用液量减少，从技术创新对标到冷板，同时效率比冷板高，这样应用会有好的趋势，至少字节目前会去推浸没一体化产品，架构和现有的阿里云的架构不同，但是还没发布。


Q：字节是高澜客户还是潜在客户？

A：各个温控厂家都是字节的液冷白名单，大家都有机会，互联网企业开放，阿里也一样，但是高澜目前卡位比较好，从产品论证到落地的能力不错。


Q：高澜之前做特高压冷却多，对大功率更有经验，有些厂商说高澜在浸没技术比较明显，冷板技术差异不大，如何看？

A：从冷板角度来讲，是好事，如果所有温控厂家水平拉齐，行业会很健康，成本优势、制造工艺优势、用户选择放心，应用会广，冷板各家优势不在技术能力，在制造能力，整个交付能力，工艺水平能力，批量出货能力，底层技术水平差距不大，但是交付能力差距大。第二，浸没最终也还是考虑部署，就是交付能力，因为率先使用的是头部互联网企业，还是要考验产品的一致性问题，可能某些厂家会稍微领先，但是不会领先很多，目前大家都有机会，没有谁最好，高澜在Q2和Q3季度浸没的出货量应该会相较其他温控厂家领先。


Q：同飞的情况？

A：同飞正在进入，参加了几个论坛，可以做CDU，但是对数据中心的应用场景比较薄弱，个人认为还没有入门。


Q：如果以矿机市场举例，去年7亿，高澜6-7成，4亿左右，大概对应多少矿机机柜？

A：具体数据不一定准确，但是高澜份额一定是最大的。一个1MW集装箱能装210台服务器，单体造价60万左右。芯片功率400-500W，单台服务器达到接近3kw热量。


Q：交付是tank形式么？

A：都有。如果冷板液冷是专门的液冷服务器/液冷矿机，浸没可以直接改造风冷服务器，如果市场行情好，体量更加大，因为还融入了余热回收的概念，余热回收可以应用很大场景，比如养鱼等。


Q：1MW什么概念？

A：整个集装箱的散热功率。


Q：倒除一下一台5kw左右？

A：可以超频，本身没有那么高，但是可以超频，风冷不能超频，但是液冷芯片温度和传统数据中心芯片温度不同，比如神马推出一款80度耐温的，就是面向余热回收，但是比特大陆可能就50度出水，所以可以超频，超频看矿机厂家的开放程度，超频意味着算力更高。


Q：单台服务器3-5kw不是最高的功率吧？

A：如果GPU功率密度越高，液冷的应用更加可观。


Q：高澜订单都交付了么？

A：陆续交付中。


Q：22年交的多还是23年交的多？
A：23年才一个季度，这样22年交的多。23年应该也会好。


Q：单台冷板价值量2000-3000元，包含了服务器内部的水冷板、快接、环形管路这些么?

A：包含了。


Q：单台价值量有点偏低？

A：是一个目标状态，现在成本还没有办法算那么精细，但是目标要往这个靠。每家的环形管网的设计理念，小环网、大环网，大家都还在努力降本，我们可能会把不锈钢的管路换成别的材质，大家都有理念把一次性投入成本降低，才能把规模做大。


Q：现在如果用空调的成本?

A：传统冷冻水1kw需1200元，要论证，不确定。


Q：每个2000-3000元是什么概念？和功率相关？

A：笼统的概念，外冷可能应用不同，有些冷却塔有些供水有些间接蒸发冷，要细化到环境中才能对比。


Q：2000-3000元的概念是以已经落地的矿机的项目为参考？

A：和矿机无关，和主流数据中相关，一定要往这个趋势去努力。


Q：今年除了矿机外，英维克、高澜、申菱这几年今年数据中心液冷的订单体量？

A：各家翻倍问题不大，以现有营收规模。


Q：去年来看，这三家的液冷体量？

A：不好说，项目有头部互联网的，有改造零售的，有运营商试点的，还有金融政企的客户，不好说具体数据。但是从同比来看，翻倍的问题不大。


Q：液冷部件的成本、价值量和功率的提升的关系？如果功率提升一倍，哪些部件增量更多？

A：目前看，比如冷板这部分，只会降低，不会增特别高，因为技术路线相似。


Q：不考虑客户降本，现有来看，20kw比10kw贵在哪里？

A：整个散热容量增加，液冷单千瓦散热容量增加，对应的成本是一个线性的关系，同样会增加，部件影响不是特别大。快接100元还是100元，但是数量增多了。


Q：固定结构件增量不大？但是和散热容量相关的会增加？

A：更多散热容量增加，用的部件多了，反而成本下降一些，但是体量大了。


Q：现在看到的头部几家，英维克、高澜、申菱、曙光数创，几家的区分点？

A：曙光偏向于超算的应用，商业化部分竞争力比不上另外三家。英维克和申菱目前最大的用户是H公司相关，这部分看华为数字能源军团业务的增长。头部互联网企业高澜卡位更好，我们认为大家在同一个起跑线。我们会努力拉平大家各自的技术状态，有机会，但是能否分出胜负，或者谁会胜出，可能要今年之后，现在不好下结论。


Q：为什么高澜在矿机份额最高？

A：因为高澜的制造能力更强，基本上整体的产线，无论manifold到整体集成能力，比另外两家都强。


Q：交付能力更强？

A：交付能力意味着首先工艺能力更强，质量更加可靠，围绕身边的都是做这个的供应商，产业链合作伙伴更加成熟一些。


Q：英维克和申菱都是和H合作更加紧密？

A：对的。


Q：液冷的竞争情况和毛利率情况？

A：竞争相对比较激烈，因为去年体量来看体量不大，但是大家认为趋势好，迫切需要规模化项目来证明自己/练能力，决策相对激进。

从目前毛利率来看，大规模大体量的毛利率不会特别高，维持30%左右很厉害了，但是零售和改造的毛利率可以比较高，两者有机结合，大项目毛利率不高，小项目不到千万级的毛利率高，综合净利率水平8-15%都可能，看各家企业的水平，供应链的能力。


Q：30%的毛利率，如果矿机也那么高？

A：可以做到30%，最近一次的产品产值可以，前面做不到，前面10%就不错了。


Q：高澜这几年有可能率先落地和放量的客户排序？

A：字节快，BATJ，运营商慢一些。但是总体容量运营商体量更大。高澜目前没有和华为有实际的大批量交付，合作有，规模化项目没有。