英伟达推出GB200 NVL4平台：整合了两个GB200芯片
NVIDIA准备推出GB200 NVL4 搭载四颗"Blackwell"GPU和两颗"Grace"CPU
芯智讯 2024年11月20日 08:38 广东

11月19日消息，人工智能（AI）芯片大厂英伟达（NVIDIA）正式推出了两个全新的AI解决方案硬件平台，一个是Blackwell GB200 NVL4，一个是Hopper H200 NVL。

据介绍，英伟达GB200 NVL4是一个全新的模块，是基于原有的GB200 Grace Blackwell Superchip AI解决方案的更大扩展。GB200 NVL4模块是在更大的主板上配置两个Blackwell GB200 GPU，即拥有两个Grace CPU和4个Blackwell B200 GPU。该模块被设计为具有4-GPU NVLINK域和1.3T相干内存的单服务器解决方案。在性能方面，该模块将使模拟性能提高2.2倍，训练和推理性能提高1.8倍。英伟达的合作伙伴将在未来几个月内提供NVL4解决方案。

此外，基于 PCIe 的Hopper H200 NVL已全面上市，这些卡可以通过 NVLINK 域连接多达 4 个 GPU，可提供比标准 PCIe 解决方案快7倍的带宽。英伟达表示，H200 NVL 解决方案可以适应任何数据中心，并提供一系列针对混合 HPC 和 AI 工作负载优化的灵活服务器配置。

在规格方面，Hopper H200 NVL解决方案提供了1.5倍的HBM内存、1.7倍的LLM推理性能和1.3倍的HPC性能。您将获得114个SM，总共14592个CUDA内核、456个张量内核和最多3个FP8 TFLOP（FP16累积）性能。GPU具有跨5120位接口配置的80 Gb HBM2e内存，TDP为350瓦。

至于 TDP，由于 Superchip 模块的功率约为 2700W，预计更大的 GB200 NVL4 解决方案的功耗接近 6000W 的功率。人们可以很容易地看到英伟达 为加速 AI 计算领域所做的努力。

英伟达最近在MLPerf v4.1中发布了训练和推理方面的世界纪录，不仅最新的Blackwell平台令人惊叹，而且上一代的Hopper通过持续优化也变得越来越好。该公司还将其人工智能路线图加速到一年的节奏，并计划在未来几年推出几个新的基础设施，如Blackwell Ultra和Rubin。

编辑：芯智讯-浪客剑

NVIDIA准备推出GB200 NVL4 搭载四颗"Blackwell"GPU和两颗"Grace"CPU
ugmbbc 的报道

在 SC24 大会上，NVIDIA 以 GB200 NVL4 的形式发布了最新的计算密集型 AI 加速器，这是一款单服务器解决方案，扩展了公司的"Blackwell"系列产品组合。 新平台在单板上集成了四个"Blackwell"GPU和两个"Grace"CPU。

对于单服务器系统而言，GB200 NVL4 拥有非凡的规格，包括四个 Blackwell GPU 的 768 GB HBM3E 内存，提供 32 TB/s 的综合内存带宽。 该系统的两个Grace CPU拥有960 GB LPDDR5X内存，使其成为满足苛刻人工智能工作负载的动力源。

NVL4 设计的一个主要特点是采用了 NVLink 互连技术，可实现板上所有处理器之间的通信。 该系统的功耗达到 5400 瓦，比 GB200 NVL2 型号的 2700 瓦功耗高出一倍。

NVIDIA 正与 OEM 合作伙伴密切合作，向市场推出各种 Blackwell 解决方案，包括 DGX B200、GB200 Grace Blackwell Superchip、GB200 Grace Blackwell NVL2、GB200 Grace Blackwell NVL4 和 GB200 Grace Blackwell NVL72。

单台服务器的 TDP 为 5400 W，需要液冷系统才能达到最佳性能，GB200 NVL4 预计将用于超级分频器客户的服务器机架，这些客户的数据中心通常都有定制的液冷系统。

NVIDIA Prepares GB200 NVL4: Four "Blackwell" GPUs and Two "Grace" CPUs in a 5,400 W Server
by AleksandarK Yesterday, 15:32 Discuss (6 Comments)

At SC24, NVIDIA announced its latest compute-dense AI accelerators in the form of GB200 NVL4, a single-server solution that expands the company's "Blackwell" series portfolio. The new platform features an impressive combination of four "Blackwell" GPUs and two "Grace" CPUs on a single board. The GB200 NVL4 boasts remarkable specifications for a single-server system, including 768 GB of HBM3E memory across its four Blackwell GPUs, delivering a combined memory bandwidth of 32 TB/s. The system's two Grace CPUs have 960 GB of LPDDR5X memory, making it a powerhouse for demanding AI workloads. A key feature of the NVL4 design is its NVLink interconnect technology, which enables communication between all processors on the board. This integration is important for maintaining optimal performance across the system's multiple processing units, especially during large training runs or inferencing a multi-trillion parameter model.

Performance comparisons with previous generations show significant improvements, with NVIDIA claiming the GB200 GPUs deliver 2.2x faster overall performance and 1.8x quicker training capabilities compared to their GH200 NVL4 predecessor. The system's power consumption reaches 5,400 watts, which effectively doubles the 2,700-watt requirement of the GB200 NVL2 model, its smaller sibling that features two GPUs instead of four. NVIDIA is working closely with OEM partners to bring various Blackwell solutions to market, including the DGX B200, GB200 Grace Blackwell Superchip, GB200 Grace Blackwell NVL2, GB200 Grace Blackwell NVL4, and GB200 Grace Blackwell NVL72. Fitting 5,400 W of TDP in a single server will require liquid cooling for optimal performance, and the GB200 NVL4 is expected to go inside server racks for hyperscaler customers, which usually have a custom liquid cooling systems inside their data centers.

关于我们

北京汉深流体技术有限公司是丹佛斯中国数据中心签约代理商。产品包括FD83全流量自锁球阀接头；液冷通用快速接头UQD & UQDB；OCP ORV3盲插快换接头BMQC；EHW194 EPDM液冷软管、电磁阀、压力和温度传感器及Manifold的生产。在国家数字经济、东数西算、双碳、新基建战略的交汇点，公司聚焦组建高素质、经验丰富的液冷工程师团队，为客户提供卓越的工程设计和强大的客户服务。

公司产品涵盖：丹佛斯液冷流体连接器、EPDM软管、电磁阀、压力和温度传感器及Manifold。
未来公司发展规划：数据中心液冷基础设施解决方案厂家，具备冷量分配单元（CDU）、二次侧管路（SFN）和Manifold的专业研发设计制造能力。

- 针对机架式服务器中Manifold/节点、CDU/主回路等应用场景，提供不同口径及锁紧方式的手动和全自动快速连接器。
- 针对高可用和高密度要求的刀片式机架，可提供带浮动、自动校正不对中误差的盲插连接器。以实现狭小空间的精准对接。
- 基于OCP标准全新打造的液冷通用快速接头UQD & UQDB ;OCP ORV3盲插快换接头BMQC , 支持全球范围内的大批量交付。