HBM4以前所未有的内存带宽推动下一代人工智能

DeepSeek R1的首次亮相在AI社区掀起了波澜，不仅因其能力，更因其开发规模之大。这款拥有6710亿参数的开源语言模型发布，标志着人工智能的一个关键时刻，因为它在超过20万亿个令牌上训练，使用数万台NVIDIA H100 GPU，凸显了大型语言模型（LLMs）领域对数据的巨大需求。

H100能够处理如此庞大的数据吞吐量的关键在于其对HBM3内存的依赖。每块 H100 SXM GPU 使用 80 GB HBM3 内存，提供 3.35 TB/s 带宽。虽然这相较于前几代有了显著进步，但GPU的内存容量和带宽增长速度仍不足以跟上AI模型的指数级增长。

例如，H100 提供的内存容量和带宽是 NVIDIA 上一代 A100 GPU 的两倍，后者最初提供 40 GB HBM2 内存和 1.55 TB/s 带宽。然而，过去两年AI模型的规模增长了100倍以上——远远超过了内存增长。

这一差距凸显了人工智能发展中的一个关键挑战：传统记忆技术根本无法满足现代人工智能训练的带宽和容量需求。庞大的数据集需要快速访问和处理，如果内存容量和性能不足，AI计算资源就会被低估。

高带宽内存登场

这正是高带宽存储器（HBM）派上用场的地方（见表）。通过垂直堆叠内存芯片并连接宽大且高速的接口，HBM相比传统内存架构在性能和容量上实现了显著飞跃。它迅速成为高级AI工作负载的首选内存解决方案。

高带宽存储器（HBM）在容量和性能上都有所提升。（图片来源：Rambus）

HBM的发展非常显著。它以1 Gb/s的数据速率和最多八个16 Gb芯片组成的3D堆栈启动。通过HBM3e作为HBM3的增强版，数据速率可扩展至9.6 Gb/s，设备可支持最多16个32 Gb芯片堆叠，每台设备总容量为64 GB。

为了应对人工智能训练、高性能计算（HPC）及其他高要求应用中遇到的内存瓶颈，业界一直热切期待下一代HBM4内存的问世。JEDEC最近宣布了HBM4内存标准，为行业带来了又一次重大飞跃。

JEDEC已就最高6.4 Gb/s的速度箱达成初步协议。此外，通过采用2048位宽的接口——是前几代HBM的两倍——相比HBM3初版，在相同数据率下内存带宽翻倍，带宽比HBM3e标准高出33%。这带来了显著加快的数据访问和处理速度，使AI模型能够比以往更高效地训练和运行。

HBM4还集成了先进的可靠性、可用性和可维修性（RAS）功能。这在拥有数千GPU的大规模并行处理架构中尤为关键，因为硬件故障平均每隔几小时就会发生一次。更高的可靠性对于确保稳定性能和最小化停机时间至关重要。

要充分发挥HBM4的强大性能，必须配备一个复杂的内存控制器。市场上领先的控制器支持JEDEC的6.4 Gb/s规范，并可与第三方或客户PHY解决方案配合，构建完整的HBM4内存子系统。

实施HBM4面临的挑战

实施HBM4带来了新的挑战。一个主要障碍是以更高速度管理数据并行的复杂性。新的HBM4控制器采用了更复杂的重排逻辑。这优化了输出HBM事务和输入HBM读取数据，保持高带宽数据接口的高效利用且功耗可控。

另一个挑战是热管理。凭借更高性能，HBM内存控制器必须意识到热点的潜在存在。下一代HBM4控制器通过提供机制来解决这个问题，使主机系统能够读取存储芯片的热状态，从而在热参数范围内有效管理整个系统。

随着生成式人工智能时代的展开，越来越复杂且数据需求极大的模型将会出现，内存带宽的重要性不容忽视。实现下一代人工智能需要解锁前所未有的HBM4内存性能及更高性能。芯片设计师敏锐地关注未来，正塑造人工智能革命的轨迹，赋能研究人员和开发者推动可能性的边界。