闪迪提议HBF取代HBM，在边缘实现 AI

Sandisk Corp. 正在寻求 3D-NAND 闪存的创新，该公司声称该创新可以取代基于 DRAM 的 HBM（高带宽内存）用于 AI 推理应用。

当 Sandisk 于 2025 年 2 月从数据存储公司 Western Digital 分拆出来时，该公司表示，它打算在提供闪存产品的同时追求新兴颠覆性内存技术的开发。在 2 月 11 日举行的 Sandisk 投资者日上，即分拆前不久，即将上任的内存技术高级副总裁 Alper Ilkbahar 介绍了高带宽闪存以及他称之为 3D 矩阵内存的东西。

在同一场演讲中，Ilkbahar 表示，通过优化 NAND 闪存的带宽，而不是芯片面积和成本，该公司提出了一种称为高带宽闪存 （HBF） 的架构。

方法是将 NAND 内存阵列划分为多个微型阵列，并并行访问每个阵列。这些多个微型阵列可以使用铠侠BICS 3D-NAND技术在垂直维度上堆叠。这已经被用来生产16层的研发存储器，其容量是HBM的8到16倍，价格类似，Ilkbahar说。

“我们正在根据主要 AI 参与者的意见来开发它，”Ilkbahar 告诉投资分析师听众。他补充说，HBF 有可能取代数据中心 GPU 中的 HBM，并将其用途扩展到支持 AI 的智能手机和其他边缘设备。

目前，一个典型的 AI-GPU 包括 2 个 GPU 逻辑芯片和 8 个 HBM。即将推出的 AI-GPU 使用这 8 个 HBM 来提供 192GB 的 DRAM。Ilkbahar 说，使用 HBF 可以为组件提供 4TB 的非易失性内存。

Ilkbahar 说，像 GPT4 这样要求苛刻的现代 LLM 有 1.8 万亿个参数，使用 16 位权重，需要 3.6TB。“这意味着整个模型可以放在单个 GPU 上，避免大量数据移动，”他观察到。这种效率对于即将推出将文本与音频和视频相结合的多模态模型非常重要。

由于内存、性能和功耗限制，智能手机上的 AI 一直专注于减小 LLM 大小，但结果并不令人满意。Ilkbahar 说，这推迟了边缘 AI 的发展。但是，更高级的 LLM，或者基于专家混合模型的 LLM，可能具有 640 亿个参数，具有 8 位权重，需要 64GB 的内存。“单个 HBF 芯片可以包含该模型，”Ilkbahar 说。

Ilkbahar 承认 HBF 不能直接替代 HBM，但表示 Sandisk 已决定以最少的协议更改驱动基于相同电气接口的开放标准接口。为此，Sandisk 正在组建一个由行业杰出人士和合作伙伴公司代表组成的技术顾问委员会。

Ilkbahar 没有透露合作伙伴的姓名，也没有提供引入 HBF 的时间表。他确实展示了一个路线图，显示与第一代 HBF 相比，容量和读取带宽翻了一番，能效提高了 36%。