AI计算的未来不会只依赖单一类型芯片

核心要点

• 计算集群存在多种并行范式：张量并行、数据并行、上下文并行、流水线并行，每一种对网络拓扑的要求各不相同。

• 推理解耦：一套集群专门负责预填充阶段，另一套负责解码阶段，还有独立的全算力集群完成智能体执行任务；集群之间大多通过以太网互联，也可采用其他协议。

• 从训练转向推理的过程中，异构集群有助于降低 Token 成本；软件层变得至关重要，需要充分发挥异构硬件能力、实现跨集群优化，尤其当整套端到端流程并非由同一家厂商实现时。

圆桌访谈嘉宾

《Semiconductor Engineering》组织圆桌研讨 AI 数据中心架构变革，参会嘉宾包括：Arm 云与 AI 基础设施硅芯片全球负责人 Satadal Bhattacharjee；Axiomise 首席执行官 Ashish Darbari；楷登电子（Cadence）杰出工程师 Moshiko Emmer；Expedera 首席科学家 Sharad Chole；西门子 EDA 高性能计算开发负责人 Cameron Brunner；新思科技（Synopsys）战略营销总监 Sumit Vishwakarma。下文为访谈摘录。

SE（本刊）：由多颗处理器协同组成一台逻辑整机的计算集群，在网络、热管理、供电等方面面临大量设计难题。哪些企业正在主导技术创新，让这类方案走向可用？

Brunner：硬件厂商与大型系统集成商正在研发集群组网方案。软件负责调度工作负载，最大化利用互连资源。超大规模云厂商已经落地大量相关理念，构建出可实际运行的环境。很多云厂商引入放置组机制，把虚拟机集中部署，使其能够享用高速互连。 但跨机器扩展会带来巨大难题。当应用跨多台机器运行，想要获得接近线性的性能扩展，难度很高。

Chole：问题很大程度取决于业务负载。我长期从事 NPU 与 AI 领域，随着模型规模暴涨，内存成为与计算绑定的核心瓶颈。因此 HBM 成本以及 HBM 的利用效率，成为 GPU 性能的关键因素。 模型中既有静态参数，也存在动态的上下文信息。例如内存保存的上下文规模、处理的数据量，直接取决于并发请求数量。边缘场景比较简单，同一时间只有少量请求；但数据中心层面，需要在 API 接口层面追求整机利用率最大化，核心指标是每秒处理请求数。

综合以上因素，就衍生出不同并行范式：张量并行、数据并行、上下文并行、流水线并行，每种范式对网络拓扑要求不一样。流水线并行是点对点传输；张量并行依赖归约‑广播操作。在集群设计阶段，必须充分考虑这些特性。正因如此，如果要做张量并行规模扩展，NVLink 就十分关键。存储系统、内存数据传输同样遵循这套逻辑。

再看 CPU 资源利用：工具调用、CPU 上工具程序的运行方式，会改变智能体的工作负载形态，理解工具的执行逻辑非常重要。如果数据中心运行完整智能体工作流，就必须做好编排调度。智能体工作流很大程度上变成云管理问题：需要部署工具应用，保证 MCP（模型上下文协议）服务器响应及时。当 API 调用量足够大，集群优化就可以带来收益。 我们需要综合各类并行策略实现规模扩展。如何从单 GPU 扩展到 8GPU，同时逼近 8 倍性能，始终是一大挑战。

Bhattacharjee：没错。行业正在出现由英伟达率先推动的趋势：推理流水线解耦。推理分为多个阶段：预填充阶段，输入提示词，模型解析用户指令，为后续执行做准备；预填充算力消耗极高。近期 Groq 公布 Groq 3 LPU 语言处理单元将用于预填充集群，说明该阶段已经不能只依靠 GPU 完成。 之后是解码阶段，模型生成输出应答内容。引入智能体之后，还会出现工具调用、任务执行环节，例如叫网约车、预订酒店。

推理解耦之后，不同集群各司其职：一套软硬件集群专门做预填充，一套集群负责解码，还有独立的全算力集群承接智能体任务。集群之间相互通信，目前大多采用以太网；每套集群搭配专属软硬件组合，最大化自身擅长任务的效率。这会成为未来常态。过去所有 AI 任务都用 GPU 解决，但行业逐渐意识到，不能拿一把锤子敲所有钉子。GPU 擅长数学运算，但推理负载特征完全不同，需要更加多元的硬件，也就是异构集群。软件必须适配异构集群，这带来巨大软件挑战：各类硬件来自不同厂商，软件要做到无缝调度，充分发挥每一类硬件的优势。 新兴云厂商已经开始实践。DigitalOcean 公布五层推理架构，底层基于异构集群，同时使用 AMD 与英伟达硬件，并且计划持续接入更多新型硬件。这就是行业趋势：提升效率，压低 Token 生成成本。

Darbari：集群把设计目标从打造单台高性能机器，转变为构建一套协同分布式系统。单台服务器主要关注本地计算、内存、IO 之间的平衡；而集群性能高度取决于负载拆分策略、通信模式，以及互连网络能否高效完成同步与数据搬运。 还要意识到集群存在通信层级。最底层为芯片间互连，包含封装内部裸片互联、板卡加速器互联、节点内设备互联。UCIe 等行业标准正在推进，提升不同厂商裸片接口的互操作性与可预测性，这对于用多颗芯粒构建大一致性计算节点至关重要。

SE：在 AI 数据中心里，CPU 承担智能体 AI、推理复杂推理循环、上下文维护、分支指令路由等难以并行化的繁重任务。那么 GPU 除矩阵运算之外还需要承担哪些工作？当 CPU 接手部分负载，GPU 是否会承接别的任务？

Bhattacharjee：推理过程包含推理运算环节，需要基于提示词确定执行动作，推理阶段算力开销巨大，需要加速器（这里泛指各类加速器件，不限于 GPU），也可以是完成推理的专用 ASIC。模型推理包含大量矩阵运算，这正是加速器的强项。 而编排调度、工具调用，也就是智能体执行动作的环节，可以交由 CPU 运行。整套流程严格管控，区分哪些负载跑在 CPU，哪些跑在 NPU，软件在此起到决定性作用。

Emmer：面向智能体、重推理的推理业务，加速器的重要性并未下降，而是流水线被切分得更细。部分步骤控制逻辑重、带状态、大量分支跳转；其余步骤依旧是大规模张量数学运算。混合架构天然适配该场景：把不同计算引擎、内存结构组合成一套完整系统，避免单一计算类型低效包揽全部任务。

Brunner：集群内部异构化趋势还会持续。我们正在评估部分场景，未来集群甚至要集成量子计算设备。集群将成为统一互联平台，服务业务目标。核心诉求是：基于现有硬件能力，为运营商、业务与终端用户拿到最优结果。业务需求会驱动硬件利用率最优的解决方案落地。

SE：集群与集群之间，优先采用什么互连方案？

Brunner：以太网的主要竞品是 HPE 的 Slingshot 以及 InfiniBand。Top500 超算榜单可以看到 100Gbps 以太网与 InfiniBand 的部署占比，Slingshot 性能表现最优。 以太网长期作为标准互连方案。过去不断有团队开发专用协议，补足以太网短板，但历史经验表明，这只会倒逼以太网持续迭代升级。专用技术性能往往略占优势，但生态规模不及以太网，需要做取舍。Slingshot 属于 HPE Cray 高性能超算体系，只能采购该厂商方案；以太网生态覆盖面更广，最终取决于数据中心希望接入哪套生态。

Bhattacharjee：物理层层面，我认同 Cameron，当前主流是 InfiniBand，铜缆实现机架间互联。谷歌 TPU 另辟蹊径，采用光互连，用光信号替代铜缆。未来几年光互连会更加普及，以此满足爆炸式增长的带宽需求。

Vishwakarma：光互连的优势十分突出，光子对比电子，无电阻，几乎无功耗损耗。AI 集群散热压力巨大，冷却拉高整体运营成本。当前无论是节点间，还是芯片内部，全部采用电信号。共封装光学是热门研究方向，研究如何把光模块进一步贴近芯片，甚至集成到芯片内部。 共封装光学属于新兴领域，同时关联异构计算。智能体工作流与推理业务增多，架构趋向异构化，适配多样化负载。但构建异构计算本身难度很高，需要 CPU、GPU、NPU、各类加速器以及高带宽内存协同工作，封装复杂度大幅提升。

多物理场效应成为重点研究方向。高速场景下，封装内部有多颗裸片；多裸片 HBM 可能因为高温、翘曲发生失效，进而影响整个计算节点乃至 AI 集群。电迁移问题会引发大量信号完整性故障，最终拖累集群性能。

Emmer：互连架构可以划分为三层。第一层：芯粒与封装互连，目标是极致高效的本地带宽；第二层：节点级主机‑加速器之间的一致性 / 半一致性互联；第三层：集群交换网络，面向规模、传输距离、拓扑做优化。标准化十分关键，每一次协议边界转换，都会引入时延、功耗与设计复杂度。我们不需要一套万能交换网络，而是需要多套互相匹配、阻抗失配最小的互连体系。光互连潜力巨大，但必须解决真实系统瓶颈，不能沦为实验室项目。

SE：系统多层级存在大量数据搬运，依靠什么软件或 AI 完成全局管控？虚拟机能否适配多种多样的处理器行为？整套体系如何管理？

Brunner：虚拟机可以在高层发挥作用。以 Slingshot 网络举例，它支持在底层之上虚拟集群，可按工作负载配置服务质量，管控数据流量，实现最优部署，避免多业务争抢资源。Slingshot 短距离采用铜缆降功耗，长距离使用光纤，同时支持 100Gbps 以太网。长距离链路全部走光纤。软件定义集群，再为应用配置网络 QoS，以此规避异常业务行为。

Chole：软件栈层面，小规模集群会用虚拟机做虚拟化，但容器已经遍地开花。容器成为主流部署方式；即便 GPU 驱动工具链想要可复现、更稳定，也优先使用容器。AI 领域容器已经成为事实标准，但容器只是底层平台，上层还需要各类专用工具。运行时、编排、调度、队列、API 接口、服务平台，各个组件必须协同工作。每个应用都有专属软件栈，行业也在针对各类栈做深度定制。智能体编码兴起，让定制开发更加便捷，可以直接构建所需功能，而不是强行改造现有方案。

Bhattacharjee：英伟达的护城河已经不再单纯是硬件，而是二十余年积累的软件生态。作为硬件厂商，它在软件上投入巨大，完成大量优化，这也是大家采购英伟达产品的核心原因：软硬件一体化完整方案，经过调优，支持大规模扩展。

从训练转向推理，业界迫切希望借助异构环境压低 Token 成本。当整套端到端流程不由单一厂商掌控，软件就成为充分发挥异构硬件能力、跨系统优化的关键。类比苹果生态，苹果软硬件自研深度调优；而现在的场景是加速器来自 A 厂商，CPU 来自 B 厂商，服务器由 OEM/ODM 制造，搭配第三方网络设备，全部拼接在一起。 软件首先要感知异构硬件特性，充分发挥各类硬件的优势，并且把负载调度到最合适的硬件上。

一批新兴创业公司例如 Gimlet Labs、Together AI，定位就是提供异构硬件之上的软件层，适配解耦推理架构，保障预填充集群、解码集群、智能体计算集群都高效运行，负责软件编排，对接多方硬件厂商。 除谷歌这类自研 TPU 集群的顶级超大规模厂商之外，绝大多数企业很难做到全套自研。新一代云厂商 DigitalOcean、CoreWeave、Lambda AI、Verda 等都面临相同难题。大家希望硬件更多元，在不牺牲性能前提下降低 Token 成本，摆脱单一厂商绑定。 这是当下重大行业挑战，目前尚处于早期阶段。大量资源投入研发适配异构集群的优化软件，解决当下行业痛点：现阶段只有英伟达体系经过大规模验证，行业只能排队采购。

Emmer：软件编排想要高效运行，硬件必须暴露合适的控制接口与遥测抽象。如果系统无法清晰描述硬件位置、带宽等级、热状态、引擎能力，编排器就只能靠猜测。软硬件协同设计因此必不可少。

SE：那集群设计的核心矛盾，就是我们在前两部分讨论的英伟达垄断以及功耗问题，这个总结是否准确？

Bhattacharjee：高度概括来讲，功耗毫无疑问是第一大难题，没有供电一切无从谈起。第二大挑战是 Token 使用效率，需要依靠异构架构以及各类创新技术实现。