协处理器新时代：异构计算架构如何跟上AI浪潮

核心要点

• 没有任何一种处理器能高效执行所有任务，必须采用多处理器协同架构。

• 最大化效率的关键是最小化数据移动。

• 架构师必须在满足当前负载效率的同时，预留足够灵活性以适配未来需求。

得益于 AI 带来的负载变革，新一代处理器架构正快速演进，但没有任何一款处理器能 “包打天下”。协同在纸面上很简单，实际实现却困难重重。

历史上从未出现过能通吃所有场景的处理器架构。过去 50 年，CPU 一直是主力计算单元，但即便在 PC 早期，人们就已意识到部分负载需要更专用的处理能力 ——8086 就搭配了 8087 浮点协处理器。

音频处理与手机的普及，让数字信号处理器（DSP）成为必备第二处理器。这类架构意识到数据传输是性能瓶颈，将数据与指令流分离，并加入专用乘累加单元，以快速完成傅里叶变换。后续又逐步扩展支持编解码、压缩、调制、解调与纠错等功能。

CAD 等应用对图形处理速度提出更高要求，推动了商用游戏市场崛起与 GPU 架构快速迭代。正是这些处理器让 AI 从规则驱动走向模型驱动，一路发展至今。

迁移到新架构并非易事。Quadric 首席营销官 Steve Roddy 表示：“SoC 三十年演进呈现出一致规律：功耗 - 性能驱动新处理器品类诞生，但可编程性决定其能否成功。如果 CPU 能在功耗与性能范围内跑完负载，就会一直用 CPU；只有当 CPU 效率不足时，架构师才会引入专用化设计。”

AI 的快速迭代同样引发硬件架构革新，其演进速度甚至超过硬件设计、验证、量产与部署的速度。ChipAgents 首席执行官 William Wang 指出：“协处理器的核心问题归根结底是负载。随着 AI 系统演进，负载正从简短的内核型推理任务，转向长时运行的智能体任务，涉及推理循环、工具调用、内存访问与多组件交互。在这种场景下，挑战不再是打造更快的计算模块，而是在通用可编程性与 ASIC 级效率之间取得平衡。”

许多公司曾尝试推出新处理器架构，纸面参数亮眼却最终失败。南安普顿大学 AI 与 EDA 研究员 Simon Davidmann 认为：“成功的协处理器，通常能同时最小化数据移动、软件摩擦与验证风险。在 AI 领域，最好的协处理器不是峰值 TOPS 最高的那个，而是数据移动浪费能量最少的那个。”

架构演进

在包含多个异构处理单元的协同环境中，通常由一个处理器担任协调角色。新思科技（Synopsys）首席产品经理 Gordon Cooper 解释：“无论何种场景，都有一个高层主机，通常是 CPU，其他所有单元都可视为协处理器。我们拥有神经网络处理器（NPU）IP，它虽是完整处理器，但仍听命于主机。面对大语言模型时，主机虽可承担部分工作，但会将绝大多数任务卸载给 NPU—— 在大语言模型或视觉语言模型中，由 NPU 做矩阵运算效率高得多。而这一切都始于主处理器的控制。我们的 NPU 内部包含多个标量处理器、向量处理器与专用数学引擎，是一个典型的异构算力集合体。”

NPU 已快速迭代。楷登电子（Cadence）AI IP 与软件产品营销总监 Amol Borkar 表示：“NPU 用于运行 AI 模型，但过去通常是高度专用的固定功能硬件。如今 AI 模型愈发复杂，不再只有 MAC 运算，还需要硬件辅助非 MAC 操作与激活函数。这让 NPU 具备一定灵活性。但我们发现，只要出现新层、新算子、新版 Llama 或 Claude 模型，就会面临挑战：如果额外硬件无法支持这些新算子，网络可能无法运行。”

Arm 则通过全新 AGI CPU 走出截然不同的路线，大幅提升 CPU 每瓦性能。Arm 首席执行官 Rene Haas 称：“随着智能体 AI 主流化，相关工作负载高度依赖 CPU 性能。数据中心正面临瓶颈：昂贵的加速器生成 Token 后，需要通过云端回传，形成巨大瓶颈。这意味着需要越来越多的 CPU。”

这也让处理器与协处理器的边界愈发模糊。Arteris 产品管理与营销副总裁 Andy Nightingale 指出：“如今协处理器架构覆盖紧耦合单元、松耦合加速器、基于互连的分布式系统。紧耦合设计延迟低、内存共享、编程简单，适合小规模或低延迟敏感场景，但因资源竞争与一致性开销难以扩展；松耦合方案多采用小芯片实现，支持模块化扩展与训练、推理、网络等功能专用化，但延迟更高，软硬件协同复杂；基于互连的架构兼顾可扩展性与动态资源共享，但对互连要求极高，系统级复杂度显著提升。”

RISC-V 生态正尝试开创全新可能：实现处理器与协处理器的融合。Breker Verification Systems 首席执行官 Dave Kelf 表示：“对于加速器与高度专用处理器架构，RISC-V 指令集具备独特优势。我们看到基于 RISC-V 的加速器开始出现，处理单元直接集成在加速器内部，消除了独立单元间的控制与数据传输开销。在低功耗场景中，仅保留必需处理器单元与加速器的组合可显著省电，尤其适用于 AI 设备，标准化软件栈可直接部署在加速器上。这是 RISC-V 开启的全新范式，也可能是开放指令集的未来。”

这种思路既可用于为 CPU 增加功能，也可用于为 NPU 加入通用处理能力。楷登电子 AI IP 产品营销总监 Jason Lawley 称：“处理器间切换存在时间与距离开销。我们需要权衡为向量与标量处理分配多少面积，同时清楚无法完全替代 CPU。因此可以看到小型 RISC-V 核更靠近 MAC 阵列，它们无法完成大型 CPU 的所有任务，软件开发者需要合理划分负载以实现效率最大化。”

放眼纯电子领域之外，还存在更多可能。是德科技（Keysight）高速数字产品组合经理 Jan van Hese 提到：“还有光子 AI 加速器等新型处理器，优势显著，虽设计难度大，但一旦实现，速度极快且功耗极低。”

绑定各类处理器的架构也在持续变化。楷登电子的 Lawley 表示：“谈及协处理器，计算位置始终在动态变化，并影响数据移动与存储方式。大量计算目前由 GPU 与 NPU 完成，但随着 AI 成熟，尤其是智能体出现，CPU 工作量开始回升。过去是一个 CPU 加大型 MAC 阵列，如今变为每一定数量 MAC 就需要搭配一个 CPU。站在 NPU 角度，NPU 是世界中心，其他都是协处理器；站在 CPU 角度则相反。总会有专用功能无法被单一处理器覆盖，这就是协处理器存在的意义。”

历史或许预示着未来的收敛方向。Quadric 的 Roddy 指出：“专用处理器通过将原生数据类型与计算原语适配负载提升效率，但仅靠专用化远远不够。紧耦合的‘辅助’加速器无法真正解放 CPU，分区执行会增加互连流量、延迟与功耗。系统级效率取决于独立性。早期图形引擎是附加式加速器，只有当全可编程 GPU 出现并与 CPU 解耦后，才实现真正规模化，DSP 领域也是如此。AI 正跨越同样的界限：从固定功能加速器走向全可编程、独立的 AI 处理器。除功耗与性能提升外，独立性还能简化集成、验证、建模与小芯片扩展。”

各类方案均存在取舍。南安普顿大学的 Davidmann 认为：“CPU 邻近式加速器易于编程与集成，但难以在持续每瓦性能上取胜；GPU 类引擎灵活强大，但软件栈沉重，数据移动开销大；专用加速器通常效率最高，但前提是编译器、运行时与模型覆盖足够成熟，避免硬件沦为‘信息孤岛’。异构子系统介于其间，往往是系统层面的最优解，但也是架构设计难度最高的方案。”

Arm 的思路与此基本一致。Arm 云 AI 执行副总裁 Mohamed Awad 称：“这些智能体将 7×24 小时运行，如果性能不足，依赖它的整个基础设施都会陷入停滞。”

面临的挑战

只关注处理架构可能会忽略全局。新思科技的 Cooper 表示：“人们喜欢把它当成数学问题，但真正关键的是数据移动，尤其对于参数量巨大的大语言模型。核心是如何高效将数据汇聚到一处处理，避免不必要的迁移。必须在算力与数据带宽间找到平衡：如果没有足够数据流支撑，再多 MAC 单元也会因饥饿而闲置。”

这需要从系统级规划开始。是德科技的 van Hese 强调：“需要在设计周期中左移，理想情况下同步开展 IC 级、封装级、系统级设计，所有模块协同设计以保障系统整体运行。例如系统包含 IC 与封装，或两颗裸片通过中介层与 UCIe 通信，在设计时就需要完成系统级仿真。”

分布式计算虽简化了部分环节，却在其他方面增加复杂度。Arteris 的 Nightingale 指出：“尽管小芯片与异构协处理器承诺打造更开放灵活的生态，但除基本互操作性外，还带来巨大的集成挑战。UCIe 与 CXL 等标准解决了物理层与协议兼容性，但无法解决系统级行为集成问题。不同厂商在流量管理、内存排序、服务质量预期、延迟容忍度上的差异，可能导致组件组合后性能不可预测。统一的互连层至关重要，不仅用于连接组件，更要保障系统行为可预测。否则，生态可能在技术上兼容，却在真实负载下运行不可靠。”

可扩展性：如何面向未来

在 AI 模型与任务持续快速迭代的背景下，硬件永远落后于软件需求。新思科技的 Cooper 表示：“芯片设计需要一年，集成到产品又需要一年，还需要在市场上存活数年。设计 SoC 时，如何实现面向未来是极具挑战性的问题。”

为未来预留能力往往需要当下付出代价。楷登电子的 Borkar 称：“如果打造完全贴合当前负载的专用硬件，效率可能高得多，但一旦客户需求变更、采用新网络或新模型，就会陷入极为被动的境地。”

所有硬件开发者都需要找到平衡。ChipAgents 的 Wang 认为：“架构师需要足够的专用化实现功耗与性能目标，同时需要足够的灵活性支持快速演进的 AI 负载。这使得系统级调度、数据移动与软件集成，与原始算力吞吐量同等重要，而这正是智能体 AI 能帮助工程师权衡取舍、管理日益复杂的异构协处理系统的关键。”

面向未来不能只考虑运算操作。新思科技的 Cooper 解释：“早期 NPU 专为 CNN 负载设计，矩阵乘法相对简单；Transformer 出现后复杂度提升，TOPS 指标不再关键，因为不再只有乘累加操作，还需要处理张量网络；演进到 LLM 后，变为高度内存受限；再到混合模式与多模态，又需要处理视觉处理。每类场景都有不同参数组合，却都可被称为 NPU。”

算子优化或许是相对简单的部分。楷登电子的 Borkar 表示：“将网络拆解为算子序列，大部分算子在不同客户间是通用的，我们可以为这些通用算子提供高性能与高效率。真正的挑战在于未预料到的算子，需要找到运行方式，而这往往是效率问题的高发区。”

数据类型同样如此。新思科技的 Cooper 称：“可以支持任意数量的现有数据类型，但随着新类型不断出现，需要引擎具备适配能力。必须通过灵活性设计产品以实现面向未来，这需要在面积上做出取舍；而 NPU 需要在保持可编程性的同时，尽可能追求高效率。”