NVIDIA宣布Groq 3 LPX全面量产：把低时延Token生成从Rubin主系统中拆出来

8月24日，NVIDIA在Hot Chips 2026期间宣布，交互式AI推理加速器Groq 3 LPX进入全面量产。该产品是Vera Rubin平台的扩展件，与Vera Rubin NVL72配合使用，专门提升Token生成速率，面向智能体AI这类需要高频交互的推理负载。Nebius成为首个采用该加速器的AI云厂商，计划将其部署到Nebius Token Factory生产推理平台；Groq公司自身也宣布将作为最早一批采用者之一，与Dell Technologies合作部署。

智能体AI给推理系统带来两个不同的计算挑战。一方面，智能体在一次任务中要不断读取文件、调用工具、执行代码并检查结果，上下文会随多轮交互持续增长，需要系统高效处理大规模上下文；另一方面，每一步的Token生成速度直接决定整个任务的完成时间，要求极低时延的逐Token解码。Vera Rubin NVL72承担前一半工作，负责长上下文处理与整体推理；Groq 3 LPX则针对后一半，把单用户的Token生成速率作为优化目标。在Artificial Analysis的基准测试中，Groq 3 LPX在Gemma 4 31B模型、10万Token上下文条件下录得每秒约3400个输出Token，为这一模型的最快记录；NVIDIA称，在智能体任务与延迟敏感负载上，其响应速度可达最近竞争平台的4倍，编码类智能体任务可从数小时缩短到数分钟完成。

这套分工背后是NVIDIA对推理基础设施的一次重新划分。Groq 3 LPX的架构源自2025年12月NVIDIA与Groq达成的约200亿美元非独家授权协议，如今该技术开始以量产产品的形态进入Vera Rubin数据中心体系。NVIDIA将Vera Rubin NVL72与Groq 3 LPX的组合定义为"AI工厂"配置的一部分，与BlueField-4 DPU、Vera CPU机架、Spectrum-6 SPX以太网协同工作。每秒3400 Token属于厂商在特定模型与上下文条件下的基准口径，实际部署表现还取决于并发负载与调度方式。在SemiAnalysis的AgentX工作负载下，NVIDIA给出的Vera Rubin NVL72相对GB300 NVL72每兆瓦吞吐量提升超过30倍、每Token成本下降最高35倍，这两项指标直接决定AI数据中心的运营账本。

智能体负载的兴起正在改变推理系统的评价方式。首Token时延、Token间时延、长上下文下的交互速度、网络与调度利用率，这些系统级指标的重要性正在超过单纯的峰值算力。把上下文处理与解码拆到不同硬件上，是一种针对工作负载特征的架构分工，prefill与decode分离、多Token预测等推理优化技术也在同一方向推进。对GPU厂商和云厂商而言，谁的Token生成又快又稳、每瓦产出更高，谁就更可能在智能体推理这一增量市场拿到订单。