Crescent Island:将内存容量转化为智能体 AI 吞吐性能
英特尔新月岛(Crescent Island)是面向智能体 AI 推理打造的独立数据中心 GPU。在该类场景中,性能瓶颈并不仅仅来自矩阵运算。多步骤智能体会反复调用模型、对接各类工具,由此带来时延开销;同时还要为模型权重、长上下文键‑值缓存占用海量内存,并且需要在 CPU、GPU 与各类异构服务之间实现高效协同调度。因此新月岛不以单纯的浮点算力为目标,而是以每瓦输出 Token 数作为核心指标;它融合面向计算优化的 Xe3P GPU IP,同时搭配大容量、高能效内存。
这款加速器搭载 32 个 Xe 内核与 256 套 Xe 矩阵扩展(XMX)引擎。每个 Xe 内核包含 8 个向量引擎、8 个 XMX 引擎,配套线程控制逻辑、分支与发送单元,以及 1MB 通用寄存器堆。相较于前代 Xe 架构,Xe3P 将每个 XMX 引擎的脉动阵列深度由 4 层提升至 16 层。三路指令并发执行提升硬件利用率;同地址多队列执行、增强的超越函数支持,可以加速 Sigmoid、Tanh 等推理运算。
数据类型覆盖范围广,包含 FP4、微缩放 MXFP4、FP8、FP16、BF16、TF32、各类整数格式以及 FP64。完整速率 FP64 能力可让每个 Xe 内核实现 64 次融合乘加运算,让该芯片不再局限于低精度推理任务。丰富的数据精度选项,允许软件根据模型精度、带宽、功耗需求灵活选择,而不是让业务负载去迁就专用加速器。
内存架构是本设计的核心。每个 Xe 内核配置 512KB 的 L1 缓存与共享本地内存组合;32MB 统一 L2 缓存充当带宽过滤层,保障矩阵引擎的数据供给。该 GPU 选用 LPDDR5X,而非高功耗加速器专用内存。英特尔参考 PCIe 板卡配置为 160GB,该架构允许合作厂商最高做到 480GB。超大内存容量可以用更少 GPU 同时承载大模型、检索增强生成(RAG)上下文以及更多键‑值缓存会话。
这样的设计侧重,反映出混合专家模型(MoE)推理的经济特性正在发生改变。英特尔对比 Llama 2‑70B 与 Kimi K2‑1T 模型后得出:模型常驻权重总容量提升 7.5 倍,但每生成一个 Token 所读取的权重数据下降 4.4 倍。稀疏路由机制将模型占用大小与激活参数字段带宽解耦:超大模型需要完整驻留内存,但每个 Token 只会调用部分专家子模块。于是内存容量成为一项独立于内存带宽的扩展资源。
推测解码进一步把算力压力放大。传统自回归模式一次生成一个 Token;而推测解码中,草稿模型生成候选 Token 树,再由目标模型并行校验。英特尔引用公开测试数据:稠密模型与混合专家模型,单次校验周期可成功接纳 2.9‑4.9 个 Token。更大的候选草稿树可以提升有效输出 Token 数量,但也会消耗算力去校验被舍弃的候选。新月岛深度优化的 XMX 脉动阵列与高计算效率,正是用来把解码阶段的空闲算力利用在这部分校验工作。
片上系统还集成 4 路视频解码器与 4 路编码器,为多模态智能体提供压缩域图像处理能力。PCIe 5.0 x16 实现主机互联,依托 PCIe 交换架构,可基于开放标准横向扩展。整机采用 350W 风冷形态,无需专用液冷,便于在常规数据中心部署,还有望提升机柜整体功率密度。
完备可靠性设计满足企业 7×24 连续运行需求。ECC 纠错与奇偶校验保护主要计算、内存硬件;Xe 内核与内存子系统具备故障本地隔离和恢复能力。端到端命令、地址、数据防污染机制,避免错误事务静默扩散。LPDDR 可靠性功能包含内存接口 ECC 纠错、动态页面下线、内存巡检清洗、封装后硬件修复、错误阈值告警、动态故障注入;PCIe 高级错误报告则处理链路层面故障。
新月岛配套完整开源软件栈,涵盖 Level Zero、OpenCL、英特尔计算运行时、SYCL、OpenMP、Triton、oneDNN、oneCCL、搭载 UCX 的 NIXL、编译器、调试工具以及 VTune 性能分析器。对主流推理服务框架、感知 KV 缓存路由、异构编排提供支持,保障智能体代码可以跨不同基础设施运行。整套架构把内存容量、数值灵活性、可靠性、软件兼容性放到与矩阵算力同等重要的地位,打造出一款面向持续智能体推理优化的 GPU,而不是单纯跑分 FLOPS 的硬件。











评论