AI 数据中心与高性能计算集群的 I/O 设计难题持续加剧
加入技术交流群
物理输入输出接口会成为高性能芯片与高速互联协议的性能瓶颈，设计中需要多方权衡，并配套额外可靠性保障方案。
核心要点
从通用人工智能、新药研发到新材料开发，AI 技术全面普及，行业研发重心已不再局限于采用最新制程打造极致单核性能芯片，而是围绕海量数据高速流转搭建整套系统架构。
整套系统需要实现处理器、内存、互联链路三者性能均衡，同时配套调度协调机制，保证数据按时送达指定硬件单元。即便采用 18 埃先进工艺打造超高算力处理器，若因等待内存数据、低优先级任务挤占传输通道而长期闲置，算力优势将完全浪费。
巴亚系统首席架构师索拉布・盖恩表示：“芯片之间不仅需要超大带宽、低延迟通信，更要求通信具备确定性。当用户和 AI 对话机器人交互时，没人愿意长时间等待模型思考，都希望模型即时响应、流畅对话。这从根本上改变了网络与 I/O 互联的设计思路。”
多裸片封装、先进封装技术大幅增加了 I/O 与互联链路的设计决策点，瞬息万变、复杂度持续攀升的市场环境进一步放大了设计难度。
是德科技 EDA 高速数字设计负责人李熙秀称：“各类新型封装技术落地后，系统级分析、功耗预算评估变得至关重要。从工程师实操层面看，在物理层打造纯净无干扰传输通道、保障 I/O 稳定高效传输数据同样关键。行业从业者正依托全新技术、电子设计自动化工具持续学习适配，学习门槛极高，但这也是企业切入新赛道、在激烈市场竞争中抢占份额的核心制胜要素。”
多方权衡取舍，平衡设计矛盾
想要一款 AI 芯片实现商业落地，必须妥善平衡各类 I/O 设计矛盾。楷登电子硅解决方案事业部产品市场副总裁阿里夫・汗说道：“I/O 方案做出的每一项取舍，都会影响风道、散热、机柜结构、机柜供电等整套设施设计。”
同时不存在通用万能方案：数据流量会随时间变化，不同业务负载下的数据传输需求也存在巨大差异。
汗补充道：“目前已有辅助设计工具，但暂无法实现微米级精细化决策。智能自主 AI 等能力正逐步集成至全流程设计工具链，不过各模块成熟度参差不齐。基于复杂物理模型的 AI 仿真工具尚未完全成熟，热仿真等大量系统级物理难题仍难以高效求解。现阶段虽有部分落地应用，但远达不到大幅缩短研发周期的程度。”
多家企业技术专家观点一致。安特瑞斯产品市场副总裁安迪・南丁格尔表示：“当下最棘手的 I/O 设计问题，集中在物理特性与集成成本相互冲突的场景，包括芯粒、2.5D/3D 多裸片封装，以及不断推高功率密度、时钟频率的前沿计算 tile。先进封装缩短了裸片间互联距离，但同时新增大量接口、时钟域、电源分区，信号 / 电源完整性、热梯度、调试验证环节出现大量未知风险点。”
异构集成进一步加剧上述难题。芯粒科技首席执行官王威廉指出：“芯粒与 3D 多裸片封装带来最严峻的 I/O 挑战，根源在于异构接口、严苛的信号完整性约束、持续暴涨的带宽需求。AI 技术大幅提升跨裸片数据传输压力，工程师必须兼顾信号完整性、供电设计、重传机制、协议分层、散热与带宽之间的平衡关系。”
各类问题虽可逐一单独解决，但整套系统要求所有难题同步优化。Axiomise 公司首席执行官阿希什・达巴里表示：“多物理场耦合是最大难点。单一仿真工具（热、力学、电学）的精度已十分出色，但各物理场双向耦合，时间、空间尺度相差数个数量级，各类工具原生无法互通。多裸片系统的信号完整性问题同理：UCIe、线束互联（BoW）链路速率可达 32/48/64 吉比特每秒，而焊球阻抗会随温度、机械应力发生波动。异构集成带来巨大管理成本：计算裸片采用 N2 工艺、I/O 裸片 N5、静态缓存 N3、模拟电路 N16，对应不同工艺设计套件、可靠性模型、热膨胀系数。想要让整套封装在同一业务负载下稳定协同，多数多裸片项目都会在此环节延误数月研发周期。”
I/O 与互联设计师需要做出层层递进的连锁选型，每一项选择都会影响后续设计。迈络思硅 IP 产品高级总监卢・特努洛称：“芯粒与 3D 封装并非单纯新增一种集成方案，而是成倍增加需要管控的硬件边界。设计师需要确定协议终止位置、缓存一致性覆盖范围、封装内传输流量与板级通道传输流量划分；同时还要应对热梯度、电源完整性、严苛信号裕量等全新物理约束，芯片框图上看似最优的方案可能因此推翻重构。这意味着互联不再是单一选择，而是覆盖封装、主板、机柜多层级的分层选型体系。”
数据中心设计采用分层决策机制。阿里夫・汗解释：“设计初期先明确数据中心、单机柜总供电功率，划定散热、功耗预算；随后将指标下放至整机厂商。整套设备零部件往往来自多家供应商，各项指标逐层分配，整机厂商需要整合多家硬件产品。各层级的设计决策，会根据功耗性能面积（PPA）指标、硬件成本产生差异化方案。”
芯片间传输距离是核心考量维度。温奇半导体电子行业全球营销负责人萨蒂什・拉达克里希南表示：“布线规划是首要难题。互联协议覆盖的物理跨度差异极大，小至封装内部数毫米，大至机柜内部数米。设备数量持续增多、硬件排布愈发密集，布线难度急剧上升。设计师需要统筹布线拥塞、信号完整性、供电、热影响，以及封装、主板、机柜的物理尺寸限制。”
图 1：搭载 1.6T 超以太网、UA 互联、八通道小型可插拔（OSFP）I/O 连接器的 AI 算力扩展架构 图源：新思科技
I/O 可靠性与冗余设计
高性能计算系统中，I/O 子系统与互联链路是故障、性能衰减的高发区域。
温奇的拉达克里希南指出：“易故障 I/O 的可靠性取决于物理实现方案。协议仅定义数据传输规则，但系统必须在真实供电、温变、机械应力、制造公差条件下稳定完成数据交互。”
冗余设计必不可少。新思科技多裸片战略与 3D IP 产品总监罗布・克鲁格表示：“在高性能计算领域，硅器件全生命周期管理等过去的附加功能，如今已成为硬性标配。可靠性是核心指标，设计需遵循开放计算项目（OCP）可靠性标准，同时配套冗余链路等增强功能。”
I/O 接口可能在生产组装或现场长期运行中失效。克鲁格举例：“3D 堆叠链路若出现混合键合缺陷，会在组装阶段引发故障。冗余链路可在系统中替代故障通道，连接芯粒的 UCIe 链路同理。冗余链路既能修复生产阶段的不良点位，也能支撑设备投入使用五年后的现场维护，配套软件可实现链路监控、测试与自愈。”
遥测监测技术起到关键支撑作用。克鲁格补充：“可部署传感器采集工艺、电压、温度、信号完整性数据，汇总后上传上层网络。数据汇总方案可依托软件实现，但数据中心成千上万路 I/O 同时运行软件监测会造成开销过高，因此行业倾向硬件优先、软件兜底的混合架构；而硬件监测模块与上层系统的协同调度，又是另一项设计难点。”
图 2：简化版数据中心网络拓扑，标注所需互联链路；UCIe 可作为 AI 数据中心 I/O 芯粒 1.6T 高速互联备选方案 图源：新思科技
面向超大模型的算力集群
高性能计算行业当前核心攻关目标之一：让整集群计算节点等效为单台超级计算机，I/O 设计是核心考量点。
新思科技接口 IP 产品总监普里扬克・舒克拉梳理算力演进脉络：“2012 年前，行业发展方向是单处理器内部集成多核；之后进入单机柜 / 单服务器多处理器阶段，以此提升吞吐。ChatGPT 落地后，行业意识到海量非结构化数据需要专用加速芯片处理，单纯通用处理器无法满足需求，各类业务专属加速器应运而生，且加速器之间必须高速互联。大语言模型的扩容规律独立于摩尔定律：海量非结构化数据输入才能训练出高精度模型。行业正搭建一体化巨型算力集群，和现有分布式架构完全不同。若整套集群要实现单机协同效果，每个计算节点都需要配套内存，跨芯片数据交互会给互联、I/O 及各类硬件带来全新设计挑战。”
跨设备数据传输至关重要。舒克拉表示：“我们常说的互联，大多指代物理层或近物理层协议。但互联协议的底层逻辑同样关键，核心目标是跨节点传输数据，甚至支持缓存一致性数据交互，数据传输量没有上限。”
一体化集群可大幅提升整体算力。舒克拉从 I/O 视角解读：“核心诉求是最大化单芯片对外数据吞吐。单片裸片算力存在物理上限，必须依靠多芯片协同，而协同效率取决于芯片间通信速度。裸片边缘的 I/O 引脚资源有限，设计师需要最大化利用裸片边缘带宽密度。”
带宽密度指代裸片边缘每毫米可承载的数据传输量。舒克拉解释：“加速器核心运算为矩阵乘法、张量计算，运算完成后需要和其他加速器交互数据，I/O 接口是交互通道，这也是芯粒 I/O 概念诞生的背景。但芯粒集成方案存在多重取舍：若将 I/O 裸片与计算芯粒共封装，I/O 裸片位于顶层可直接接触液冷散热介质；但下层基底裸片被完全遮挡，散热通路缺失，带来全新热设计难题。”
图 3：数据中心 AI 互联整体架构 图源：新思科技
AI 赛道对互联创新的需求尤为迫切，行业已意识到算力并非性能增长的唯一瓶颈。巴亚系统的盖恩称：“芯片内部、跨芯片的数据传输与内存访问才是真正短板。如何让占用数十 GB 存储的超大 AI 模型高效运行？机柜级整体架构设计的价值愈发凸显，英伟达 NVL72 百亿亿次算力系统就是典型代表。”
盖恩评价 NVL72 是互联优先理念的里程碑产品：“多 GPU 之间的数据高速流转是核心诉求，行业不再追求单 GPU 极致性能，而是让海量 GPU 协同等效为一块巨型加速卡。依托 NVLink 互联总线与配套 NV 交换机，英伟达打造出一套全面均衡的系统，而非仅聚焦计算单元。”
Axiomise 的达巴里从芯片架构角度，总结集群设计四大核心痛点：
性能与可扩展性：集群综合算力由单节点吞吐、跨节点数据交互与同步开销共同决定；只有互联链路、软件调度栈能持续喂满计算单元，集群才能线性扩容。
延迟与长尾响应：分布式架构下，运算耗时不仅取决于内核、内存延迟，还受网络跳数、链路拥塞、同步开销、队列堆积影响；大规模集群中微小延迟会持续叠加放大。
功耗与能耗：功耗不再是单芯片指标，而是整机柜集群整体指标；节点架构、加速器配比、电源管理、散热上限直接决定机柜部署密度与集群运营成本。
网络作为核心架构单元：集群中网络并非单纯布线配套，而是顶层核心架构模块。带宽、延迟、拓扑、拥塞特性、容错能力，直接决定业务扩容上限与整体运行效率。
拥塞难题与标准化规范
AI 时代流量类型繁杂：视频点播、语音交互产生互联网与云流量，AI 训练中心专属数据流，AI 推理突发瞬时流量均大幅增长。
是德科技 AI 与网络测试解决方案产品经理拉兹万・阿尔希普在近期线上研讨会中说明：“GPU 集群完成批次运算后，会通过集合通信库（CCL）交互运算结果，瞬时产生超大流量，需要大量高速端口承载。”
设计必须规避网络瓶颈导致的 GPU 闲置。阿尔希普称：“GPU 与整套集群硬件成本高昂，不能因网络拥塞造成算力空转。系统需做到极低延迟、近乎零丢包，避免重传占用运算时间。传统数据中心依赖传输控制协议（TCP）修复丢包的方案已无法适配当下需求，必须从底层链路减少丢包根源，因此行业推出数据中心量化拥塞通知（DCQCN）等新型拥塞控制机制；超以太网联盟同步发布二层链路重传（LLR）标准，搭配基于信用的流量控制（CBFC），均由头部企业主导落地。”
为缓解大规模 AI 训练集群的互联故障、I/O 拥塞问题，开放计算项目（OCP）近期发布开源多路径可靠连接（MRC）协议。
配套技术白皮书说明：“全新基于远程直接内存访问（RDMA）的传输协议 MRC，可将数据流拆分至多条传输路径并实现动态负载均衡，彻底解决流冲突问题；同时降低传输延迟，单跳可连通更多计算节点，硬件成本与功耗同步下降。即便某片网卡 T0 链路中断，训练任务也不会整体中断，网络故障对业务影响大幅降低。”
结语
各行各业对高精度、低延迟 AI 能力的市场竞争日趋白热化，高性能计算整机、集群内所有硬件单元都面临稳定高效运行的严苛要求。
楷登电子的阿里夫・汗表示：“这类芯片并非实验室学术产物，企业追求极致性能、打造标杆整机、大规模出货实现盈利，因此 I/O 设计需要多维度综合权衡。”
芯片架构师必须全面评估 I/O 与封装方案的取舍。汗补充道：“即便是最简单的片上系统拆分芯粒方案，也会带来额外成本、接口延迟与接口功耗开销。设计师需要判断指标是否符合整机预算，或是单片集成方案综合收益更高。”
可选技术路线十分丰富，设计核心难点是搭建均衡系统，最大化匹配终端客户核心需求。新思科技的舒克拉总结：“归根结底，设计团队需要求解多维度平衡问题，各类 I/O 方案、先进封装技术均有各自独有的优势与设计瓶颈。”
评论