静默数据错误重新定义测试覆盖率与集群运维策略

借助更完善的制造筛选、面向系统的可测试设计（DFT）以及设备集群监控手段，这个困扰数据中心硬件的重大顽疾正逐步得到管控。

核心要点：一颗芯片即便通过 ATPG、跳变故障、固定故障以及全速结构测试，依然可能输出错误运算结果，该错误会持续传播，直到最终显现错误输出。

在系统层面以及设备实际部署现场开展定向功能测试，能够捕获更多这类隐蔽缺陷。覆盖面广、深度充足的功能测试与压力测试，可以在商用处理器中识别出静默数据错误（SDE）。

在设备集群层面，现场硬件测试与应用测试能够降低静默数据错误漏检带来的业务影响。

现有的各类测试手段与服务器缓解策略，已经难以跟上静默数据错误（SDE）造成的破坏。这类隐蔽缺陷会对 AI 训练长时运行任务造成严重损害。工艺尺寸缩小、设计复杂度提升、基于芯粒的封装方案，进一步加剧了静默数据错误，也被称为静默数据损坏（SDC）故障带来的风险。

虽然从统计上看静默数据错误本身发生概率不高，但在高负载运行、搭载先进工艺处理器的大型服务器集群当中，数据损坏事件却十分常见。谷歌与元科技早期分析显示，千分之一的服务器会遭受 SDE 问题，对应的缺陷部件百万分比 DPPM 高达 100‑1000。数据中心工程师一般用失效时间（FIT）描述故障率：1 FIT 代表器件每十亿小时运行时间发生一次故障。即便只有 10 FIT 这样看似很低的指标，当集群规模达到 1000 万台设备时，平均每 4 天就会出现一起 SDE 故障，该结果完全无法接受。

“以往消费电子高可靠性需求，要求设备投入使用第一年 DPPM 控制在 100‑300 区间。这针对的是完整光罩 SoC，大多为单芯片或者芯片数量较少，工作负载通常仅运行数小时到数周。” 爱德万测试创新中心战略合作开发总监约翰・卡鲁利表示，“而现在我们需要提升能力，面向最新工艺节点的芯片、全新架构封装，使用新一代 EDA 工具，在缺少历史数据积累的前提下，达到汽车级低于 1 DPPM 的质量要求。”

静默数据错误带来的高昂损失，根源大多来自微妙的制造缺陷，这类缺陷会在芯片全生命周期的任意时间点转化为实际故障。“SDC 相关故障会造成数据丢失、服务不可访问、业务中断，迫使数据中心厂商迁移业务负载、关停服务，甚至面临用户信任流失的风险，会带来数十亿美元量级的商业损失。” 西门子 EDA 旗下 Tessent 部门工程副总裁妮兰贾・穆克吉在近期演讲中提到。“随着器件微型化，全环绕栅极、纳米片晶体管等新技术落地，硅制造过程物理瑕疵引发隐性缺陷的风险不容小觑。我们不仅要提升测试质量减少漏检，还需要片上测试与监控能力持续评估硅器件运行状态，提前规避故障。”

AI 应用模式改变，也同步重塑了硅芯片的测试需求。“在智能体 AI 场景下，CPU 不再仅仅是加速器任务的调度者，而是持续执行规划、推理、调用工具、发起并管理新任务的实际运算单元。”proteanTecs 解决方案工程副总裁诺姆・布鲁沙尔解释道。“再叠加快速、不可预测的工作负载切换，掌握芯片在这些负载下的真实状态就变得愈发关键。因此，针对这一类新型 CPU，对时序裕量、电压、工作负载压力、温度以及器件老化开展深度监控至关重要。”

SDE 问题愈发突出，一部分原因来自先进工艺节点本身：工艺裕量进一步压缩，材料之间连接更容易出现参数波动，互连线尺寸更小，电阻随之升高。

基于以上种种因素，从芯片设计、测试到系统集成的工程师，都呼吁采用多方协同的方案来解决静默数据损坏问题，该问题的复杂程度远超早期预判。据估算，80% 的运算损坏错误来自出厂测试漏检，因此现在的筛选方案增加了更多关键路径监控，并且在系统与集群层面扩大功能测试覆盖。剩余 20% 的 SDE 问题，表现为间歇性故障与器件老化，需要借助栅氧化层击穿、随机电报噪声等晶体管级可靠性失效物理模型，识别运算损坏错误对应的特征信号。

与此同时，SDE 正在重新定义 “已知合格裸片（known‑good die）” 的内涵。“传统测试目标是筛除失效器件；而新的目标越来越侧重于找出那些可以通过常规测试，但运算结果会出错的器件。” 恩智浦半导体汽车微控制器与微处理器高级主管、院士陈赫表示。“因此很多企业专门增加深度功能测试，目标是验证计算正确性，而不仅仅排查结构性缺陷。行业也不再止步于晶圆测试与终测，转向更全面的系统级测试，以及面向任务模式、感知实际工作负载的测试。”

换言之，旧定义下测试覆盖率代表可检测到的建模制造故障占比；而新定义下，测试覆盖率还要包含器件在真实工况、真实负载下输出错误结果的检出概率。

但即便采用完善的筛选与系统内扩展测试，依旧无法捕获全部电阻开路、桥接缺陷、小延迟缺陷（SDE 的典型表现形式）。静默数据损坏故障和电压、频率、温度、老化程度、工作负载强相关，穷尽式测试并不具备可行性。这就使得集群层面持续系统检查成为必需品。

“在制造测试阶段以及数据中心周期性现场筛查中高效检测 SDE，是大规模计算持续稳定运行的基础。” 英特尔的马努・沙姆萨在近期论文中指出。

谷歌、元、AWS 等企业，正在落地集群全量筛查、冗余计算、应用层 SDE 检测以及软件检测方案，识别并隔离出现运算损坏的处理器内核。

SDE 产生的根源？自 2021 年谷歌、元首次公开警示 SDE 风险以来，行业一直在通过改进测试方法、优化可测试设计 DFT、拓展系统级功能测试、增加系统内测试来寻找解决方案。“最意义深远的变化是，测试不能在芯片出货时就宣告结束。” 陈赫谈到，“多项行业项目聚焦系统内测试与硅全生命周期管理，器件部署之后仍要周期性评估芯片健康状态。逻辑很简单：一部分 SDE 来自器件老化、损耗，或是现场使用造成的性能衰减，制造测试无法检出。工程师不再只做出厂前测试，而是在产品全生命周期内持续验证质量。”

SDC 故障来源于标准半导体测试、数据中心监控无法捕获的微妙时序违例、老化效应或者边缘缺陷。“SDC 错误包含永久性故障、间歇性故障、瞬态故障以及性能逐步劣化故障。” 新思科技硅生命周期管理与 RAS 架构总监乔蒂卡・阿塔瓦莱表示。“根本诱因分为外部制造缺陷、硅本征老化、瞬态错误三类。严重缺陷在制造测试阶段很容易被发现；缺陷比较微弱时，只会在特定工作条件下引发电路边缘故障；潜在缺陷只有器件运行一段时间之后才会显现。监控芯片内部环境变化、应用负载压力，持续跟踪内存与逻辑路径的时序裕量变化，就可以在 SDC 错误爆发之前完成预判。”

静默数据错误会造成算术运算出错，例如 10÷2=4。

这类故障被称为 “静默”，是因为不会在系统日志留下任何记录与痕迹。会输出错误数值或者 “非数 NaN” 这类无意义运算结果。损坏的数据会在大型数据中心内部层层传递，往往要等到 AI 训练任务输出和预期严重不符，问题才被发现。

一旦在系统层面确认错误，想要反向定位到芯片硬件缺陷难度极大。“系统测试到 ATE 自动测试设备的结果映射一直是行业难题，也是硬件调试中长期存在的痛点。” 卡鲁利说道。“系统侧工程师只能看到固件层面寄存器读写，大致判断某一个设计模块异常。但要把这个现象对应回结构测试领域 —— 解析扫描链、确定逻辑锥范围、定位故障测试向量，直到失效分析锁定物理缺陷点，整个链路非常复杂。分析工作耗时数周，需要 EDA、测试、失效分析 FA、系统多个不同背景团队协同，各方的技术术语体系还各不相同。”

目前行业梳理出 SDE 最主要的几类物理诱因：

1. 电阻开路：金属或者通孔互连线部分断开。节点依旧可以工作，但 RC 延迟升高或者电压衰减问题频繁出现。

2. 电阻短路 / 桥接缺陷：不同信号线之间出现非预期弱连接，在特定电压、温度、信号翻转条件下输出错误逻辑。

除了上述外部制造缺陷，SDE 也会由电气边缘状态、辐射效应、器件本征可靠性机制故障所引发。

还可以结合芯片全生命周期的浴缸曲线理解该类失效（见图 1）。产品投产初期会出现早期失效，大量 SDE 就发生在这个阶段。度过该阶段后进入芯片稳定使用期，随机故障率维持在较低恒定水平。到生命周期末期，器件损耗机制开始起作用，负偏置温度不稳定性（NBTI）、热载流子注入（HCI）、时间相关介质击穿（TDDB）等本征机制造成芯片失效。

图 1：器件全生命周期半导体故障率曲线｜来源：西门子 EDA

大型集群如何处理 SDC 问题

超大规模云厂商采用分层软件方案检测静默数据损坏带来的运行异常，隔离服务器或器件，执行诊断确认错误（故障大多限定在单个内核），隔离故障芯片等待更换。

元科技公开了三种在集群管控 SDC 的手段。 第一，Fleetscanner 工具将服务器移出业务集群，通常在预防性维护窗口执行定向计算测试。测试输入采用已知标准答案的算例。一旦 CPU 输出错误结果，服务器就被隔离开展深度排查。该公司近期提高测试频率，加大集群覆盖力度。

第二，业务正常运行期间，Ripple 程序执行毫秒至秒级的简短测试向量与运算，校验输出结果。

第三，Hardware Sentinel，不占用专门测试负载，通过解析应用异常、系统行为识别内核级异常。元科技表示该方案与架构无关，在各类硬件、应用、数据中心场景下，相比传统测试方案检测能力提升 40%。

谷歌同时监控硬件层面损坏 CPU / 内核，以及软件层面损坏迹象。谷歌对抗 SDC 的多层软件防御策略包含：

• 端到端校验和检查

• 冗余副本计算

• 多副本结果比对

• 不变量 / 断言校验

• 系统内部流转数据校验和

• 静态存储数据周期性校验

谷歌 Spanner 应用遥测体系检测损坏，将故障机器移出集群。针对现场返修器件，谷歌优化筛选手段，在故障爆发前主动识别异常内核。

大量测试才能捕获 SDE

SDE 的一个利好点在于，它并未带来全新的器件失效模式。SDE 也不区分器件类型，逻辑电路、存储电路、时钟分发硬件都有可能出现；芯片数据通路与控制通路发生概率相当。

但逻辑硬件并没有内存硬件中效果出众的 ECC 纠错码对等防护手段。“ECC 及同类技术对于保护存储、传输的数据十分有效，但无法覆盖处理器内部全部逻辑路径。”proteanTecs 的布鲁沙尔指出，“SDC 可以来自某条指令错误执行，但输出结果看上去完全合理，这就造成根因定位极其困难。”

有案例显示，英特尔工程师追踪一起 SDE 故障，定位到晶体管层级栅极功函数金属台阶覆盖不良。台阶覆盖正常的晶体管运行无异常；覆盖缺陷的晶体管探针测试显示阈值电压升高 30%，漏源驱动电流下降 30%。该研究还发现典型 SDE 缺陷是电阻开路，在写操作场景下通过系统级功能测试最容易检出。

为充分筛选会表现为 SDE 的缺陷，英特尔开发大规模功能测试套件，验证每一项运算、计算输出结果正确性。套件包含内核‑内核、插槽‑插槽通信校验；各类片上缓存压力测试；几乎全部浮点、整数、数据处理指令执行校验，也就是 DCDiag（数据中心诊断）测试套件。

英特尔针对 5 代 CPU、合计 120 万颗处理器开展测试，发现需要 1000 余项功能测试与 5000 项合成压力测试，才能实现 SDE 的有效检出。“对英特尔五代至强处理器的测试结果证明，必须一套规模庞大、类型丰富的系统级功能测试，才能筛选出表现为 SDE 的缺陷。每一代产品都需要独有的测试组合；需要表征数千颗 SoC，才能构建最优测试方案。” 英特尔大卫・勒纳在报告中表示。

报告显示，仅仅 5% 的测试就可以识别约 50% 的故障器件；但要覆盖 90% SDE 缺陷，需要用到半数以上（1000 条中的 500+）测试用例。而针对一代产品定制的测试套件，并不能直接复用到下一代产品，前代产品数据很难直接用于新设计测试选型。

图 2：对 120 万颗处理器执行 1000 项测试，超 70% 缺陷只能被某单一测试用例捕获｜来源：英特尔

与之类似，英特尔使用约 5000 项合成压力测试，暴露最坏时序路径，同时校验每一步计算结果。同样大量故障仅能被个别压力测试捕获，需要海量用例才能全面覆盖 SDE。这类测试具备架构感知，覆盖 DCDiag 套件遗漏的失效机制。

传统测试容易漏掉 SDE，小延迟缺陷检测方法是重要诱因。“多数企业高度依赖传统跳变故障模型。” 穆克吉说道，“虽然时序感知、单元感知时序等缺陷模型逐步普及，但它们大多基于单输入翻转 SIS：只允许一个输入发生跳变，其余输入保持固定电平。但真实 IC 功能模式并不只有 SIS 工作场景。已有文献证明多输入同时翻转 MIS 会带来更大传播延迟。简单限制多输入翻转，会造成路径延迟测试不充分，小延迟缺陷发生漏检。”

穆克吉进一步提出传统压力测试方法需要拓展。“另一个被严重忽视的点，现有测试方法很难适配多工艺角、多模式设计框架。延迟缺陷需要在不同 PVT（工艺‑电压‑温度）条件下定向覆盖，测试向量要适配全部工况。只有这样，测试条件才能贴近芯片实际系统运行工况。”

行业还需要智能化基于电压、电流的压力测试。“依靠老化、电压施压的传统压力测试，很难消除早期失效类型的潜在隐性故障。” 穆克吉继续讲到，“如今大多数企业开展 HTOL 高温工作寿命测试，依靠翻转覆盖率或者临时拼凑向量，无法衡量对整体测试质量的实际影响。我们亟需智能化基于电压、电流的压力测试方案。当我们可以度量压力测试覆盖率，就可以借助智能 ATPG 补齐测试缺口，实现整个设计更完整的覆盖。” 穆克吉提到基于器件活动、基于缺陷的压力测试模型，模拟器件压力场景，生成对应激励向量。“最后，还需要完善 DFT 可测试设计基础设施，让生产测试向量可以直接用于现场系统内测试。”

AI 同样可以发挥作用。“识别数据集内异常样本，诊断时序延迟、电压衰减等现象，能够提前发现 SDC 的早期征兆。” 新思科技的阿塔瓦莱表示，“AI/ML 算法可以识别 SDC 风险的前置特征。硅生命周期管理方案，让芯片设计者可以在器件全生命周期监控、分析、优化芯片状态，实时掌握器件状态，在静默数据损坏爆发之前完成预警。”

异常值检测技术也是识别隐性缺陷的另一手段。“生产阶段，我们的异常检测方案结合参数测量与机器学习，建立器件预期行为模型，标记偏离模型的芯片，增加一层缺陷过滤。”proteanTecs 布鲁沙尔表示。“方案包含时序裕量分析、IDDQ 静态电流分析。分析平台训练模型，部署在 ATE 设备上实现产线实时判断。系统级测试阶段，时间序列分析能够发现普通短测试很难捕捉到的、功能负载下间歇性裕量衰减。”

结语

尽管半导体行业对静默数据损坏现象与表现形式的理解已经取得长足进步，但最高效的测试策略依旧处在持续迭代阶段。

“我们意识到 SDE 不是单一问题，而是一系列可以绕开传统检测手段、表现形式千变万化的失效集合。” 恩智浦的陈赫说道，“工程师现在已经清楚，静默损坏诱因可以是制造缺陷、工艺偏差、时序裕量不足、老化、电压波动、热效应，或是设计交互问题，全部都能绕过传统验证与生产测试。SDE 调试最大的难点在于，故障现象和底层硬件缺陷位置往往相去甚远。”

处理器本身经常不报任何故障。“工程师看到的现象是数据库损坏、AI 模型行为异常、分析计算错误、软件崩溃、应用输出前后矛盾。” 陈赫表示。没有单一手段可以捕获全部 SDE，行业正在采用组合方案：

1. 片上监控传感器，采集时序裕量信息；

2. DFT 增强：任务模式测试、路径延迟测试；

3. 深度功能测试，包含随机数据流；

4. 集群层面异常行为监控；

5. 多样化指令组合、跨内核比对、冗余运算测试；

6. 系统级测试、现场系统内测试，提升 SDE 检出能力。

整体来看，半导体测试正在从 “出厂一次性测试”，转向持续质量监控模式。“测试不再是芯片出货就宣告结束。” 布鲁沙尔谈到，“一颗芯片出厂时各项裕量充足，但后续会因为老化、负载压力、环境条件、供电时钟等外部问题损耗裕量。行业需要全周期的可视能力，而不是碎片化快照。例如在现场环境，实时健康监控持续跟踪时序裕量，输出器件距离失效的性能指数，支撑主动式维护。”

但想要实现质量阶跃提升，更充分的数据共享必不可少。“工程团队都明白协同的必要性，但商业、法务部门需要权衡各类商业风险。” 爱德万测试卡鲁利表示，“这类跨企业、跨领域问题，如果不更新工作模式，进展就会受限。产业链企业与高校之间应当进一步打通数据，争取在这个关键问题上取得前瞻性突破。”