实时训练驾驶人工智能

作者：时间：2026-03-31 来源：IEEE

自动驾驶是物理 AI 领域难度最高的问题之一。自动驾驶系统必须实时解读混乱、动态变化的环境，应对不确定性、预测人类行为，并在海量场景与极端工况下安全运行。

在通用汽车，我们的出发点很简单：道路上绝大多数场景都是可预测的，但罕见、模糊、突发的长尾事件，才最终决定一套自动驾驶系统是否足够安全、可靠，能否大规模落地。

随着通用汽车向 “放手式高速自动驾驶” 乃至最终完全自动驾驶迈进，解决长尾问题成为核心工程挑战。这要求系统在最意外的状况下依然能做出合理决策。

为此，通用汽车正在打造可扩展的驾驶 AI—— 结合大规模仿真、强化学习、基于基础模型的推理能力，以现实世界无法企及的规模与速度训练自动驾驶系统。

对长尾场景进行压力测试

自动驾驶的长尾场景主要分为几类：

部署视觉 - 语言 - 动作（VLA）模型

为应对这些精细场景，通用汽车开发了视觉 - 语言 - 动作模型（VLA）。在通用视觉语言模型基础上，工程师通过专用解码头针对驾驶任务微调，让模型在常规图像识别之外，还能理解车辆轨迹、检测 3D 目标。

经过微调的模型可以识别交警手势优先于红灯，也能理解机场 “装卸区” 的含义，还能生成推理轨迹，帮助工程师理解车辆行为，便于调试、验证与建立信任。

为避免高延迟影响实时控制，GM 设计了双频 VLA 架构：

这种混合方案在保留深度推理能力的同时，不牺牲安全驾驶所需的瞬时反应。

在高保真仿真中测试危险场景

安全处理极端工况，不仅需要 “看懂”，更需要 “会处理”，而这离不开大量经验。

因此，我们每天运行数百万次高保真闭环仿真，相当于数万年人类驾驶时长，压缩在数小时内完成。我们可以复现真实事件、修改真实数据生成虚拟场景，或从零构建全新场景，安全测试现实中几乎无法遇到的危险状况。

为最难工况生成合成数据

这些仿真场景从何而来？通用汽车使用多种 AI 技术生成贴近现实的极端训练数据。

例如 “种子到种子转换” 技术，利用扩散模型将晴天录像转换为雨天、雾天或夜景，同时完美保留场景几何结构。此外，基于扩散模型的 GM World 模拟器可通过自然语言和 bounding box 生成全新交通场景，添加天气、车辆加塞等挑战元素。

高保真仿真并非适合所有训练。训练感知需要照片级渲染，但训练决策与规划时，空间关系与交通动态比水坑、坑洼等细节更重要。强化学习往往需要数十亿至上千亿次轻量试错。

为此，通用开发了专属多智能体强化学习模拟器 GM Gym，并在名为 Boxworld 的抽象环境中运行：

这套系统让 AI 不只模仿人类，更能学到可量化的安全、高效驾驶策略。

从抽象策略迁移到现实驾驶

Boxworld 毕竟不是真实道路。为把抽象驾驶经验迁移到现实，GM 采用策略蒸馏技术：

同时运行高速抽象仿真与高保真传感器仿真，让在仿真中练出完美策略的模型当 “老师”，指导实车模型。仅 30 分钟蒸馏，就能等效 12 小时强化学习，让实车模型快速继承仿真中打磨出的安全本能。

在故障发生前主动设计故障

仿真不只是训练 “开好车”，更是刻意让系统失败。

GM 使用名为 SHIFT32 的可微 pipeline，主动修改物体形状、姿态，制造 “对抗样本” 迷惑感知系统。在这些困难样本上迭代训练，已被证实能将接近碰撞事故减少30% 以上，提前填补安全漏洞。

即便如此，稳健的系统必须自知其限。GM 在模型中加入认知不确定性头，让 AI 区分普通噪声与真正无法理解的场景。遇到真正的长尾事件时，模型会标记高不确定性，自动筛选高价值样本供工程师分析并加入训练集。

规模化解决长尾问题

解决自动驾驶长尾问题，不靠单一模型或技术，而靠一套生态系统：

这套方案不只提升平均场景表现，更专注挖掘那些决定自动驾驶能否真正无人监管运行的罕见、模糊、困难场景。

仍有许多开放研究问题：

回答这些问题，是自动驾驶未来的核心。通用汽车正在打造所需的工具、基础设施与研究文化，不是小规模试验，而是面向真实车辆、真实用户、真实道路的规模化落地。

新闻中心