多传感器校准在自动驾驶汽车中如何工作？

自动驾驶汽车中高级驾驶辅助系统 （ADAS） 的多传感器校准通过将各种传感器（如摄像头、LiDAR 和雷达）对齐到一个统一的坐标系中，实现精确的感知和定位，从而确保准确的数据融合。

本文回顾了 ADAS 多传感器标定的类型和技术。

ADAS 传感器校准结合了单个传感器的内在考虑因素和系统级外在因素。本征校准考虑了一般因素，例如线性度、输出斜率和偏移，以及传感器特定的规格。传感器特定因素的示例包括：

• 摄像头 — 焦距、镜头畸变、分辨率、高动态范围 （HDR）、镜头聚焦速度、高灵敏度、低照度性能、LED 闪烁缓解（以最大限度地减少交通信号灯的影响）和低延迟。

• LiDAR — 激光束角、视场 （FOV）、扫描速率、测距精度、角度分辨率和内部坐标系。

• 雷达 — 天线增益、频率、脉冲特性、范围、视场角、分辨率、测速精度以及检测各种类型物体/材料的能力。

Extrinsic calibration 检查传感器之间的空间关系，包括平移和旋转。它涉及校准相机、LiDAR 和雷达，以确保它们的坐标系对齐。例如，它可以验证对象级跟踪以及如何使用磁道级融合方案来融合数据。

ADAS 系统的外在标定可以结合使用基于目标和无目标的方法，或者只采用无目标技术来实现。

基于目标的校准

基于目标的校准（也称为受控环境校准或静态校准）使用具有特定形状和大小的目标在指定距离内校准 ADAS 传感器在静态设置中的性能。

静态 ADAS 校准需要特定的照明条件并且没有反射表面，以避免传感器混淆。校准目标用于校准和校准传感器（图 1）。

图 1.典型的基于目标的 ADAS 标定系统。图片来源：John Bean)

基于目标的 ADAS 校准的高度受控条件支持高精度校准。然而，使用受控环境也是一个限制，因为 ADAS 通常在道路上不受控制的环境中运行。因此，基于目标的 ADAS 标定通常与无目标标定结合使用。

无目标校准

基于目标的 ADAS 标定的局限性源于三种传感器模式提供的多种数据类型。摄像头生成 2D 图像，LiDAR 生成密集的 3D 点云，雷达提供稀疏的 4D 点云，其中第四维表示物体的速度。

通过将扫描工具连接到汽车的计算机并以指定速度行驶、跟随其他车辆并在明确标记的道路上导航，可以实现无目标校准。扫描工具可检测物体和道路标记，并使用算法根据实际环境校准传感器。

提出了一种基于自我监督学习 （SSL） 和深度神经网络的新无目标校准方法。在这种方法中，信号的一部分用于预测信号的另一部分。它已用于对雷达阵列进行超分辨率、对相机帧进行上采样或激光雷达测量，以改善校准结果。

在图 2a 中，显示了基于 SSL 的相机激光雷达校准。投影的激光雷达点云（按范围着色）和相机图像在左侧图像中明显未对齐;但是，可以使用 SSL 对齐它们，如右图所示。

图 2.使用 SSL 进行相机-激光雷达校准（上）和相机-雷达校准（下）的示例。（图片：Scientific Reports）)

图 2b 说明了摄像头-雷达校准。校准前，由青色“+”标记表示的雷达与左侧图像中移动的车辆未对准。SSL 可用于校准摄像头雷达传感器并对齐其输出，如右图所示。

总结

ADAS 很复杂，具有多种传感器模式，需要不同类型的内在和外在校准。此外，整个 ADAS作需要多模态校准，结合使用基于目标和无目标的校准方法。最近，SSL 技术已应用于无目标 ADAS 传感器，以提供更好的校准结果。