B. Frame-to-map Visual-Inertial odometry

我们还考虑了 γs 和 cs 的测量噪声：

结合(19)、(20)和(21)，我们得到真零残差的一阶泰勒展开式：

2）Frame-to-map VIO ESIKF更新：方程（22）构成了的另一个观测分布，它与来自IMU传播的先验分布相结合，得到的最大后验（MAP）估计：

然后，我们执行类似于（17）和（18）的状态更新。这个帧到地图 VIO ESIKF 更新（第 V-B1 部分到第 V-B2 部分）被迭代直到收敛。然后将收敛状态估计用于：(1) 渲染地图的纹理（第 V-C 部分）；(2) 更新当前跟踪点集 P 以供下一帧使用（Section V-D）；(3) 在 LIO 或 VIO 更新的下一帧中作为 IMU 传播的起点

C. 渲染全局贴图的纹理

在frame-to-map VIO更新之后，我们有了当前图像的精确位姿，然后我们执行渲染函数来更新地图点的颜色。

D. Update of the tracking points of VIO subsystem

纹理渲染完成后，我们对跟踪点集 P 进行更新。不落入Ik。其次，我们将 ζ 中的每个点投影到当前图像 Ik，如果附近没有其他跟踪点（例如在 50 个像素的半径内），则将其添加到 P。

VI. 实验与结果分析

A．Equipment setup

the onboard DJI manifold-2c5 computation platform (equipped with an Intel i7-8550u CPU and 8 GB RAM), a FLIR Blackfly BFS-u3-13y3c global shutter camera, and a LiVOX AVIA6 LiDAR. The FoV of the camera is 82.9°*66.5°, while the FoV of the LiDAR is 70.4°* 77.2°.

B. Experiment-1: Robustness evaluation in simultaneously LiDAR degenerated and visual texture-less environments

如图 7 所示，我们的传感器穿过狭窄的“T”形通道，同时偶尔面对侧壁。当面对仅施加单个平面约束的墙壁时，众所周知，LiDAR 对于完整姿态估计会退化。同时，白色墙壁上的视觉纹理非常有限（图 7（a）和图 7（c）），尤其是墙壁，它只有光照变化。这种场景对于基于 LiDAR 和基于视觉的 SLAM 方法都具有挑战性。

图 8 显示了我们估计的姿势，通过“wall-1”和“wall-2”的阶段分别用蓝色和黄色阴影表示。估计的协方差也显示在图 8 中，它在整个估计轨迹上有界，表明我们的估计质量在整个过程中是稳定的。传感器移动到起始点，在那里使用 ArUco 标记板获取起始和结束姿势之间的真实相对姿势。与地面真实端位姿相比，我们的算法旋转漂移 1.62°，平移漂移 4.57 厘米。

C. Experiment-2: High precision mapping large-scale indoor & outdoor urban environment

我们在香港科技大学 (HKUST) 校园内以不同的行驶轨迹（即 Traj 1-4）收集了 4 次数据，它们的总长度分别为 1317、1524、1372 和 1191 米。这些轨迹的鸟瞰图（即在 X´Y 平面上的投影）如图 10 所示，它们的高度变化如图 11 所示。没有任何额外的处理（例如闭环），所有这四个轨迹都可以闭环（见图9（e））。使用放置在起点的 ArUco 标记板，里程计漂移如表 II 所示，这表明我们提出的方法具有高精度，在长轨迹和复杂环境中漂移很小。最后，我们在图 9 中的“Traj-1”中展示了重建的地图。项目页面上提供了更多可视化结果。

D. Experiment-3: Quantitative evaluation of precision using D-GPS RTK

我们将 R3LIVE 估计的轨迹与两种不同的配置（“R3LIVE-HiRES”和“R3LIVERT”，见表 III）、“LVI-SAM”（为 Livox Avia LiDAR 修改其 LiDAR 前端）、“R2LIVE”进行比较 [12]、“VINSMono”（IMU+相机）[26]、“Fast-LIO2”（IMU+LiDAR）[22] 与图 12 中的真实情况，我们可以看到我们估计的轨迹最符合 两个序列中的真实情况。为了进行更多的定量比较，我们计算了所有可能的长度为 (50,100,150,...,300) 米的子序列的相对旋转误差 (RPE) 和相对平移误差 (RTE) [27]，如表 III 所示。

E. Run time analysis

我们调查了我们系统在两个不同平台上的所有实验的平均时间消耗：台式机（具有 Intel i7-9700K CPU 和 32GB RAM）和无人机机载计算机（“OB”，具有 Intel i7-8550u CPU 和 8GB 内存）。详细统计数据列于表四。我们的 VIO 子系统的时间消耗受两个主要设置的影响：图像分辨率和点云图分辨率（“Pt res”）。

VII. 应用

A. Mesh reconstruction and texturing

在 R3LIVE 实时重建彩色 3D 地图的同时，我们还开发了软件实用程序来离线对重建的地图进行网格划分和纹理化（见图 13）。对于网格划分，我们使用了在 CGAL [29] 中实现的 Delaunay 三角剖分和图切割 [28]。网格构建后，我们使用顶点颜色对网格进行纹理化，由我们的 VIO 子系统渲染。

我们开发的实用程序还可以将 R3LIVE 的彩色点图或离线网格图导出为常用的文件格式，如“pcd”、“ply”、“obj”等。因此，R3LIVE 重建的地图可以通过 各种 3D 软件，包括但不限于 CloudCompare [30]、Meshlab [31]、AutoDesk 3ds Max 等。

B. Toward various of 3D applications

借助开发的软件实用程序，我们可以将重建的 3D 地图导出到 Unreal Engine 19 以启用一系列 3D 应用程序。例如，在图 14 中，我们使用 AirSim [32] 构建了汽车和无人机模拟器，在图 15 中，我们使用重建的地图为台式 PC 和移动平台开发视频游戏。有关我们演示的更多详细信息，我们建议读者在 YoutuBe 上观看我们的视频。

专栏文章内容及配图由作者撰写发布，仅供工程师学习之用，如有侵权或者其他违规问题，请联系本站处理。 联系我们