基于无缝拼接的全景泊车辅助系统的设计

作者 /谢毓 广州致远电子有限公司(广东 广州 510660)

摘要：针对当前市面上全景泊车辅助系统产品普遍存在拼接盲区的现象，本设计通过改进的图像拼接处理算法，实时呈现无缝拼接的全景画面，使泊车过程的全景图像不存在任何盲区，为驾驶员呈现真正的360度汽车四周的情况。本设计综合了多种机器视觉和数字图像处理算法，融合了机器视觉领域多项先进技术，使汽车泊车过程具有更高的安全性和稳定性，而且基于低成本、高性能及可移植性强等优点，便于大面积推广应用。

引言

　　倒车一直是广大司机头疼的问题，再有经验的司机也有过刮碰经历。辅助驾驶产品从原来的超声波探头，到现在流行的可视倒车雷达，都是只能看到车身正后方，无法同时看清车身四周状况，存在视角盲区，因此有了车身周围360度全景影像倒车需求，即全景泊车辅助系统，该系统可更加直观和安全可靠地辅助倒车。全景泊车影像系统是近年来兴起的一项热门的汽车安全应用，有效弥补了倒车雷达和倒车影像存在盲区的不足^[1]。

　　当前市面上全景泊车辅助系统产品普遍存在拼接盲区的现象，造成四个拼接区域过渡不连贯，泊车安全上存在盲区危险，如图1所示。本系统支持矫正180度超广角摄像头，并且采用了图像增强算法，包括直方图均衡化算法和图像融合算法，使系统实时呈现无缝拼接的全景画面，泊车时全景图像不存在任何盲区，为驾驶员呈现真正的360度汽车四周的情况，更加有效地避免了碰撞事故的发生。

1 整体系统设计

　　本系统提供一种更优的全景汽车辅助系统，用于汽车泊车进行全景成像及辅助驾驶，整体设计流程如图2所示，包括：

　　(1)摄像头输入模块，通过安装于车体前后左右四个方向上的多个180度超广角摄像头对车体周围状况进行拍摄，摄像头参数为D1格式、PAL制式，分辨率为720x576，并将安装的角度根据摄像头输出图像的情况调节到一个合适的位置^[2];

　　(2)图像校正模块，根据摄像头的内部参数和畸变模型，将每个摄像头的输入视频图像进行畸变校正;

　　(3)鸟瞰透视模块，根据摄像头的安装角度和透视变换原理，将每个摄像头畸变校正后的图像进行角度透视变换，生成俯视图像;

　　(4)图像拼接模块，根据每个摄像头安装位置的三维坐标和汽车的尺寸，借助于铺设在车辆四周地面上的方格线，将每个方向上的俯视图像拼凑在一个图像中，组成一个全景俯视图;

　　(5)图像增强模块(直方图均衡化和图像融合算法)，通过直方图均衡化算法，将每个拼接区域之间存在的亮度不同的现象进行消除，以达到更好的显示效果^[2];通过图像融合算法，使得拼接处过渡自然，并达到无缝拼接的效果;

　　(6)图像显示单元，将最终的全景俯视图输出给显示设备，显示设备可以是模拟显示器，也可以是液晶显示屏。

　　系统可以支持4个或8个摄像头输入，分别安装于车身前部、后车厢尾部和车身两侧。由于车型和车的大小不一致，因此摄像头安装的角度也应该根据车身的情况进行调节，使对应方向180度的图像都能拍摄到，而且使得车身周围的图像能够呈现在拍摄图像的中间区域。

　　在现有的许多汽车可视设备中，由于采用的广角摄像头的视角有限，在车身45度角上会存在盲区。本系统由于最大可以校正180度的超广角摄像头，因此在车身四个角上的车身周围的图像也依然清晰可见，这样就为得到一幅无盲点的全景图像提供了条件。

　　本系统最大可以支持8路D1格式摄像头的数据输入，8个摄像头分别安装在车身四周，使得本系统能够适用于大型货车、客车、工程车等车身较大的车辆。

　　本系统所使用的主处理芯片为DSP芯片，它的主频高，指令执行效率高，有多个视频输入输出接口，而且其强大的视频处理能力能够实时地处理多路视频数据。因此本系统可以实时地处理4路或8路D1格式、PAL制式(分辨率为720x576)的摄像头的输入图像。

　　本系统的视频输出信号既可以支持CVBS信号输出，也可以支持LVDS信号输出。其中LVDS信号也是车载视频信号中常用的信号格式。

2 算法原理分析

2.1 图像畸变校正算法

　　为了摄像头的拍摄角度更广，为了不存在视野盲区，前后左右方向上安装的摄像头为180度的广角摄像头，因此各个方向上拍摄的影像必然存在很大的畸变，对畸变图像的校正就成了算法的关键。

　　假设(x,y)是校正前图像上的一点，采用多项式拟合算法，点(x,y)与校正后的对应点(u,v)之间的关系如式(1)所示：

　(1)

　　其中，n为多项式拟合次数，a_ij、b_ij为系统需要的畸变校正调节参数。

　　为了求得最佳的a_ij、b_ij，按最小二乘法让拟合误差平方最小，以求得空间坐标变换系数a_ij、b_ij。求取a_ij的公式如式(2)所示：

(2)

　　另外，由于校正后的整数点(u,v)通过计算得到一个浮点数点(x,y)，为了使像素值取值更加合理，这里使用了双线性插值算法进行像素的对应。

2.2 鸟瞰透视变换算法

　　鸟瞰变换处理属于空间透视变换，将摄像头倾斜拍摄到的图像转换为垂直向下拍摄到的图像[2]。在计算机视觉领域，空间同一平面的任意两幅图像被单应矩阵联系着(假设在针孔相机模型中)，即一个相机拍摄空间同一平面的两张图像，这两张图像之间的映射关系可以用单应矩阵表示。这种特定的单应性变换，可以将同一个三维物体分别投影到两个不同投影平面下的两幅图像联系起来。本系统的投影单应性矩阵H如式(3)所示：

(3)

　　其中a为广角摄像头安装的垂直夹度，b为广角摄像头安装的水平角度。通常我们认为摄像头的水平方向夹角b为0，因此我们只需要确定摄像头安装的垂直倾角，就可以计算得到透视变换的单应性矩阵H，也就能得到一幅对应方向的鸟瞰图。

2.3 直方图均衡化和图像融合算法

　　直方图均衡化处理的中心思想是把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布[3]，直方图均衡化就是把给定图像的直方图分布改变成均匀分布直方图分布。当图像的直方图为一均匀分布时，图像的信息熵最大，此时图像包含的信息量最大，图像看起来就显得清晰，亮度也一致[4]。直方图均衡化以累计分布函数为基础，其变换函数取决于图像灰度直方图的累积分布函数。

　　图像融合算法主要用于前后左右四个鸟瞰图像之间的重合区域的过渡处理。通过两两图像重合区域之间像素渐变的线性运算，即可得到一张过渡自然的图像[5]。公式如式(4)所示：

　　g(x) = (1-α) f0(x)+ αf1(x) (4)

　　其中，g(x)为运算后的颜色值，f0(x)为图像1的颜色值，f1(x)为图像2的颜色值，α为根据位置而渐变的融合运算参数。两幅图像运算的因子根据图像中融合位置的改变而改变，这样才能使四个过渡区域融合过渡自然。

3 实际调试效果

　　经过多年对本系统的实际装车的调试和标定，系统运行时全景显示图像实时不丢帧，图像拼接效果良好，图像融合后的图像拼接过渡自然，实际测试不存在任何盲区，每次装车都能得到用户满意的效果。本系统的实际装车效果如图3所示。

　　本设计在于提供一种显示效果更优的全景泊车辅助系统，能够更直观地为驾驶员呈现真正安全的汽车周围状况，避免盲区造成的泊车风险，提高车辆泊车过程中的安全性和稳定性。

4 结论

　　本设计的创新观点是对市面上普通存在的全景泊车产品有拼接盲区的现象，进行了算法的优化和改进，综合了多种机器视觉和数字图像处理的算法，为驾驶员呈现真正的360度汽车四周的情况，避免了泊车中拼接盲区的危险，使汽车泊车过程具有更高的安全性和稳定性，便于大面积推广应用。

　　参考文献：

　　[1]周猛，乔瑞萍,王效鹏,等.基于DaVinciTM的360°全景泊车影像系统的设计与实现[J].电子应用技术,2014

　　[2]徐杰.面向坦克的全景环视系统关键技术研究[D].湘潭大学,2013.

　　[3]李楠,刘永强,韩国华.直方图均衡化在数字图像处理中的应用[J].甘肃科技,2010.

　　[4]赵军.图像灰度变换的研究及实现[D].陕西科技大学,2008.

　　[ 5 ]周立功.一种全景泊车辅助系统[P].中国, CN102045546A. 2011-05-04.

　　本文来源于《电子产品世界》2017年第12期第46页，欢迎您写论文时引用，并注明出处。