基于多目标检测的交通监测反馈系统

作者：袁玮含,胡立夫,李宏宇,夏进虎,李绪鹏(沈阳航空航天大学自动化学院,沈阳 110036)时间：2022-12-23来源：电子产品世界收藏

编者按：针对城市交通现状，设计了基于多目标检测的交通监测反馈系统。该系统能对道路车流量、车速、车辆异常姿态等情况进行跟踪监测，并对于可疑情况进行预警，使工作人员及时做出相应措施。本系统采用独立开发的模式，主要通过Keras、Open CV库等，使用Python语言开发，应用LSTM-AdaBoost对可疑车辆轨迹进行追踪预测，并利用YOLO-V3算法对可疑车辆进行框选监测，该系统还可以对道路车流量、车辆行驶速度、异常驾驶行为等情况进行监测和预警，从而缓解城市交通现状，进一步保障道路交通安全。

本文引用地址：http://www.eepw.com.cn/article/202212/442031.htm

1 研究背景及意义

中国经济实力的快速发展使中国汽车持有量大幅增加，但伴随而来的是交通拥堵、交通事故等一系列交通安全问题，其中事故产生的大部分原因是由于车辆的异常驾驶行为导致的。在庞大的交通监控数据集中，车辆的异常驾驶行为是随机偶发的小概率事件，所以对于车辆异常行为的监控调查不可能仅仅只由人工来完成，必须要依靠现代的自动化算法实现智能实时监测。

目前道路视频监控的功能主要是帮助管理人员对事故原因进行调查，在事故发生之后才发挥作用。这种人工搜索既耗费大量人力，又难以满足对事故实时性、精准性的分析，无法做到对交通事故的早期预防。

针对现代城市交通现状，本文设计了一套基于多目标检测的交通监测反馈系统。该系统可对车流量、车速等指标进行智能监测，依次判断是否存在交通拥堵等异常状况，并对车辆异常轨迹进行预测。该系统的应用能降低交通负荷，有助于交通安全，改善城市交通现况。

2 研究现状

2.1 目标检测算法

目标检测算法大致分传统和基于深度学习两个主要阶段。

第一阶段在2000 年前后，这期间所提出的方法大多基于滑动窗口和人工特征提取，存在计算复杂度高以及复杂场景下鲁棒性差的缺陷^[1]。

第二阶段是2014 年至今，以2014 年提出的R-CNN算法为开端。这些算法利用深度学习技术自动的抽取输入图像中的隐藏特征，对样本进行更高精度的分类和预测。

2.2 目标跟踪算法

初始目标跟踪算法专注于目标特征点的变化。例如光流法，光流是一种经典的初始跟踪算法，获得与相邻帧中的特征点一致的光流，并最终使用像素特征点进行跟踪，并将其独特变化用于估计目标的移动状态。通过这种办法以跟踪目标。然而，使用光流方法的目标跟踪有很多局限性。因此，在光流方法中，使用harris 特征点代替像素特征点的算法出现，考虑到减少算法的计算负荷和引入前景约束等条件下，khan 等[1] 人对此进行了改进，提高了匹配精度和成功率。虽然基于光流方法的改进算法达到了较好的效果，但是这种算法仍然具有许多缺点和较高的计算量。之后jumani 等[2] 人提出了一种在c-cot（用于视觉跟踪的连续卷积算子）中训练连续卷积滤波器的方法。为了解决不同卷积层的不同分辨率问题，使用频域隐式插值模型来综合特征图。对连续区域进行插值有助于多分辨率签名的集成，使得不同的分辨率签名可以被输入到滤波器以估计目标位置。

3 基于多目标检测的交通监测反馈系统方案

本系统在WebStorm 和PyCharm 环境中开发完成，通过Python 语言编写，通过改进的YOLO-V3 算法对多目标进行检测和精确追踪，获得车流量、车速与一定范围内行车辆轨迹数据；并利用计算机视觉库将最终结果显示出来，使用轨迹跟踪模型预测控制（MPC）对车辆行迹进行监测绘制与评估；对危险驾驶行为能够较为准确预测，并向终端传递警示信息。整体方案设计如图1。

图1 方案设计流程图

3.1 硬件功能说明

监控摄像头模块是本系统的硬件部分。监控摄像头在本设计中起到系统“眼睛”的角色。监控摄像头在道路上的装备率很高，可以对路面的状况实时监控，能够很好地满足本系统对交通路段图像采集的要求。

图2 监控摄像头实物图

3.2 软件功能说明

3.2.1 YOLO-V3算法

YOLO 是一个预先训练的对象检测器，它使用Darknet-53 作为特征提取的骨干网络，并使用三种规模预测。DarkNet-53 再次成为卷积神经网络，具有53 层。DarkNet-53 是一个完全卷积神经网络。池化层被步幅为 2 的卷积运算所取代。此外，使用残余单位以避免梯度色散。

YOLO V3 被设计为多尺度探测器，而不是图像分类器^[3]。因此，对于对象检测，分类头通过向此体系结构附加检测头来替换。此后，输出是具有边界框坐标和概率类的向量。YOLO V3 继承了Darknet-53 作为其骨干，这是一个训练具有53 层神经网络的框架。此外，对于对象检测任务，在其上堆叠了另外53 层，总共累积为106 层全卷积架构。由于其多尺度特征融合层，YOLO V3 使用3 个不同尺度的特征图进行目标检测。改进的YOLO-V3 算法能够完成本系统对多目标车辆进行检测和精确追踪的要求。

图3 YOLO-V3目标检测算法框架

3.2.2 车流量监测模块

在城市里，小型汽车是主要的交通工具。该系统在不同时间段对不同道路上的小型汽车交通进行监控，并对城市道路上的实时交通情况进行分析和预测^[4]，为监管人员提供实时的道路交通数据。交通流监控模块改进了YOLO-V3 算法模型，使用训练好的多目标检测视频每帧中的目标车辆。采用多目标跟踪监测算法对存在交通风险的车辆进行标记和跟踪。通过划分固定检测区域，统计视频时段内路段的交通量和多车道进出车辆的数量。

改进的YOLO-V3 算法在视频图像中框选并检测车辆目标，本时段进出检测区域的车辆数量为道路交通流量。通过比较检测盒中心与检测红线之间的位置关系，可以判断车辆是离开还是进入该区域，并统计多车道交通流数据。监控过程如图4 所示。

图4 车流量监测流程图

3.2.3 车速监测模块

本系统的车速监控模块计算车辆通过固定视频帧中的平均位移除以帧差，以获得车辆在当前时间段的移动速度。当车速低于或高于安全阈值时，判断车辆处于异常状态；当异常时间大于设定的最大阈值时，将判断车辆已处于危险驾驶状态，系统将异常信息发送给相关管理人员，交由专人进行处理。

降低城市交通事故发生率的首要途径是依据道路交通规章制度来限制车辆行驶速度。本系统采用多目标跟踪技术在监控视频中监控车速。当车速异常时，系统会及时报警，反馈给后端以便工作人员及时处理。车速监测模块是通过计算一段时间内检测框中心坐标点的平均位移量求得车辆速度。设在T₁ 帧时检测框中心坐标为( x₁， y₁)，在T2 帧时检测框中心坐标为( x₂，y₂ )，则根据下列式子求得T₁ 到T₂ 帧车辆运动速度V( T₁，T₂)：

当V( T₁ ， T₂ ) 小于设定阈值Vs ，表示车辆处于停止状态；如果停车时间长于阈值时间T，本系统将判定该车辆为异常停车状态。我们在从俯瞰视角拍摄的真实道路场景中进行了功能测试，测试结果如图5 所示。

图5 车速监测模块检测结果

3.2.4 LSTM-AdaBoost模型

LSTM-AdaBoost 集成轨迹预测模型与单一的LSTM 模型相比精度有了显著提高，并且预测结果中的异常数据更少，具有更好的稳定性。预测对比结果也表明增加意图预测模块有助于提升换道轨迹预测的精度。

AdaBoost 是目前最常用的增强方法。Boosting 通过1 次训练和添加1 个组件分类器来创建分类器的集合。每个新的分类器都使用不同的示例子集进行训练。新的训练子集包含按当前融合错误分类的示例。通过对困难的例子进行这种迭代选择，提升方法可以提高任何监督式机器学习算法的准确性。尽管每个分量分类器的精度仅高于平均值，但融合的联合决策规则对于所有先前选择的训练示例都具有很高的精度。

图6 LSTM算法结构图

LSTM-AdaBoost 集成轨迹预测模型有助于本系统提高换道轨迹预测的精度。

3.2.5 警报系统

本文的警报系统能够展示从后端获取到的交通视频以及分析完成的交通监测数据。当分析识别到危险交通行为或发现车流量及车速异常时，警报系统会及时反馈相关数据给管制人员和驾驶员，帮助其及时做出应对措施，避免交通事故的发生。

4 基于多目标检测的交通监测反馈系统的性能测试

为了验证交通监控和反馈系统的整体功能，测试人员在简单背景的开阔场地中握住三角形角反射器，模拟单个目标进行S 形曲线运动，并测试交通监控和反馈系统的目标跟踪能力。通过该测试，还可以全面测试交通监控和反馈系统的角度测量和距离测量能力。在测试过程中，测试仪在SecureCRT 软件中输入指令，通过串口将系统检测到的目标距离、角度和速度信息上传到上位机，将返回的信息以文本形式保存，返回实验室后对输出结果进行分析。测试曲线如图7 所示。