基于改进Faster RCNN的输电线路绝缘子检测研究

0   引言

绝缘子广泛应用于高压输电线路中，在电气绝缘和导线连接中起着重要作用。在长期自然环境以及其他恶劣条件作用下，绝缘子可能出现自爆、掉串等故障，对电力系统构成严重威胁，因此，定期巡检输电线路绝缘子，及时发现并处理故障绝缘子对电力系统的稳定性与可靠性具有重要意义^[1]。目前常用的方法是用直升机或无人机捕捉绝缘子的航空图像，在直升机或无人机巡检中，由于无人机镜头是多角度的，并且包含复杂的背景，提取和定位绝缘子的过程至关重要。

因此研究航拍图像中绝缘子自动检测就显得十分重要。最初的图像识别算法主要通过搜集图像，再对图像进行处理以实现绝缘子检测。黄宵宁等人提出了一种用于直升机巡检图像中绝缘子的提取算法，该算法能够在航拍图像复杂背景中完整地提取出绝缘子图像^[2]；赵振兵等人采用NSCT 提取绝缘子图像的边缘图像，该方法取得了更好的提取效果^[3]；Oberweger 等人提出可以使用基于局部梯度的描述子提取单个绝缘子帽，然后用椭圆描述子检测绝缘子帽^[4]；金立军等人在红外和可见光绝缘子图像基础上，对图像进行特征融合，该方法有效提高检测准确率^[5]；张烨等人首先对绝缘子进行定位检测，然后对图像进行预处理，能够判断绝缘子是否覆冰以及计算出覆冰厚度^[6]。以上是一些传统的图像处理方法，利用输电线路图像的阈值分割和基于绝缘子爆炸特征的分割故障识别。虽然机器学习在一定程度上提高了可靠性，但在识别时间和准确率上仍有提升空间。近年来，基于深度模型对目标进行检测的算法^[7]表现突出，是目前应用较为广泛的目标检测方法。王万国等人使用FasterRCNN 网络对于间隔棒、绝缘子等部件的识别准确率达到92.7%^[8]；李军峰等人结合深度学习和随机森林的对绝缘子、变压器、断路器、电杆和铁塔这5 类共8 500幅电力图像进行识别，识别准确率达到了89.6%^[9]；凌泽南等人将绝缘子破损定位问题作为一个低信噪比的图像定位框架，包括基于快速R-CNN 的目标检测和基于U-net 的像素分类。前者负责玻璃绝缘子串的定位，提高信噪比；后者能够对不同尺寸的裁剪图像中的像素进行精确分类^[10]。王永利等人利用Fast R-CNN 目标检测网络对输电线路上的绝缘子进行快速分类和定位，通过构造全卷积神经网络对绝缘子进行语义分割；最后将完成的绝缘子图像输入到分类网络中，判断绝缘子是否爆裂，该方法对绝缘子故障爆炸识别准确率达到99% 以上，在一定程度上提高复杂背景下绝缘子爆炸识别的准确性，有效地提高了输电系统的安全运行^[11]。Ohta 等人利用无人机对输电塔、绝缘子进行图像采集，然后通过YOLO 模型和连续图像处理技术进行绝缘子和输电塔的识别。在具有背景景观的绝缘子图像中，该方法图像识别的错误率为9.8%^[12]。Antwi-Bekoe 等人利用卷积神经网络CNN 对架空电力传输系统采集的图像中的绝缘子元件和故障绝缘子盘进行检测和分类，通过从不同距离、角度和背景拍摄的图像中检测出目标绝缘体和离群值，分别达到了93.75% 和82.0% 的精度，为架空输电线路自动化检测的实施提供了切实可行的解决方案^[13]。马鹏等人利用改进后的SSD 网络根据电力小部件的特点加载不同模型参数微调卷积神经网络，采用Soft-PNMS 算法进行优化，该算法对绝缘子等小部件的精准度达到了91.1%，对电力小部件的检测有重要意义^[14]。相较以前，上述方法准确度和识别率都大大提升，但是其研究主要集中在绝缘子识别和故障检测，对于复杂背景下绝缘子的检测过少。本文针对航拍图像中绝缘子检测这一特定情况，通过多尺度训练提升系统鲁棒性，改进RPN（Region Proposal Network）候选框比例使检测结果更贴合目标，改进Faster RCNN^[15] 模型并引入深度残差网络，提高复杂背景下绝缘子的检测精度。

1   绝缘子检测识别方法

在海量巡检图像中绝缘子形态不一且现有目标检测算法绝缘子检测精确度较低。为提高目标检测准确性，降低漏检率，提升检测速度，本文选用Faster RCNN 模型进行巡检图像的绝缘子检测，在此基础上结合多尺度训练、改善候选区域比例和深度残差网络，解决目标尺寸不一、遮挡等因素影响，进一步提高绝缘子检测的精确度。本文的绝缘子检测流程如图1 所示。

1.1 样本扩充

本文中绝缘子数据集来自无人机巡检航拍图像，涵盖不同地点不同时期包含绝缘子的巡检图片。考虑到部分巡检图像中存在很多小目标，而普通的切割方法会使这些小目标的信息大量流失，因此采用自适应裁剪算法，可以通过计算目标占画幅大小比例来进行裁剪操作，可以对样本进行更有效的裁剪。并且采用水平翻转以及亮度扭曲来进行样本扩充。样本扩充流程细节如图2 所示，样本扩充示例如图3 所示。

（a）原始图像

（b）水平翻转

（c）自适应裁剪

（d）亮度不足

（e）亮度过大

图3 样本扩充示例

1.2 Faster RCNN检测算法

Faster RCNN 算法基本工作原理如图3 所示。过程如下：

1）对输入的图像进行预处理，包括图像翻转、像素变换等；

2）采用卷积神经网络对输入图像进行特征提取；

3）通过区域建议网络（RPN）生成候选图；

4）把候选框与提取的特征图对应，提取候选图对应的特征图；

5）通过ROI 池化层将大小不同的候选框对应的特征图处理成相同大小；

6）将候选图的特征图输入到全连接层，分别对候选框进行分类的位置回归。

1.3 RPN网络的改进

RPN 网络是在特征图上找到所有的目标候选区域，卷积层生成的特征映射图作为RPN 的输入。在RPN网络中，设置了9 种anchors，对应3 种尺度（1282、2562、5122 ）以及3 种长宽比（1：1、1：2、2：1），但是对常规物体检测设置的。由于绝缘子的外形均为细长型，宽高比例非常不均衡，原始的anchor 不适合对于细长绝缘子的检测，而且绝缘子在整幅图像中的占比较小，因此为了得到更好的识别效果，需要微调候选框比例。为了降低漏检率，增加一组尺度642，候选框数目从9 增加到了12。将PRN 网络候选框比例扩展，寻找最佳比例。

1.4 深度残差网络

深度残差网络（deep residual network，ResNet）^[16]设计了一种残差模块，并以残差模块来构建网络，残差模块如图5 所示。其中X 为该残差模块的输入，F(X)为由该残差模块拟合得到的函数。

深度残差网络ResNet101 由残差模块层层叠加构成，包含100 个卷积层、100 个激活层、4 个池化层和1 个全连接层。而原始Faster-RCNN 算法也利用包含4 个池化层的VGG16 网络来提取图像特征，因此本文利用ResNet101 来代替VGG16 网络，图像尺寸变化也与VGG16 网络保持一致。实验结果表明，相比利用VGG16 网络提取图像特征，使用ResNet101 网络可以取得更好的检测效果。

1.5 多尺度训练

原始Faster RCNN 模型要求训练的图片尺寸相同，而在实际巡检过程中，采集图像中绝缘子大小不一，差别较大，因此容易出现漏检的情况，包括图像中绝缘子较小的图像。为了降低绝缘子的漏检率，通过多尺度训练，设置三种输入尺度（480、600、750），在保持绝缘子图像占比不变的情况下，每张图片随机以一种尺度输入进行训练，使训练出的模型能够学习各种尺寸大小的绝缘子特征。实验证明，采用多尺度训练能够检测到较小的绝缘子图像，提高绝缘子的检测率。

2   实验结果及分析

2.1 评价指标

本文运算环境配置为：Inter Core i7-9700F@4.50 GHz、8GB 运行内存、RTX2070 Super ultra oc GPU 的电脑。本文选取巡检绝缘子图片共3 400 张，其中3 100 张为网络的训练集，300 张为测试集。采用精确度（precision）和召回率（recall）来衡量模型检测的结果，公式如（1）、（2）所示。

其中，TP 为正常识别出绝缘子的样本数；FP 为错误识别绝缘子的样本数；FN 为未识别出绝缘子的样本数。

2.2 网络训练

在训练时批次大小设置为128，权值衰减设为0.000 5，初始学习率为0.001。通过损失值（Loss）来判断网络训练效果，如图6 所示，迭代次数越多，网络的损失值越接近于0，说明训练效果也越来越好。平均准确率与迭代次数关系如图7 所示，迭代次数越多，绝缘子识别的平均准确率也越高，当迭代13 000 时达到了最大的88%，因此本文把迭代13 000 次时的权重作为目标检测模型。

2.3 候选区域比例对检测结果的影响

改变RPN 网络中候选区域比例的种类数量，对文中建立的数据集进行检测，得到的检测结果以及平均精度（AP）如表1 所示，当检测候选框比例为1:4、1:3、1:2，1:1、2:1、3:1、4:1 时，检测的平均精度最佳，比原始模型提升了8.02%。

2.4 改进后的Faster RCNN实验结果

2.4.1不同目标检测算法结果对比

用不同目标检测算法与改进后的Faster RCNN 进行对比，结果如图8 所示。由图8 可知，改进后的Faster RCNN 模型相较其他网络模型能完整地识别出被杆塔遮挡的绝缘子部分，以及图中微小的绝缘子目标，且图中的识别框更贴合目标绝缘子。

（a）Yolo v3

（b）Faster RCNN

（c）改进后Faster RCNN

图8 不同目标检测算法检测结果图

用不同网络模型对300 张测试集进行检测，能准确识别出所有绝缘子，包括残缺以及被遮挡的绝缘子，视为识别正确，实验结果如表2 所示。改进后的FasterRCNN 相比Faster RCNN 以及YOLO v3 召回率分别提升了10%、7.34%，精确度分别提升了4.88%、3.82%。但平均检测时间较长，但仍然满足巡检要求。

2.4.2不同目标检测算法结果对比

不同策略训练网络的检测结果如表3 所示。由表3可知，策略2 相比策略1，微调候选框比例使精度提高了1.37%。策略3 比策略1 增加了一组尺度（642），anchor 数量增加到12，精确度也有明显提升。策略3和策略4 对比可知，增加多尺度训练，将检测精确度提高了1.09%。策略5 和策略6 对比可知，深度残差网络ResNet101 可以取得更好的检测效果。综上所述，4 种策略都使网络模型的精度更高。

3   结束语

为提高航拍图像中绝缘子的检测能力，本文基于Faster RCNN 网络模型进行改进使绝缘子检测结果更为精确。针对绝缘子尺寸不一的特点，微调RPN 候选区域比例，增加anchor 数量，选择ResNet101 网络，提高绝缘子检测的准确性和实时性。训练时增加多尺度训练来提高检测模型的鲁棒性。针对航拍图像中遮挡绝缘子，增加深度残差网络来提高检测精确度。检测结果表明，改进后的Faster RCNN 网络的检测精确度与FasterRCNN 相比提升了4.88%。但该方法平均检测时间有所增加，而且巡检绝缘子状况不一，后续将继续增加样本，并且添加红外绝缘子图像，缺陷绝缘子图像等，进一步优化网络，减少测试时间，提升检测准确度。

参考文献：

[1] GOLIGHTLY I,JONES D. Corner detection and matching for visual tracking during power line inspection[J].Image and vision computing,2003,21(9):827-840.

[2] 黄宵宁,张真良.直升机巡检航拍图像中绝缘子图像的提取算法[J].电网技术,2010,34(1):194-197.

[3] 赵振兵,金思新,刘亚春.基于NSCT的航拍绝缘子图像边缘提取方法[J].仪器仪表学报,2012,33(9):2045-2052.

[4] OBERWEGER M,WENDEL A,BISCHOF H. Visual recognition and fault detection for power line insulators[C].19th computer vision winter workshop,2014.

[5] 金立军,田治仁,高凯,等.基于红外与可见光图像信息融合的绝缘子污秽等级识别[J].中国电机工程学报,2016,36(13):3682-3691,3389.

[6] 张烨,冯玲,穆靖宇,等.输电线路绝缘子覆冰厚度图像识别算法[J].电力系统自动化,2016,40(21):195-202.

[7] HOSANG J,BENENSON R,DOLLÁR P,et al,What makes for effective detection proposals[J],IEEE transactions on pattern analysis & machine intelligence,2016,38(4):814.

[8] 王万国,田兵,刘越,等.基于RCNN的无人机巡检图像电力小部件识别研究[J].地球信息科学学报,2017,19(2):256-263.

[9]李军锋,王钦若,李敏.结合深度学习和随机森林的电力设备图像识别[J].高电压技术,2017,43(11):3705-3711.

[10] LING Z,ZHANG D,QIU R C,et al,An accurate and realtime method of self-blast glass insulator location based on faster R-CNN and U-net with aerial images [J],CSEE journal of power and energy systems,2019,5(4):474-482.

[11] WANG Y,WANG J,GAO F,et al,Detection and recognition for fault insulator based on deep learning[C],20181 1 t h i n t e r n a t i o n a l c o n g r e s s o n i m a g e a n d s i g n a l processing,BioMedical Engineering and Informatics(CISPBMEI), 2018.

[12] OHTA H,SATO Y,MORI T,et al,Image acquisition of power line transmission towers using UAV and deep learning technique for insulators localization and recognition[C].2019 23rd international conference on system theory,control and computing(ICSTCC),2019.

[13] ANTWI-BEKOE E,ZHAN Q,XIE X,et al,Insulator recognition and fault detection using deep learning approach[C]. Journal of Physics:Conference Series,Volume 1454,2019 international conference on advanced information systems and engineering,Cairo,Egypt.

[14] 马鹏,樊艳芳.基于深度迁移学习的小样本智能变电站电力设备部件检测[J].电网技术,2020,44(3):1148-1159.

[15] REN S,HE K,GIRSHICK R,et al,Faster R-CNN:Towards r e a l - t i m e o b j e c t d e t e c t i o n w i t h r e g i o n p r o p o s a l networks[J],IEEE transactions on pattern analysis & machine intelligence,2017,39(6):1137-1149.

[16] HE K,ZHANG X,REN S,et al,Deep residual learning for image recognition[C].2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR),Las Vegas,USA:IEEE,2016:770-77.

（本文来源于《电子产品世界》杂志2021年10月期）