NeurIPS 2022｜恶劣图像质量情况下的目标检测算法

编辑丨极市平台

• 论文链接：https://openreview.net/pdf?id=se2oxj-6Nz
• 源码链接：https://github.com/sunshangquan/ReForDe

图像质量退化在户外捕捉的数据上是很常见的，已有很多算法尝试恢复原始数据。一般的图像复原任务目标是恢复人类视觉能识别更好的结构特征和物体。然而很多图像复原任务结果是用于下游视觉任务（目标检测，语义分割，自动驾驶等），然而这领域的研究关注较少。

目标检测任务已经取得了很大的成功。然而在常规的目标检测数据集中，恶劣的天气条件或较差的成像条件是一般避免或因为数据不足难以训练。一般图像训练得到的检测器在这些条件下性能严重降低。

一种解决方法是从干净图像（源域）到受污染图像（目标域）的域自适应算法。假定存在分布间存在分布转移。主要缺点是经过域自适应后的模型在源域上性能会变差。

另一种解决方法是联合训练视觉质量增强模块与目标检测模块。主要问题是尽管图像复原网络取得了人眼看上去令人满意的结果，检测器可能还是服从模型产生的分布而不是真实图像的分布。另外即使模型在干净图像和污染图像上一起训练，与域自适应类似，模型在干净图像上性能任然会下降。

本文对之前用于目标检测的对抗攻击算法TOG可能存在陷入局部最优和收敛慢的问题提出改进，提出一种基于动量ADAM变体的对抗样本生成算法。本文方法指出找到与原始清晰图像接近的伪标签数据可能会提升检测模型性能。本文方法通过有目标的对抗攻击方法在图像复原网络生成的图像添加一个小扰动使得到的复原图像更适合检测器。对抗样本由最小化检测器损失函数得到的梯度获得，并可以作为图像复原模型的伪GT。在权重微调阶段，只更新图像复原模型，目标检测模型保持不变。

这里定义图像复原模型及对应参数和检测模型及对应参数。给定数据集包含三个部分：受污染的图像，对应的干净图像和检测标注。目标是训练图像复原模型使复原后图像尽可能接近干净图像：，另外目标检测在复原后图像上给出正确的检测结果：。

不包含检测模型的图像复原任务的优化可以描述为：

与传统的图像复原优化不同的是本文目标是在可视化质量和复原图像检测性能上寻找一个平衡。则本文的优化可以视作为一个多任务优化问题，需要满足复原任务的约束同时减少目标检测任务的损失函数。该优化问题可以描述为：

是松弛变量控制与GT允许的距离。由于约束的存在该优化问题不容易求解，这里使用对偶函数并加入对偶变量求解：

根据对偶理论，将该优化转化为：

其中，进一步转化为：

是另一个松弛变量控制目标检测模型性能。考虑一个与接近的中间变量，优化过程另一个表述为：

当时，上述两个优化等价。

本文的优化可以进一步描述为：

当满足和该优化可以视作为一个有目标对抗攻击问题。

本文的对抗攻击算法借鉴针对目标检测的对抗攻击算法TOG（ Adversarial objectness gradient attacks in real-time object detection systems）。TOG算法中的对抗攻击由sign函数与修建（clip）一阶损失函数的导数得到。

是扰动步长，是允许的最大扰动尺度。本文指出TOG方法容易陷入局部最优或收敛慢，提出使用ADAM优化器优化对抗样本。ADAM可以自适应的通过二阶动量更新学斜率。

最终生成的伪GT用于微调图像复原模型。

本文方法在VOC_fog_train和VOC_dark_train数据集上训练，在VOC_fog_test，RTTS数据集上测试在有雾图像性能。在VOC_dark_test，ExDark数据集上测试在低光照图像性能。

YOLOV3检测器与不同对抗攻击策略下在有雾图像实验结果：

可以看出干净图像和污染图像检测性能都有明显下降，YOLOV3在mAP指标上下降了15%。在加入少量扰动后的有目标对抗攻击后，YOLOV3性能有了明显提升。比如在RTTS数据集上从42.77%提升到78.50%。另外本文方法与TOG相比取得了更高的检测性能，大约可以获得2%到7%的提升。

本文方法可视化比较结果。三列分别是没有攻击的算法，TOG算法与本文算法。第一列是YOLOV3结果，第二列是Faster RCNN结果。

低光照条件检测结果：

类似地，本文方法在低光照图像上检测也能取得更高性能，同时复原能有接近精度。