基于残差注意力的合成孔径雷达图像超分辨率算法

摘 要：随着机器学习和神经网络的高速发展，低分辨率图像超分辨率已经成为计算机视觉研究的热门课题。由于合成孔径雷达图像（synthetic aperture radar, SAR）方向和距离分辨率不一致，斜距被压缩，再加上SAR图像固有相干噪声的影响，因此SAR图像的研究集中在小尺度放大上。本文算法主要研究大尺度放大倍数的SAR 图像超分辨重建，实验结果表明，本文算法在SAR图像大尺度放大倍数上效果不错。

关键词：SAR图像；残差注意力；超分辨率

0 引言

SAR图像超分辨率在军事指挥，全球气候环境检测，智慧农业检测，矿物质开采等领域有重要应用。SAR 图像低分辨率重建会带来很多不确定的问题，比如：算法建模困难，重建效果差，数据处理困难等，这些都增加了 SAR 图像大尺度放大倍数的研究难道，让很多科研工作者望而却步。随着神经网络和深度学习的进步，计算性能的提升，SAR 图像图像超分辨率的研究工作逐渐想大尺度方向发展，但是还是以小尺度研究为主。研究 SAR 图像大尺度少的主要原因是 SAR 图像本身干扰多，有用信息少，提取特征困难，重建效果差。本文提出一种基于残差注意力的合成孔径雷达图像超分辨率算法有效的解决了此问题。首先用残差注意力 U-net 映射出 SAR 低分辨率和 SAR 图像高分辨率之间的内在联系，从而得到 SAR 图像低分辨率到 SAR 图像超分重建的高清图像；然后计算数据集的 SAR 图像高分辨率图像与超分辨率 SAR 图像的 L1 范数；最后得到重建结果。下面以 8 倍大尺度放大倍数为例，网络框图如图 1 所示。

图中，SAR_SR 表示低分辨率 SAR 图像重建的高分辨率 SAR 图像；SAR_HR 数据集中的高清 SAR 图像；SAR_LR 数据集中低分辨率 SAR 图像；数据集中 SAR 图像低分辨率和高分辨率是成对出现的。

该网络首次对低分辨率 SAR 图像采用上采样操作得到和高分辨 SAR 图像尺寸相同的初始低分辨率 SAR 图像，然后对初始 SAR 图像连续采用 3 次下采样操作，分别得到不同层次的特征信息，最后对下采样后的图像连续采用 3 次上采样操作，分别得到对称的特征信息，并把对称下采样和上采样的特征按一定要求组合，输出超分辨率 SAR 图像。

1 网络架构

残差注意力网络分为下采样，上采样，特征融合 3 部分，上采样和下采样是对称结构，然后把对应的特征按一定规则融合。首先对低分辨率 SAR 图像上采样得到与高分辨 SAR 图像尺寸大小的图像，然后用 3×3 卷积网络提取初始特征 T_u0 ：

最后用 L1 范数作为超分高分辨率图像和实际高分辨图像的损失函数，因为 L1 范数可以具有更好的收敛性能且可以忍受异常值，从而得到很好的超分辨率效果。

2 实验结果

本文是在大型公开数据集 SEN1-2 进行实验验证的。此数据集中 SAR 低分辨率图像、SAR 高分辨率图像数据是通过 Sentinel-1 卫星、Sentinel-2 卫星在不同的场景拍摄的，并且SAR图像高低分辨率图像是成对出现的。我们实验的数据集收集了来再世界各地的 SAR 图像图片，包含各种场景，各种天气下的成对高低分辨率 SAR 图像。在 SEN1-2 数据集中，每一张单通道的 SAR 图像的空间大小为 256×256 像素，距离向分辨率每像素 20 m，方位向分辨率每像素 5 m。每张 3 通道的光学图像的空间大小也为 256×256 像素，但是每张 3 通道的光学图像空间分辨率是 10 m。本实验从数据集中选取了 600 对高低分辨率 SAR 图像作为实验的训练集，选取 50 对高低分辨率 SAR 图像作为实验的测试集。

本文实验图像质量评价指标采用的是：峰值信噪比 (Peak Signal-to-Noise Ratio, PSNR)[87] 和结构相似度 (structural similarity, SSIM)[88]，实验结果如表 1。

表1 实验结果

从实验结果可以看出本文算法在放大倍数为 2、4、8 时，PSNR 和 SSIM 明显高于其他算法。主要原因是本文提出的残差注意力模块共享了 SAR 图像低分辨率和 SAR 高分辨率的有用信息，增强了图像特征表示。因此本文算法在解决大尺度放大倍数的 SAR 图像超分辨率重建非常有效。

参考文献：

[1] SHEN H F, LIN L P, LI J, et al. A residual convolutional neural network for polarimetric SAR image superresolution[J]. ISPRS Journal of Photogrammetry and Remote Sensing,2020.

[2] 闵锐,杨学志,董张玉,等.结构增强型生成对抗网络SAR图像超分辨率重建[J].地理与地理信息科学,2021(2).

[3] 吴从中,魏雪琦,詹曙.深层多级残差网络的图像超分辨率重建[J].合肥工业大学学报(自然科学版),2020(10).

[4] 应自炉,宣晨,翟懿奎,等.面向小样本SAR图像识别的自注意力多尺度特征融合网络[J].信号处理,2020(11).

[5] 杨坤.基于改进的UNet连云港海岸线提取研究[J].软件,2020(10).

[6] MA J Y, YU W, LIANG P W, et al. FusionGAN: a generative adversarial network for infrared and visible image fusion[J]. Information Fusion,2018.

[7] 杜兰,王兆成,王燕,等.复杂场景下单通道SAR目标检测及鉴别研究进展综述[J].雷达学报,2020(1).

[8] 刘艳.基于自适应重要采样UKF的SAR图像超分辨率方法[J].计算机应用与软件,2021(7).

(注：本文转载自《电子产品世界》杂志2022年11月期)