遥感图像中的小物体检测(内有新数据集)

文章：Small-Object Detection in Remote Sensing Images with End-to-End Edge-Enhanced GAN and Object Detector Network

摘要：

与大物体相比，遥感图像中的小物体检测性能并不理想，尤其是在低分辨率和嘈杂的图像中。一种基于生成对抗 络(GAN)的模型，称为增强超分辨率GAN(ESRGAN)，具有出色的图像增强性能，但是重建的图像通常会丢失高频边缘信息。因此，物体检测性能在恢复的噪点和低分辨率遥感影像上显示出小目标物体的退化。受边缘增强GAN(EEGAN)和ESRGAN成功的启发，本研究使用了一种新型的边缘增强超分辨率GAN(EESRGAN）来改善遥感图像的质量，并以端到端的方式使用了不同的探测器 络，将检测器损耗反向传播到EESRGAN中，以提高检测性能。研究人员提出了一种包含三个组件的体系结构：ESRGAN，EEN (边缘增强 络)和检测 络。对于ESRGAN和EEN，使用了RRDB(残差密集块)，对于检测器 络，我们使用了更快的基于区域的FRCNN(两阶段检测器）和SSD(一级检测器)。在相关数据集上进行的大量实验表明，该方法具有出色的性能。

研究背景及问题：

遥感图像目标检测在环境监管、监视、军事、国家安全、交通、林业、油气活动监测等领域具有广泛的应用前景，然而，目前的目标检测技术对于包含噪声和低分辨率的遥感图像而言，尤其是对于图像中的小目标，其检测效果并不理想，即使在高分辨率图像上，对小目标的检测性能也远低于对大目标的检测性能。其次，大面积高分辨率影像的成本较大，许多组织正在使用高分辨率的卫星图像来实现其目的，例如当出于监管或交通目的连续监视大区域时，频繁购买高分辨率图像的成本很高，这对于一个经常更新的大区域来说是非常昂贵的。因此，需要一种解决方案来提高低分辨率图像中较小目标的检测精度。

研究贡献：

研究人员提出的体系结构由两部分组成:EESRGAN 络和检测器 络。该方法受到EEGAN和ESRGAN 络的启发，研究人员采用了一个生成子 络、一个鉴别子 络和一个边缘增强子 络作为SR(超分辨率) 络。对于生成器和边缘增强 络，研究人员使用RRDB。这些块包含多层的、连接密集的残差 络，具有良好的图像增强性能。研究中使用相对论鉴别器而不是普通鉴别器。除了GAN损失和鉴别器的损失外，还将Charbonnier损失用于边缘增强 络。最后，使用了不同的检测器从SR图像中检测出小的物体。当将检测损失反向传播到SR 络中时，检测器的作用就像鉴别器，因此提高了SR图像的质量。

数据集：研究人员根据卫星图像(Bing地图)创建了OGST(油气储罐)数据集，该数据集的GSD为30 cm和1.2 m。数据集包含来自加拿大阿尔伯塔省的带标签的油气储罐，研究人员在SR图像上检测到了这些储罐。储罐的检测和计数对于阿尔伯塔省能源监管机构至关重要，以确保安全，高效，有序和环保负责任地开发能源。除了OGST数据集外，研究人员还将方法应用于COWC数据集(Cars Overhead with Context)，以比较不同用例的检测性能。对于两个数据集，该方法均优于独立的最新研究结果。

研究过程：

生成器G生成中间超分辨率(ISR)图像，然后在应用EEN 络之后生成最终SR图像。鉴别器区分HR图像和ISR。DRa的倒置梯度反向传播到生成器中，以创建SR图像，从而实现精确的对象检测。边缘信息是从ISR中提取的，而EEN 络会增强这些边缘。然后，将增强的边缘再次添加到ISR减去拉普拉斯算子提取的原始边缘，将得到具有增强边缘的输出SR图像。最后，研究人员使用探测器 络从SR图像中探测物体。

研究中对EEN使用两个不同的损失函数：一个比较SR和地面真实图像之间的差异，另一个比较从ISR和地面真实中提取的边缘之间的差异。研究人员还使用VGG19 络进行特征提取，以用于感知损失。因此，可以生成具有更精确边缘信息的更逼真的图像。

生成器

边缘增强 络

研究结果：

本研究首先进行模型单独训练，通过训练SR 络直到收敛，然后基于SR图像训练检测器 络。再进行端到端训练，也采用了单独的训练作为训练前的初始化权重步骤，然后联合训练SR和目标检测 络，将来自目标检测器的梯度值传递到生成器 络中。在训练过程中，学习率被设置为0.0001，每50 K迭代减半，批次大小设置为5，使用Adam[1]作为优化器，β1 = 0.9，β2 = 0.999，并更新整个架构的权值直到收敛，然后为生成器创建23个残差密集块，为EEN 络创建5个RRDB块。在COWC 数据集的训练过程中，端到端模型训练历时96小时，共200个批次，在测试过程中，使用快速基于区域卷积神经 络的平均推理耗时大约是0.25秒，SSD (Single-Shot MultiBox Detector) 是0.14秒。通过该模型进行小目标检测过程如下图所示。

总结：