基于生成对抗 络的建筑物损毁检测
葛小三1,2
1. 河南理工大学测绘与国土信息工程学院, 河南 焦作 454003;
2. 河南理工大学自然资源部矿山时空信息与生态修复重点实验室, 河南 焦作 454003;
3. 北京师范大学地理科学学部遥感科学与工程研究院, 北京 100875
基金项目：北京市自然科学基金(4214065); 国家自然科学基金(41572341); 河南省自然科学基金项目(222300420450); 国家重点研发计划(2018YFC1508903)
关键词：生成对抗 络(GAN)；灾前灾后双时相遥感影像；建筑物轮廓提取；损毁建筑物检测；分步学习
葛小三, 陈曦, 赵文智, 等. 基于生成对抗 络的建筑物损毁检测[J]. 测绘学 ，2022，51(2)：238-247. DOI:
10.11947/j.AGCS.2022.20200318
GE Xiaosan, CHEN Xi, ZHAO Wenzhi, et al. Detection of damaged buildings based on generative adversarial networks[J]. Acta Geodaetica et Cartographica Sinica, 2022, 51(2): 238-247. DOI: 10.11947/j.AGCS.2022.20200318
阅读全文：
http://xb.sinomaps.com/article/2022/1001-1595/2022-2-238.htm
引 言
近年来，全球气候变化不断加剧、自然灾害日益频发，造成了严重的人员伤亡和经济损失，已成为威胁人类生命安全的重大问题之一[1]。建筑物作为人们生活的主要场所，是人口和财产的集中地带，快速准确地了解灾后建筑物的损毁信息对于灾后应急决策与恢复重建意义重大[2]。随着遥感平台和传感器的发展，遥感影像的分辨率逐渐提高，可以从影像中提取更详细的地表覆盖信息，为遥感技术在灾情检测中的应用带来可能。但更详细的信息意味着更加严重的类内差异，再加上大气干扰和光照变化带来的大量伪变化，使得高分辨率影像建筑物变得难以识别。在灾害中破损建筑物的光谱和纹理信息更为复杂，因此准确检测损毁建筑物是一个极大的挑战[3]。
国内外学者针对损毁建筑物检测任务利用多种遥感数据源做了大量工作，高分辨率影像、SAR影像和激光雷达等数据先后被应用到损毁建筑物检测中。其中，基于高分辨率影像的研究主要集中在损毁特征以及检测方法的选择上[4]。高分辨率的灾后影像包含丰富的地物细节，如颜色特征[5]、纹理特征[6]、高度特征[7]等。由于倒塌建筑物结构复杂，单一特征往往难以准确描述复杂建筑物目标[8]，而简单的多特征堆叠会带来计算的冗余，因此怎样选择典型特征一直是建筑物损毁研究的难点[9-11]。SAR影像能够穿透云雨雾雪，在灾害等恶劣环境下具有天然的优势[12]。完好建筑物和损毁建筑物在SAR影像中主要表现为极化特征与纹理特征的差异，但对数据质量的要求相对较高，且应用端需要相对较高的专业知识水平。激光雷达作为一种主动式观测技术，可提供建筑物较为全面的视角及更多的形态学特征，但观测区域有限，数据难以做到全面覆盖[13-14]。现阶段，应用高分辨率影像进行灾损检测仍是最好的选择，其中单一地使用灾后影像和使用灾前灾后双时相影像两种方式较为常用。相对于使用灾前灾后双时相遥感影像，单一的灾后影像获取较为容易，常用于灾后信息快速获取。但单一的灾后影像可提供的信息有限，往往难以获得令人满意的结果[15]。在灾前灾后影像充足的情况下，使用灾前灾后影像进行变化检测可以获得更好的检测结果[16]。
在过去的几十年中，新的变化检测方法不断出现。其中，最常见的是机器学习的方法，如支持向量机(SVM)、变化向量分析(CVA)[17]和主成分分析(PCA)[18]。然而，在自然灾害发生之后，破损建筑物特征呈现出巨大的差异，传统机器学习方法很难区分。深度学习算法的兴起为建筑物损毁信息提取提供了一种新的解决方案。深度学习方法能够通过多层卷积结构识别影像中语义丰富的高级特征，在损毁检测任务中具有显著优势[19-22]。文献[23]利用深度卷积神经 络(DCNN)提取深层次影像特征来判断建筑物是否损坏，并证明了DCNN提取的高级特征相对于传统特征具有更好的表征能力。文献[24]将卷积自动编码器学习到的知识转移到CNN分类器，发现CNN分类器可以改善特征的辨识度。文献[25]使用UNet进行建筑物屋顶损伤检测，并提出了4种策略来缓解样本数量失衡带来的过拟合效应。然而，CNN、UNet都是判别式 络，需要大量精确的标记样本，在灾害背景下往往很难满足这一要求。
生成对抗模型(GAN)作为一种无或半监督生成 络，其训练过程只需要少量训练样本，因此在遥感目标识别领域中得到广泛应用[26]。文献[27]利用条件生成对抗 络(CGAN)将光学数据和SAR数据融合进行变化监测，有效减小了伪变化的影响。文献[28]使用pix2pix-GAN对高分辨率遥感影像进行了变化检测研究，证明了pix2pix框架在变化监测中的可用性。文献[29]提出了一种MeGAN模型，将季节变化项和度量学习融入pix2pix框架用于两个不同季节之间遥感影像的变化监测，该模型有效抑制了季节性差异产生的伪变化。pix2pix是一种端到端的框架，不需要特殊的人为设计，通过生成 络和判别 络的相互对抗竞争建立输入图像和输出图像之间的良好映射关系，适合复杂环境下的变化检测任务。然而，pix2pix的局限性在于通过多层卷积运算提取感兴趣区域，通常会导致计算的冗余，并且很难找到建筑物准确边界。此外，损毁建筑物具有复杂的变化特征，单一的GAN结构很难达到理想的效果。
图 1 RS-GAN工作流程Fig. 1 Procedure of RS-GAN method
1 研究方法
1.1 pix2pix 络模型
(1)
表 1 pix2pix详细配置Tab. 1 Detail configuration of pix2pix framework
1.2 Recursive-generative adversarial networks(RS-GAN)方法
GAN是一个动态对抗过程，在生成器与判别器的博弈中寻找源域到目标域的最佳映射。建筑物损毁信息提取是一个十分复杂的过程，单一的映射过程难以获得好的效果。建筑物识别任务到损毁建筑物检测任务是一个递进的过程，两者之间有很强的相关性。因此，使用两个pix2pix框架将两者联系起来。如图 2所示，将同一地区建筑物识别生成器模块的输出作为叠加项输入损毁建筑物检测模块中，在训练过程中，为损毁建筑物检测生成器提供潜在区域建议。同时，设计了一个联合损失函数，充分利用两个任务之间的潜在互利性，增强模型的鉴别能力。用xp表示输入灾前影像，yp表示建筑物真实地表标签，建筑物识别pix2pix的目标函数可以表示为
(2)
图 2 RS-GAN框架Fig. 2 Architecture diagram of RS-GAN method
式中，pd表示真实建筑物地面分布(建筑物标签图)的数据分布；pz表示输入灾前图像的数据分布。将建筑物识别pix2pix的输出表示为s=G1(xp)，灾后建筑物和建筑物损毁真实地表标签分别表示为xq、yq，那么损毁建筑物检测pix2pix的目标函数可以表示为
(3)
(4)
那么，最终的联合损失函数可以表示为
(5)
算法 Recursive Generative Adversarial Networks(RS-GAN)算法，其中pz和ps分别为建筑物真实地表和损毁建筑物真实地表的样本分布。
输入：m个灾前影像{xp1,xp2, …, xpm}抽样样本pz(xp)
m个建筑物真实地表标注{yp1,yp2, …, ypm}抽样样本pz(yp)
m个灾后影像{xq1,xq2, …, xqm}抽样样本ps(xq)
m个损毁建筑物真实地表标注{yq1,yq2, …, yqm}抽样样本ps(yq)
输出：建筑物损毁分布图
for number of training iterations do
Step 1：更新建筑物检测鉴别器D1的参数
D 输出建筑物分布图G1(xpi)
Step 2：更新损毁建筑物检测鉴别器D2的参数
输出损毁建筑物分布图G2(G1(xpi), xqi)
Step 3：更新建筑物检测鉴别器G1的参数
G
Step 4：更新损毁建筑物检测鉴别器G2的参数
end for
2 试验与分析
2.1 试验数据
图 3 圣罗莎大火数据集Fig. 3 Santa Rosa data sets
图 4 密苏里龙卷风数据集Fig. 4 Missouri tornado data sets
图 5 建筑物损毁描述Fig. 5 Description of damage buildings
2.2 圣罗莎(Santa Rosa)数据集检测结果和比较
图 6 圣罗莎数据集检测结果Fig. 6 Detection results of Santa Rosa data sets
表 2 圣罗莎数据集检测结果及比较Tab. 2 Detection results and comparison of Santa Rosa data sets
图 7 RS-GAN在圣罗莎数据集上训练的loss曲线
Fig. 7 Loss curves that RS-GAN trained on the Santa Rosa data sets
2.3 密苏里(Missouri)龙卷风数据集检测结果和比较
表 3 密苏里龙卷风数据集检测结果及比较Tab. 3 Detection results and comparison of Missouri tornado data sets
图 8 密苏里龙卷风数据集检测结果
Fig. 8 Detection results of Missouri tornado data sets
3 讨论
图 9 多里安数据集检测结果Fig. 9 Detection results of Dorian data sets
表 4 多里安数据集检测结果及比较Tab. 4 Detection results and comparison of Dorian data sets
4 结论
初审：张 琳
复审：宋启凡
终审：金 君
往期推荐
资讯
○ 湖北省省直事业单位2022年统一公开招聘工作人员公告
○ 中国农业大学2022年兴农青年学者博士后项目全球招募
○ 第三次全国土壤普查第一批检测实验室名单公示
○ 关于举办2022易智瑞杯中国大学生GIS软件开发竞赛的通知
○ 中山大学测绘科学与技术学院2022年硕士研究生调剂公告
○ Landsat 9 卫星影像已开放下载
○ 三位院士领衔！全球首个医学遥感信息研究院在武汉大学人民医院成立
会议
○ “第二届新型基础测绘高峰论坛”会议日程来啦！
○ 第二届“地理资源青年创新论坛”一号通知
○ Geoinformatics 2022 暨CPGIS成立30周年年会（二号通知）
○ 会议通知 | 第三届IEEE地质、测绘与遥感国际学术会议
《测绘学 》
○ 测绘学 | 赵玏洋：移动机器人SLAM位姿估计的改进四元数无迹卡尔曼滤波
○ 测绘学 | 王洁：组合GNSS观测值反演海面高度
○ 测绘学 | 潘娟霞：GOCE引力梯度内部校准方法
○ 《测绘学 》2022年第3期目录
《测绘通 》
○ 《测绘通 》2022年第1期目录
○ 《测绘通 》2022年第2期目录
○ 地市级实景三维城市建设及应用
○ 像控点布设对勘测定界复杂区域实景建模精度的影响
《北京测绘》
○《北京测绘》2022年第1期摘要推荐
○《北京测绘》2021年第12期摘要推荐
○《北京测绘》2021年第11期摘要推荐
○《北京测绘》2021年第10期摘要推荐
《测绘科学技术学 》
○ 摘要 |《测绘科学技术学 》2021年第2期摘要推荐
○ 摘要 |《测绘科学技术学 》2021年第4期摘要推荐
○ 摘要 |《测绘科学技术学 》2021年第5期摘要推荐
○ 摘要 |《测绘科学技术学 》2021年第6期摘要推荐
《地球信息科学学 》
○ 《地球信息科学学 》2022年第3期佳文推介
○ 龚健雅院士：全球位置信息叠加协议与位置服务 技术研究进展与展望
○ 佳文推介 | 大数据城市通勤交通模型的构建与模拟应用
○ 专刊征稿：社会感知与地理大数据挖掘（征稿中）
《测绘工程》
○ 摘要 |《测绘工程》2021年第5期摘要推荐
○ 摘要 |《测绘工程》2021年第6期摘要推荐
○ 摘要 |《测绘工程》2022年第1期摘要推荐
○ 佳文推介 | 单目视觉技术在室内定位中的应用研究
《中国空间科学技术》
○ 火卫二地形地貌探测综述
○《中国空间科学技术》2022年第1期摘要
○《中国空间科学技术》2021年第6期摘要
○《中国空间科学技术》2021年第5期摘要推荐
《卫星应用》
○《卫星应用》2022年第01期摘要
○《卫星应用》2021年第12期摘要
○《卫星应用》2021年第11期摘要
○《卫星应用》2021年第10期摘要
《Journal of Geodesy and Geoinformation Science》
○《测绘学 （英文版）》专刊征稿 | 地图学与地球空间信息教育：理论与实践
○ 《测绘学 （英文版）》专刊征稿 | 用于三维地理信息的摄影测量和计算机视觉
○ Xiang LI et al. | 《测绘学 （英文版）》（JGGS）精选论文
○ 高被引论文 | 《测绘学 （英文版）》（JGGS）佳文推荐
《Satellite Navigation》
○ 徐元博士：面向有色测量噪声下UWB/INS组合行人导航的分布式卡尔曼滤波| SANA佳文速递
○ 杨飞博士：GNSS天顶对流层精化模型的构建与分析| SANA佳文速递
○ 姚铮教授：北斗PPP服务信号调制复用方案设计与质量评估| SANA佳文速递
○ 2022征文| SatNav“普适定位、室内导航与基于位置服务”专题
《自然资源遥感》
○ 《自然资源遥感》入驻“智绘科服”融媒体平台！
○ 《自然资源遥感》征稿：“海岸带空间资源及生态健康遥感监测”专栏
○ 摘要 |《自然资源遥感》2021年第3期摘要推荐
○ 摘要 |《自然资源遥感》2021年第4期摘要推荐
《Journal of Geovisualization and Spatial Analysis》
○《Journal of Geovisualization and Spatial Analysis》入驻“智绘科服”融媒体平台！
○ JGSA国际期刊2021年第5卷第2期论文摘要
○ 高被引论文推荐 | Journal of Geovisualization and Spatial Analysis
《全球定位系统》
○《全球定位系统》入驻“智绘科服”融媒体平台！
○ 《全球定位系统》论文推荐 | 刘光明：我国常用地心坐标系的现状与发展
○《全球定位系统》2022年第1期目次
声明：本站部分文章内容及图片转载于互联 、内容不代表本站观点，如有内容涉及侵权，请您立即联系本站处理，非常感谢！