CVPR 2021 论文大盘点-语义分割篇

道 | 我爱计算机视觉（微信id：aicvml）

本篇总结图像语义分割相关论文，包含点云、域适应、半监督、弱监督、小样本以及夜间语义分割，共计 39 篇。

大家可以在：
https://openaccess.thecvf.com/CVPR2021?day=all按照题目下载这些论文。

1.Differentiable Multi-Granularity Human Representation Learning for Instance-Aware Human Semantic Parsing

问题：解决 instance-aware 人体语义解析任务。

方案：提出一个新的自下而上的机制，以联合和端到端的方式学习类别级的人体语义分割以及多人姿势估计。具有紧凑、高效和强大的特性，利用不同人类粒度的结构信息，缓解人类划分的困难。

结果：在三个 instance-aware 的人类解析数据集上的实验表明，该模型优于其它自下而上的方案，推理效率更高。

单位 | 苏黎世联邦理工学院；北航；悉尼科技大学

论文 |
https://arxiv.org/abs/2103.04570

代码 |
https://github.com/tfzhou/MG-HumanParsing

备注 | CVPR 2021 Oral

2.Learning Statistical Texture for Semantic Segmentation

具体来说，设计全新的 Quantization and Counting Operator（QCO），已统计的方式进行纹理信息描述。在此基础上，引入两个模块。(1) 纹理增强模块（TEM），捕捉与纹理相关的信息并增强纹理细节；(2) 金字塔纹理特征提取模块（PTFEM），有效提取多个尺度的统计纹理特征。

大量实验表明，STLNet 在 Cityscapes, PASCAL Context 和 ADE20K 三个语义分割基准上取得了最先进的性能。

单位 | 北航；商汤

论文 |
https://arxiv.org/abs/2103.04133

3.ABMDRNet: Adaptive-weighted Bi-directional Modality Difference Reduction Network for RGB-T Semantic Segmentation

单位 | 西安电子科技大学；亚伯大学

论文 |

https://openaccess.thecvf.com/content/CVPR2021/papers/Zhang_ABMDRNet_Adaptive-Weighted_Bi-Directional_Modality_Difference_Reduction_Network_for_RGB-T_Semantic_CVPR_2021_paper.pdf

4.Revisiting Superpixels for Active Learning in Semantic Segmentation with Realistic Annotation Costs

单位 | I2R；新加坡国立大学

论文 |

https://openaccess.thecvf.com/content/CVPR2021/papers/Cai_Revisiting_Superpixels_for_Active_Learning_in_Semantic_Segmentation_With_Realistic_CVPR_2021_paper.pdf

5.Exploit Visual Dependency Relations for Semantic Segmentation

单位 | 伊利诺伊大学芝加哥分校

论文 |

https://openaccess.thecvf.com/content/CVPR2021/papers/Liu_Exploit_Visual_Dependency_Relations_for_Semantic_Segmentation_CVPR_2021_paper.pdf

6.Cross-Dataset Collaborative Learning for Semantic Segmentation

Cross-Dataset Collaborative Learning（CDCL）是一个简单通用且灵活的语义分割方法，鉴于有多个标记的数据集，目标是提高每个数据集上的特征表征的泛化和辨别能力。

具体来说，引入 Dataset-Aware Blocks 系列（DAB）作为 络的基本计算单元，有助于捕捉不同数据集的同质性表示和异质性统计。其次，提出一个数据集交替训练（DAT）机制，以有效促进优化程序。在四个不同的数据集上进行了广泛的评估，即Cityscapes、BDD100K、CamVid和COCO Stuff，有单数据集和跨数据集设置。

CDCL 方法与之前的单数据集和跨数据集训练方法相比，在不引入额外的FLOPs 的情况下，取得明显的改进。特别是，在 PSPNet（ResNet-18）的相同架构下，所提出方法在 Cityscapes、BDD100K、CamVid 等验证集上分别比单数据集基线高出 5.65%、6.57% 和 5.79% 的 mIoU。

单位 | 赛灵思公司；中科院

论文 |
https://arxiv.org/abs/2103.11351

7.PiCIE: Unsupervised Semantic Segmentation using Invariance and Equivariance in Clustering

本次研究工作提出一个新框架，通过聚类进行无标注的语义分割。主要贡献是将几何一致性作为一种归纳偏置，以学习光度和几何变化的不变性和等值性。全新的跨视角损失在学习划分 things 分类所需的高层次视觉概念方面是简单而高效的。

单位 | 得克萨斯大学奥斯汀分校；康奈尔大学

论文 |
https://arxiv.org/abs/2103.17070

代码 |
https://github.com/janghyuncho/PiCIE

8.Progressive Semantic Segmentation

MagNet，一个用于高分辨率图像的多尺度分割框架，通过将输入图像划分为patches，可以在不增加 GPU 内存使用量的情况下生成高分辨率的分割输出。MagNet 有多个处理阶段，每个阶段对应一个放大级别，一个阶段的输出被送入下一个阶段进行粗到细的信息传播。每个阶段都以比前一个阶段更高的分辨率分析图像，恢复之前由于有损降采样步骤而丢失的细节，分割输出通过处理阶段逐步细化。

在三个具有挑战性的高分辨率图像数据集上证明了 MagNet 的优势，MagNet 在 mIoU 方面比以前最先进方法高出 1% 至 2%。

单位 | VinAI Research；VinUniversity；阿肯色大学；石溪大学

论文 |
https://arxiv.org/abs/2104.03778

代码 |
https://github.com/VinAIResearch/MagNet

9.PLOP: Learning without Forgetting for Continual Semantic Segmentation

单位 | 索邦大学；Heuritech；Datakalab；valeo.ai

论文 |
https://arxiv.org/abs/2011.11390

代码 |
https://github.com/arthurdouillard/CVPR2021_PLOP

10.Continual Semantic Segmentation via Repulsion-Attraction of Sparse and Disentangled Latent Representations

单位 | 帕多瓦大学

论文 |
https://arxiv.org/abs/2103.06342

代码 |
https://github.com/LTTM/SDR

域适应语义分割

11.Multi-Source Domain Adaptation with Collaborative Learning for Semantic Segmentation

多源无监督域适应（MSDA）旨在将在多个标记的源域上训练的模型适应于未标记的目标域。

文中提出基于协作学习的新型多源域适应框架，用于语义分割。首先引入一种简单的图像翻译方法来调整像素值分布一致，以便在一定程度上减少源域和目标域之间的差距。其次，为了充分利用跨源域的基本语义信息，提出一种协作学习方法，在没有从目标域看到任何数据的情况下进行域适应。

在 Cityscapes 的验证集上实现了 59.0％ 的 mIoU。明显优于以前所有的单源和多源无监督域适应方法。

单位 | 华为；诺亚方舟实验室；大连理工大学

论文 |
https://arxiv.org/abs/2103.04717

12.Cluster, Split, Fuse, and Update: Meta-Learning for Open Compound Domain Adaptive Semantic Segmentation

本篇文章针对 open compound domain adaptation（开放混合域适应）问题，提出基于元学习的模型：MOCDA，由 cluster, split, fuse 和 update 四个模块组成。元学习在融合和更新模块中起作用，用于对复合目标域进行连续建模和在线更新。

大量的实验表明，所提出模型在不同的基准上取得了最先进的性能，以及 MOCDA 模型的有效性。

单位 | 苏黎世联邦理工学院；鲁汶大学；电子科技大学；

论文 |
https://arxiv.org/abs/2012.08278

13.Coarse-to-Fine Domain Adaptive Semantic Segmentation with Photometric Alignment and Category-Center Regularization

所提出 UDA 以 coarse-to-fine 方式将 image-level 对齐和 category-level 特征分布正则化统一起来。具体来说，coarse 方面，提出一个 photometric alignment 模块，使用一组图像级别的算子将源域中的图像与目标域中的参考图像对齐；fine 方面，提出 category-oriented triplet 损失，在源域中施加一个软约束来规范类别中心，在目标域中采用自监督的一致性规范化方法。

实验验证所提出方法提高了最终分割模型的泛化能力，并大大超过了以前所有的先进技术。

单位 | 香港大学；Deepwise AI Lab

论文 |
https://arxiv.org/abs/2103.13041

14.Source-Free Domain Adaptation for Semantic Segmentation

无监督域适应（UDA）可以解决基于卷积神经 络（CNN）的语义分割方法严重依赖像素级标注数据的挑战，但它需要完全访问源数据集，因此对于源数据集是私有的实际场景中是不现实的。

方案：提出 source-free domain adaptation（SFDA），其中只有一个训练有素的源模型和一个未标记的目标领域数据集可用于适应。SFDA 不仅能够在模型适应过程中通过知识迁移恢复和保留源模型的源域知识，而且还能从目标域提取有价值的信息进行自监督学习。为语义分割量身定做的像素级和补丁级的优化目标被无缝地整合到该框架中。

结果：大量实验结果表明所提出框架对现有依赖源数据 UDA 方法的有效性。

单位 | 华东师范大学

论文 |
https://arxiv.org/abs/2103.16372

15.MetaCorrection: Domain-aware Meta Loss Correction for Unsupervised Domain Adaptation in Semantic Segmentation

无监督域适应（UDA）旨在将知识从有标签的源域迁移到无标签的目标域。当前基于自训练的 UDA 方法为目标数据指定伪标签，并将其视为 ground truth 标签，以充分利用未标签的目标数据进行模型适应。但在源域上优化的模型所产生的伪标签不可避免地包含了由于域的差距而产生的噪音。

广泛的实验结果突出了所提出方法在三个基准上对现有最先进方法的有效性。

单位 | 香港城市大学；百度（美）

论文 |
https://arxiv.org/abs/2103.05254

代码 |
https://github.com/cyang-cityu/MetaCorrection

16.Prototypical Pseudo Label Denoising and Target Structure Learning for Domain Adaptive Semantic Segmentation

文中所提出的 ProDA，利用原型对伪标签进行在线去噪，并学习目标域的紧凑特征空间。将知识蒸馏到自监督的预训练模型中，进一步提高了性能。并在很大程度上超过了先进的方法，大大缩小了与监督学习的差距。

单位 | 中国科学技术大学；微软亚洲研究

论文 |
https://arxiv.org/abs/2101.10979

代码 |
https://github.com/microsoft/ProDA

17.Uncertainty Reduction for Model Adaptation in Semantic Segmentation

单位 | Idiap研究所；洛桑联邦理工学院；日内瓦大学

论文 |

https://openaccess.thecvf.com/content/CVPR2021/papers/S_Uncertainty_Reduction_for_Model_Adaptation_in_Semantic_Segmentation_CVPR_2021_paper.pdf

代码 |
https://github.com/idiap/model-uncertainty-for-adaptation

18.Self-supervised Augmentation Consistency for Adapting Semantic Segmentation

本次工作提出一种既实用又高度准确的语义分割域适应方法。与以前的工作相比，放弃了使用涉及计算的对抗性目标、 络集成和风格迁移。而是采用标准的数据增强技术：光度噪声、翻转和缩放，并确保语义预测在这些图像转换中的一致性。通过简单的增强技术和 momentum 更新，显著提高了最先进的分割精度。

单位 | 达姆施塔特工业大学；hessian.AI

论文 |
https://arxiv.org/abs/2105.00097

代码 |
https://github.com/visinf/da-sac

点云语义分割

19.Semantic Segmentation for Real Point Cloud Scenes via Bilateral Augmentation and Adaptive Fusion

通过双边增强和自适应融合对真实点云场景进行语义分割

单位 | 澳大利亚国立大学；Data61-CSIRO

论文 |
https://arxiv.org/abs/2103.07074

代码 |
https://github.com/ShiQiu0419/BAAF-Net

20.Complete & Label: A Domain Adaptation Approach to Semantic Segmentation of LiDAR Point Clouds

文章提出 “complete and label”，是一种全新的域适应方法，旨在克服用不同 LiDAR 传感器获取的三维点云的域差距。

利用几何先验，可以将这个域适应问题转化为一个三维表面补全任务，然后在补全的三维表面上用传感器无关的 络执行语义分割等下游任务。实验结果表明所提出方法比以前的最先进方法有明显的改进。

单位 | 谷歌

论文 |
https://arxiv.org/abs/2007.08488

21.Few-shot 3D Point Cloud Semantic Segmentation