code: https://github.com/samleoqh/MSCG-Net
我们提出了一种新的架构,称为多视图自构造图卷积网络(MSCGNet)的语义分割。在最近提出的自构造图(SCG)模块的基础上,利用可学习的潜在变量直接从输入特征自构建底层图,而不依赖于人工构建的先验知识图,我们利用多个视图来显式地利用机载图像中的旋转不变性。我们进一步发展了一个自适应的类加权损失来解决类的不平衡。我们在农业视觉挑战数据集上证明了所提出的方法的有效性和灵活性,我们的模型与相关的基于纯cnn的工作相比,获得了更少的参数和更低的竞争结果(0.547mIoU)。
在这项工作中,我们扩展了SCG,以显式地利用空中图像中的旋转不变性,并将其扩展到考虑多个视图。更具体地说,我们增强了输入特征,以获得多个旋转的视图,并在将特征投影回二维空间域之前,将多视图的全局上下文信息进行融合。我们进一步提出了一种新的自适应类加权损失,以解决在语义分割数据集中常见的类不平衡的问题。我们的实验表明,MSCG-Net在农业视觉挑战数据集上取得了非常稳健和竞争性的结果。