近日，我校计算机与信息学院、农林大数据研究中心、智慧农林福建省高校重点实验室在人工智能遥感领域著名期刊ISPRS摄影测量和遥感杂志（ISPRS Journal of Photogrammetry and Remote Sensing）上发表题为“MGCNet:Multi-Granularity Consensus Network for Remote Sensing Image Correspondence Pruning(\（MGCNet：遥感图像对应剪枝的多粒度一致性网络）”的研究论文。
论文封面
尽管计算机视觉中基于特征描述符的匹配技术取得了很大的进展，但是由于受到遥感图像类型和退化的复杂性等因素的影响，遥感图像局部特征描述符的可靠性下降，导致构建的初始特征匹配集合中包含大量的错误匹配（离群点）。幸运的是，图像对中的内点（正确的匹配）通常表现出空间一致性，而离群点往往随机杂乱地分布。这种性质是区分内点和离群点的强大工具。近年来，基于学习的方法在探索局部和全局一致性方面受到了越来越多的关注。这种方法具有强大而灵活的表示能力，能够学习更复杂的模式，相比传统的方法具有很大的优势。然而，它们以小的视角或大的视角关注局部和全局一致性，往往忽视了中等视角的重要性，而中等视角是介于局部视角与全局视角之间的一个温和视角，是局部视角与全局视角之间的缓冲组织，因此导致缺乏中等粒度的视角。图1（a）中的局部视角表明，在一个小区域内，离群值往往在局部水平上表现出相似的运动行为（例如，相似的长度和角度）。相比之下，全局视角表明离群值在全局层面上符合特定的几何变换。值得注意的是，在图 1(b)中，那些满足全局几何视角但空间距离较远的离群值未能满足局部视角，因为它们表现出不同的长度和角度。
图1 局部和全局视角
为了缓解这个问题，本文提出了一个有效的多粒度一致性特征匹配网络（Multi-Granularity Consensus Network, MGCNet）（图2），该网络从局部到分组和分组到全局的角度有效地挖掘了特征匹配之间的一致性，以实现不同规模区域之间的一致性。具体而言，首先引入了一个组特征聚合（Group Feature Aggregation，GFA）模块（图3），该模块专注于组一致性，并作为从局部到全局一致性的缓冲组织。此外，假定的初始特征匹配往往在整个图像中分布不均匀，在纹理区域中存在许多关键点，而在无纹理区域中很少。这种不均匀的对应分布使得达成统一的一致性极具挑战性。现有的大多数方法直接采用固定的局部特征提取模块，例如固定规模和特征聚合方法。然而，这样的结构不利于解决上述问题。为了克服这一限制，本文提出了一种多级局部特征聚合（Multi-Resolution Local Feature Aggregation，MRLFA）模块，该模块适应局部邻域的大小，以捕获特征匹配之间的局部一致性。最后，引入了多阶全局特征聚合模块（Multi-order Global Feature Aggregation，MOG）模块，通过保留多阶全局特征来增强全局一致性的丰富度来进一步提高匹配算法的性能。提出的MGCNet能够有效地识别遥感图像内点，在遥感数据集上实现了最先进的性能（图4）。
图2 MGCNet框架
图3 GroupGCNs
图4 实验结果可视化
计算机与信息学院、农林大数据研究中心已毕业硕士研究生庄丰园和福州大学计算机与大数据学院刘翼章博士为论文共同第一作者，计算机与信息学院、农林大数据研究中心、智慧农林福建省高校重点实验室杨长才副教授为论文通讯作者。陈日清教授指导研究工作。英国国立农业植物研究院周济教授、魏丽芳教授和武汉大学马佳义教授等也为本研究成果作出重要贡献，硕士研究生李晓洁参与了该项研究。该研究得到了国家自然科学基金项目、福建省自然科学基金面上项目等资助。
原文链接：
https://www.sciencedirect.com/science/article/abs/pii/S0924271624004192
论文代码：https://github.com/1211193023/MGCNet