《Signal Processing: Image Communication》:Semantic image segmentation using multi-view graph neural network
编辑推荐:
语义分割中,标准CNN常因忽略长程结构和拓扑关系导致边界泄漏、标签不一致等问题。本文提出多视图图神经网络(MVGNN),通过显式建模几何邻近、边界连通性和层次包含三种空间关系,将DNN预测区域映射为多视图图结构,并设计融合模块和轻量级GNN进行协同优化。实验表明,MVGNN在合成数据集和FASSEG数据集上显著优于U-Net和U-Net+CRF,尤其在复杂场景和细薄边界处提升明显,消融实验验证了多视图融合和卷积算子的有效性。
作者:Elie Karam、Nisrine Jrad、Patty Coupeau、Jean-Baptiste Fasquel、Fahed Abdallah、Paul Honeine
所属机构:昂热大学(Univ Angers)、LARIS实验室、SFR MATHSTIC项目,地址:法国昂热市Notre-Dame du Lac大道62号,邮编F-49000
摘要
使用传统的卷积神经网络(CNN)进行语义图像分割时,往往会忽略长距离结构和拓扑线索,导致边界泄漏、空洞或标签不一致的问题。我们提出了一个多视图图神经网络(MVGNN)来解决这一问题,该网络明确表达了结构假设:每个预测区域成为一个节点,多个互补的图(视图)编码不同的空间关系,如几何接近性以实现长距离平滑、边界连通性以保证轮廓的准确性,以及层次包含关系以实现部分与整体的一致性。一个学习到的融合模块将这些视图聚合到一个统一的多图中,然后通过轻量级的图神经网络(GNN)来细化区域标签。
我们在合成数据以及FASSEG数据集上评估了MVGNN的性能,并将其与U-Net和U-Net+CRF进行了比较。结果表明,MVGNN在Dice分数上有所提升,并且降低了Hausdorff距离,尤其是在杂乱场景以及边界细弱或复杂的场景中效果更为显著。实验验证表明:(i)每个视图都对分割质量有贡献;(ii)选择合适的图操作符(如NNConv、ChebConv)对于捕捉互补关系至关重要;(iii)融合多个视图优于单一图模型。这些结果表明,显式建模多关系结构为图像分割提供了一种稳健且高效的方法,能够生成更清晰的边界和更全局一致的掩码。
引言
语义图像分割是计算机视觉中的一个关键挑战,通常采用基于深度神经网络(DNN)的先进深度学习技术来解决[1]。然而,这些DNN往往无法捕捉到标注区域之间的关系或场景内容的定性特征[2][3]。在实际应用中,这种局限性表现为边界泄漏、远距离相关区域之间的标签不一致以及细小结构的碎片化,这是因为像素级操作符孤立地处理每个区域,未能捕捉到长距离的空间依赖性和结构关系。为了解决这个问题,最近的研究开始关注利用区域之间的空间依赖性。这些依赖性不仅包括几何关系(如距离和相对方向),还包括由DNN初步预测生成的特定于区域的属性(如亮度、形状和类别概率分布)[4]。图提供了一种自然的建模工具,可以更丰富地表示场景的底层结构。
传统的利用这些结构信息的方法依赖于不精确的图匹配技术来细化初始分割结果。尽管这些方法通常被形式化为二次分配问题[3][5],并且可以通过适应变化和不确定性来提高匹配精度,但它们的组合复杂性使得计算成本较高[6]。另一种方法是使用图神经网络(GNN)[7][8]。与在独立同分布假设下工作的DNN不同,GNN直接在图结构上操作,通过消息传递机制在节点之间传播和聚合信息,从而使每个节点能够根据其邻居和边中编码的关系更新其特征。
在这个背景下,另一个挑战是管理复杂视觉数据中存在的多种类型的关系。不同的关系方面,如空间配置和纹理梯度,可以提供关于场景结构的互补信息。最近在多视图图神经网络(MVGNN)方面的进展表明,通过整合图像的多个信息视图,这种方法具有很大的潜力。每个视图强调独特的结构特性,它们的组合表示使模型能够更有效地捕捉异构和动态变化的结构。具体来说,几何接近性有助于全局标签的一致性,边界连通性保持了轮廓的准确性,层次包含关系增强了部分与整体的连贯性。因此,MVGNN有望生成更清晰的边界、更少的虚假区域,并在细长物体上提高分割性能[10]。除了分割之外,类似的多视图策略在零样本节点分类[11]和学者工作转移预测[12]等应用中也取得了成功。此外,工程和化学等领域也从多视图CNN和MVGNN中受益,这些技术利用多样化的数据表示实现了更好的分类结果[13][14]。集成解决方案(如MICNet)进一步展示了端到端的多视图框架如何应对异构多图分类任务的挑战[15]。
受这些发展的启发,本文提出了多视图图神经网络(MVGNN),该框架整合了异构图表示,以提高DNN的分割准确性和鲁棒性。我们的主要贡献有三个方面:
多视图图构建:我们将DNN分割结果表示为多图,其中每个视图编码不同的空间关系——几何接近性、相对位置、边界连通性和DNN检测到的区域之间的层次包含关系,从而全面捕捉结构背景。这种设计直接针对上述问题,通过将每个节点分配给一个特定的关系视图来解决。
早期图融合:融合模块将对应于不同结构信息的多个视图合并成一个统一的多图,调整边连接和权重以强调与任务相关的关系。
高效节点分类:轻量级的GNN架构使用基于边的卷积来细化区域标签,平衡了准确性和计算成本。
在本文中,我们扩展了之前的工作[16],重新调整了使用的视图,进行了消融研究,并将分割结果与最先进的方法进行了比较。本文的其余部分安排如下:第2节回顾了CNN、Transformer和GNN在分割中的应用;第3节详细介绍了MVGNN框架;第4节展示了实验结果和消融研究;第5节讨论了结果;第6节总结了未来的研究方向。
部分摘录
卷积神经网络与图像分割
随着计算机视觉的快速发展,卷积神经网络(CNN),如U-Net[17],已成为语义图像分割的基础架构。CNN在各种图像分析任务中表现出色,因为它们的卷积层能够有效捕捉局部特征和相邻像素之间的空间依赖性。然而,CNN建模的上下文信息受到卷积过程中使用的感受野大小的限制
图像、图和多图
通过分割图像,DNN生成了一个分割图
表示图像中的空间点集,例如2D图像中的像素;表示分割类别集。我们定义了概率
,表示点
属于
,其中每个连通分量
合成数据集
该合成数据集旨在以简化的方式模拟现实世界场景。它源自图2(左侧)所示的参考图像,其中包含五个不同的区域或类别:四个可识别类别和一个背景类别。每个非背景区域都与一个节点相关联,该节点通过一个属性来表示其在各个类别上的概率分布[3]。
为了生成多样化的样本,生成了两批修改后的图像:共100张图像
讨论
在合成数据和真实数据上的实验结果证实了MVGNN的鲁棒性,并揭示了其性能背后的机制。
我们在合成数据(表3、4和5)上的实验强调了图卷积操作符选择在捕捉局部邻域信息方面的重要性,如[8]所述。特别是NNConv和ChebConv在编码结构细节方面表现更有效,并且在训练数据量较多时稳定性更高
结论
在这项工作中,我们提出了一个多视图图神经网络(MVGNN)框架,该框架利用多个图表示来捕捉互补的空间关系。我们的方法在合成数据集和FASSEG数据集上都得到了验证,证明了其在受控和真实世界场景中的鲁棒性和多功能性。
CRediT作者贡献声明
Elie Karam:负责撰写初稿、方法论和概念设计。
Nisrine Jrad:负责审阅和编辑。
Patty Coupeau:负责审阅和编辑。
Jean-Baptiste Fasquel:负责审阅和编辑。
Fahed Abdallah:负责审阅和编辑。
声明利益冲突
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
致谢
我们衷心感谢Angers Loire Métropole和Université Catholique de l’Ouest通过DC-GNN项目提供的支持。他们的慷慨资助对于本文研究的顺利完成起到了关键作用。