HFF-BiG:基于双向门控的层次化特征融合用于3D室内实例分割

《Neurocomputing》:HFF-BiG: Hierarchical feature fusion with bi-directional gating for 3D indoor instance segmentation

【字体: 大 中 小 】 时间:2026年03月07日 来源:Neurocomputing 6.7

编辑推荐:

  魏晓宇|安东·科努辛俄罗斯莫斯科国立大学计算数学与控制论系,莫斯科,119991摘要在3D室内场景中,实例分割需要有效的多尺度特征融合,但现有方法通常通过串联或对称注意力机制来聚合层次化特征,将不同尺度视为独立分支。我们发现了多尺度特征层次结构中的基本语义-几何不对称性:粗尺度特

  魏晓宇|安东·科努辛俄罗斯莫斯科国立大学计算数学与控制论系,莫斯科,119991摘要在3D室内场景中,实例分割需要有效的多尺度特征融合,但现有方法通常通过串联或对称注意力机制来聚合层次化特征,将不同尺度视为独立分支。我们发现了多尺度特征层次结构中的基本语义-几何不对称性:粗尺度特征为物体分类提供丰富的语义上下文,而细尺度特征则用于精确捕捉边界细节。这种不对称性要求有方向性的、选择性的信息流动,而非均匀的聚合。为了解决这一问题,我们提出了HFF-BiG(具有双向门控的层次化特征融合)方法,该方法将多尺度特征重新概念化为通过双LSTM门控处理的结构化层次序列。前向传递将语义上下文从粗尺度传递到细尺度,而后向传递则反向传递几何约束,遗忘门和输入门在每个尺度上选择性地平衡互补信息。此外,我们还引入了具有可学习3D偏移量的可变形跨尺度注意力机制,以便在稀疏点云中进行自适应特征采样。这两个组件协同作用:层次化编码建立了结构化的跨尺度依赖关系,引导可变形注意力指向有信息价值的采样位置,而自适应采样则为序列表示添加了空间上精确的多分辨率特征。大量实验表明,该方法在ScanNetV2、ScanNet200和S3DIS基准测试中取得了最先进的性能,全面的消融实验也证实了两个组件的互补作用以及更优的收敛效率。

引言从点云理解室内3D场景对于自主系统、AR/VR应用以及机器人导航而言至关重要。实例分割涉及识别物体类别并划分单个实例,但由于点分布不规则、尺度差异极大(如杯子和墙壁)、遮挡以及数百万点带来的计算限制,这一任务仍然具有挑战性。近期的进展已经提出了几种有效的解决方案。稀疏卷积网络[1]、[2]通过体素化实现了计算效率的提升,而基于Transformer的方法[3]、[4]、[5]则能有效捕获长距离依赖关系。受DETR[6]启发的基于查询的方法将分割问题重新表述为带有可学习实例查询的集合预测,包括Mask3D[7]、SPFormer[8]、QueryFormer[9]和OneFormer3D[10]。尽管有了这些进展,多尺度特征融合仍然鲜有研究。现有方法通常将不同尺度的特征简单串联或应用对称注意力机制,将它们视为独立的贡献,而没有建模它们之间的固有层次关系。这种对称处理忽略了层次化表示的一个关键特性:粗特征编码了应指导细尺度细化的 Semantic上下文,而细特征则捕捉了约束语义解释的几何细节(见图1(a))。不同尺度之间的信息流动本质上是不对称的,类似于卷积网络从边缘逐步构建到部件再到物体的表示过程。当忽略这些有方向的依赖关系时,简单的聚合会导致边界模糊和分类错误,尤其是在需要同时考虑语义身份和几何精度的物体接口处。虽然2D检测器可以从双向特征金字塔[11]、[12]中受益,但3D方法却落后了:HAIS[13]引入了层次化点聚合,但侧重于聚类而非特征级融合;DyCo3D[14]采用了动态卷积,但仍独立处理不同尺度;Relation3D[15]引入了对比学习用于实例区分,但没有建模有方向的跨尺度依赖关系。因此,我们提出了HFF-BiG,该方法利用双LSTM来建模特征尺度间的双向依赖关系(见图1(b))。我们的方法并非将多尺度特征视为独立分支进行后期融合,而是将它们视为一个结构化序列,通过门控机制有选择地自上而下传递语义上下文,同时自下而上用几何约束细化粗略的表示。我们对特征金字塔层次结构应用序列层次建模,而非对无序的点云本身。虽然点云需要具备排列不变性处理能力[16],但特征层次结构具有明确的语义到几何的梯度,这为序列建模提供了依据。与对称处理所有输入的注意力机制不同,LSTM的遗忘门、输入门和输出门能够对跨尺度信息流实现精细控制。我们通过双LSTM处理特征{F1,F2,F3,F4},其中前向传递将语义上下文从粗尺度传递到细尺度,而后向传递则利用细尺度上的几何约束来细化语义理解。如图1(b)所示,这种双向编码即使对于外观相似的相邻物体,也能生成连贯的实例边界,而传统融合方法很难同时保持语义一致性和几何精度。然而,仅靠序列层次编码由于空间分辨率的不同,无法高效地聚合跨尺度信息。我们通过可变形跨尺度注意力机制解决了这个问题,该机制将可变形DETR[17]扩展到了3D稀疏点云。对于最细尺度上的每个位置,我们预测出3D偏移量,确定从所有尺度中采样的位置,通常每个尺度采样4个点。我们并非全局关注(这对于稀疏3D数据来说成本过高),而是根据学到的偏移量策略性地进行采样,然后对这些采样特征应用多头注意力机制。稀疏插值在保证计算效率的同时,实现了自适应的跨尺度融合。经过层次化编码的特征被输入到一个基于查询的Transformer解码器[7]中,该解码器拥有200个可学习的实例查询,并经过六层解码器处理。两个并行预测头分别生成实例掩码和语义类别,这些模块通过遵循DETR[6]的双向匹配损失函数进行端到端训练。

在三个基准测试上的评估结果表明,该方法始终保持着最先进的性能。在ScanNet[18]上,HFF-BiG的mAP值为63.4%,比Relation3D(62.5%)高出0.9%,比MSTA3D(58.4%)高出5.0%,这体现了双向门控相较于独立多尺度注意力的优势。在ScanNet200[19]上,我们的mAP值为31.2%,比Relation3D高出0.7%,表明该方法在处理具有200个类别的长尾分布时具有较强鲁棒性。在S3DIS[20]上,我们实现了73.1%的mAP50值用于实例分割,以及76.4%的mIoU值用于语义分割。全面的消融实验表明,在相同的训练条件下(256个周期),双LSTM序列层次编码和可变形跨尺度注意力分别使我们的改进版Mask3D基线模型(mAP值为53.8%)的mAP值提高了4.0和3.2,两者结合则使总mAP值提升了9.6,这一提升幅度超过了两者各自贡献之和的2.4,表明这两个组件之间存在协同作用。我们的贡献包括:•我们提出了一种新的视角,将多尺度特征视为序列层次化表示,利用双LSTM门控机制捕获双向层次依赖关系。•我们提出了具有可学习3D偏移量的可变形跨尺度注意力机制,用于在稀疏点云中进行自适应特征采样,通过策略性的稀疏插值实现高效的多分辨率融合。•我们在三个基准测试上均取得了持续的改进,全面的消融实验验证了各个组件的有效性,同时也证明了序列建模在3D场景理解中的层次化特征融合方面的有效性。

章节摘录点云分割随着专为不规则3D数据设计的深度学习技术的出现,点云分割技术发展迅速。PointNet[16]率先采用共享的MLP和对称函数直接处理点云,以实现排列不变性。其层次化扩展版本PointNet++[21]引入了集合抽象层,以捕获多个尺度下的局部几何结构。后续的研究探索了多种提高点云理解能力的策略,包括概述图2展示了HFF-BiG架构。给定一个点云P∈RN×3,可选地增加颜色或法线特征后,我们的方法按以下步骤进行。一个稀疏卷积骨干网络(第3.2节)提取出从1/4到1/32不同分辨率的多尺度特征{Fs}s=14。我们的层次化编码器(第3.4节)随后通过双LSTM序列层次编码以及可变形跨尺度注意力机制处理这些特征,从而生成能够捕获信息的融合表示Ffused。

实验设置数据集。ScanNet [18]:1613个室内场景(1,201个训练集,312个验证集,100个测试集),20个类别。ScanNet200 [19]:相同场景,200个类别,用于长尾分布评估。S3DIS [20]:6个区域内的271个房间,13个类别用于语义分割(第5区域用于验证)。

实现方式。输入的点云被以5厘米的分辨率进行体素化。稀疏U-Net的结构为[2,2,6,2],通道数为[96,192,384,768]。双LSTM:2层,隐藏维度为256。可变形注意力机制:L=4个尺度,每个尺度有K=4个点,M=8个头部,R=3。

局限性与未来方向尽管在多个基准测试中都取得了持续改进,但第4节中提到的三种故障模式仍需进一步分析。直径小于5厘米的细小结构低于我们的体素化分辨率;在5厘米的体素大小下,厚度小于一个体素的结构无法被可靠表示,因为其与周围空旷空间的平均会稀释其几何信号。将体素大小降低到2.5厘米可提高约40%的检测率,但会使内存消耗增加8倍,因此并不实用。

结论我们提出了HFF-BiG,它为3D室内实例分割引入了序列层次建模。我们的核心观点是,特征金字塔层存在有方向的依赖关系——粗尺度提供语义上下文,而细尺度则捕捉几何细节——双LSTM的门控机制可以通过选择性信息传播有效地模拟这种依赖关系。结合用于自适应3D特征采样的可变形跨尺度注意力机制,我们的方法实现了……

CRediT作者贡献声明魏晓宇:撰写——初稿、可视化、软件、方法论、概念设计。安东·科努辛:撰写——审阅与编辑、验证、监督、资源提供、项目管理、正式分析。

利益冲突声明作者声明没有已知的财务利益或个人关系可能影响本文所报告的工作。

致谢本研究得到了俄罗斯联邦经济发展部的支持,相关资助协议编号为000000C313925P4H0002,资助编号为139-15-2025-012。魏晓宇于2020年在俄罗斯鲍曼莫斯科国立技术大学获得能源与动力工程学士学位,2022年在该校获得计算机科学与网络硕士学位。他目前正在俄罗斯莫斯科国立大学攻读计算机科学博士学位。他的研究兴趣包括3D点云处理、语义与实例分割、计算机视觉领域的深度学习以及自动驾驶系统。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号