ULFormer:面向点云和多视图图像学习的统一轻量级 Transformer

《Expert Systems with Applications》:ULFormer: Unified and Lightweight Transformer for Point Cloud and Multi-View Image Learning

【字体: 大 中 小 】 时间:2026年10月01日 来源:Expert Systems with Applications 9.4

编辑推荐:

   •用于多级特征聚合和局部空间交互的MFAT模块。•像素采样策略统一了点云和图像的伪特征学习网络。•ULFormer采用并行的LightFormers进行轻量级多模态特征学习。•在基准数据集上以更低的计算量取得了具有竞争力的准确率。引言点云是三维(3D)空间中至关重要的数据表示

  
  • •
    用于多级特征聚合和局部空间交互的MFAT模块。
  • •
    像素采样策略统一了点云和图像的伪特征学习网络。
  • •
    ULFormer采用并行的LightFormers进行轻量级多模态特征学习。
  • •
    在基准数据集上以更低的计算量取得了具有竞争力的准确率。

引言

点云是三维(3D)空间中至关重要的数据表示格式 Guo, Liu, & Xu (2021a); Ma, Ma, Chen, Li, & Wang (2026); Wang et al. (2025); Xu et al. (2022); Zhang, Mao, Li, & Peng (2026),在自动驾驶 Awan, Whangbo, & Shin (2025); Chu, Li, Xie, & Zhao (2025); Li, Hu, Ren, Xi, & Fan (2025b); Yuan, Song, Bai, Wang, & Ouyang (2022) 和增强现实 Han, Zheng, Zhu, Xu, & Fang (2020); Pierdicca et al. (2024) 等各种实际场景中有广泛应用。在这些场景中,从点云数据进行有效的3D场景理解 Wu et al. (2023a) 对于实现可靠的感知和推理起着至关重要的作用,这吸引了研究人员的广泛关注。已有许多基于点的方法 Fu, Yuan, Liu, & Wang (2024); Guo, Li, Lai, & Han (2022); Ma, Qin, You, Ran, & Fu (2022); Zhang, Girdhar, Joulin, & Misra (2021) 和基于图像的方法 Goyal, Law, Liu, Newell, & Deng (2021); Hamdi, Giancola, & Ghanem (2021); Su, Maji, Kalogerakis, & Learned-Miller (2015) 被报道,这些方法极大地推动了该领域的发展。基于点的方法直接利用3D点云提取几何信息。基于图像的方法使用卷积神经网络(CNNs)从渲染或从3D点数据投影得到的2D多视角图像中提取更丰富的外观信息(如纹理)。
然而,仅使用单一模态的数据(3D点云或2D多视角图像)进行点云分类是不够的。为此,一些跨模态研究 Afham et al. (2022); Peng et al. (2023); Yan et al. (2022); Zhang, Hou, & Qian (2023) 被研究人员提出。它们将点云的几何特征与多视角图像的视觉外观相结合。因此,它们可以获得更丰富的特征,并在描述物体形状方面具有明显优势。尽管这些方法显著提高了网络性能,但它们通常需要辅助数据集、特征提取器或预训练过程,增加了模型训练的复杂性和计算成本。
近年来,Transformer在处理多模态数据方面展现了非凡的有效性,例如自然语言数据 Devlin, Chang, Lee, & Toutanova (2019); Peters, Ammar, Bhagavatula, & Power (2017); Vaswani et al. (2017) 和图像数据 Dosovitskiy et al. (2021); Huang et al. (2023a); Li, Liu, & Jiao (2022); Liu et al. (2021); Zhang et al. (2024b)。也有一些研究尝试将Transformer应用于点云分析 Engel, Belagiannis, & Dietmayer (2021); Guo et al. (2021b); Lai et al. (2022); Wu et al. (2023b); Zhao, Jiang, Jia, Torr, & Koltun (2021)。然而,Transformer Dosovitskiy et al. (2021); Vaswani et al. (2017) 在多模态点云学习中的直接应用仍未得到充分探索。现有的基于Transformer的点云方法和多模态学习框架仍面临几个局限性。(1)虽然直接采用标准Transformer架构是有效的,但它通常引入大量参数并需要大量训练数据,而大多数现有点云数据集相对较小。模型复杂度与数据规模之间的这种不匹配限制了基于Transformer的方法在资源受限场景中的实际部署。(2)现有的多模态学习方法通常采用特定于模态的架构来分别处理点云和多视角图像。这种异构设计增加了网络复杂度和优化难度。因此,设计一种能够有效建模统一多模态表示学习的轻量级Transformer架构仍然是点云任务的关键挑战。
在本文中,我们提出了一种新颖的统一轻量级Transformer(ULFormer)用于点云和多视角图像学习,以缓解上述问题。请参见图1以了解其概述。首先,为了解决数据和参数不匹配的问题,我们设计了一种新的多级特征聚合Transformer(MFAT)模块,它以较低的计算代价同时建模空间维度中的长程依赖关系和通道维度中的多级信息聚合。接下来,通过堆叠多个MFAT模块,我们构建了一个轻量级Transformer(LightFormer)作为单模态特征提取器。然后,我们提出了一种新颖的像素采样策略,将多视角图像转换为与点云中点相似的形式。因此,两种模态的特征可以共享相同的LightFormer架构,简化了模型设计和调优的复杂性。最后,我们使用两个并行的LightFormers分别从点云和多视角图像中提取特征,建立了ULFormer网络。通过这种方式,我们的ULFormer无需任何额外的预训练或大量训练数据即可取得优异的性能。我们的主要贡献总结如下:
  • •
    我们提出了一种新颖的MFAT模块,通过块内特征聚合同时建模局部空间依赖关系和多级通道交互。通过堆叠多个MFAT模块,我们构建了LightFormer架构以提取丰富的特征表示。
  • •
    我们设计了一种新颖的像素采样策略,将图像数据转换为与点云数据类似的格式。因此,两种模态的特征可以共享相同的网络架构,简化了模型设计和调优。
  • •
    我们使用两个并行的LightFormers构建了一个名为ULFormer的轻量级多模态网络。一个LightFormer从点云数据中提取特征,另一个LightFormer从多视角图像中提取特征。
  • •
    在ModelNet40和ScanObjectNN数据集上的大量实验表明,我们的ULFormer以更低的计算成本取得了具有竞争力的分类性能。
本文的其余部分描述如下。在第2节中,我们简要回顾了相关工作。在第3节中,我们详细介绍了所提出的MFAT模块、单模态特征提取网络(LightFormer)、像素采样策略以及高效的多模态分类网络ULFormer。在第4节中,展示了实验结果和分析。最后,在第5节中得出结论。

章节摘要

用于点云的Transformer

受注意力机制Transformer在自然语言处理 Devlin et al. (2019); Peters et al. (2017); Vaswani et al. (2017) 和计算机视觉 Dosovitskiy et al. (2021); Li et al. (2022); Liu et al. (2021) 任务中成功的启发,许多工作已将Transformer引入3D点云处理。为捕获空间点关系和形状信息,Engel 等人 Engel et al. (2021) 提出了一种基于局部-全局注意力机制的点Transformer。Guo 等人 Guo

CRediT作者贡献声明

黄新言:概念化、方法学、软件、验证、正式分析、撰写——初稿、撰写——审阅与编辑。刘方:概念化、验证、撰写——审阅与编辑、监督、资金获取、资源。焦李成:概念化、验证、资金获取、资源。杨亚明:概念化、调查研究、撰写——审阅与编辑、正式分析、软件。李蓬放:调查研究、撰写——审阅与编辑、正式

利益冲突声明

作者声明,他们没有已知的竞争性经济利益或个人关系可能影响本论文中报道的工作。
黄新言|刘方|焦李成|杨亚明|李蓬放|李硕|陈普华|李玲玲
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号