《Pattern Recognition Letters》:DC-Scene: Data-Centric Learning for 3D Scene Understanding
编辑推荐:
•提出DC-Scene,一种面向3D场景描述的新型数据中心框架,解决高计算成本与高质量数据有限的问题。•引入CLIP驱动的双指标质量(DIQ)过滤器,结合视觉-语言对齐分数与描述困惑度以选取语义连贯的样本。•设计三阶段DIQ引导的课程学习策略,将训练数据从最优25%子集逐步扩
- •
提出DC-Scene,一种面向3D场景描述的新型数据中心框架,解决高计算成本与高质量数据有限的问题。
- •
引入CLIP驱动的双指标质量(DIQ)过滤器,结合视觉-语言对齐分数与描述困惑度以选取语义连贯的样本。
- •
设计三阶段DIQ引导的课程学习策略,将训练数据从最优25%子集逐步扩展至最优75%子集。
- •
验证DC-Scene在不同骨干网络上的泛化能力,在3D CoCa和Vote2Cap-DETR++上均取得一致的性能提升。
引言
3D场景理解对于广泛的现实世界应用至关重要,包括机器人技术、增强现实(AR)、虚拟现实(VR)和自动驾驶[1]。例如,机器人必须理解复杂的3D环境以安全地导航和交互,而AR系统则依赖精确的场景解析,将虚拟元素无缝地集成到物理世界中。实现全面的3D场景理解不仅需要识别物体,还需要分析它们之间的空间关系并生成自然语言描述,这一任务被称为3D场景描述。高质量的3D场景描述使机器人能够执行复杂的、上下文感知的动作,并让AR系统提供沉浸式、响应迅速的用户体验。
近期3D场景理解的进展探索了几个互补方向。TOD3Cap[2]将密集描述扩展到室外3D场景,而3D CoCa[3]将对比式视觉-语言学习与3D描述生成相结合。密集多模态对齐[4]改进了开放词汇的3D表示学习,而Scene-LLM[5]将语言模型推理扩展到3D环境。尽管取得了这些进展,人们对训练数据本身的质量和组织的关注相对较少。第一个挑战在于3D数据训练的高计算成本。与传统的2D图像不同,3D表示(如稠密点云或体积网格)规模更大、更复杂,导致内存需求大幅增加且训练时间更长,如图1所示。第二个挑战是高质量标注3D数据集的稀缺。虽然丰富的有大规模标注数据集推动了2D视觉的进步,但由于捕获和标注复杂场景的过程费力,标注的3D数据有限。例如,ScanRefer[6]是一个广泛用于3D描述的基准,仅包含约800个场景的标注,比典型的2D数据集少几个数量级。高质量数据的短缺通常导致过拟合和泛化能力差,特别是在复杂或真实世界环境中。
这些挑战促使研究转向数据中心学习,后者强调训练数据的质量和结构,而非日益复杂的模型架构。为了提高大规模3D训练的效率,我们提出了一种数据中心框架,从两个互补维度刻画每个3D场景-描述对:语义可靠性,由基于CLIP的视觉-语言对齐衡量;以及学习信息性,通过描述难度反映。仅靠语义对齐可能倾向于可靠但冗余的样本,而仅靠描述难度可能过度强调噪声或错配的对;联合考虑两者可以提供更信息丰富的训练数据价值估计。基于这种双指标刻画,我们采用了一种课程学习策略,从更清晰、更可靠的样本开始,逐步引入更多样化和更具挑战性的样本。这种阶段性推进减轻了过拟合,并增强了对多样化和复杂真实世界3D场景的泛化能力。
我们将这些数据中心策略整合到一个统一的框架DC-Scene中。我们的双指标过滤策略旨在识别语义可靠且具有信息量的样本,同时减少噪声和低效用训练对的影响,而不是加剧3D数据的稀缺。通过关注数据的价值而非数量,DC-Scene使模型能够更高效地利用现有有限的高质量数据。这一范式与获得更多3D数据的需要相辅相成,可以与合成数据生成方法结合以进一步扩大高质量训练池。
总之,我们的贡献如下:
- •
我们提出了一种用于3D场景描述的训练数据价值双指标刻画,联合考虑通过视觉-语言对齐衡量的语义可靠性和通过描述难度反映的学习信息性。
- •
我们提出DC-Scene,一个灵活的数据中心框架,利用双指标刻画构建质量感知课程,在不修改底层3D场景描述架构的情况下提高训练效率。
- •
我们进行了大量实验,证明在ScanRefer[6](86.10 CIDEr@0.25)和Nr3D[7](53.60 CIDEr@0.50)上取得了理想的精度-效率权衡,并在不同3D描述骨干网络上取得了一致的性能提升。
章节片段
相关工作
3D场景理解。3D场景理解涵盖3D问答(3D-QA)[8]和3D密集描述(3D-DC)[6],[7]等任务。虽然3D场景理解包含多个任务,包括3D问答和密集描述,但本文专门关注数据高效的3D场景描述。早期的3D密集描述方法通常遵循检测-描述流程,即先用3D物体检测器定位场景物体,再由语言模型进行
概述
在本节中,我们提出DC-Scene,一种通过课程学习策略实现高效3D场景描述的数据中心框架。如图2所示,DC-Scene由三个核心组件组成:(1)质量评分模块,(2)双指标质量(DIQ)过滤器,以及(3)课程调度器。
质量评分
为了减少3D场景-描述对的变异和噪声,我们采用基于CLIP的嵌入来量化数据质量。给定数据集,CLIP 3D场景编码器Sclip(·)
数据集与评估指标
数据集。为了评估我们的3D场景描述框架,我们在两个广泛使用的基准上进行了实验:ScanRefer[6]和Nr3D[7]。ScanRefer包含来自562个场景中7,875个独特物体的36,665条自然语言描述,而Nr3D提供了来自511个场景中4,664个物体的32,919条描述。两者均基于ScanNet[28]构建,ScanNet包含1,201个RGB-D重建的室内场景。在评估中,我们遵循标准划分:9,508条描述涉及141个场景中的2,068个物体
结论
在本工作中,我们从数据中心的视角研究了3D场景描述,并提出了DC-Scene,它在不修改底层描述架构的情况下改进了有限训练数据的使用。通过联合考虑语义可靠性和学习信息性,DC-Scene识别出具有信息量的场景-描述对,并将它们组织成渐进式的质量感知课程。所提出框架的主要优势在于其理想的精度-效率权衡。
CRediT作者贡献声明
黄婷:撰写——初稿、验证、软件、方法论、形式化分析、概念构思。张泽宇:验证、指导、方法论、调查。张瑞成:撰写——审阅与编辑、资源、数据管理。赵阳:撰写——审阅与编辑、监督、项目管理、经费获取。
利益冲突声明
作者声明他们不存在已知的利益冲突或个人关系可能影响本文所报告工作的情况。
黄婷 | 张泽宇 | 张瑞成 | 赵阳