MAPPE——融合点云与投影估计器的快速全参考三维网格质量评价

《Signal Processing: Image Communication》:MAPPE: Mesh Assessment via Point Cloud and Projection Estimators

【字体: 大 中 小 】 时间:2026年10月21日 来源:Signal Processing: Image Communication 3.4

编辑推荐:

  •提出MAPPE,一种融合二维(2D)与三维(3D)特征的快速全参考(FR)网格质量度量。 •引入TAPS,一种面向三维(3D)网格的确定性、面积比例点采样方法。 •使用带VoSS的PointPCA3在分层种子点上计算特征,以降低计算成本。 •在多个基准上与人

  
•提出MAPPE,一种融合二维(2D)与三维(3D)特征的快速全参考(FR)网格质量度量。
•引入TAPS,一种面向三维(3D)网格的确定性、面积比例点采样方法。
•使用带VoSS的PointPCA3在分层种子点上计算特征,以降低计算成本。
•在多个基准上与人类感知达到最先进(SOTA)相关性;最高加速达263×。
研究背景与问题:近年来多媒体服务发生显著变化,全球三维(3D)数字资产市场预计从2024年的283亿美元增长至2029年的518亿美元;3D网格已广泛用于游戏、文化数字化等多媒体应用。为准确描述3D场景,网格常需大量字节,限制其在现有硬件系统中的使用,因此高效网格质量评价(MeQA,Mesh Quality Assessment)日益关键。MeQA的核心挑战在于拓扑与纹理的关系:几何简化造成的失真在无纹理表面上明显,但复杂纹理可掩盖形状不规则,使仅评价拓扑或仅评价纹理的质量指标可能误判感知质量。现有拓扑方法提取曲率张量、二面角、顶点位移等几何描述子,能有效捕获几何结构,却无法访问网格渲染外观,即人类观察者实际感知的视觉3D刺激;引入颜色信息或对纹理图应用图像质量评价(IQA,Image Quality Assessment)的方法仍将纹理与拓扑分开处理,未建模人类视觉系统(HVS,Human Visual System)感知的联合效应。投影方法通常基于渲染2D投影并用IQA评估,简单有用,但缺乏对3D拓扑的显式访问。混合框架结合两类模态,却常依赖计算密集的深度学习(DL,Deep Learning)架构,如图卷积网络(GCN,Graph Convolutional Network)、多尺度注意力和迭代特征细化,计算成本高,限制其在大规模网格处理管线和实时系统中的部署。因此,需要低复杂度的全参考(FR,Full-Reference)混合MeQA。研究人员提出MAPPE,目标不是声称通用2D/3D特征融合为新想法,而是提供高效FR管线,整合预训练投影特征、确定性网格到点云(PC,Point Cloud)采样和降成本PC描述子;其适用于有参考网格的受控工作流,如压缩评估、网格简化、编解码优化、重建基准和资产质量保证,不用于无参考质量监测。该研究避免训练任务特定复杂DL,转而用DISTS预训练VGG-based IQA评价少量投影,用TAPS将网格转PC,用PointPCA3/VoSS在代表性种子点计算PC特征,最后由监督回归器将拼接特征映射为感知质量分数。其意义在于为大规模网格处理和实时系统提供较低复杂度的FR混合评价路径,并以实验验证竞争性相关性。贡献包括MAPPE框架、TAPS、PointPCA3/VoSS,以及GroupKFold验证、运行时间比较和TSMD敏感性分析。

关键技术方法(不超过250字):方法上,投影器生成六个正交立方体视图并将网格归一化,渲染512×512;DISTS(Deep Image Structure and Texture Similarity)基于预训练VGG提取6维投影特征;TAPS按三角形面积比例确定性采样PC;PointPCA3/VoSS通过体素化空间分层种子点计算40维PointPCA2兼容特征;ETR(ExtraTreesRegressor)将二者拼接为46维并监督早期融合;五折GroupKFold按参考网格分组。数据来自SJTU、TMQ、TSMD与Yana(含YanaACR-HR、YanaDSIS、YanaSAMVIQ三套平均主观意见分(MOS,Mean Opinion Score))。

研究结果:
4. Experiments:在四个MeQA基准数据库上使用五折GroupKFold和斯皮尔曼秩相关系数(SROCC,Spearman Rank Correlation Coefficient)/皮尔逊线性相关系数(PCC,Pearson Linear Correlation Coefficient)评估,并与拓扑、投影和混合FR MeQA方法比较。折统计显示TMQ中位SROCC/PCC/均方根误差(RMSE,Root-Mean-Square Error)为0.759/0.775/0.628,SJTU为0.921/0.917/1.231,TSMD为0.922/0.920/0.437。性能比较显示混合方法优于单一拓扑或投影方法;MAPPE在六例中四例超过HybridMQA,在SJTU和TSMD更优,仅TMQ较差(MAPPE TMQ为0.774/0.765,HybridMQA为0.892/0.897;SJTU为0.892/0.903对0.887/0.896;TSMD为0.926/0.926对0.912/0.919)。跨数据库验证以TMQ和TSMD训练并测试SJTU,显示混合方法明显优于其他学习型MeQA;HybridMQA以TMQ训练时超过MAPPE,而MAPPE以TSMD训练时最佳(SROCC/PCC为0.867/0.853,HybridMQA为0.846/0.811)。运行时间比较显示MAPPE较HybridMQA显著加速,SJTU为263.01×、TSMD为254.56×、TMQ为117.43×。特征与回归分析显示投影特征个体相关性最高,PC特征提供互补3D几何与颜色信息;多数回归器行为相似,ETR在两项相关指标上最佳但差距较小,故最终采用ETR。
4.1. Ablation study:在TSMD上消融评估视图数、PC密度ρ、邻域K和光照;单投影显著降低预测性能,六视图恢复大部分密集视图性能;ρ和K在测试范围内影响有限;TSMD基线与headlight配置相似,flat ambient光照略低;结果支持六视图、ρ=0.3、K=361和基线TSMD光照。仅替换PC后端比较PointPCA3与PointPCA2-RS,在固定投影分支、ETR和GroupKFold下,PointPCA3的SROCC/PCC/RMSE为0.926/0.927/0.449,PointPCA2-RS为0.928/0.928/0.439,相关性接近;PointPCA后端中位时间从3.38 s降至0.17 s,约20.2×,峰值内存从3.78 GB降至3.25 GB,支持PointPCA3作为MAPPE的PC分支。

讨论与结论(翻译研究结论部分):该研究提出MAPPE,一种高效FR混合MeQA框架,通过监督早期融合模型结合投影和PC特征;投影分支使用预训练DISTS/VGG从六个正交渲染提取特征,PC分支使用TAPS生成确定性面片PC,并用PointPCA3/VoSS降低局部PC特征提取成本;实验显示竞争性预测性能和低于所评估混合基线的计算成本,消融支持所选参数和光照。未来工作将把参数分析扩展到投影分辨率等更多设置,探索引入语义感知模块以按视觉重要性优先视点,并计划将有参考网格的MAPPE用于更多感知驱动FR工作流。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号