TacVerse:面向跨传感器视觉触觉感知的多传感器数据集与基准

《Advanced Robotics Research》:TacVerse: A Multisensor Dataset and Benchmark for Cross-Sensor Vision-Based Tactile Perception

【字体: 大 中 小 】 时间:2026年09月26日 来源:Advanced Robotics Research

编辑推荐:

  视觉触觉传感器(VBTSs)通过内部相机对变形进行成像,使机器人能够推断接触几何形状和力相关线索,然而跨传感器设计的泛化性能仍未被充分理解。研究人员提出了TacVerse,一个用于跨传感器视觉触觉感知的多传感器数据集与基准。该数据集包含来自七个VBTSs的10

  
视觉触觉传感器(VBTSs)通过内部相机对变形进行成像,使机器人能够推断接触几何形状和力相关线索,然而跨传感器设计的泛化性能仍未被充分理解。研究人员提出了TacVerse,一个用于跨传感器视觉触觉感知的多传感器数据集与基准。该数据集包含来自七个VBTSs的106 800张触觉图像,并支持三个下游任务:形状分类、光栅分类和力回归。实验在三种设置下进行:传感器内训练、零样本跨传感器迁移和少样本适应。所有任务中较强的传感器内性能表明,所收集的触觉观测对目标目标具有信息量。然而,直接的跨传感器迁移会导致显著的性能下降。形状分类相对稳健,而光栅分类和力回归对传感器偏移更为敏感。力回归的少样本适应能够持续提升在未见目标传感器上的性能,但并未完全弥合与传感器内上界之间的差距。一项表示学习研究进一步表明,掩码自编码器(Masked Autoencoder)预训练在任务和传感器之间提供了最一致的性能提升。TacVerse为研究触觉感知中的传感器偏移、数据高效适应和自监督学习提供了一个受控测试平台。
**论文解读:TacVerse——跨传感器视觉触觉感知的多传感器数据集与基准**

**1. 研究背景与问题**

触觉感知对于机器人可靠地与世界交互至关重要。尽管视觉能提供丰富的全局上下文,但在机器人-物体界面发生接触时,视觉往往难以直接恢复局部接触状态、表面形变、早期滑动或接触力。视觉触觉传感器(Vision-Based Tactile Sensors, VBTSs)通过将触觉转化为成像问题来解决这一局限:内置相机在受控照明下观察可变形皮肤,将接触转换为高维视觉观测,进而借助计算机视觉、物理建模、机器学习和数据驱动深度学习等方法进行解译。尽管VBTSs共享“对接触诱发的形变成像”这一共同原理,但它们在接触-图像转导机制上存在显著差异,这决定了它们对不同物理线索的敏感度以及这些线索在图像特征中的编码方式。依据感知原理,VBTSs可大致分为三类:强度映射方法(Intensity Mapping Method, IMM)、标记位移方法(Marker Displacement Method, MDM)和模态融合方法(Modality Fusion Method, MFM)。实际中,许多传感器采用混合设计,导致光学设计、照明、凝胶结构、标记配置、空间分辨率和接触几何形状差异显著,进而造成跨数据集的外观和分布偏移。因此,许多现有触觉数据集实际上是传感器特定的,难以判断学习模型是捕获了可迁移的接触信息,还是仅仅过拟合到传感器特定的伪影上。此外,触觉数据采集成本高、需要重复物理交互、扩展缓慢,并可能随时间引入传感器磨损。

在评估方面,近期工作显著推进了触觉表示学习和迁移,但现有资源往往侧重于问题的不同方面:T3研究大规模异构传感器-任务对的迁移;AnyTouch强调对齐的多传感器数据和统一表示学习;Sparsh表明自监督预训练能显著改善触觉感知;SITR强调触觉域上传感器不变迁移的重要性。然而,这些努力并未在单一受控设置下完整回答一组紧凑且实际相关的问题:任务在传感器内学习效果如何?传感器偏移导致多少性能损失?有限的目标监督能恢复多少性能?是否有一种自监督触觉表示能支持多个下游触觉视觉任务?

**2. 研究内容与结论**

研究人员提出了TacVerse,一个用于跨传感器视觉触觉感知的多传感器数据集与基准。TacVerse包含从七个VBTS平台采集的106 800张触觉图像,涵盖多个感知系列和混合配置:GelSightNoMarker(IMM)、GelSightMarker(IMM+MDM)、MagicGripper(IMM+MDM+MFM)、MagicTac(IMM+MDM+MFM)、TacTip(MDM)、ViTac(IMM+MFM)和ViTacTip(MDM+MFM)。数据集组织为三个下游任务:9类形状分类、30类光栅分类和力回归。研究人员设计了三个互补的评估设置:传感器内训练、零样本跨传感器迁移和少样本适应。研究结果显示,所有任务的传感器内性能较强,表明采集的触觉观测对目标目标具有信息量;然而直接跨传感器迁移导致显著性能下降,形成明显的传感器偏移差距。其中形状分类相对稳健,而光栅分类和力回归对传感器不匹配更敏感。力回归的少样本适应能显著改善在未见目标传感器上的性能,但未完全弥合与传感器内上界的差距。表示学习研究表明,掩码自编码器(Masked Autoencoder, MAE)预训练在任务和传感器间提供了最一致的性能提升,表明自监督触觉预训练能提供强大的统一初始化。

这项研究的意义在于:TacVerse提供了用于研究传感器偏移、数据高效适应和自监督学习的受控测试平台,通过共享任务定义和统一评估协议,能够将传感器变化与任务或标注不匹配分离开来,从而精确量化跨传感器泛化问题,并与TacEva等传感器级评估工作形成互补,提供了模型级的跨传感器泛化与适应研究。

**3. 主要关键技术方法**

TacVerse的实验分为迁移研究和表示研究两部分。迁移研究使用固定的ViT骨干网络(ImageNet初始化)分析跨传感器泛化,以排除架构变化的影响。表示研究比较ResNet-18、随机初始化ViT、ImageNet预训练ViT和MAE预训练ViT。MAE预训练过程:将输入触觉图像划分为非重叠块,随机掩蔽比例r=0.5的块,ViT编码器仅处理可见块,轻量解码器结合编码特征和可学习掩蔽标记重建缺失块,通过最小化重建误差联合训练编码器和解码器。预训练仅使用三个任务训练分区中的未标注触觉图像,验证集和测试集不参与预训练。数据集划分前采用结构相似性指数(structural similarity index measure, SSIM)去除与最近保留帧SSIM≥0.99的冗余帧。形状分类中,属于同一接触试验的样本先分组,再按传感器和形状类别分层,按采集时间排序,划分为连续60/20/20的训练/验证/测试块;光栅分类和力回归以完整试验或轨迹为划分单元,逐帧按时间顺序划分,前60%训练、20%验证、20%测试。力回归数据使用六轴力/力矩(F/T)传感器(M3813B)作为真值测量设备,2mm半径球形压头刚性连接至传感器,机器人沿垂直轴以0.1mm步进接近,接触后在x-y平面施加小位移以采集法向和剪切响应,力分量(Fx,Fy,Fz)为回归目标。

**4. 研究结果**

**4.1 形状分类**:研究人员在全部7个传感器上进行源-目标评估。结果表明传感器内训练始终产生最佳性能,跨传感器迁移高度依赖于源和目标传感器的相似性。特别地,训练于GelSightMarker的模型在GelSightNoMarker上获得比其原始测试域更高的零样本准确率,说明两个GelSight变体间的强结构相似性可抵消域偏移甚至改善泛化。而迁移到更不相似的传感器时性能显著下降。t-SNE可视化显示传感器内嵌入更紧凑、分离更清晰,跨传感器嵌入更分散和重叠,验证了传感器不匹配引起的表示空间偏移。

**4.2 光栅分类**:采用GelSightMarker作为固定源传感器的一对多协议。传感器内性能最优,准确率、精确率、召回率和F1均达到0.903以上;跨传感器评估时性能大幅下降,GelSightNoMarker作为最可迁移目标其准确率也从0.903降至0.248,MagicGripper和ViTacTip接近随机水平。Grad-CAM可视化表明,传感器内模型关注接触区域并捕获判别性光栅结构,跨传感器时激活图变得弥散且倾向于围绕而非集中在目标区域。

**4.3 力回归**:采用GelSightNoMarker作为固定源传感器。传感器内性能最优,MAE、MSE、RMSE最低,R2最高;跨传感器评估时性能严重恶化,GelSightMarker的RMSE从0.186增至0.348且R2降至负值,MagicGripper和ViTacTip的误差更大且R2强负值,表明力回归对传感器结构和接触响应特性变化特别敏感。少样本适应实验中,随着目标训练样本比例从0.5%增加到10%,RMSE逐渐降低、R2逐步上升,但适应后的模型未超过对应目标的传感器内上界,说明少样本监督能缩小但不能消除跨传感器差距。

**4.4 表示研究**:比较ResNet-18、随机初始化ViT、ImageNet预训练ViT和MAE预训练ViT在四个共享传感器上的表现。形状分类中,最佳结果分布在ImageNet预训练ViT和MAE预训练ViT之间,两者均明显优于随机初始化ViT,表明形状识别受益于通用视觉先验和触觉特定预训练。光栅分类中MAE预训练优势更显著,在GelSightMarker、GelSightNoMarker和MagicGripper上取得最佳准确率,明显优于随机初始化和ResNet-18。力回归中MAE预训练在所有四个传感器上均取得最低RMSE,表现出最强的跨任务迁移性。总体而言,MAE预训练在TacVerse上产生了稳健且多用途的触觉表示,能很好地泛化到分类和回归设置。

**5. 结论与讨论**

研究人员提出了TacVerse,一个包含7个VBTS的106 800张触觉图像、涵盖形状分类、光栅分类和力回归的多传感器基准。其独特价值在于共享任务定义和统一的传感器内、直接跨传感器、少样本适应协议,能够受控测量传感器偏移。研究结论表明:强大的传感器内性能不一定能跨传感器平台迁移;形状分类相对稳健,而光栅分类和力回归对传感器不匹配更敏感;力回归的少样本适应能缩小性能差距;触觉MAE预训练在评估任务中提供最一致的改进。当前TacVerse集中于受控实验室交互,光栅和力基准采用固定源评估,且未对专门触觉基础模型进行全面比较。未来工作可扩展到更广泛的传感器和任务覆盖、动态触觉交互和真实世界操作,并研究传感器不变表示学习、更高效的数据适应和最近触觉基础模型的统一评估。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号