《Pattern Recognition》:Leveraging CV to Haptic Processing: Cross Tactile-Visual Mapping Based on Shared Information
编辑推荐:
提出基于双向自编码器的触觉-视觉跨模态映射方法,通过信息论约束优化潜在空间一致性,在LMT-108数据集上实现触觉信号分类准确率99%,并验证视觉重建与触觉感知的互补性,为VR交互、无障碍设备等应用提供新范式。
Jin Chen|Ying Fang|Yiwen Xu|Qian Liu|Tiesong Zhao
中国福州大学媒体信息智能处理与无线传输重点实验室,福州,350108
摘要
随着人工智能(AI)从算法向具身智能应用转型,包括触觉数据在内的触觉信息发挥着至关重要的作用。然而,现有的AI算法很少处理这类信息,这对相关应用带来了挑战。因此,我们提出了一种方法,该方法利用生成模型在视觉和触觉模态之间建立映射,从而基于计算机视觉(CV)促进触觉信息处理。具体来说,我们采用了一个由两个自动编码器组成的双向网络,并在它们之间应用了信息论约束,以确保潜在空间特征的相似性,从而保证跨模态一致性。实验表明,这种映射结合CV分析的性能优于纯触觉识别方法,将触觉数据分类的准确率提高到了99%。对生成质量的主观评估表明,我们的方法也有助于在没有专用触觉工具的情况下感知触觉信息。此外,这项工作还提供了一种视觉到触觉的映射方法,为在VR和其他场景中生成触觉信息提供了潜在途径。
引言
随着人工智能的快速发展,研究重点正从算法创新转向具身智能应用。触觉反馈(包括触觉和动觉信息)对于增强用户交互和体验至关重要[1]。传感技术的最新进展显著提升了具身智能系统的交互能力[2]。特别是,许多研究通过开发复杂的深度学习模型来处理材料识别,这些模型能够有效应对物体姿态和光照条件等复杂环境变化[3]。在缺乏视觉数据的情况下,触觉传感被视为其他传感方式的补充[4]。然而,现有的AI算法往往忽视了触觉信息,这对依赖此类数据的应用带来了挑战。触觉对于与环境互动至关重要,整合触觉技术可以显著改善用户体验。例如,Bala等人开发了一种利用振动触觉反馈来传达面部表情的方法,使视障人士受益[5]。此外,针对视障人士的辅助设备传统上使用听觉反馈,这突显了需要有效的触觉反馈解决方案来减轻听觉负担。
触觉数据包括动觉信号,这些信号传递速度、位置、扭矩、角速度和力;以及触觉信号,这些信号提供关于摩擦力、导热性、硬度和粗糙度的信息。机器和计算机触觉技术的最新进展强调了触觉体验在各个领域的应用重要性[6]。在虚拟现实和增强现实应用中,触觉反馈对于提升真实感和效果至关重要[7],并且在远程工业控制和虚拟互动游戏等多模态服务中越来越重要[8]。关于触觉传感器的研究仍处于起步阶段,许多研究仅限于实验室环境,实际应用较少。当前的传感器在尺寸和自由度方面存在限制,导致数据集较为稀疏。尽管传统方法在一维数据方面取得了进展[9],但高维数据需要创新的方法。最近关于触觉模式数据的研究利用了其与图像数据的相似性,使得可以使用先进的视觉技术[10]。然而,传统触觉传感器由于其较低的集成复杂性,仍具有优势[11]。
目前关于触觉模式数据的研究主要记录来自接触表面的压力模式。然而,触觉数据还包括一维振动和冲击数据,这些在现有研究中尚未得到充分探索。解决这些多样化的触觉数据类型既带来了挑战也带来了机遇,需要进一步的研究来全面推动该领域的发展。
本文提出了一种实现视觉和触觉模态之间双向映射的方法。所提出的触觉-视觉映射框架有两个互补的目标:(i)机器分析:开发并验证一种利用计算机视觉技术进行触觉数据分析的触觉到视觉的转换流程,从而提高材料分类和场景理解能力,超越了仅基于触觉的基线;(ii)人类感知:生成视觉上连贯的纹理,使人类观察者能够感知表面属性,为感官替代和辅助反馈设备提供潜在的基础。这两个目标共同突出了所提出方法的算法和感知意义,并定义了本研究中触觉-视觉映射的整体范围。展望未来,双向设计支持在VR/AR触觉渲染和机器人操作中的部署,通过可集成的触觉-视觉表示实现。由于触觉到视觉的应用更为直观,我们在图1中进行了展示。我们的方法首先将来自公开数据集的触觉数据映射为视觉数据。其次,我们使用先进的CV技术处理这些视觉表示,从而提高物体分类和场景理解能力。这种方法提高了机器和人类对表面纹理的理解,并有助于为视障人士设计辅助技术。此外,视觉到触觉的映射也可以应用于VR生成,从而在虚拟环境中轻松生成触觉数据。以往关于触觉-视觉映射的研究较为有限[12],大多数方法使用生成对抗网络(GANs),但由于触觉和视觉信息之间的显著差异,这些方法在双向映射方面存在困难。此外,之前的视觉和触觉跨模态研究通常隐式地对齐两种模态,而没有明确的机制来强制跨方向的一致性。我们的方法通过使用两个自动编码器路径进行触觉到视觉和视觉到触觉的转换,并引入了显式的信息论跨模态一致性损失来强制超出标准相似性损失的双向一致性。我们使用信息论方法从两种模态中提取共享信息,通过最大化这种共享信息来增强视觉重建。总之,显式的一致性公式和真正的双向映射使这项工作区别于现有的视觉和触觉跨模态研究,并解决了上述基于GAN的方法的局限性。我们的主要贡献包括:
•我们提出了一个用于跨模态触觉到视觉转换的双向映射网络。该网络由两个自动编码器结构组成,从触觉和视觉输入中提取潜在特征以重建目标模态数据。它实现了从一维触觉信号到二维视觉信号的转换,推动了触觉技术的发展,并促进了多样的跨模态应用。
•我们采用跨模态一致性损失来对齐视觉和触觉的潜在特征,表明潜在空间对于视觉和触觉跨模态映射具有指导意义。该框架利用模态对齐来最大化互信息并最小化视觉和触觉潜在特征之间的条件熵。
•我们证明了将CV技术应用于触觉研究的可行性,为未来的研究方向提供了重要见解。我们使用CV分类方法对生成的视觉数据进行分类。我们的分类结果优于直接应用于触觉数据的触觉特定方法。此外,将视觉数据映射到触觉数据可以有效重建视觉数据,证明了反向过程的有效性。
章节摘录
触觉数据
当手指接触粗糙表面时,会产生高频振动,这些振动转化为波形,激活机械感受器,使我们能够感受到表面[13]。机器使用加速度计、激光多普勒振动计和高带宽摩擦传感器等方法检测这些振动触觉信号。然后,这些信号被转换为离散数据。IEEE P1918.1.1小组提出用一维触觉信号表示材料纹理,这作为
问题阐述
在数据集中,触觉和视觉数据是同时收集的,将来自同一材料表面的触觉和视觉数据视为一对数据。我们将触觉数据定义为,视觉数据定义为,每个数据集包含个数据对。我们用表示的第i个数据,用.v_i>表示的第i个数据。因此,我们有 和 。
为了连接触觉和视觉数据,我们使用两个编码器-解码器系统。g(T)和f(T)处理触觉数据,而g(
实验设置
数据集。TUM团队提供的LMT-108表面材料数据库在相关研究中被广泛使用[23]、[24]。该数据集包括108种表面材料,分为9组。我们采用官方的分割方式,将数据集分为训练集和测试集,每组各包含1,080个样本。这两个集合都完整覆盖了所有类别和材料,我们直接使用这种分割方式。对于触觉数据,我们关注Z轴信号,该信号捕获了笔滑动过程中的主要振动
结论
本文提出了一种双向触觉-视觉映射框架,该框架利用共享的潜在表示来桥接触觉和视觉模态。我们的方法验证了将先进的计算机视觉技术应用于触觉数据处理的可行性,提高了物体分类、场景理解和纹理分析的性能。跨模态一致性约束确保了潜在空间的有效对齐,同时保留了模态特定的特征。
CRediT作者贡献声明
Jin Chen:撰写——原始草稿、可视化、方法论。Ying Fang:撰写——审阅与编辑。Yiwen Xu:撰写——审阅与编辑。Qian Liu:撰写——审阅与编辑。Tiesong Zhao:撰写——审阅与编辑、概念化。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。