HMotionGPT: 基于智能戒指对齐手部动作与自然语言以实现活动理解

《Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies》:HMotionGPT: Aligning Hand Motions and Natural Language for Activity Understanding with Smart Rings

【字体: 大 中 小 】 时间:2026年08月28日 来源:Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies

编辑推荐:

   摘要AI 摘要要查看此 AI 生成的摘要,您必须拥有高级访问权限。了解更多登录摘要摘要手物交互是日常活动的核心,然而当今大多数智能助手对用户身体动作仍视而不见。现有的基于 IMU 的识别方法侧重于分类预定义手势,但缺乏在办公工作和家庭例行程序等现实场景中提供上下文支持所需的语

  

摘要

摘要

手物交互是日常活动的核心,然而当今大多数智能助手对用户身体动作仍视而不见。现有的基于 IMU 的识别方法侧重于分类预定义手势,但缺乏在办公工作和家庭例行程序等现实场景中提供上下文支持所需的语义表达能力。在本文中,我们介绍了一种语义标记化流程,它将连续惯性信号与大型语言模型 (LLMs) 连接起来,使助手能够像阅读文字一样自然地“阅读”手部运动。我们首先收集了一个跨办公和家庭环境的双手活动多模态数据集,捕捉跨越多个相互关联子任务的长期动作链。使用自监督表示学习,我们将 IMU 嵌入离散化为动作标记,近似于手部交互的词汇表。这些标记随后通过指令微调的大型语言模型与自然语言对齐,支持诸如动作标题生成、意图推断和上下文反馈等任务。评估表明,我们的标记化提高了与语言分布的语义一致性,且 LLM 能生成跨多种活动的准确、人类偏好的动作描述。我们进一步展示了一个生成上下文提醒的概念验证助手原型。我们的发现强调了将原始手部运动转化为“动作语言”的潜力,为了解用户物理交互的日常智能助手铺平了道路。项目页面、源代码和数据集已公开于 https://scut-hai.github.io/HMotionGPT/。

AI 摘要

AI 生成摘要 (实验性)

此摘要使用自动化工具生成,未经文章作者编写或审核。它旨在支持发现,帮助读者评估相关性,并协助相邻研究领域的读者理解该工作。它意在补充作者提供的摘要,后者仍是论文的主要摘要。全文仍是权威记录版本。点击此处了解更多。

点击 此处 对此摘要的准确性、清晰度和有用性进行评论。这样做将有助于完善信息及未来重新生成的版本。

要查看此 AI 生成的通俗语言摘要,您必须拥有高级访问权限。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号