μPoly:首个微手势工具包

《Proceedings of the ACM on Human-Computer Interaction》:μPoly: a First Microgesture Toolkit

【字体: 大 中 小 】 时间:2026年08月28日 来源:Proceedings of the ACM on Human-Computer Interaction

编辑推荐:

   摘要 AI 总结 要查看此 AI 生成的摘要,您必须拥有高级访问权限。 了解更多 登录 摘要摘要 随着微手势研究的快速发展,出现了许多具有不同传感器(例如压力敏感、IMU)、形态(例如手套、戒指)和识别算法(例如临时定制、随机森林)的识别设备。随着识别设备的数量和多样性的增加

  

摘要 AI 总结
要查看此 AI 生成的摘要,您必须拥有高级访问权限。
了解更多
登录
摘要摘要
随着微手势研究的快速发展,出现了许多具有不同传感器(例如压力敏感、IMU)、形态(例如手套、戒指)和识别算法(例如临时定制、随机森林)的识别设备。随着识别设备的数量和多样性的增加,能够轻松在不同设备之间切换和/或修改被识别的微手势集合变得非常重要。为解决这些挑战,我们提出了 μPoly,这是一个基于 μGlyph 微手势记法的首个微手势工具包。μPoly 接收基本微手势的 μGlyph 描述作为输入。这些输入被组合起来以识别使用 μGlyph 描述的复杂微手势。因此,μPoly 为微手势事件提供了一种标准。μPoly 的设计基于取自工具包文献的特性。为了突出这些特性:我们展示了(1)从业者如何在四个场景中使用该工具包,并报告了用户测试情况,以及(2)应用程序是如何使用 μPoly 开发的。AI 摘要

AI 生成的摘要(实验性)
此摘要是使用自动化工具生成的,并非由文章作者撰写或审查。提供此摘要是为了支持发现,帮助读者评估相关性,并协助来自相邻研究领域的读者理解该工作。它旨在补充作者提供的摘要,作者提供的摘要仍然是论文的主要摘要。完整文章仍然是权威的记录版本。点击此处了解更多。
点击此处评论此摘要的准确性、清晰度和有用性。这样做将有助于完善和未来再生成版本。要查看此 AI 生成的通俗语言摘要,您必须拥有高级访问权限。
图 1.μPoly 概览。A) 传感设备可以通过不同的通信协议连接到 μPoly。B) 指定驱动程序将传感设备的原始数据转换为低级事件,即使用 μGlyph 标准描述的基本微手势。C) 这些事件随后被输入到识别器中。每个识别器都是一个实现为状态机的 μGlyph 描述。D) 识别出的事件随后被传输给连接到 E) 客户端应用的订阅者。F) 在示例中,只有第三个传感设备连接。执行了一个释放微手势 (??°)。此微手势触发了绿色传播,导致打开灯光和音乐。
1 引言
基于微手势交互的研究领域的扩展,使得大量用于检测和识别快速且细微的手指运动(称为微手势)的系统可用。得益于这些新系统,基于微手势的新交互技术已被设计和测试。特别是,微手势可以在各种上下文中启用交互,例如混合现实 [9] 或移动车辆 [16],无论是否手持物体 [7, 47]。识别系统的日益多样化,无论是在传感设备还是识别算法方面,使得在特定上下文中为特定的一组微手势寻找和测试最佳系统变得更加困难。
微手势识别系统在传感设备和识别算法方面差异很大。传感设备配备了不同的传感器(例如压力敏感传感器 [52]、IMU 传感器 [47]、相机 [45])和不同的形态(例如手套 [18, 52]、戒指 [6, 51]、手镯 [14, 43]),而识别算法遵循不同的方法(例如基于阈值 [18, 52]、SVM [6, 53]、随机森林 [23, 24])。每种方法都有其优点和局限性。例如,一些动作跟踪系统提供准确的手指关节跟踪,但需要多个相机和一个带有跟踪点的手套 [45]。然而,这种类型的检测在日常使用中既不适用也不生态可持续。相反,手镯似乎更相关,因为它可以集成到智能手表表带中 [4, 14]。然而,这种方法提供的可用传感器数量有限,减少了可识别微手势的数量。除了众多提出的识别系统外,当前的微手势文献通过进行激发研究 [5, 11, 46, 50, 55]、建立设计空间 [10, 25, 48] 以及设计和评估基于微手势的交互技术 [9, 19, 52, 54] 来探索和构建微手势方面的可能性空间。然而,随着越来越多的研究创建和评估基于微手势的交互技术 [9, 19, 52, 54],设计者和研究人员面临着在找到最合适的一组之前,测试不同的微手势集合以及不同的传感设备和/或识别算法的需求。尽管有这种需求,微手势识别系统标准的缺失以及快速原型制作和探索工具的缺乏正在减缓微手势研究的进展 [37]。
为解决这一挑战,我们提出了 μPoly,这是一个为设计者和研究人员提供的微手势识别工具包,以降低微手势交互的入门和探索成本。μPoly 是一个基于由低级事件驱动的状态机的工具包。这些低级事件基于最近引入的微手势记法:μGlyph [10]。μGlyph 通过将其分解为基本微手势来描述微手势,即具有微手势执行器等属性的生物力学运动。这些 μGlyph 基本微手势在 μPoly 中被用作低级微手势事件的标准。识别系统事件格式符合此 μGlyph 标准是 μPoly 的核心功能,使得轻松且无缝地测试不同的传感设备和识别算法成为可能。这种方法类似于不同的鼠标产生任何计算机都可识别的相同鼠标事件的方式。这些低级事件可以组合起来描述更复杂的微手势。为此,μPoly 依赖于实现为状态机的 μGlyph 描述,如图 1 所示。状态机使我们能够探索庞大且多样的微手势集合。它们还提供了极大的灵活性,使得修改被识别的微手势集合变得更加容易。最后,由于状态机描述了微手势的 μGlyph 描述,μPoly 可以与 μGlyph 网站 μDex [8] 一起使用。这允许用户在 μDex 上使用文本描述、图像或文章元数据搜索微手势,然后只需将微手势的 μGlyph 描述复制并粘贴到 μPoly 中。因此,μPoly 可以被 μGlyph 形式语言方面的专家和新手使用。
本文的主要贡献是:
•μPoly,一个用于微手势界面设计和快速原型制作的工具包,其识别微手势的测量延迟比执行微手势本身的时间快两个数量级,
•七个驱动程序,涵盖了传感器、形态和识别算法方面识别系统的多样性,以及五个特色应用程序来展示 μPoly 的可用性、灵活性和容量。
2 相关工作
据我们所知,目前没有现成的微手势工具包。然而,已经存在各种各样的微手势识别系统。我们的相关工作首先涵盖这种微手势识别系统的多样性,并从三个方面检查它们:传感器类型、设备形态和识别算法。然后我们展示如何使用形式语言对输入(特别是微手势)进行建模。最后,我们提出文献中设计有效工具包的指南。
2.1 微手势识别系统的多样性
在设计微手势识别系统时,需要做出三个选择:1)使用的传感器类型,2)这些传感器的放置位置和方式,以及 3)用于处理这些传感器输出的识别算法类型。表 1 概述了本相关工作中提出的不同微手势识别系统。
2.1.1 传感器。
微手势由一系列基本生物力学运动组成,即在接触表面或不接触的情况下进行的屈曲、伸展、外展和内收 [10]。基于这种微手势分解,传感器可以分为两种类型。组件传感器可用于识别微手势的特定组件,例如基本生物力学运动和/或接触信息。此类传感器包括弯曲传感器 [52](手指运动)、点接触传感器 [18, 19, 48](接触)、线性接触传感器 1 [18, 52, 54](接触 + 接触运动)或力传感器 [52, 54](接触 + 力信息)。相比之下,表达传感器可用于识别微手势,而无需独立识别每个组件元素。此类传感器包括相机 [29, 33, 45, 48]、雷达 [23, 32]、IMU 传感器 [15, 47]、生物阻抗传感器 [51]、生物声学传感器 [14, 24] 或 EMG 传感器 [42, 43]。
2.1.2 传感设备的形态。
传感器已被集成到具有各种形态的传感设备中。如同增强现实的三种方法 [34] 一样,这些设备增强用户、手持物体或环境。在用户增强的情况下,已经研究了不同的形态。手套 – 它们使将传感器放置在感兴趣的区域(如指骨或特定关节)变得容易。然而,手套具有侵入性,并通过覆盖手部皮肤表面降低用户的触觉感知。第二方面可以通过在覆盖表面和可以附着在手套上的传感器数量之间找到折衷来细化。在研究中,手套通常被用作微手势交互研究的临时原型 [18, 45, 52, 54],因为它们比其他解决方案更容易构建。外骨骼 – 它们使传感器能够定位在手背,从而限制设备对用户触觉感知的影响。这种类型的设备只能使用有限数量的传感器。例如,接触和压力传感器不能放置在手背。在文献中,这种类型的设备已与 IMU 结合使用 [15, 47]。手镯 – 它们提供了一种轻量级、低侵入性的设备。它们似乎是 Meta [17] 和 Apple [4] 为微手势识别设想的形态。在文献中,它们已与生物声学传感器 [14]、EMG 传感器 [43]、雷达 [23] 以及相机 [53] 一起使用。戒指 – 它们也提供了一种轻量级、低侵入性的设备。在文献中,它们已与线性接触传感器 [6]、生物阻抗传感器 [51] 和相机 [12] 一起使用。
2.1.3 识别算法。
在文献中可以识别出两种主要方法:临时定制和机器学习算法。使用战略性放置在手上的微手势组件传感器,可以经验性地将传感器值与 μGlyph 符号关联。此类临时定制算法已与压力和弯曲传感器 [52] 以及接触传感器 [18] 一起使用。
第二种方法是使用机器学习算法。这种方法也可以与微手势组件传感器一起使用。例如,Nailz 使用用户指甲上的接触传感器 [31]。这些传感器用于构建拇指和指甲之间接触的图像。然后使用简单的决策树对这些图像进行分类。在大多数情况下,由于收集了大量信息,这种机器学习方法与微手势表达传感器一起使用。Soliman 等人使用卷积神经网络配合 RGB-D 相机进行检测 [48]。Saponas 等人首先使用信号处理从 EMG 传感器提供的信号中提取特征,然后使用支持向量机 [42, 43]。SoloFinger 最初使用 TsFresh [13] 从红外相机系统接收的信号中提取特征,然后使用随机森林对信号进行分类并识别微手势。
在这两种情况下,文献中大多数算法仅使用来自传感器的数据来识别微手势。然而,在某些上下文中,可以使用附加信息。例如,TipText 使用食指尖端的接触传感器矩阵来创建单指骨 QWERTY 键盘 [56]。由于拇指宽度与按键尺寸相比缺乏精度,意味着用户同时按下此键盘上的几个键。因此,TipText 使用来自点接触传感器矩阵的信息和统计解码器,将输入的按键序列与字典中的单词关联以纠正潜在错误,就像我们智能手机键盘上的自动校正器一样。
表 1.

Boldu 等人 [6] Chan 等人 [12] Deyle 等人 [14] Dobinson 等人 [15] Faisandaz 等人 [18] Faisandaz 等人 [19] Iravantchi 等人 [23] Iravantchi 等人 [24] Lee 等人 [31] Lien 等人 [32] Liu 等人 [33] Saponas 等人 [42, 43] Sharma 等人 [45] Sharma 等人 [47] Soliman 等人 [48] Song 等人 [49] Waghmare 等人 [51] Wambecke 等人 [52] Way 等人 [53] Whitmire 等人 [54] Xu 等人 [56]

传感器 组件
Flex 传感器 ×
Force 传感器 × ×
Contact 传感器× ×× × ×× ×
Linear contact 传感器× × × × × ×
Expression
Camera × × × × × 雷达 × × IMU × × × 声学 × × 生物阻抗 × EMG ×
Form factors
User
Glove ×× × ××
Exo-skeleton × × ×
Bracelet × × × ×
Ring(s)×× ×
Physical objects ×
Environment × ×× × ×

Recognition algorithms
Ad-hoc 算法 ×× × ×
机器学习
Decision tree ×
Random forest × ×× × ××
k-NN ×
Hidden Markov model × Naive bayes × × Convolutional neural network × × Recurrent neural network × Statistical Decoder ×SVM× ×× ×

根据三个方面对微手势文献中使用的识别系统进行回顾:传感器类型、形态因素类型和识别软件类型。

2.2 建模微手势交互

Newman 提出了一种基于状态机的编程语言以简化图形交互的开发 [39]。自那时起,研究人员使用各种形式系统(如正则表达式 [28]、状态机 [3] 或上下文无关语法 [26])对图形交互进行建模。这些形式系统随后可以作为框架的输入语言。

最近,Chaffangeon Caillet 等人引入了第一个形式化微手势描述的符号系统:μGlyph [10]。根据 μGlyph 的底层模型,微手势至少由 4 个部分组成:运动、上下文、执行部件和表面。运动描述了手指的基本生物力学动作:屈曲 (?)、伸展 (?)、外展 (?)、内收 (?)。此外,μGlyph 还允许表示无动作状态 (?)。上下文描述了动作是在空中 (○○) 进行,与表面接触 (••),还是移入 (○•) 或移出 (•○) 表面。运动符号和上下文符号随后可以组合起来,在高层抽象上描述微手势。例如,触摸 (touch) 微手势,即手指从空中 (○•) 做屈曲 (?) 动作至与表面接触,表示为 ?°?。

在较低的抽象层级上,μGlyph 允许指定动作的执行部件和交互表面。执行部件要么是手指,要么是手指关节。它表示为运动符号的下标。例如,由食指执行的触摸表示为 i?°?。交互表面可以是手的一部分(如另一根手指/指骨),也可以是物体。它由接触符号 (•) 表示。例如,食指在拇指上执行的触摸表示为:i?°?(t?)。此外,还可以描述其他属性,如压力或幅度。

这些是描述基本微手势的基础符号,换言之,即由一个执行部件在一个表面上执行的一个运动。为了组合多个运动、执行部件或表面,μGlyph 使用三种符号表示三种组合类型:序列 (;)、并发 (//) 和选择 (|)。例如,由食指和中指在拇指上执行的轻触 (tap) 表示为:i // m?°?(t?);i // m??°。

作为交互设计师,在选择使用哪种识别系统时,会出现几个挑战:
•检查传感器是否能在使用的上下文中工作。例如,两部分接触传感器 [18] 在没有增强物体的情况下无法与手持物体一起工作。
•选择适合使用上下文的形态因素传感设备。例如,手套在设计摩托车微手势时可以接受,但在智能家居上下文中可能不被接受。
•验证系统是否能识别所需的微手势集合。由于每个系统都是将微手势作为一个整体来识别,而不是作为低级事件的组合,因此不重新训练整个系统就很难扩展微手势集合。

为了解决这些挑战,我们提出了 μPoly,一个将基本微手势作为低级事件输入状态机以识别组合微手势的工具包。在描述 μPoly 之前,我们回顾了工具包的期望属性作为 μPoly 设计的指导方针,以及这些属性如何被现有的手势工具包所支持。

2.3 设计工具箱

许多论文描述了成功工具包的属性 [21, 37, 40]。Ledo 等人提供了关于文献中如何评估工具包的回顾 [30]。在本节中,我们展示了微手势工具包需要具备的属性,以解决上述我们识别出的挑战。

我们为我们的工具包确定了五个重要属性。
降低开发粘度 (P visc) – 低门槛 [21, 37, 40]:微手势工具包应使测试新的识别系统和微手势集合变得更快。
降低技能门槛 (P skill) [21, 37, 40]:微手势工具包应使初学者更容易实现微手势交互,特别是通过将文献中常见的微手势封装为可编程对象以简化其使用。
高上限 (P ceil) [21, 37, 40]:微手势工具包应使使用任何微手势集合和识别系统成为可能,包括未来的系统。
依赖通用基础设施 (P infra) [21, 40]:微手势工具包应使用通用的数据结构和编程语言以简化开发。
启用快速原型制作 (P proto) [21, 37]:微手势工具包应简化识别系统和基于微手势的应用的原型制作。

此外,我们将考虑 [21, 37] 中的其他指导方针。
简洁的 API (P concis) [21]:微手势工具包应使用简洁的 API,促进人们思考微手势的方式。
封装成功的设计 (P encap) [21]:微手势工具包应封装成功的微手势以简化其使用。
协调多个通信设备 (P coord) [37]:微手势工具包应简化多个识别系统的协调。

接下来,我们回顾之前的手势工具包,以检查它们如何实现这些属性。

2.4 现有手势工具箱

Yanghee 等人 [38] 提出了一种识别空中手势的框架。这些手势具有多个需要同时识别的属性,如手臂运动、手部朝向和手部形状。这些属性是异构的,因为有些(如手部朝向和形状)可以在任何时刻捕捉,而另一些(如手臂运动)则需要随时间捕捉。为了并行识别这些异构属性,他们提出使用彩色 Petri 网,这是一种管理并行事件的常见结构 (P infra)。用户可以认为空中手势是这些属性的组合 (P concis)。

Gesture Kniter 是一个用于设计混合现实中的手手势交互的工具包 [36]。Gesture Kniter 提供了一个原语库 (P encap),即基本手部运动,可以组合以创建更复杂的手手势识别器。通过这种方法,设计师不需要为他们想使用的每个手势创建一个识别器,这将意味着收集数据并为每个手势训练一个识别器。相反,他们可以通过使用可视化脚本来轻松组合原语识别器以识别组合手势 (P skill)。如果原语库中没有某个原语,用户可以通过向相机演示原语来创建新原语 (P ceil)。使用 Gesture Kniter,用户可以将手手势视为基本手手势的序列,支持创造性地实现新手势 (P concis)。

手势识别工具箱 (GRT) 是为 C++ 创建的手势工具包 [20]。该工具包提供了轻松测试每个手势的不同识别算法的能力 (P visc)。与 Gesture Kniter 类似,GRT 建立在一组可以链接在管道中的核心模块之上。这有助于通过在手势原语识别器之上构建来创建复杂的手势识别器 (P skill)。最后,GRT 实现了通用的 C++ 代码架构 (P infra)。

Proton [28] 和 Proton++ [27] 是使用正则表达式识别多点触控手势的框架。这些正则表达式使用一组预定义的符号和布局来表示触控事件及其属性 (P concis)。为了处理多点触控手势中发生的并行事件,Proton 提供了正则表达式的制谱视图,其中垂直对齐的事件必须同时发生。这些元素使得可以描述任何多点触控手势 (P ceil)。

TouchID 工具箱 [35] 旨在简化对不同手部分/侧面和用户识别依赖的新桌面对触交互的探索 (P ceil)。该工具包由一个可视化编辑器组成,以简化手势声明 (P skill),以及一个依赖常用事件/订阅者模型的 API,以接收关于手势和手部分的通知 (P infra)。

SoD-Toolkit [44] 通过集成融合引擎使得协调多个传感设备变得容易 (P coord)。同一个融合引擎使得通过集成现有设备和新型传感器的数据来原型制作新设备成为可能 (P proto)。

表 2。

论文 P visc P skill P ceil P infra P proto P concis P encap P coord
Colored Petri-Net [38] ? ? ? ? ? ? ? ?
Gesture Kniter [36] ? ? ? ? ? ? ? ?
GRT [20] ? ? ? ? ? ? ? ?
Proton [27, 28] ? ? ? ? ? ? ? ?
TouchID Toolkit [35] ? ? ? ? ? ? ? ?
SoD-Toolkit [44] ? ? ? ? ? ? ? ?

之前手势工具箱和框架的总结,以及它们是否验证了工具包属性。?, ?和 ?是基于我们对论文的理解得出的,因为它们没有明确描述这些属性。

表 2 总结了所呈现的手势工具箱/框架的属性。

在下一节中,我们将展示 μPoly 是如何设计以支持这些属性的。

3 μPoly 的底层概念

μPoly 是一个微手势工具包,允许轻松快速地测试不同的识别系统,包括传感设备和识别算法,以及微手势集合。在 μPoly 的特定情况下,识别算法只识别基本微手势,然后将这些手势作为低级事件输入状态机,如图 1 所示。在本节中,我们展示 μPoly 的设计并解释它如何使用低级事件和状态机操作。在下一节中,我们详细说明如何使用 μPoly。

3.1 μPoly 设计

遵循文献中的工具包设计指导方针 [21, 37, 40],μPoly 的设计如下:
1/ 降低开发粘度 (P visc) – μPoly 基于 μGlyph(一种微手势符号),它作为标准,易于在多种识别系统之间互换,并将它们连接到任何基于微手势的应用;
2/ 高上限 (P ceil) – μPoly 使用 μGlyph 对基本微手势的描述作为输入,允许用户将它们组合成组合微手势。此外,μPoly 允许开发者创建一个新的识别系统,可以添加到 μPoly 中;
3/ 降低技能门槛 (P skill) – 由于 μGlyph 是一种专家符号,μPoly 包含一个常用微手势库,以简化新手 μGlyph 用户的使用,以及一个 μGlyph 可视化编辑器,用于创建临时微手势表达式而无需编码;
4/ 依赖通用基础设施 (P infra) – μPoly 使用事件/订阅者 WebSocket 架构来通知微手势的检测,允许任何第三方应用集成基于微手势的交互;
5/ 启用快速原型制作 (P proto) – μPoly 还可以模拟基本或组合微手势,以测试一组微手势或应用程序,而无需识别系统。

图 2. 微手势状态机示例。左:状态机表示向内滑动:?°?;???;??°。右:状态机表示拇指轻触或食指和中指轻触:(t?°?;t??°)|(i//m?°?;i//m??°)

3.2 μPoly 模型

为了检测微手势,μPoly 依赖于低级事件(表示基本微手势)和状态机(表示组合微手势)。

3.2.1 低级事件

为了引入低级事件,让我们先看一个非常常见的例子:鼠标点击。为了处理鼠标点击,开发者可以访问两种类型的三个事件:两个低级事件,按下和释放,以及一个组合事件,点击,即按下低级事件后跟释放低级事件的序列。使用现有的微手势识别系统,开发者只能访问高级事件。特别是,对于依赖机器学习的系统,系统已被训练以识别组合微手势,而不是识别它们组成的基本微手势或低级事件。然而,正如 GestureKnitter [36] 中解释的,训练基本微手势及其不同特征(例如触发微手势的身体部位或在微手势期间施加的压力量)的识别器,通过启用基本微手势识别器的组合以识别组合微手势,提供了更大的灵活性。

这种方法对于微手势特别有趣。许多微手势共享相同的基本微手势,如 μGlyph 文章附录所示 [10]。例如,我们考虑三个常见微手势的集合:轻触 (tap) (?°?;??°),向内滑动 (swipe inward) (?°?;???;??°),和向外滑动 (swipe outward) (?°?;???;??°)。这些微手势由 4 个基本微手势组成:?°?, ??°, ???, ???。

这 4 种基本微手势可以重新组合,以识别至少 10 种不同的微手势:触摸(touch ?°?)[11]、释放(release ??°)[55]、轻点(tap ?°?;??°)[45]、向内拖拽(drag inward ???)[45]、向前拖拽(drag forward ???)[45]、向内滑过(swipe inward ?°?;???;??°)[52]、向前滑过(swipe forward ?°?;???;??°)[52]、向内拖放(drag&drop inward ???;??°)[55]、向前拖放(drag&drop forward ???;??°)[55] 以及拉拽(ream ???;???)[55]。3.2.2 状态机。状态机方法特别适合微手势交互,这类交互涉及小幅度、快速且有时微妙的动作。虽然一般来说,身体手势可能包含幅度各不相同的非常大的物理动作集(这使得身体手势难以分解为公理),但正如 μGlyph [10] 所解释的,微手势仅依赖于少量固定的生物力学动作(手指屈曲 ?、伸展 ?、外展 ? 和内收 ?)以及特征(例如,食指、接触中)。与身体手势相比,微手势需要识别的低级词汇大大减少。这就是为什么我们将微手势的管理与鼠标事件的管理相提并论。事实上,如果我们进一步展开上一节中已经引入的这个类比,鼠标按下和释放就是生物力学动作,而左键和右键就是它们的特征。因此,与鼠标和触摸事件的管理 [3, 27, 28] 一样,我们使用带有低级事件的状态机,即由生物力学动作结合特征组成的基本微手势。因此,状态机将描述基本微手势的序列,即复合微手势,并且由于我们依赖 μGlyph 来描述基本微手势,每个状态机都可以由复合微手势的 μGlyph 描述来表示。因此,μGlyph 描述充当描述复合微手势的正则表达式。图 2 展示了两个状态机的例子及其关联的 μGlyph 描述。

总体而言,μPoly 使用基本微手势作为输入,这使得很容易从一个识别系统切换到另一个识别系统(P visc),并且只需添加或微调相应的 μGlyph 表达式,即可在飞行中(动态)添加或修改已识别微手势的集合(P ceil)。图 3. μPoly 选择识别系统的面板

4 μPoly 描述 μPoly 分为两部分:核心和用户图形界面(GUI)。μPoly 的核心使用 Node.js 开发。它负责与传感设备和应用程序通信以及管理状态机。用户界面使用 Vue.js 开发。用户界面用于通过提供选择识别系统、指定要识别的微手势和连接应用程序的接口来简化核心配置。如果需要,μPoly 可以在没有用户界面的情况下运行。核心和用户界面可以使用 Electron 编译成可以在计算机或智能手机上使用的应用程序。所有的源代码、二进制文件和文档都是开源的,并在项目存储库网页 2 上可用。在下文中,我们介绍开发者和实践者如何配置和使用 μPoly。我们将描述分为 3 个主题:设置现有的识别系统或新的识别系统(图 1 的 A 和 B 部分),指定微手势识别器(图 1 的 C 部分),以及设置第三方客户端应用程序(图 1 的 D 和 E 部分)。

4.1 选择新的识别系统 图 4. μPoly 调试识别系统的面板 μPoly 的主要目标之一是使从一个识别系统切换到另一个识别系统变得容易。要使用识别系统,用户首先将传感设备连接到安装 μPoly 的计算机上。连接类型取决于设备通信协议(例如,串行端口使用 USB 电缆)。设备连接后,就可以在系统中进行配置:用户必须从现有驱动程序的下拉菜单中选择相应的驱动程序,并设置连接属性(例如,哪个串行端口),见图 3。驱动程序包括通信协议和识别算法,用于将传感设备的原始数据转换为低级事件,即基本微手势。可以为相同的传感设备实现具有不同识别算法的不同驱动程序。因此,测试微手势的不同识别算法等同于测试不同的驱动程序。此外,可以同时激活多个识别系统(可能是同类型的)。因此,μPoly 也可以用作协调多个识别系统的工具(P coord)。

4.2 开发新的识别系统 要将新的识别系统集成到 μPoly 中,开发人员需要首先为他们的传感设备实现一个驱动程序。它是集成到 μPoly 中的一个 Javascript 对象类。每个驱动程序将设备传输的原始数据流转换为基本微手势流,然后可以通过 μPoly 的状态机流水线进行处理。在他们的驱动程序中,开发人员指定设备和 μPoly 之间使用的通信协议。重用已知架构(P infra),μPoly 提供了方法来简化常见通信协议的使用 [9, 52],即串行端口、Websockets 和 BLE。其他通信协议的方法将被添加,但开发人员已经可以通过手动添加适当的库来使用其他通信协议。为了帮助实现驱动程序,我们提供了一个通用骨架类和一个针对每种通信协议的骨架类(见文档 3)。我们还为 7 个现有传感设备提供了 7 个驱动程序,包括来自已发表论文的两个 [9, 18],一个用于 HoloLens 2 手势追踪系统 [1],一个用于 Google Mediapipe [2],以及三个用于未发表论文中的手套。其中一些驱动程序在应用程序部分中展示。为了方便驱动程序调试,μPoly 提供了打印和图形显示传感设备传输的实时原始值的方法,见图 4(P proto)。μPoly 还显示作为低级事件输出的基本微手势。这些事件的结构灵感来自于 μDex [8] 的 μGlyph 数据结构,μDex 是一个包含 100 多种微手势的在线数据库。然而,我们使用更简单和更简洁的结构,因为我们只需要关注低级事件(P concis)。结构的例子在 μPoly 的文档 3 中展示。

最终,任何用于识别微手势的传感器和识别器都可以通过调整识别器产生输出的格式来与 μPoly 一起使用。更多详细信息可在项目存储库网页 2 上找到 4.3 声明要识别的微手势 图 5. 输入 μGlyph 描述的视觉编辑器。图 6. 为了简化 μPoly 的使用,用户可以从集成库或 μDex 中选择现有的微手势

μPoly 使用 μGlyph 表示法来定义要识别的微手势。为了指定微手势识别器,μPoly 嵌入了一个 μGlyph 表达式的视觉编辑器,如图 5 所示。这个视觉编辑器允许用户输入任何符合 μGlyph 表示法的表达式。由于 μGlyph 表示法是面向专家用户的,μPoly 集成了两个功能(如图 6 所示),旨在降低入门门槛。首先,μPoly 提供了一个由名称和图像描述的常见微手势库,可以使用而无需编写相应的 μGlyph 表达式(P encap)。其次,μPoly 使用与 μDex [8] 相同的数据结构来表示 μGlyph 描述。它使用户能够访问从文献中提取的超过 100 种微手势的数据库,只需复制粘贴 μGlyph 描述即可直接导入 μPoly。它还允许用户使用文本描述、图像描述、作者、论文、查询等浏览这些微手势。因此,尽管 μPoly 基于专家表示法,但不要求用户了解它(P skill)。相反,熟悉 μGlyph 的用户可以使用视觉编辑器添加微手势,包括那些从未使用过的微手势(P ceil)。

最后,μGlyph 表达式用于直观表示内部状态机。随着设备提供的每个新的基本 μGlyph 微手势(即低级事件),视觉反馈告知用户状态机的当前活动状态,见图 7。为了方便软件开发并避免受制于设备的实施时间表,μPoly 可以模拟任何低级事件以测试状态机的覆盖范围和转换,例如识别状态机之间的潜在冲突(见文档 3)。此外,如果需要,可以并行使用多个状态机。尽管如此,那时需要仔细的微手势映射设计,以避免同时触发多个微手势事件。这种方法遵循触摸和鼠标事件的典型行为,其中点击也会触发按下和释放事件。图 7. μPoly 提供每个状态机当前状态的视觉反馈:绿色线表示成功转换,橙色线表示潜在转换。完整 μGlyph 表达式下方的一条线表示微手势是等待潜在转换(橙色线)还是已识别(绿色线)。

4.4 订阅和接收微手势 一旦设备和微手势配置完成,用户可以通过使用 websockets 和 JSON 格式的订阅机制将识别到的微手势传输给第三方应用程序。Websockets 和 JSON 可以轻松地在广泛的编程语言 4 中实现(P infra)。特别是,可以同时连接多个应用程序。在此架构中,μPoly 充当 websocket 服务器,第三方应用程序充当 websocket 客户端。websocket 服务器是使用 socket.io5 实现的。要订阅微手势事件,用户首先必须在 μPoly 界面中声明他们的应用程序,见图 8,以及应用程序要监听的端口。应用程序声明后,用户选择应用程序订阅的微手势事件。每当集合中的微手势被识别时,相应的信息就以 JSON 格式发送给应用程序。为了方便应用程序开发并避免受制于设备的实施时间表,μPoly 可以模拟状态机的输出,使微手势事件能够手动发送给订阅的应用程序(见文档 3)。图 8. μPoly 创建客户端应用程序的面板。可以使用底部面板模拟微手势。

5 μPoly 场景和应用 μPoly 可用于开发任何支持基于微手势交互的应用程序。应用程序示例包括汽车中的交互 [16]、座舱中的交互 [52] 以及混合现实中的交互 [9, 54]。在本节中,我们描述两个场景:增强现实中的菜单控制和视频播放器控制。在本节末尾,我们展示了我们实现并提供的应用程序,可以在无需额外安装的情况下开始使用 μPoly。

5.1 场景 1:使用 μPoly 开发 AR 应用程序 本场景中描述的应用程序灵感来自 Chaffangeon Caillet 等人 [9] 的未来工作部分。开发该应用程序涉及的各个步骤说明了工具包所期望的属性,如相关工作中的“设计工具包”部分所述。伴随的视频图展示了这些步骤。

应用程序原型化 – Vic 是一名针对 HoloLens 2 的 AR 应用程序软件开发人员。她最近发现微手势是 AR 的一种有前景的新模态。Vic 希望使用微手势来控制她应用程序中的菜单。她遇到了 μPoly,它可以使用 HoloLens 2 的摄像头来识别微手势。首先,她在 Unity 中创建了应用程序的原型。然后,Vic 通过 websocket 将她的 Unity 应用程序连接到 μPoly,重用了她在 previous research projects [9, 41] 中使用的 websocket 片段(P infra)。现在 Vic 需要决定她想使用哪些微手势。她浏览了 μDex 目录,并确定了潜在的候选者。由于不知道 μGlyph,Vic 直接从 μDex 将相应的表达式复制粘贴到 μPoly。由于她在计算机上开发应用程序,她想使用计算机的摄像头进行一些快速测试。因此,她从 μPoly 预打包驱动程序列表中选择 Google MediaPipe,并在计算机摄像头前执行微手势候选者。

修改微手势集 – 在探索并复用了几个 μDex 的微手势描述后,Vic 现在想要指定她自己的微手势(P ceil)。使用 μGlyph,她了解到微手势是低级基本微手势的序列(P concis)。因此,她着手在微手势的中间步骤上集成视觉和音频反馈。她首先专注于她的轻点微手势(?°?;??°),该手势点击一个按钮。她希望按钮在按下(?°?)后亮起,并在释放(??°)后发出声音。为了检测这些微手势的中间步骤,她在 μPoly 中创建了两个新的识别器,方法是复制两次轻点的 μGlyph 识别器(图 9A)。

在这两种情况下,她简化了表达式,仅保留所需的基本微手势(按下或释放)。然而,她不需要修改识别系统,也不需要修改 μPoly 应用程序代码。随后,她将这两个识别器添加到她的 HoloLens 应用程序的 μPoly WebSocket 订阅中 (P visc)。图 9。场景 1:使用 μPoly 开发 AR 应用程序。A) Vic 定义了一个点击及其两个组成微手势:按下和释放。与这些微手势相关的状态机并行运行。B) 在 AR 应用程序中,点击触发按钮。按下和释放微手势提供视觉反馈,表明按钮在点击过程中被按下然后释放。C) Vic 定义了两个设备:带有 Mediapipe 的 HoloLens 2 内置摄像头和一个定制制造的戒指。D) 这两个设备被用户并行使用。
在 HoloLens 上部署——既然 Vic 已经确定了她的微手势集合,她继续将应用程序部署在 HoloLens 上。她首先添加了 HoloLens 2 摄像头的预打包驱动 (P visc),并指定了连接 HoloLens 2 摄像头的 WebSocket(图 9 b)。然后她邀请 Charlie,一名 beta 测试者,试用该应用程序(图 9 c)。Charlie 注意到,为了确保 HoloLens 稳健地检测她的微手势,她必须把手保持在摄像头前。几分钟后,由于举起手臂(所谓的“大猩猩臂”效应 [22]),她开始感到疲劳。Vic 得出结论,HoloLens 摄像头并不是长时间检测微手势的最佳选择。她更愿意让用户保持放松的姿势,例如手臂置于身体两侧。她需要探索另一种方法。
测试和原型化不同的识别系统——Aure,Vic 团队的一名硬件开发者,建议测试两种新的形态:一种手套,灵感来自 [52],和一种戒指,灵感来自 [6]。在两者设备原型制作完成后,Aure 的下一步是为 μPoly 开发两个驱动。Aure 阅读了文档,查看了其他使用串行连接的预打包驱动源代码,并继续分支(fork)已经实现串行连接的驱动示例。她使用 μPoly 对设备原始数据的可视化来实现和调试她的驱动,确保她的设备驱动正确集成到 μPoly 中 (P proto)。在试用了这两种设备后(图 9 d),她决定选择戒指,因为它侵入性更小,即使它无法识别 Vic 为应用程序设想的所有微手势。
使用两种识别系统——Vic 和 Aure 商量后找到了一个合适的折衷方案:同时使用戒指和 HoloLens 摄像头来检测微手势 (P coord)(图 9C)。戒指虽然只能识别子集(即点击而非滑动),但可以在放松的姿势下使用,并能识别应用程序中最常用的微手势。而偶尔的微手势(例如滑动)可以由 HoloLens 摄像头稳健地识别。
5.2 场景 2:使用 μPoly 实现连续控制
本场景中描述的应用程序展示了该工具包的更复杂用法。有关该应用程序实现的更多信息可以在 μPoly 的文档 6 中找到。
离散控制——Grace 是一家视频流媒体公司的开发者。她受命用下一代可穿戴设备启用的输入来映射一些视频播放器控制。她发现微手势,尤其是滑动,是可信的候选者。因此,她设置了一个视频播放器的演示原型,使用文献中的手套测试映射 (P proto)。在测试了从手套到视频播放器的流水线后,她在 μPoly 中设置了一个向外滑动识别器 (?°?;???;??°) 和一个向內滑动识别器 (?°?;???;??°)。她将这两个微手势连接到她的导航功能。接收 N 个向外滑动(相应地,向內滑动),每个间隔小于 200ms,快进(相应地,快退)5 秒 (N = 1)、10 秒 (N = 2)、30 秒 (N = 3)、1 分钟 (N = 4),...
连续控制——虽然对她结果感到满意,她仍然希望避免状态机中的物理重复和超时,以便在完成一个滑动后直接发送命令。因此,她决定将滑动分解,就像处理鼠标拖拽交互一样。她在 μPoly 中禁用了一个向外滑动和一个向內滑动识别器,并设置了四个新的:按下 (?°?)、向外滑动 (???)、向內滑动 (???) 和释放 (??°) (P visc)。然后她在应用程序中连接了所有四个微手势。当识别到按下时,她计算收到的向外滑动和向內滑动的次数,相应地持续更新视觉前馈(“快进/快退 X 秒?”),并在释放时触发跳转。这不仅只需要一次滑动,还允许实时(双向)精细控制跳转的值。
组合控制——Grace 更喜欢第二种方案。然而,在她看来,第一种方案用于音量控制也不算差。与她的导航需求相反,音量可以线性控制。使用第一种方案,每次滑动可以直接将音量增加或减少 10%,不需要超时。因此,她重新激活了向外滑动和向內滑动 (P visc),将它们连接到她的音量控制器,并调整所有识别器,使得音量现在通过食指滑动控制,导航通过中指滑动控制 (P proto)。
5.3 现有应用程序
除了用于用户测试的应用程序(例如,音乐播放器,在后文评估部分中),我们开发了另外两个:键盘绑定器和 VLC 控制器。为了启用开箱即用的 μPoly 原型制作,这两个应用程序直接集成到 μPoly7 中。第一个应用程序允许用户将微手势与键盘按键关联。因此,可以通过微手势触发键盘快捷键来控制 Keynote 或 PowerPoint 等应用程序。第二个应用程序是使用 VLC API 开发的,让用户通过执行微手势来控制 VLC。该应用程序需要安装 VLC 并配置其 Lua8 接口。
最终,得益于这两个集成应用程序和预打包的 MediaPipe 驱动,μPoly 可以轻松地进行开箱即用测试,而无需开发识别系统或应用程序。
6 μPoly 评估
为了评估 μPoly,我们进行了多项评估,以涵盖文献中工具包的四种评估策略,由 Ledo 等人 [30] 总结。我们已经展示了两种类型的评估:
•类型 1(即演示、单个实例和超越描述)通过在上一节中描述应用场景和现有应用程序;
•类型 4(即启发式)通过描述文献中工具包的属性(即 P visc, P skill, P ceil, P infra, P proto, P concis, P encap 和 P coord)是如何融入 μPoly 设计中的。
在本节中,我们展示两项额外的评估:类型 2(即使用、早期使用研究和反馈)和类型 3(即性能)。表 3 总结了对 μPoly 的评估。
6.1 早期使用研究(类型 2)
我们为 μPoly 的每个部分进行了三项早期使用研究,测试了 μPoly 工具包的所有三个方面(设备、识别器、使用)。这些研究的目的是检测 HCI 从业者在使用 μPoly 时遇到的任何障碍或问题。
开发新的识别系统。我们进行了一项初步测试,以确保可以使用可用文档为 μPoly 创建驱动。我们联系了两位微手势研究人员(一位学术界,一位工业界),他们各自开发了一个微手势识别系统。他们熟悉 μGlyph 但不熟悉 μPoly。我们要求他们调整已经开发的识别系统并将其集成到工具包中。两人都成功分别为 HoloLens 2 和 Mediapipe 创建了驱动。虽然构建他们最初的识别系统花费了大约一周时间,但为 μPoly 创建驱动花费了大约 2-3 天。两次的经验和总结告诉我们,直接为 μPoly 为新设备编写驱动不一定会增加主要任务的复杂性,且将现有驱动翻译到 μPoly 生态系统中是完全可行的。此外,他们的评论帮助我们修复了 μPoly 设备 GUI 中的一些小 bug,并澄清了文档中关于如何构建驱动的部分。两位研究人员都对 μPoly 表现出兴趣,随后被邀请成为本文的共同作者,因为我们提议将他们的作品作为预打包驱动集成到 μPoly 中。
声明要识别的微手势。我们进行了一项初步测试,以确保用户可以在没有任何 μGlyph 符号先前知识的情况下声明微手势进行识别。我们招募了一名之前从未从事过微手势研究的博士生。我们首先向她介绍微手势的概念和 μPoly 的概述。然后我们使用官方的 μGlyph 教程,大约持续 15 分钟。测试的目标是让参与者写出点击和滑动,这是文献中最常见的两种微手势,以及使用微手势功能,例如特定手指。我们设置了一只能够在食指和中指上检测这两个微手势的手套及其对应的驱动。μPoly 也已配置为与外部自定义音乐播放器应用程序通信(见图 10)。这个音乐播放器是一个简单的 HTML/JavaScript 网站 9,从本地目录加载可免费使用的歌曲。我们提供了一个简单的 API 来控制音乐应用程序(例如,一个名为 toggle_play 的事件 10 将控制播放/暂停功能)。我们没有解释视觉微手势编辑器,让参与者通过试错来发现它,并实时测试她的手套表达式。总的来说,参与者在 1 小时 30 分钟内(包括介绍和 15 分钟的教程)成功写出了所有指示的微手势(即除拇指外所有手指的点击和滑动)。我们要求参与者在会话期间出声思考。主要困难与使用 μGlyph 变量有关,但都被参与者独自克服。值得注意的是,尽管有文档可用,参与者在实验期间并没有使用文档。基于我们的观察和参与者的评论,我们修复了 μPoly 中包含的 μGlyph 编辑器的一些 bug。
图 10。在我们的测试中用于声明微手势的自定义音乐播放器应用程序。
订阅和接收微手势。我们进行了两项初步测试,以确保可以将 μPoly 链接到遵循特定事件标准的现有应用程序。对于第一次测试,我们联系了当地一个生活实验室的一名工程师。生活实验室专注于家庭自动化,并运行一个集成完全功能公寓和智能电器的平台。电器使用遵循 openHAB 标准 11 的生活实验室定制 API 进行控制。这次测试的目标是将 μPoly 连接到该 API。识别系统和微手势识别器已经在 μPoly 中设置好。参与者必须创建一个应用程序,将 μPoly 输出链接到公寓的 API。参与者研究了订阅者页面,并在一个半小时里创建了一个 Python 服务器来控制灯光和电动百叶窗。除了检索 Python 的 Hello World 示例并根据手头的练习进行调整外,参与者没有报告任何特殊问题。
对于第二次测试,我们联系了一名从事协作机器人学硕士研究生。作为实习的一部分,学生需要将微手势识别器连接到 ROS 节点 12 来控制机器人。我们为他提供了一只已经实现了识别器的手套,以及 μPoly 文档。在两个全职日内,这名硕士研究生成功连接了手套,描述了微手势,并实现了一个可以使用 WebSocket 连接到 μPoly 的 ROS 节点。这名硕士研究生没有报告任何问题。
6.2 μPoly 性能:测量微手势检测延迟(类型 3)
我们进行了初步测试,以验证 μPoly 及其将微手势分解为基本 μGlyph 事件所引入的延迟。

进行了两项测试:一项是μPoly和应用程序在同一台笔记本电脑上运行,另一项是μPoly和应用程序在不同计算机上运行并通过 WLAN 连接。

6.2.1 单台计算机上的延迟。

对于第一次测试,我们使用了一只手套上安装的触觉开关 13,由 Arduino 微控制器控制。手套通过 USB 电缆和串口连接到μPoly。当按下按钮时,手套发出事件 ?°? ,当释放按钮时,发出事件 ??° 。在μPoly中,我们使用单个状态机来识别一次轻拍(?°?;??°)。识别后,轻拍微手势事件通过 websockets 传输到我们要自建的音樂应用程序。该应用程序与μPoly在同一台计算机上运行。使用此设置,我们在手套按钮上执行了 5 次轻拍微手势,每次间隔几秒。每次轻拍激活音乐应用程序的取消静音/静音按钮。我们使用处于慢动作模式(240 帧/秒)的 iPhone 8 14 拍摄了手套(使用小杆在手套上执行轻拍微手势)以及运行音乐应用程序且可见的屏幕。我们还记录了当μPoly接收到串口数据以及当μPoly发送 websocket 消息时的笔记本电脑 UNIX 时间戳。首先,我们确保视频以 240 帧/秒录制。然后,利用帧数,我们对每次轻拍计时:(1) 按钮物理按下第一帧与按钮物理释放第一帧之间的持续时间(ttap);(2) 按钮物理释放第一帧与屏幕显示音量变化第一帧之间的持续时间(tevent)。利用 UNIX 时间戳,我们计算了接收最后串口数据(即按钮释放事件)与发送 websocket 消息事件之间的时间(tproc)。平均 ttap —— 对应于以正常速度物理执行轻拍所需的时间 —— 为 310 毫秒(标准差 = 121 毫秒)。平均 tevent —— 对应于包括网络通信在内的处理动作结束以触发命令所需的时间 —— 为 42 毫秒(标准差 = 9 毫秒)。平均 tproc —— 对应于μPoly 处理和发送数据所需的时间 —— 为 0.8 毫秒(标准差 = 0.4 毫秒)。总体而言,μPoly 延迟在最佳情况下(即网络延迟最小化时)比网络延迟低一个数量级,而网络延迟又比执行基本微手势所需的时间低一个数量级。

6.2.2 多台计算机上的延迟。

对于第二次测试,我们在更现实的配置下比较了μPoly 的延迟与商业解决方案,即μPoly 和应用程序不在同一台计算机上运行。我们使用了一款 HoloLens 2 头显,它原生使用按压微手势(?°?(t?))作为其主要手势交互技术。为了与μPoly 通信,HoloLens 使用 WiFi 上的 websockets 发送和接收事件。一名参与者佩戴头显,并在她面前显示的虚拟圆圈变绿时执行拇指食指按压。为了确保参与者无法预判何时执行微手势,圆圈每 2 到 4 秒重复变为另一种颜色,有 0.5 的概率是绿色。总共进行了 24 次试验。我们记录了圆圈变绿时的 HoloLens 时间戳,以及应用程序收到 HoloLens 按压微手势事件时的 HoloLens 时间戳,还有应用程序收到μPoly 按压事件时的 HoloLens 时间戳。我们同时记录两种条件,以避免在刺激反应中产生任何偏差(例如,CPU 负载)。使用μPoly 执行按压平均耗时 596.5 毫秒(标准差 = 83.4 毫秒),使用 HoloLens 识别平均耗时 516 毫秒(标准差 = 86.2 毫秒)。考虑到 HoloLens 识别按压微手势没有延迟,516 毫秒代表了对灯光变绿的反应时间以及执行按压微手势的物理运动时间。因此,80.5 毫秒的差异代表网络延迟,即 HoloLens 和μPoly 之间通过 WiFi 的往返通信,因为之前的实验展示了μPoly 的处理时间约为 1 毫秒。

6.2.3 总体结果。

总之,在识别微手势时,μPoly 管道的主要延迟来自输入和输出的网络处理。然而,这种延迟似乎仍然比执行基本微手势所需的时间低一个数量级。因此,μPoly 引入的延迟似乎是1非累加的,因为在一系列基本微手势(e1;…;en)中,μPoly 将在物理上完成执行下一个事件 ei + 1 之前,完成分析每个基本事件 ei。总体延迟,独立于微手势长度,仅取决于通信延迟。

7 讨论、局限性和未来工作

我们已经证明μPoly 可以与各种识别系统一起使用,这些系统具有不同的传感器(接触传感器、力传感器和相机)、不同的设备形态(手套、戒指、增强环境)和不同的识别算法(临时算法、机器学习)。我们还展示了μPoly 如何被两种类型的开发人员用来创建基于微手势的交互:硬件开发人员和软件开发人员。在本节中,我们呈现了μPoly 的已实现步骤和未来步骤。

7.1 集成缺失的μGlyph 属性

μGlyph 是一种包含各种符号的表示法,用于在多个抽象层级描述微手势。μGlyph 还包括通过因式分解或封装描述的某些部分来减少描述大小的先进技术。μPoly 目前尚未整合μGlyph 表示法的所有属性,因此不完全支持μGlyph 在实现基于微手势的交互时的表达能力。在这个版本中,μPoly 确实整合了所有手指、运动和组合符号。然而,μPoly 在组合符号的使用方式上有一些限制。OR(分别是 AND)组合只能添加到公式内部或运动符号之间。因此,OR 组合公式 i | m?°? 需要写成 x ∈ {i|m}, x?°?。这不影响μGlyph 的表达能力,因为μGlyph 的作者已经建议引入此类变量以避免潜在的歧义。同样,AND 组合 i // m?°? 需要写成 i?°?//m?°?。这不影响μGlyph 的表达能力,因为手指符号之间的 AND 组合的使用已被引入为因式分解μGlyph 描述的先进技术。

μGlyph 可用于描述手指以外的手部部分,如指节或手指关节。μPoly 可以识别不同的指节和手指侧面。然而,手指关节的识别仍在进行中,但目前很少微手势研究使用它们 [53]。

μGlyph 还可以描述压力、振幅和持续时间等属性。μPoly 目前尚不能完全识别利用定义这些属性的符号的微手势,即压力的 Hi、Md 和 Lo,以及振幅的 Cl、Ha 和 Op。当这些符号整合到μPoly 中时,用户将必须在驱动类中指定对应于每个符号的传感器值阈值。尽管如此,虽然压力和振幅符号未被识别,μPoly 已经可以识别变化,例如 20%→50%,或变化的幅度,例如 30%,均以百分比表示。持续时间也在μPoly 中实现,但尚未整合到μGlyph 编辑器中。

最后,μGlyph 允许通过封装一系列低级事件来定义自定义事件。这些自定义事件在识别 2D 绘图时很有用,例如在空中画一个圆圈 ?°°。然而,μPoly 目前尚不支持它们。此扩展将需要为低级事件添加一个新属性,因此封装将在驱动级别进行管理。解决此问题的另一种设想的方案是,允许在定义新的μPoly 识别器时引用μPoly 识别器(即递归使用识别器)。此解决方案允许用户直接创建自己的封装μGlyph 表达式,而无需更改μPoly 源代码。

总体而言,截至本文撰写时,μPoly 可用于识别μDex 中引用的 121 个微手势中的 97 个(80%)。

7.2 在μPoly 中集成校准模块

许多识别系统在使用前需要校准。例如,在 M[eye]cro [52] 中,有必要将临时算法的压力阈值适应每个用户。事实上,传感器值的范围根据手的大小和手套的拉伸而变化。对于 Mocap15 等数据手套,用户必须执行特定的手姿势来校准设备。为了让μPoly 作为独立的微手势识别应用程序运行,我们需要将校准 UI 整合到μPoly 中。可以使用几种方法。例如,通过集成使用 iframe 的外部 Web 应用程序,或通过在μPoly 的设备选项表卡中提供创建定制 UI 组件的可能性。

表 3.
| 类型 | 策略 | 我们做了什么 | 结果 | 参考 |
| :--- | :--- | :--- | :--- | :--- |
| 1 | 演示,单个实例,超越描述 | 描述了μPoly 开发的应用程序 | ?完整功能描述 | 第 4 节 |
| | | | ?相关应用场景 | 第 5 节 |
| | | | ?提供完整文档和视频演示的工具包 | |
| | | | ?示例应用程序(音乐播放器、按键绑定、VLC 远程控制器) | 第 5.3 节 |
| 2 | 使用,早期使用研究,反馈 | μPoly 初始用户测试 | ?创建驱动程序:完全理解μPoly 的输入格式并为现有的识别系统创建适配驱动程序需要 2-3 天 | 第 6.1 节 |
| | | | ?在不了解μGlyph 的情况下使用μPoly:仅以官方μGlyph 教程为基础学习,编写和测试多个微手势需要约 1 小时 30 分 | 第 6.1 节 |
| | | | ?在第三方应用程序中接收微手势:成功将μPoly 连接到没有外部帮助的自动化家庭(用微手势控制灯光等) | 第 6.1 节 |
| 3 | 性能 | 轻拍的延迟测试(≈ 310ms 执行时间) | ?单台计算机上(最小网络延迟):μPoly 延迟(≈ 1ms)< 网络延迟(≈ 42ms) | 第 6.2.1 节 |
| | | | ?多台计算机上:与集成商业解决方案(HoloLens 2)相比 ≈ 81 ms 的网络延迟 | 第 6.2.2 节 |
| | | | ?总体而言:μPoly 延迟 < 微手势执行时间 | 第 6.2.3 节 |
| 4 | 启发式 | 基于文献中的 5 个属性 P visc, P ceil, P skill, P infra 和 P proto | ?P visc:基于μGlyph 微手势描述标准 | 第 3.1 节 |
| | | | ?P ceil:μGlyph 允许将基本微手势组合成更复杂的微手势 + μPoly 支持添加新的识别系统 | 第 3.1 节 |
| | | | ?P skill:集成常用微手势库 + 视觉编辑器避免编码 | 第 3.1 节 |
| | | | ?P infra:事件/订阅者 websocket 架构 | 第 3.1 节 |
| | | | ?P proto:μPoly 支持模拟微手势 | 第 3.1 节 |

我们的工具包评估策略及其结果摘要。

7.3 改进多个识别系统的协调

研究结合了来自多个传感器的信息以改善微手势识别 [48]。使用μPoly,这可以通过创建连接到多个传感器的驱动程序来实现。

除了传感器级别的协调外,μPoly 还可以协调多个识别系统。在μPoly 的当前版本中,用户可以同时连接几个识别系统。上一节中的 AR 应用程序展示了一个使用两个识别系统的用例,但每个设备识别不同的基本微手势。因此,多个识别系统的协调仍然有限。

由于μPoly 分别与每个设备通信,可以确定基本微手势或低级事件源自哪个设备。此功能将使我们能够根据设备过滤基本微手势或低级事件。利用此功能,我们设想在μPoly 中实现两种类型的协调:
•首先,选择用于每个状态机的识别系统的能力。用户将必须为每个μGlyph 描述选择识别系统,例如使用复选框列表。这种第一级控制可用于根据识别系统区分微手势,例如区分左手和右手微手势;
•其次,选择用于状态机每个转换的识别系统的能力。这种第二级控制可用于组合来自两个不同设备的事件。一个潜在的应用是双手微手势,其中微手势由双手以互补的方式执行。

7.4 对μPoly 的进一步评估

如表 3 所示,我们已经使用文献中确定的所有四种策略测试了μPoly。

尽管本研究专注于 μPoly 的核心,但 μPoly 用户界面的扩展评估将作为未来工作的一部分,并邀请用户共同参与。这些评估不会影响 μPoly 的核心原则,但会改变与 μPoly 用户界面交互的人机工程学特性。需要提醒的是,使用 μPoly 工具箱并非强制要求。最后,我们设想 μPoly 的最终评估将由该工具箱的开源发布来驱动,从而使社区能够为其贡献并进一步开发。由于 μPoly 是一个涉及学术界和工业界的协作项目的一部分,尚未参与 μPoly 开发的开发者已经在利用该工具箱开发应用程序,其中一个是在自动驾驶汽车中提供基于微手势的交互,另一个是在增强现实(AR)中使用微手势滚动文档。

8 结论
在本文中,我们介绍了 μPoly,这是首个旨在促进基于微手势的交互研究与快速原型设计的工具箱。μPoly 提供了三大优势:1) 可在不同微手势识别系统之间轻松切换;2) 可轻松修改待识别的微手势集合;3) 可轻松与第三方应用程序集成。为实现这些优势,我们基于 μGlyph 微手势符号表示法 [10] 构建了 μPoly。借助该工具箱,μGlyph 距离成为描述微手势事件的软件工程标准又迈进了一步。虽然 μPoly 将支持并促进微手势交互领域的研究,但我们希望 μPoly 的核心概念能被集成到现有的 SDK 中,例如 HoloLens 2 的 MRTK,它已经提出了一种基本微手势事件:捏合。

致谢
本工作部分受法国国家研究署 (ANR) 项目 MIC (ANR-22-CE33-0017) 资助。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号