通过宏观指令将手势序列转化为手势组合:定义、框架及在智能家居中的应用
《Proceedings of the ACM on Human-Computer Interaction》:Turning Gesture Sequences into Gesture Composition by Macro-Instructions: Definition, Framework, and Application in Smart Home
【字体:
大
中
小
】
时间:2026年07月18日
来源:Proceedings of the ACM on Human-Computer Interaction
编辑推荐:
摘要
AI总结:要查看此由AI生成的总结,您需要拥有高级访问权限。了解更多信息并登录。
摘要
2D-3D手势交互通常将一个被识别的手势与单一命令关联起来,例如“向右滑动”用于切换到下一屏幕。当手势按顺序连续执行时,每个手势仍需分别对应一个命令。增加此类手势的数量以实
摘要
AI总结:要查看此由AI生成的总结,您需要拥有高级访问权限。了解更多信息并登录。
摘要
2D-3D手势交互通常将一个被识别的手势与单一命令关联起来,例如“向右滑动”用于切换到下一屏幕。当手势按顺序连续执行时,每个手势仍需分别对应一个命令。增加此类手势的数量以实现更多命令对最终用户并不有利,因为用户只需记忆和使用有限数量的手势。与其依赖手势序列,我们可以通过手势组合来扩展可执行的命令范围,从而完成更复杂的任务。为此,我们将指令定义为在环境中作用于设备的动作及其参数值,例如“将卧室灯的亮度调至10”。基本的、最好是层次分明且一致的手势会被组合成复合手势。这些指令还可以进一步组合为宏指令,以概括手势组合的过程。为将这些定义付诸实践,我们开发了Emeriti框架,该框架能够识别2D(在交互式表面上识别的单笔或多笔手势)和3D(空间中的点轨迹)环境中的基本手势及复合手势。我们在一个模拟智能家居的应用中展示了将手势序列转换为手势组合的有效性与实用性,在该应用中,每个房间内的所有设备都可以通过带有参数的复合手势来控制。这样一来,无需大幅增加手势数量,就能实现更多复杂任务的指令功能。
AI总结
AI生成的总结(实验版):此总结是通过自动化工具生成的,并非由文章作者撰写或审核。它旨在帮助人们发现相关内容,便于读者评估文章的关联性,同时也帮助相关领域的读者理解本文内容。它是对作者提供的摘要的补充,而作者提供的摘要仍是论文的主要总结。完整文章才是最具权威性的版本。点击此处了解更多信息。点击此处对该总结的准确性、清晰度及实用性发表意见,您的反馈将有助于改进未来的生成版本。要查看此由AI生成的通俗语言总结,您需要拥有高级访问权限。
图1. Emeriti系统中基本手势组合为复合手势的过程:(a) 最终用户执行一个或多个手势(例如在绘图区域中的2D笔画);(b) 基本手势被关联到包含动作(如“打开”)、对象或设备(如“灯光”)、环境(如“厨房”“卧室”)、各种参数及其数值(如“亮度”和“4”)的指令;(c) 手势被记录下来并关联到指令,这些指令还可被分组为宏指令;(d) 手势以表格形式呈现以便编辑;(e) 指令也以表格形式呈现以便编辑和控制;(f) 手势显示在下拉列表中;(g) 智能家居执行该指令。
1 引言
如今的基于手势的用户界面[110]以及相关计算技术[36]为自然、直观的交互提供了新可能,它们通过手势识别软件[59, 127]将人的动作转化为计算机命令。例如在智能家居领域,最终用户可以通过做出“开花手势”来打开手掌以显示主菜单,或者通过上下移动拇指来控制灯光的开关[110]。这种手势交互的用户体验主要取决于手势词汇表[7, 122]、其与命令的映射关系[125]以及手势识别器[11, 59, 72]。目前已有多种高效算法可用于识别大量的2D笔画手势[3, 4, 38, 65, 87, 103, 107, 108, 109, 111, 112]以及3D空中手势[23, 27, 40, 55, 59, 81, 97, 104]。
尽管存在如此高效的手势识别器,但手势词汇表往往并不丰富,原因有以下几点。首先,在大多数情况下,一个手势只会被映射为简单的命令[9, 10, 12, 34, 114],比如“向右滑动”和“向左滑动”,用于在列表中切换到下一项或上一项[108]。很少有情况是同一个手势能在不同使用场景下[50]或不同应用领域及设备上[42]被使用。当手势与命令之间为一对一映射时,若要实现更多命令,就必须引入更多手势,其数量需与所需的系统命令或交互操作数量成正比。
其次,当多个手势按顺序连续执行时[2, 49],每个手势仍需被单独识别才能触发相应的命令。虽然这些手势可能共同构成一个完成更大任务的流程,但它们仍会被独立解读。例如,若要达到特定的音量水平,可能需要反复执行“举手”手势。而手势组合则是将多个手势结合在一起,通常是同时或重叠执行,从而形成一个更复杂的单一命令。这样的手势组合应被视为一个复合手势,能触发一个更高层级的命令。从时间关系来看,手势是在时间顺序中出现的,例如“举手”加上五根手指的动作可将音量提升到5。而在手势序列中,手势之间存在时间顺序关系(即时间关系);而在手势组合中,手势则是相互结合而非按顺序排列的(即空间关系或并行关系)。
第三,在实际使用中,最终用户通常只记忆并使用有限数量的手势,因此能够执行的命令数量也有限,往往低于实际可能使用的命令总数。不同研究报告中提到的手势数量差异很大:3或4个[54],7个[58],如果依据米勒的短期记忆容量极限,则为7±2个[54],16个[114],而在手势激发研究[GESs]中则可达21个[115] [120]。
因此,通过为每个命令配备一一对应的更多手势来增加词汇表规模,以实现更简单的任务并支持更复杂的任务,对最终用户来说并不现实,因为他们不会使用这些额外的手势,而会继续使用那些实用的手势。为解决这些问题,我们提出了Emeriti框架,同时为了评估该方法的有效性,我们采用目标-问题-指标(GQM)框架[16, 102]在表1中制定了若干研究问题。
表1. 目标、问题与指标
目标
目的
扩展
问题
提升手势的表达能力,以便实现多步骤且带参数的命令
对象
通过使用Emeriti将手势序列转换为手势组合
视角
从最终用户的立场出发
研究问题RQ1
如何在不按比例扩大手势词汇表规模的情况下,将手势序列中的基本手势组合为复合手势?
指标
M1 手势词汇表规模与命令集规模的比值(命令扩展因子)
M2 交互成本:每项任务所需的手势输入次数(例如,为设置参数值所需的重复次数)
研究问题RQ2
在不同顺序的手势组合中,有多少比例能在任务层面被正确解读为预期命令?
指标
M3 任务成功率(严格匹配命令的情况)
M4 目标完成率(部分完成情况)以及任务完成时间(效率指标)
研究问题RQ3
手势组合在多大程度上会影响主观工作负荷、可用性、用户体验以及人们对多步骤交互质量的感知?
指标
M5 主观工作负荷、可用性及用户体验评分(NASA-TLX、SUS、UEQ量表)
M6 研究结束后,用户对多步骤交互质量的主观评价
我们研究问题的目标-问题-指标框架。
目前,要回答这些问题仍然是一个复杂且尚未解决的问题,原因有以下几点:关于复合手势的研究与开发尚不充分;手势与命令的映射关系在处理简单任务和复杂任务时往往仅限于一对一关系;目前还没有专门研究手势如何组合为多个层级,从简单组合到可能具有递归结构的复杂组合均缺乏相关研究;此外,也不存在专门为支持复合手势而设计的软件环境。为此,本文做出了以下贡献:
•基于层次分明且一致的手势这一特性,定义了基本手势、基本手势序列以及复合手势,并阐述了将手势序列转换为复合手势的流程;
•定义了有助于这一转换的新概念:指令是指在环境中作用于设备的动作及其参数值;宏指令则是由多个指令组合而成的整体;
•提出了Emeriti框架,该框架可用于识别2D(在交互式表面上识别的单笔或多笔手势)和3D(空间中的点轨迹)环境中的基本手势及复合手势。我们还公开了该框架的代码、所用数据集以及更多示例;
•通过两个应用演示——虚拟智能家居和咖啡店场景——展示了所提出的层次一致手势语法以及Emeriti中基于ANTLR的手势组合流程的强大表现力;
•进行了两项互补的用户研究:(1)一项探索性试点研究,共有9名参与者,用于收集关于Emeriti交互概念及界面的反馈,反馈形式包括产品反应卡和开放式评论;(2)一项对照研究,共有18名参与者,分为两组,用于评估任务效率、任务完成时间、手势识别性能以及用户的主观工作负荷、可用性和用户体验。
本文的其余结构如下:第2节回顾了手势识别、手势组合及手势序列方面的相关研究;第3节介绍了Emeriti框架中手势组合的基本定义;第4节描述了Emeriti框架的实现方式及其将基本手势组合为复合手势的功能;第5节展示了Emeriti在模拟智能家居环境和咖啡店场景中的应用,同时提供了完整的演示视频作为补充材料;第6节报告了两项用户研究的结果,这些研究将Emeriti的手势组合方法与传统的顺序处理方法进行了对比;第7节分析了所提出方法及用户研究的局限性;第8节总结了本文内容,强调了复合手势相比基本手势的优势,并指出了未来研究的方向。
2 相关工作
2D笔画手势是指最终用户在笔式输入设备[19]、鼠标[126]或对手指敏感的交互式表面[120]上做出的手势,这类手势可用于触发功能、命令[125]及其快捷方式[5],也可用于操作信息[88],比如医学图像的标注[25]。类似地,3D空中手势[1]是指最终用户在空气中通过各种传感器做出的手势,这些传感器包括摄像头[59]、各类传感器[78, 100]、可穿戴设备[24]、Wi-Fi信号[60]以及雷达[8, 13, 35, 97, 113],这些传感器可佩戴在头部、手臂、手腕、手部或手指等身体部位[57]上。手势识别是指根据训练集——即一系列被称为模板的数据样本——对候选手势进行分类。识别器会找出与某个度量标准最相似的模板,并确定其所属的手势类别。研究人员还会区分单笔手势与多笔手势,即手势是否由多笔笔画组成;同时也会区分单触手势与多触手势,即手势是否由多个同时执行的笔画组成(例如食指和拇指同时移动)。
2.1 现有的手势识别器与框架
目前已有大量高效的2D笔画手势识别器[72]。例如,$系列识别器通过模式匹配[90],在对所有模板进行预处理以确保具备姿态不变性、采样不变性、缩放不变性和平移不变性之后[110],即所谓的ARST不变性[73],对候选手势进行分类。$1[3]和$N[121]则采用黄金分割搜索法,比较不同角度下的手势,以此确保旋转不变性,从而实现具有姿态不变性的多笔手势识别,也就是说,无论手势的笔画数量、顺序或方向如何变化,都能被准确识别。$P[111]、$P+[109]和$Q[112]算法则通过云匹配技术,将每个候选手势与所有模板进行比较,从而避免组合爆炸问题,它们将手势视为点集来处理。Protractor(Pro)[65]和$N-Protractor($NP)[4]在$1和$N的基础上进行了改进,它们通过引入封闭形式的公式来计算两个手势之间的最小角度距离,因此在精度、速度和存储成本方面都优于之前的算法。根据是否采用Protractor的封闭形式公式以及是否具备有限旋转不变性,这类算法还有四种变体:$N、$N-Protractor($NP)、$N-Rotation($NR)和$N-Protractor-Rotation($NPR)。Penny Pincher(PP)[103]是一种单笔手势识别器,它将$系列的预处理步骤简化为对手势点进行重采样和向量化处理,这类识别器具备采样不变性、平移不变性和缩放不变性。PP通过计算成对对应向量之间的角度之和,来判断两个手势的相似程度。!FTL[107]则采用局部形状距离来衡量两个手势的差异程度。
至于高效的3D手势识别器,其种类更为丰富。例如,Rubine3D将Rubine算法扩展到3D手势领域,作为iGesture工作bench的一部分[96]。Jackknife[104]则能够在多模态环境中识别2D和3D手势。该技术通过使用内积(JIP)或欧几里得距离(JED)作为局部成本函数,结合修正因子和拒绝标准来实现动态时间变形。$3识别器[55]利用任天堂Wii遥控器中的单点加速度数据来记录空中手势,从而将$1扩展到3D领域。只要能获取加速度数据,$3就可以适配其他传感器。即便训练集规模较小,$3也能高效识别10到15种手势。Protractor3D[56]通过寻找能最小化欧几里得距离的旋转角度,为$3增加了旋转不变性。uWave识别器[68]则利用三轴加速度器的数据,这一方式尤其适合智能手表和智能手机等可穿戴设备。原始数据会通过平均窗口进行压缩、非线性量化,再通过动态时间变形与另一时间序列匹配,最终计算出欧几里得距离。与$3和uWave类似,Madani等人[71]也基于加速度数据识别空气中的3D单笔手势,包括0到9的数字以及加、减、乘、除等数学运算符。最近,3¢算法[27]以与$3和Protractor3D相同的原则扩展了1¢算法[48]:比较采样的3D轨迹,但采用了更简单不同的处理方式。随着设备的普及、可用于手势识别的身体部位的增加以及识别技术的不断发展,3D手势识别已成为一个广阔的研究与发展领域,目前已有诸多相关技术被应用[32, 124]。一些集成开发环境提供了不同层次的支持,帮助开发者利用一种或多种识别器构建基于手势的用户界面。Cirelli和Nakamura[33]总结了多种手势识别框架,这些框架可以是框架形式(如iGesture[96]、QuantumLeap[98]),也可以是工具包形式(如手势识别工具包[43]、编程功能[51]以及实时识别器[28, 93])。所有这些识别器和框架都能高效地实现单个手势的识别。
表2. 参考文献编号、维度数、参与人数、手部数量、手势种类、指令类型、操作对象、环境类型、参数及数值。合作手势(77)[77]:2D,n=1,人数=3,手部=1,手势数=11,指令数=1,操作对象数=1,环境类型=无,参数及数值=无。快捷指令(5)[5]:2D,n=1,人数=1,手部=1,手势数=11,指令数=1,操作对象数=1,环境类型=无,参数及数值=无。UsiGesture(19)[19]:2D/3D,n=1,人数=1,手部=1,手势数=11,指令数=1,操作对象数=1,环境类型=无,参数及数值=无。增强型字母识别(89)[89]:2D/3D,n=1,人数=1,手部=1,手势数=11,指令数=1,操作对象数=1,环境类型=无,参数及数值=无。手指计数识别(57)[57]:3D,n=1,人数=1,手部=1-5,手势数=1,指令数=1,操作对象数=1,环境类型=无,参数及数值=无。GestIt(101)[101]:2D/3D,n=1,人数=1,手部=nn,指令数=1,操作对象数=1,环境类型=无,参数及数值=无。召唤与选择功能(45)[45]:3D,n=1,人数=1,手部=11,指令数=1,操作对象数=1,环境类型=无,参数及数值=无。跨设备交互功能(85)[85]:3D,n=1,人数=1,手部=11,指令数=2,操作对象数=1,环境类型=无,参数及数值=无。手势组合识别功能(39)[39]:3D,n=1,人数=1,手部=11,指令数=2,操作对象数=1,环境类型=无,参数及数值=无。空中交互功能(116)[116]:3D,n=1,人数=1,手部=11,指令数=2,操作对象数=1,环境类型=无,参数及数值=无。地址与指令功能(117)[117]:3D,n=1,人数=1,手部=11,指令数=1,操作对象数=1,环境类型=无,参数及数值=无。多类型手势识别功能(106)[106]:3D,n=1,人数=1,手部=11,指令数=1,操作对象数=1,环境类型=无,参数及数值=无。连续手势识别功能(123)[123]:3D,n=1,人数=1,手部=01,指令数=1,操作对象数=1,环境类型=无,参数及数值=无。Emeriti(2026):本文提出的方法:2D/3D,n=12,人数=nnnnn。
上述内容为按出现顺序排列的、与手势组合相关的已研究工作对比,其中Gest.代表手势,Cmd.代表指令,Obj.代表操作对象,Env.代表环境类型,Par.代表参数,Val.代表数值,空白则表示该功能未被支持。
2.2 手势组合
现有研究从多种角度探讨了手势组合问题,通常一次只考虑两种基本手势。Billon等人[20]提出了一种多智能体系统,能够识别仅由两种手势构成的手势序列——一种由现实场景中的演员执行,另一种由虚拟演员执行。这项研究表明,即便手势序列仅包含两种动作,识别它们依然具有重要意义。Cao和Zhai[26]基于曲线、线段和角点的特性,建立了人类一次执行一个2D单笔手势时的性能定量模型。作为指令快捷方式的2D基本手势相比键盘快捷键具有认知优势:一个简单的2D手势总能对应一个简单的指令(比如画“V”符号即可启动媒体播放器),或某个特定对象(比如输入“α”就能在菜单中选中“蘑菇”选项)。Zhai等人[125]回顾了关于设计笔画手势的基础研究,涉及运动控制、反馈机制和信息分组等因素,但并未专门探讨如何将基本手势组合成复杂手势。AirStroke[78]通过将模式选择和单手字符输入与另一只手的单词补全功能相结合,实现了用自由手势进行单笔文本输入。Aussems等人[14]则采用基于模式的学习系统来识别伴随语音出现的系列手势,并将这些手势与共情得分这类元信息关联起来,以此对手势序列进行分类。这里同样适用模式匹配,但仅用于识别伴随语音的手势,而非系统指令。
现有文献大多研究的是那种需要多个手势才能执行单一指令的基于手势的用户界面。Morris等人[77]研究了不同人如何通过共同完成手势来发出统一指令。一种常见的方法是把指令分解为两个独立的手势:一个用于指定指令本身,另一个用于确定指令的目标。例如,“地址与指令”功能[117]中,非主导手用于指定目标设备(比如智能电视或百叶窗),而主导手则同时执行指令手势(比如调整参数大小)。Delamare等人[39]也采用了类似思路,将指令目标视为指令所对应的对象(比如音频文件、视频或显示内容),而非特定的设备。“召唤与选择”功能[45]也采用类似策略,先用手势示意目标,再用同一只手执行指示手势来操控控件。基本上,最终用户会连续使用两只手各执行一个基本手势——一个用于指定目标,另一个用于发出指令[116],比如先在一个设备上复制某个元素,再在另一个设备上粘贴它[85]。FingerCount[57]则利用多个手势在菜单中导航,从而执行单一指令。也有研究探讨了两个连续手势之间的触觉反馈机制[123],但尚未涉及如何通过手势序列来执行更多指令的问题。
基于Petri网[101]或G-Gene中的隐马尔可夫模型[29],人们提出了手势组合模型,这类模型能够实现灵活且精细的手势识别[6]。这些模型着眼于构成2D手势的基本元素(比如线条、半圆、圆形)的组合,从而实现在线的部分笔画手势识别[28],但并未涵盖不同手势之间的组合方式。Spano等人[101]提出的手势定义组合模型通过GestIT[101]和DEICTIC[29]得以实现,它利用六种时间操作符(即迭代、序列、并行、选择、禁用和顺序无关性),通过声明式规则将基本输入传感器特征组合起来,从而定义复杂的2D/3D手势。这样一来,就可以通过包含这些规则的Petri网来指定任何具体的手势,实现针对单个手势的精细操作。GestureScript[70]则通过结合示例学习与基于渲染脚本的声明式指导以及交互式训练模块,助力创建精确的单笔手势识别器。Goguey和Ortega[44]对触摸设备上的30种同步笔画手势进行了实证研究,但并未研究它们的组合方式。
在人机交互领域,机器人可以将一系列手势理解为一个复杂的整体组合[105]:比如“以50%的速度将杯子移到罐子上方,然后将其旋转45°”这一指令,就由动作手势(比如抓取手势和向右滑动手势的组合)、指示手势(比如用来标识目标物体——杯子和罐子的指向手势)以及度量参数(比如通过手势传达的具体物理约束,可能包括高度/间隙要求以及旋转角度)共同构成。这种为手势组合构建词汇表的理念,在动作和参数的设定方面与我们提出的方法类似。
2.3 社会科学中的手势序列
社会科学领域对手势序列的研究[14, 66],指的是主体同时做出的多个单独手势的序列,这类研究探讨了手势序列在各种应用场景中的用途。在人类交流中,基于模式的手势序列分类比分析孤立的手势更能有效预测共情程度[14]。黑猩猩在玩耍时会重复使用某些触觉手势,但不会在视觉交流之前有策略性地组合手势来吸引注意力[66]。在手势识别领域,共享参数模型能够学习不同手势中的共同子手势,从而提升识别性能[74]。在设计沟通中,典型的手势序列(比如反射型、模仿型序列)在推动创意发展以及促进团队成员之间形成共识方面发挥着重要作用[31]。Wang等人[118]提出了一种用于识别手势序列的判别性隐状态方法。Bobick和Wilson[21]则提出了一种基于状态的方法来表示和识别手势序列。与孤立的手势相比,手势序列包含更多信息,在从人类共情到灵长类动物互动再到设计构思等各种交流形式中都具有重要作用。Hinrichs和Carpendale[49]在对互动式桌面展品上的多触点手势序列进行的实地研究中指出:“手势并非孤立执行,而是相互关联形成手势序列,之前的手势会影响后续手势的形成”,而且手势的选择既受交互因素影响,也受社会环境的影响。不过他们并未说明手势序列究竟是如何形成的。
2.4 总结
上述提到的各类识别器、框架和方法虽然旨在提升手势识别精度、提供结构化信息并助力基于手势的用户界面开发,但并未深入探讨如何将基本手势组合起来以执行更简单的任务或更复杂的任务。它们通常仅限于将一两个手势组合成一个指令。表2概述了人机交互领域中与手势组合相关的已研究工作,并将它们与本文提出的观点进行了对比。
当将基本手势组合成手势序列时,可能会出现随意的映射关系,这可能会增加最终用户的认知负担和学习难度[79]。在语言学中,指令通常是由动作动词和宾语构成的[76]。但在人机交互领域,却存在两种不同的设计范式[94]:一种是模仿语言结构的“动作+宾语”模式(比如“打印文档”),另一种则是体现直接操作方式的“宾语+动作”模式[18](比如先将文件图标拖到打印机图标上)。如果将这两种范式应用于多个动作和宾语,并且允许任意顺序组合,就会导致词汇量呈爆炸式增长。为每种组合都分配一个独特的基本手势显然不现实。为了解决这个问题,系统应当能够让不同语言背景的用户都能轻松使用,同时依据人们熟悉的语言结构来设置操作顺序。使用英语、法语这类主谓宾结构语言的人可能更喜欢先动作后宾语的序列表达(比如“增加亮度”),而使用僧伽罗语、日语这类主语宾语动词结构语言的人则更倾向于先宾语后动作的表达方式(比如“亮度增加”)[95]。这样的灵活性有助于降低认知障碍,提升跨文化使用的便利性。
总之,尽管之前的研究已经探讨了手势组合的一些具体方面,比如将指令分解为两个连续的手势[39, 116],或者通过分层构建词汇表来提高记忆效率[69, 89],但目前还没有任何框架能够同时满足以下所有要求:支持动作、设备、参数、环境以及宏元素任意组合的指令级语法;能够在单个复合手势中直接编码数值参数;为多步骤操作提供宏指令分组功能;同时适用于2D笔画手势和3D空中手势两种形式。因此,我们的贡献并非手势组合这一概念本身,而是将组合逻辑正式扩展到包括数值参数在内的任意数量的异构元素,并通过系统性的实证研究验证其有效性,同时还将该逻辑与直接衡量不组合参数值所带来的成本的基准方法进行了对比。目前,针对这种高表达能力的手势组合方式,相关的实证研究和开发经验还相对有限,但已经展现出很大的潜力,Emeriti项目正是为弥补这一不足而迈出的一步。
3 基本定义
为了解决前述问题,本节首先区分基本手势与手势序列,随后介绍我们将手势序列转化为组合形态的基本定义。
3.1 初始定义
我们将基本手势定义为由身体的任何部位——比如手指、手掌、头部或其他肢体——做出的最小动作单元,其目的是表达执行某项指令的意图。这样的单个“动作”从静止状态开始,又回到静止状态,从而构成一个完整的手势单元。基本手势通常是自发的,代表着简单、即时的意图(比如点头表示“是”,挥手表示“再见”)。它们一般可以被分为指示类手势(用于指向)、表征/象征类手势(用于描绘形状)以及节奏类手势。比如伸出的手指、耸肩的动作。关于这类手势,已有大量相关研究成果。
与之相对,我们将手势序列定义为以有序、刻意的方式依次执行的多个基本手势的集合,这类序列用于表达更复杂的含义,比如复杂的观念、叙事或流程化操作。它们可以涉及不同手势之间的转换,比如从“手掌向上”(张开)变为“手掌向下”(闭合)的姿势。例如,“手掌呈现”手势紧接着是“垂直手掌”手势,用以表示先有论点而后有限制,或是“滑动并轻触”的动作序列。3.2 新定义:指令与元素我们现在介绍一些基本定义,用于描述在一种或多种使用场景中针对一个或多个对象执行的一组动作[41],这些动作各有参数和数值,且顺序可任意排列:(为便于用户理解,今后“动作”“设备”“参数”“环境”和“宏”将用特定颜色标出。)•动作:要对一个或多个目标、对象或设备执行的操作,例如“打开”“设置”[76]。•设备:将执行动作的设备,比如电视、收音机[37]。•参数:任何目标(如设备)的变量及其控制值,例如“频道设为5”“音量设为3”“亮度10”[74]。•环境:执行动作的地点,比如厨房、客厅、卧室[37]。•宏:包含一个或多个先前创建的指令的单词或句子,例如“All”(包含所有已创建的指令),“macro_lights”(包含所有涉及灯光调整的指令)。基于这些定义,我们为指令创建了扩展巴克斯-诺尔形式(EBNF)[80]表达式:指令 := 动作 { 设备} [{ 参数}] [{环境}] | {宏}该定义以逻辑顺序表述,允许语句中各元素任意排列,因此从这种视角来看,“将电视频道切换到5”“切换电视至5频道”“电视频道切换5”以及“频道5电视切换”都是等价的。现在我们新增定义:(1)基本指令 = 动作 设备 [{ 参数}][{ 环境}]。基本指令是对设备在一个或多个环境中应用一个或多个参数的动作(见图2)。图2.基本指令的语法图。由于EBNF可视化工具无法展示语句所有排列组合的语法图,需记住任何排列都是可能的,从而形成其他语法图(见图3)。图3.基本指令部分排列组合的语法图。(2)普通指令 = 动作 {设备} [{ 参数}] [{ 环境}]。普通指令是对一个或多个设备在一个或多个环境中应用零个或多个参数的动作(见图4)。图4.普通指令的语法图。(3)宏指令 = 宏。宏指令是组合其他任何指令集的快捷方式,包括基本指令和普通指令。为了无需为每个指令都做手势就能同时执行多个指令,宏指令会将不同指令整合为一个,可附加到基础手势上。例如,宏指令“Macro living room”就包含了“打开客厅的灯”和“打开3频道的电视”这两条指令。(4)复合指令 = {普通指令} | {基本指令} | {宏指令}。复合指令由一个或多个普通指令、基本指令或宏指令组成(见图5)。虽然从技术上讲基本指令是普通指令的一种特例(单个设备 vs 多个设备),但仍然保留这一区分,原因有二:其一为简化单一设备情况的入门方式;其二为ANTLR解析器会将它们作为独立生成项编码,当仅存在一个设备标记时能减少前瞻开销。图5.复合指令的语法图。(5)元素 = 动作 | 设备 | 参数 | 环境。为让指令(以及后续关联的手势)的表达更加灵活,我们将元素定义为独特的动作、设备、参数或环境。这些元素的组合日后将用于创建各种手势组合,进而映射到各类指令上。(6)复合元素 = ([动作] | [{ 设备 }]) [{ 参数}] [{ 环境}]。复合元素是由元素组成的结构,可包含零个或一个动作、零个或多个设备,以及可选的参数及其数值和/或环境。唯一要求是复合元素不能仅仅是针对设备的动作,否则那就属于基本指令或普通指令了。3.3 将基础手势组合为复合手势现在我们通常会界定基础手势与复合手势的区别:(1)基础手势 = 基本指令 | 普通指令 | 宏指令 | 复合元素(2)复合手势 = {手势}因此,基础手势可与任何指令——无论是基本指令、普通指令、宏指令还是复合元素——相关联。这些手势可以组合起来形成手势组合,进而生成新指令。这样一来,最终用户就可以创建具有完整手势组合且可重复使用的指令集。此外,与简单手势相比,手势组合能提升记忆效果;当存在抽象的手势-命令对应关系时,复合手势比一组简单手势更优[39]。图6.指令的纳西-施耐德曼图。为直观展示指令的处理过程,图6展示了指令的纳西-施耐德曼图[119],这是一种用于结构化编程的图形化设计表示方法。复合指令包含基本指令、普通指令或宏指令。对于基本指令,我们会逐个检查直到该指令中没有更多元素。如果还存在元素,就会查看是否有动作或设备未被考虑,因为基本指令只接受一个动作和一个设备。若出现参数或环境元素,则予以接受。对包含多个设备的普通指令也采用相同处理方式。而命令宏则只接受宏指令。3.4 通过一致性与时序层次结构组合2D笔画手势在将基础手势组合为复合手势之前,需要研究哪些手势适合组合以及如何组合。Carroll [30] 对一种包含16条指令的语言的四种变体进行了比较分析,重点关注两个结构属性:一致性,即语义相关的指令对之间的对称性;以及层次结构,即遵循“动词-宾语-修饰语”的结构格式。例如,“前进/后退”和“右/左”这类指令对具有一致性,而“前进/返回”和“转向/左转”则没有。同时符合一致性和层次结构要求的指令,其主观评分最高,在解决问题任务中的表现最佳,错误率和遗漏率也最低。因此,Carroll [30] 推测,一致性和层次结构有助于提升记忆效果。将这一原则应用于基于手势的用户界面,尤其是2D笔画手势[99]时,就需要研究手势组合的过程——即如何系统地组合各个单独的手势。目前已提出多种组合策略,包括时空组合[39]、串联[89]和组装[117]。在需要大量指令的场景中,层次结构手势尤其适用于智能手机交互,因为研究表明它们相比非层次结构手势,能提升可学习性、表达能力,并带来更高的主观满意度[69]。例如,“增强型字母”[89]采用单笔书写指令首字母的方式(如“Turn”的首字母“T”),再通过直线尾部表示参数(如向右轻划表示“右”)。这种方法能够构建庞大的手势词汇表,在不降低效率的前提下提升指令的可发现性和记忆度[89]。类似地,Delamare等人[39]将这一原理扩展到3D空中手势,开发出了层次结构手势词汇表。他们的研究表明,层次结构手势能提升记忆效率,因为使用者会自然地对手势词汇表进行结构化处理以实现重复使用,从而相比单一手势提升记忆效果。Loch [69]也对触摸屏上的快捷指令采用了相同方法。图7.按一致性和层次结构对比2D笔画手势。图7展示了具有一致性和层次结构的手势与不具备这些特征的手势之间的差异[99]。对于既无一致性也无层次结构的手势,单个手势会对应任意单个指令(见图7第四列):“打开电视”和“关闭电视”的单个手势分别对应“顺时针画圆”和“画叉”。而对应相关指令的手势,比如对称指令,则是相互独立的。当手势具备层次结构时(见图7第三列),一个手势对应动作,另一个手势对应对象,但它们仍独立于指令本身。层次结构手势是指我们将每个动作都映射为一组手势的序列。例如,“圆”代表“打开”,“矩形”代表“电视”,“V”代表“开启”。不过这些序列仍然是独立的,因为它们不一定重复使用相同的内部映射关系。而对于具有一致性和层次结构的手势(见图7第一列),各个单独手势会始终对应任意指令元素。例如,“打开电视”会被分解为“打开”(顺时针画圆)、“电视”(顺时针画矩形)和“开启”(画对号)。这样,任何一个单独手势都可以在使用相同指令元素的其它指令中重复使用。4 Emeriti框架本节介绍了我们实现的Emeriti框架(用于将手势组合为指令的环境)(见图1),该框架旨在根据第3节中定义的语法概念,识别2D和3D环境中的基础手势及复合手势,进而实现手势组合。首先我们会概述该语法的解析方式,以便最终用户能够以任意顺序输入指令元素,从而生成任意指令,并支持这两种处理范式。4.1 解析器生成器为正确处理我们的EBNF语法,我们需要像Xtext和ANTLR这样的解析器生成工具[22]。遗憾的是,Xtext不允许任何排列组合,因为它不接受以相同元素开头但结尾不同的两种排列。例如,Xtext在解析“动作 设备 环境 参数”和“动作 设备 参数 环境”时会报错。因此,我们选择使用ANTLR[83]来实现该语法,这是一种强大的解析器生成工具,可用于读取、处理、执行或翻译结构化文本或二进制文件。它被广泛用于构建语言、工具和框架。基于我们的语法,ANTLR会生成一个解析器,该解析器能够构建并遍历解析树,从而验证我们的语法在语法上是正确的,并能据此处理任何指令。我们为每种指令都制定了规则,这些指令可以是基本指令、普通指令、宏指令或复合指令。复合指令可以递归地包含基本指令、普通指令和宏指令。我们将基本指令定义为所有可能的排列组合,包括一个动作、一个设备、一个或多个可选参数,以及一个或多个可选环境。图8.各种指令的解析树:(a)带有一种排列组合的逻辑基本指令,(b)带有一种排列组合的普通指令,(c)带有宏的复合指令,(d)经过排列组合的复合指令,(e)包含一个基本指令和一个普通指令的复合指令。图8-a和图8-b分别展示了基本指令“在厨房里静音电视”及其排列组合“在厨房里电视静音”的正确解析树。普通指令与基本指令类似,只是可以涉及两个或多个设备(见图8-c):“在5分钟内关闭厨房里的灯和空调”及其排列组合“在厨房里空调灯在5分钟内关闭”(见图8-d)。宏指令由宏规则表示,当出现宏指令时即可得到其正确的解析树(见图8-d)。要处理最复杂的复合指令,我们需要确保通过处理两句话就能准确识别所有类型的指令:一句是从逻辑层面表述的,另一句则是其任意排列组合。例如,“在厨房里静音电视 || 在5分钟内关闭厨房里的灯和空调 || 宏”以及“在厨房里静音电视|| 宏||在5分钟内关闭厨房里的灯和空调”。由于基本指令、普通指令、宏指令和复合指令的语法都是正确的,因此我们的EBNF语法在语法上是正确的。在定义了动作、设备、参数这三个元素之后,我们又新增了环境和宏作为第四和第五个元素。当复合指令不是以动作开头时,解析过程可能会变得复杂。例如,复合指令“打开电视 关闭收音机”经过排列组合后变为“打开电视收音机 关闭”(见图8-e),这样就可能导致将“打开电视收音机”和“关闭”视为独立的指令。为避免此类混淆,我们规定在复合指令中使用基本或常见语句时,必须以动作开头。4.2 系统架构与数据流图9.Emeriti中软件组件的管道配置。Emeriti是一个用JavaScript(ECMAScript 2019)实现的框架[52],它与解析器生成器(第4.1节)以及通过quantumleapjs接口连接的姿态识别环境QuantumLeap[98]相集成。该接口通过结构化的管道配置这些软件组件(见图9),利用以下数据结构来调节Emeriti与QuantumLeap之间的交互:(1)标准化帧;(2)样本对象;(3)包含三个属性的JavaScript对象:姿态类型(即静态或动态、2D/3D)、姿态名称,以及若为静态姿态则还包括分析器输出的数据;(4)根据其WebSocket API的Data类型WebSocket消息,可包含静态和动态姿态的帧,这非常便于设计智能环境中的设备间交互[91];(5)Operation类型的WebSocket消息。这些模块可将姿态数据集转换为与Emeriti兼容的标准化格式的GestureSet对象,随后这些数据集被用于训练静态和动态识别器。动态识别器分析的是帧序列而非单个帧。每个识别器都会为每个被识别的姿态返回一个置信度得分,并实现三种方法:•addGesture(name, sample):将某个姿态添加到该识别器的训练集中;•removeGesture(name):从该识别器的训练集中删除某个姿态;•recognize(sample):根据作为参数给出的候选姿态确定其名称。QuantumLeap的JavaScript API提供了GestureHandler类,该类属于Node.js核心API中的EventEmitter类。GestureHandler对象会连接到正在运行的QuantumLeap框架实例,然后根据从QuantumLeap接收到的数据发出事件。在第2节中介绍的各类识别器中,我们选择为Emeriti配备$P+点云分类器[109],以实现2D多笔触姿态识别。对于此前已训练过的姿态,该分类器在12种姿态类别上的准确率可达98%,并且具有不变性优势。此外,$P+还配有$P+3,这是一种针对3D姿态识别的$P+扩展版本,能够处理3D点的轨迹问题[82]。如有需要,可通过2D或3D合成等方式对记录的姿态进行处理,以增加模板数量[62, 75]。姿态的记录遵循一定的结构化流程(见图10):(1)用户通过在Emeriti环境中点击“记录”按钮来启动姿态记录;(2)根据指令类型的不同,用户可以创建:•基本指令(单一姿态与指令的对应关系);•复合指令,由列表和宏指令构成;(3)Emeriti会向QuantumLeapJS发送请求,其中包含:•用户选择的姿态名称;•从姿态输入端收集的姿态数据点(例如2D绘图区域、3D姿态识别器获取的数据);(4)随后Emeriti会更新姿态数据库,通过解析第4.1节中定义的EBNF语法,确保每个指令都能与其对应的动作、设备及可选参数正确关联;(5)该请求会被转发到QuantumLeap,在那里会生成JSON格式的新姿态数据集,同时创建并存储姿态模板以供后续识别使用。图10.姿态记录过程的UML序列图。5 在智能家居中的应用5.1 智能家居模拟器原型为展示Emeriti在真实多设备环境中的适用性,我们基于地址与命令模型[117]开发了一个虚拟智能家居模拟器(见图11)。该模拟器提供了一个受控的评估环境,无需花费成本也不必处理多个物理物联网设备的部署问题。它支持多设备与多环境的控制,使我们能够在可扩展的环境中实例化并测试由语法定义的指令结构。该模拟器是在Emeriti基础上用JavaScript实现的。通过基于透明度的图像切换来呈现设备交互反馈,以此模拟状态变化。补充材料中附有该模拟器的短视频。表3.动作目标环境参数宏指令打开电视厨房音量上调数值宏指令关闭洗衣机客厅时间数值增加亮度办公室频道数值降低收音机主卧室节目编号暂停空调儿童卧室亮度上调数值播放电脑浴室静音风扇餐厅取消静音微波炉洗衣房下一项用于智能家居实例化的元素词汇表。图11.虚拟智能家居模拟器的截图。5.2 交互工作流程该模拟器包含两个阶段:(i)姿态创建,(ii)姿态执行。在创建阶段,用户绘制基本或复合姿态,为其命名,并将其与一个或多个指令组件(动作、设备、环境、参数及数值)关联起来。系统会记录这种对应关系并存储起来以备后续使用。在执行阶段,用户绘制姿态并提交进行识别,识别出的标签会被映射到对应的指令并在模拟器中执行。例如,用户在创建阶段可以定义一个动作姿态(如“打开”)和一个设备姿态(如“电视”)。在执行阶段,绘制这些姿态即可实现动作+对象和对象+动作的组合形式,从而支持与顺序无关的指令组合。5.3 系统集成与数据管理Emeriti与识别器后端(QuantumLeapJS/QuantumLeap)相连,用于:(1)提交姿态数据以进行识别;(2)获取识别出的姿态标签,进而触发相应的指令。用户可以通过两种操作管理自己的姿态集:删除单个姿态或清空整个数据集(重置)。为简洁起见,此处仅概述这些交互方式;关于删除/重置的详细序列图见补充材料。5.4 示例指令及其组合表3列出了我们在智能家居实例化中使用的词汇表。由于无法列出所有可能的组合,下面仅列举各指令层面的典型示例,并说明在语法允许的情况下,各元素的可排序方式较为灵活。更多组合及扩展示例详见补充材料。典型示例包括:•基本指令:将餐厅的灯光亮度设置为5;•常见指令:5分钟后关闭风扇和灯光;•宏指令:MacroLiving(预定义的多步骤流程);•复合指令:将儿童卧室的收音机音量调至1并关闭空调。在所有情况下,只要语法允许,用户都可以以不同顺序排列各个组件(如对象+动作或动作+对象),从而在不扩展基础词汇表的情况下实现顺序灵活的指令组合。5.5 扩展到其他领域:咖啡店应用场景表4列出了咖啡店实例化中使用的词汇表。同样,这里仅列举各指令层面的部分典型示例,并说明在语法允许的情况下,指令组件也可按灵活顺序排列。更多组合及扩展示例详见补充材料。表4.动作目标环境参数宏指令订单美式咖啡厨房勺子宏指令点咖啡订单添加黑咖啡员工休息室杯子宏指令支付移除浓缩咖啡餐厅方块增加拿铁室内座位区泵减少玛奇朵室外座位区大小支付摩卡桌带糖混合用于咖啡店场景的示例词汇表。为表明同一套语法也可应用于非智能家居场景,我们描述了一个咖啡店点单场景(见图12),在该场景中,动作、目标、参数及宏指令代表点单操作(如“点一杯2杯量的拿铁”),而非设备控制功能。此场景旨在体现系统的通用性:虽然词汇表和场景结构有所变化,但底层的设计机制保持不变。图12.展示该语法可移植到其他领域的咖啡店应用案例。6 评估研究我们将Emeriti与Ledo等人[61]的框架进行了对比评估(见图13),我们的评估采用了两种互补的方法:以使用体验为导向的研究(自由探索、通过产品反应卡片和讨论获得定性反馈、人口统计/使用经验调查以及总结讨论),以及以性能为导向的对照实验研究(固定任务,通过客观指标衡量可用性,包括有效性、效率以及主观体验)。我们开展了两项用户研究,参与群体相互独立。第一项是一项形成性试点研究(n=9),旨在收集关于Emeriti交互概念和界面的初步反馈。参与者可自由探索系统,并通过产品反应卡片和开放式评论提供反馈。这项研究属于探索性质,目的是找出与设计相关的可用性问题,如记忆难度、重复操作负担以及交互清晰度等,而非验证系统的有效性。图13.改编自Ledo等人[61]针对HCI工具包设计的评估框架。其中标出的部分为我们的评估研究所覆盖的内容:一项以使用体验为导向的形成性试点研究(自由探索、收集用户反馈以及基于讨论的反馈,包括产品反应卡片反馈),以及一项以性能为导向的对照实验研究(固定任务对比,结合客观性能指标和基于问卷的主观评分,如工作负荷、可用性及用户体验)。基于这些初步观察,我们又开展了一项对照实验研究,参与者为另一组独立群体(n=18)。参与者需完成十五项固定任务,以便我们将Emeriti的姿态组合方法与传统的顺序操作方法进行比较。按照ISO 9241-11标准,我们从有效性、效率以及满意度这三个可用性维度对系统进行了评估[53]。有效性指的是参与者完成指定任务目标的准确性和完整性,而效率则指实现这些目标所需的资源投入。我们还通过标准化的术后问卷及自定义评分方式,收集了关于感知工作负荷、可用性、用户体验以及多步骤交互质量等方面的主观反馈。6.1 形成性试点反馈(n=9)本小节介绍了为获取关于Emeriti交互概念和界面的初步反馈而开展的形成性试点研究。与6.2节中的控制任务评估不同,这项试点研究属于探索性质,旨在收集设计方面的反馈(如界面清晰度、可用性问题以及功能改进建议),而非验证系统的有效性。该试点研究共有9名参与者(5名女性,4名男性,平均年龄31.2岁,标准差4.59岁),他们是通过内部志愿者邮件列表招募的。这些人此前都没有过使用手势输入来执行复合指令的经验。所有人均表示经常使用台式电脑、智能手机和平板电脑,并熟悉常见的触摸手势(如轻触、滑动、双指缩放等)。在研究开始前,参与者签署了符合GDPR要求的同意书,该同意书已得到我们机构心理学伦理委员会的正式认可。由于没有提供任何报酬,这可能会带来自我选择偏差。研究人员首先向参与者介绍了用于复合指令的手势输入技术,并展示了相关视频(见补充材料),随后向他们展示了作为手势指令组合演示系统的Emeriti原型。演示结束后,参与者可自由探索该系统。由于研究目的是收集关于交互策略、使用困难以及潜在改进措施的探索性反馈,因此并未设定固定的任务。会议结束时,我们进行了简短的问答交流,并收集了包含人口统计信息、开放式评论/建议以及微软产品反应卡片问卷[17]的反馈。该问卷包含了118个带有复选框的描述性词语,参与者可根据自己的意愿选择任意数量的词语。图14显示了受访者最常选择的38个词语的出现频率,其中包括“直观”“富有创意”和“具有激励性”等词。这些反馈表明,参与者对这一交互概念总体持积极态度,但也指出了其中的不足之处和可用性问题。例如,“节省时间”和“耗费时间”这两个选项的选中频率较低,反映出人们对系统效率的看法存在分歧。此外,参与者还提到了“可预测性”和“矛盾性”等词语,说明他们对系统行为的理解程度存在差异。图14.参与者最常选择的卡片类型及其出现频率。在各种批评、建议和意见中,参与者反复提到几个核心问题:渐进式学习需求(如P1:“起初我不明白为什么每次都要为每个元素单独设计一个手势,而不能一次性设计一个涵盖所有元素的手势。但经过练习后,我明白了如何将它们组合起来实现目标”);姿态顺序的灵活性(如P8:“当我得知这些元素可以以任意顺序逐一添加时,起初有些困惑,但后来发现这种方式其实很灵活”);记忆难度问题(如P1:“虽然我知道可以通过组合手势来生成更多指令,但我仍然需要记住每个元素对应的手势”);以及在小尺寸屏幕上使用的可行性担忧(如P9:“在大的触摸屏上绘制多个符号没什么问题,但我不确定在智能手机上能否做到同样的效果,毕竟我使用智能手机的频率远高于平板电脑”)。由于这是一项探索性研究,且前期还进行了系统介绍和演示,因此参与者的反馈可能受到了研究框架和新鲜感的影响。因此,我们将这些结果视为设计优化方面的参考意见,而非确凿的验证证据。在试点研究中发现的若干问题(如记忆难度、重复操作以及交互清晰度问题)在后续的对照实验研究反馈中也有出现,这说明这些问题并非仅存在于探索性试点研究中,有助于我们更好地理解对照实验的结果。6.2 对照实验研究(n=18)在形成性试点反馈的基础上,我们开展了对照实验研究,以便在固定任务和标准化评估指标的条件下评估Emeriti的性能。与试点研究不同,这项研究将Emeriti的姿态组合方法与传统的手势顺序操作方法进行了对比,同时依据ISO 9241-11标准,从有效性、效率以及主观体验三个方面对系统进行了评估[53]。有效性通过任务成功率来衡量,该指标用于判断最终执行的指令是否与目标任务完全匹配;同时通过目标完成率来考量,当参与者在完成任务前停止时,该指标可用于反映部分完成的程度。效率则通过任务完成时间来体现。由于序列条件下每次手势执行后会有2秒的自动重置时间,因此我们通过从每次提交的手势时间中减去2秒,得到经过超时校正后的任务时间。所设计的序列基准与先前关于2D手势序列[86]以及3D智能家居交互[117]的研究相一致。在该基准模式下,参与者需在同一画布上依次绘制可重复使用的基本手势来发出指令。例如,要表达“将电视音量调至5”,参与者首先用电视手势选中设备,然后反复执行“音量增加1”的手势,直到达到目标值。完成整个序列后,参与者再按下提交按钮,以执行已缓冲的指令。在组合条件下,参与者仍可使用相同的基本指令结构,但可以在单个画布实例中以任意顺序组合手势及参数值。该条件利用了Emeriti系统对一致性、层次性和顺序无关性手势组合的支持。完成复合手势后,参与者按下执行按钮即可处理相应指令。
6.3 参与者
共有18名参与者完成了这项对照研究,其中每种条件各9人。所有参与者均为自愿参与,在实验员解释完研究流程及数据收集方式后签署了知情同意书。本研究不存在预期风险,所有记录的数据都会被匿名处理,参与者也可随时退出研究而不会受到任何处罚,且不提供任何补偿。参与者的性别分布为:控制组中有10名女性和8名男性;处理组中有6名女性和3名男性。有17名参与者提供了年龄信息,年龄范围在22至63岁之间(均值=31.9,标准差=10.4);另有1名参与者选择不透露年龄。图15展示了实验设置,左侧为参与者与Emeriti系统的互动界面,右上角为控制条件的界面,右下角为组合条件的界面。参与者的教育背景和职业经历各异,包括博士生3人、硕士生4人、本科生2人,还有1名研究人员、1名教学助理、1名行政人员、1名秘书、1名会计、1名厨师、1名软件工程师、1名飞机工程师以及1名教授。他们的母语也多种多样:阿拉伯语1人、荷兰语1人、法语9人、德语1人、印地语1人、罗马尼亚语1人,以及僧伽罗语4人。这些语言涵盖了多种典型的词序类型,包括SOV型(印地语和僧伽罗语,共5人)、SVO型(法语和罗马尼亚语,共10人)、VSO型(阿拉伯语,共1人),以及存在不同句式类型下混合表面词序的动词第二位语言(荷兰语和德语,共2人)。所有参与者都表示经常使用电脑,但此前都没有过针对智能家居环境的手势序列或组合输入操作经验。
6.4 研究设计
我们采用了两种条件的被试间设计。若采用被试内设计,则会出现难以控制的迁移效应:这两种条件需要不同的思维模型,且使用的手势词汇也有部分重叠(见图16),因此让同一参与者同时接触这两种条件,可能会导致序列基准模式受到组合策略的影响,进而增加记忆负担。本设计将参数编码(如亮度、音量、时间)作为唯一的操纵变量,从而分离出其作用。参与者被随机分配到不同组别,以此评估手势组合如何影响任务表现,尤其是参数编码的作用。
6.4.1 研究条件
•序列条件(控制组):参与者需要在单个画布实例上依次绘制离散的手势动作来发出指令。每次迭代包含一个基本手势,画布会在每次迭代之间自动重置(短暂暂停后),便于参与者逐步构建指令。以“打开厨房灯并将亮度设置为5”为例,参与者首先绘制对应动作的手势(如表示“打开”的勾号),等待2秒后,再绘制代表环境的手势(如表示“厨房”的房屋图标),再次等待计时结束,最后绘制代表设备的手势(如表示“灯”的灯泡图标)。参数值则是通过逐步重复的方式编码的:例如,要将亮度设置为5,就需要连续五次执行“亮度增加1”的手势,每次重复后画布都会重置。在依次组合完所有基本手势后,参与者提交指令,Emeriti系统便会识别并执行相应操作。在序列条件下,参与者可以按照语法允许的任意顺序绘制手势元素,且每次提交手势后画布都会重置。与某些序列基准研究[116]不同,我们并不要求序列必须以设备手势开头,这样两种条件下的顺序都具有灵活性,因此任何性能差异主要反映的是参数编码方式的不同(逐步重复 vs 直接组合),而非顺序限制。
•组合条件(处理组):参与者可以使用相同的基本手势,但可以将它们——包括参数值——在单次画布操作中组合成一个复合手势,最后一次性提交。无需重复执行逐步手势,参数值可直接作为复合指令的一部分进行设定。例如,“亮度设置为5”就可以通过将亮度参数与其目标值一起在单次提交中完成,从而避免重复操作。两种条件都采用相同的指令基础结构(动作+环境+设备),不同之处在于参数的表达方式:序列条件下是逐步重复设置,而组合条件下则是直接组合参数值。这种设计能够分离出参数组合的效果,同时确保两种条件下的其他交互要素具有可比性。
6.4.2 任务
本研究共设计了15项任务,各条件下的任务内容相同,这些任务被分为三类,每类5项(见表5)。在不同类别中,各项任务的最终目标在两种条件下通常都可以实现;不过对于那些涉及参数的任务来说,由于需要通过多次逐步提交才能达到目标值,因此在序列条件下的操作成本会显著上升。这三类任务构成了序列条件下参数编码难度的梯度:
•简单任务不需要任何参数手势(如“打开空调”)。这类任务作为基准,用于验证允许参数组合并不会降低简单指令的执行效率。
•中等参数值任务涉及较小的参数数值(如音量5、亮度5)。在序列条件下,用户可以通过有限次数的重复操作(≤5次)达到目标值。这类任务旨在检验,即便仍需逐步重复,直接参数组合是否能带来优势。
•高参数值或复杂参数任务涉及较大的参数值或多个参数值(如在一个指令中同时设置亮度8和时间5,或是温度22)。在序列条件下,这类任务需要较长的重复序列,不仅会增加时间和精力投入,还容易让参与者提前放弃。这类任务旨在测试,在更高参数要求下,直接参数组合是否能帮助更高效地完成任务。任务描述的语言也体现了这一区别:“将音量设置为5”强调了明确的参数设置步骤,而“亮度为5”则表明该参数是目标指令状态固有的组成部分。
表5. 任务类别及其在序列条件下的要求
类别 示例任务 序列条件所需参数重复次数
简单任务(5项) “打开卧室灯” 仅需基础指令,无需参数手势,重复次数为0
中等参数值任务(5项) “打开收音机并将音量设置为5” 先给出基础指令,然后重复执行“音量增加1”的操作,直至达到目标值,重复次数为3–5次
高参数值任务(5项) “5分钟内打开厨房灯,亮度设为8” 先给出基础指令,然后分别重复执行亮度增加8次和时间增加5次的操作,重复次数为5–30次
在组合条件下,参数化指令可以通过直接组合参数值的方式来表达,从而避免逐步重复。而在序列条件下,不同类别任务的参数编码难度逐渐增加。
6.5 手势集
为确保评估的公平性与准确性,我们选择了在两种条件下尽可能保持一致性的基本手势。只要可行,两种研究条件都会使用相同的手势。对于那些在序列条件下无法用与组合条件相同的直接参数值组合方式来表达的任务组件,我们设计了替代手势,以在保持语义一致性的同时,确保视觉复杂度相当(如笔画数量和节点结构相似)。表6总结了每种条件下可用的语势,图16则展示了这些手势的形态。
表6. 可用手势类型一览
类型 手势/指令元素 参见图示 是否在两种条件下都可用
动作 打开;关闭 (a) 是
设备 灯;电视;收音机;空调;电脑 (a) 是
环境 厨房;儿童房;父母房;客厅 (a) 是
序列条件(控制组)专用 控制组参数 通过逐步调整来实现参数变化的手势,包括亮度增加/减少1、音量增加/减少1、频道增减1、时间增减1分钟、节目增减1个 (b)
组合条件(处理组)专用 处理组参数 用于直接设置参数的手势,包括设置时间、音量、亮度、频道和节目 (c)
处理组专用 宏指令 用作参数值的数字手势,用于直接组合参数 (c)
表中的手势按可用性和语义功能进行了分类,图16展示了这些手势的示例。为便于理解,图16展示了序列条件下成对的方向性参数手势的典型示例,如亮度增减和频道增减。在这些情况下,所示手势表示一个方向的动作(如向上箭头表示增加),而相反的操作则使用相同的基础形态但方向相反(如下箭头表示减少)。
图16. 研究中使用的手势集。(a) 两种条件下都通用的手势,包括动作、设备和环境类手势。(b) 仅控制组使用的、用于逐步调整参数的手势,包括亮度增加手势;亮度减少手势形态相同,但箭头方向向下。其他手势的对应反向手势也遵循相同规律:音量增加用手势中的向上箭头表示,而频道上一手势则用向后箭头代替频道下一手势。(c) 仅处理组使用的参数设置手势(参数类)和用于直接组合参数的数字值手势(宏指令类)。
6.6 实验流程
实验流程分为三部分:(1) 两种条件共有的通用流程,以及(2)、(3) 两种条件各自特定的任务执行流程。
6.6.1 共同的用户操作流程
一名实验员在单独的房间内接待参与者,向他们说明研究目的、可能存在的风险以及数据收集方式,随后获取他们的知情同意书。之后,参与者需要填写一份经本机构心理学伦理委员会正式批准的问卷,用于收集人口统计学信息。实验员会陪同参与者前往实验室,由另一名实验员负责开展实验。安排好参与者座位后,实验员会讲解系统设置及特定条件下的操作方法,介绍可供使用的手势及其含义,并演示系统功能。在开始正式评估之前,参与者需要先完成一项练习任务。在两种条件下,参与者都可以随时查阅手势参考表。
6.6.2 控制组用户操作流程(序列模式)
在控制组中,参与者需要依次绘制所需的手势来完成每项任务。每次绘制完一个手势后,画布就会重置。在完成整个手势序列后,参与者需要按下识别按钮,以提交并执行相应的指令。
6.6.3 处理组用户操作流程(组合模式)
在处理组中,参与者需要在单个画布实例上将手势组合成一个整体(而非依次绘制并重置画布)。完成复合手势后,参与者同样需要按下识别按钮,以提交并执行指令。与控制组一样,指令也只有在提交之后才会被执行。
6.7 数据收集与分析
Emeriti系统会记录所有的任务交互信息,包括所绘制的手势、任务标识符、用户标识符、条件分配信息、时间戳以及重试次数。参与者在评估过程中可以随时停止操作。完成任务后,参与者还需要填写一系列后续问卷,用以评估任务的工作负荷、易用性以及用户体验,这些问卷包括NASA-TLX量表[46, 47](包含六个子维度:心理层面、身体层面、时间感知层面、表现层面、努力程度以及挫败感)、系统可用性量表[15](SUS,共10个问题,采用5点李克特量表评分[67],评分范围为1到5,最低和最高分分别为1和5),以及UEQ-S量表[92](包含8个语义差异题,采用5点评分制,评分前需进行数值居中处理,原始评分范围为1到5)。相比IBM CSUQ量表[63, 64],这套问卷更为最新。此外,我们还设计了四个基于1–10评分标准的定制李克特题项(最低分=1,最高分=10):参与者需要评价这些手势是否有助于他们高效完成简单任务(例如,开启灯光之类的单一操作),是否能够帮助他们高效执行复杂任务(例如,涉及多设备的指令或带有时间/数值参数的指令),该手势系统在扩展指令范围时是否不会让人感到负担过重,以及在对多步骤任务而言,这种手势操作方式是否显得自然直观。6.7.1 效果与效率指标。我们采用了两项效果指标和一项效率指标来评估任务表现。首先,任务成功率指的是最终执行的指令与目标指令完全匹配的任务比例。只有当参与者准确输入所有所需指令成分,既无遗漏、也无多余或偏差时,该任务才被视为成功。其次,目标完成率用于衡量部分完成的情况。由于参与者可以在完成任务前选择停止,这一指标用于统计已完成的指令成分所占的比例:目标完成率=∑tmin(Gu,texec,Gtreq)∑tGtreq,其中Gu,texec表示参与者u在任务t中正确执行的手势次数,Gtreq则为该任务所需的提交次数。这一比率的上限为1.0,因此即使超出目标值也不会提高得分。第三,任务完成时间用于衡量效率。对于每位参与者,我们取其15项评估任务中的任务完成时间中位数。由于控制组在每次提交手势后会自动重置2秒,我们在报告数据时会扣除控制组每次提交手势对应的2秒时间。而实验组则无需进行此类时间校正。6.7.2 统计分析。由于每位参与者需完成多项任务,因此所有任务表现指标都是在参与者层面进行分析的,而非按任务单独计算。针对每位参与者,我们统计了其在15项评估任务中的任务成功率、目标完成率以及经过时间校正后的任务完成时间中位数。鉴于样本量较小、效果指标存在上限限制、出现平局情况以及实验组存在上限效应,我们采用了双侧排列曼-惠特尼-威尔科克森检验来比较控制组与实验组的差异。我们报告了三项任务表现对比的曼-惠特尼U统计量、经过霍尔姆校正后的p值,以及作为非参数效应量的克利夫δ值。正数的克利夫δ值表示实验组的指标数值更高,负数则表示实验组指标更低。对于任务完成时间而言,数值越低代表表现越好。6.7.3 针对特定任务的主观评价问题。除了标准化问卷外,我们还设计了四个针对特定任务、基于1–10评分标准(最低分=1,最高分=10)的主观题项,用以了解不同任务复杂度下的使用效果与交互质量。参与者需要评价:(i) 这些手势是否有助于他们高效完成简单任务(例如,开启灯光之类的单一操作);(ii) 这些手势是否能够帮助他们高效执行复杂任务(例如,涉及多设备的指令或带有时间/数值参数的指令);(iii) 手势组合是否在扩展指令表达范围的同时不会让人感到负担过重;(iv) 在需要多步骤操作或参数设定的任务中,这种手势操作方式是否显得自然直观。图17展示了不同条件下,参与者层面的任务成功率、目标完成率以及经过时间校正后的任务完成时间情况。条形图显示的是平均值,误差条则表示标准误差。任务成功率与目标完成率的数值越高越好,而任务完成时间的数值越低越好。6.8 结果图17汇总了控制组与实验组在参与者层面上的任务表现结果。6.8.1 任务表现。图17展示了控制组与实验组在参与者层面上的任务成功率、目标完成率以及经过时间校正后的任务完成时间情况。所有报告的p值均为针对三项任务表现对比经过霍尔姆校正后的数值。在效果方面,实验组的任务成功率高于控制组。实验组的所有任务都得到了成功完成(平均值=1.000,标准误差=0.000),而控制组的任务完成率则较低(平均值=0.785,标准误差=0.054)。这一差异具有统计学显著性,U值为76.5,霍尔姆校正后的p值为0.001**,且效应量较大,克利夫δ值为0.889。目标完成率也呈现出类似的趋势。实验组的所有目标都得到了完全实现(平均值=1.000,标准误差=0.000),而控制组仅完成了部分所需指令成分(平均值=0.850,标准误差=0.041)。这一差异同样具有统计学显著性,U值为76.5,霍尔姆校正后的p值为0.001**,效应量也与前者相当,为0.889。在效率方面,经过时间校正后的实验组任务完成时间数值低于控制组(实验组平均值=23.84秒,标准误差=4.00;控制组平均值=27.80秒,标准误差=4.74)。不过,在经过霍尔姆校正后,这一差异不再具有统计学显著性,U值为31.0,霍尔姆校正后的p值为0.436,克利夫δ值为-0.235。因此,扩大的数据集为手势组合能够提升任务完成率与目标达成率提供了有力证据,而观察到的时间差异则更适合作为描述性信息看待。图18展示了通过任务成功率与目标完成率所测得的控制组与实验组的效果得分情况。左侧图表显示的是按所需参数数量排序后的任务级效果表现,右侧图表则展示了所需参数数量与效果之间的关联关系,并给出了拟合趋势线。总体来看,实验组的效果表现保持稳定,而控制组的效率则会随着所需参数数量的增加而下降。如表5所示,这15项任务的设计思路是逐步提升任务的表达需求。这样的设计使我们能够探究随着任务复杂度上升,控制组与实验组在任务效果方面的变化是否存在差异。为分析这一关系,我们分别绘制了两种条件下各任务对应的任务成功率与目标完成率曲线。图18直观展示了随着任务表达需求增加,效果表现的变化趋势。对于T15、T14、T13、T12、T11和T10这几项任务,由于其对应的是简单的基础指令,比如“关闭灯光”,且在控制组中无需重复输入参数,因此这类任务的表达需求较低。相应地,两组在这类任务上的效果表现也相当高。然而,随着表达需求的提升,控制组的任务成功率与目标完成率均出现了明显下降。这一趋势表明,当需要通过多次重复操作来实现更高程度的表达时,参与者完成任务的准确性与完整性都会下降。相比之下,实验组在整个任务序列中的效果表现始终保持稳定,即便面对表达需求更高的任务也能维持较高的效率。这一结果凸显了Emeriti系统的优势:它支持直接组合手势来生成更复杂的指令,无需像控制组那样通过反复输入逐步构建指令。6.8.2 主观评价指标。图19汇总了控制组与实验组在参与者层面上的主观评价结果,包括感知工作负荷(采用NASA-TLX量表,数值越低越好)、感知易用性(采用SUS量表,数值越高越好)以及整体用户体验(采用UEQ-S overall量表,数值越高越好)。所有报告的p值均为针对三项主观评价对比经过霍尔姆校正后的数值。图19展示了控制组与实验组在各项主观评价指标上的对比情况。从左到右,图表分别显示了基于NASA-TLX量表得出的工作负荷评分、基于SUS量表得出的易用性评分,以及基于UEQ-S量表得出的整体用户体验评分。NASA-TLX量表得分越低说明工作负荷越轻,表现越好;而SUS与UEQ-S量表得分越高则说明产品的易用性与用户体验越好。误差条则表示标准误差。在工作负荷方面,两组的评分差异并不显著。实验组的工作负荷略低于控制组(实验组平均值=4.148,标准误差=0.572;控制组平均值=4.407,标准误差=0.518),但在经过霍尔姆校正后,这一差异也不具备统计学显著性(U值为30.0,霍尔姆校正后的p值为0.371,克利夫δ值为-0.259,置信区间为[-0.753, 0.284])。在易用性方面,实验组的SUS量表得分高于控制组(实验组平均值=71.111,标准误差=6.470;控制组平均值=60.278,标准误差=5.059),但这一差异同样未达到统计学显著性水平(U值为60.0,霍尔姆校正后的p值为0.174,克利夫δ值为0.481,置信区间为[-0.062, 0.951])。在整体用户体验方面也观察到了类似的趋势。实验组参与者的UEQ-S整体评分高于控制组(实验组平均值=1.042,标准误差=0.212;控制组平均值=0.375,标准误差=0.159)。不过,在经过霍尔姆校正后,这一差异也不具备显著性(U值为63.5,霍尔姆校正后的p值为0.126,克利夫δ值为0.568,置信区间为[0.086, 0.914])。总体而言,在经过多重比较校正后,各主观评价指标在两组之间并未出现显著差异,但从趋势上看,无论是在易用性还是整体用户体验方面,实验组的表现均更优,且没有增加参与者的感知工作负荷。6.8.3 针对特定任务的主观评价。除了标准化问卷外,我们还设计了四个针对特定任务、基于1–10评分标准的主观题项(见6.7.3节),用以进一步了解参与者对手势操作方式的整体看法。总体而言,这些题项在两组之间并未显示出显著的差异;不过,从回答趋势来看,对于那些需要多步骤操作或包含参数设置的复杂任务,参与者更倾向于认为组合式手势操作方式更具优势。无论属于哪种分组,参与者都普遍认为现有手势集足以支持简单任务(例如,开启灯光之类的单一操作),这说明对于这类较为简单的指令,两种交互方式都被视为足够有效。而对于复杂任务(例如,涉及多设备的指令或带有时间/数值参数的指令),参与者往往更倾向于给实验组更高的评分,这意味着在需要多步骤操作或参数设定的场景下,组合式手势操作方式被认为效率更高。在“手势组合能否在扩展表达范围的同时避免让用户感到负担过重”这一问题上,也观察到了类似的趋势:参与者普遍认为手势组合能够在扩大表达能力的同时保持操作的可行性。最后,在“多步骤任务中的操作自然度与直观性”方面,参与者同样更倾向于认可组合式手势操作方式,这说明在需要多步骤完成的操作中,直接在单个操作界面中组合手势被认为是一种比逐个输入重置指令更为自然的交互方式。7 讨论与局限性7.1 关于研究问题的研究发现总结。技术演示与对照研究为表1中所提出的三个研究问题提供了相互印证的证据。RQ1——在不同比例增加基础手势库的情况下提升表达能力。研究结果为Emeriti系统能够在不要求相应增加基础手势种类的情况下提升手势输入的表达能力提供了有力支持。从技术层面来看,EBNF语法将各类指令定义为可重复使用的元素——包括动作、设备、参数、环境以及宏指令——而基于ANTLR的解析器则能够识别这些元素的多种有效组合方式。这样一来,只需少量基础手势元素,就可以通过重新组合形成更为丰富的指令集合,无需为每一条完整指令或每种参数化指令版本都单独设计一个手势。在对照研究中,这一优势在需要参数设置的任务中表现得最为明显。两组所使用的动作、设备与环境相关手势是完全相同的,区别仅在于参数的输入方式。在顺序输入模式下,参与者需要通过多次重复输入参数手势,直到达到目标数值为止。而在组合输入模式下,参与者可以通过专门的参数设置手势与数值输入手势,直接在单个复合手势中表达目标参数值。因此,这项研究实际上是在评估一种具体且具有实际应用价值的表达能力扩展方式——即直接参数值组合与顺序逐步输入之间的差异。图18显示,在那些不需要重复输入参数、表达需求较低的简单任务中,两种模式的效率表现相当。然而,随着任务对参数数量要求的增加,顺序输入模式下的效率开始下降,而组合输入模式下的效率则保持稳定。从个体参与者层面来看,组合输入模式下的任务成功率与目标完成率均为100%,而顺序输入模式下的表现则更低且波动更大。这两项指标的差异均具有统计学显著性,这表明手势组合不仅提升了参与者完成指令的概率,还提高了他们处理高参数量任务的完成程度。至于效率方面的证据,则需要更加谨慎地解读。虽然经过时间校正后,组合输入模式下的任务完成时间数值确实低于顺序输入模式,但在经过多重比较校正后,这一差异已不再具有统计学显著性。因此,相比任务完成时间方面的数据,命令空间分析以及效果与目标完成率方面的结果更能支持RQ1这一假设。一种合理的解释是,顺序输入模式中的一些参与者会在完成长时间重复输入序列之前就选择放弃,这不仅降低了他们的完成得分,同时也减少了本可以用于重复输入的时间。主观评价结果也与这一解释相符,不过这些结果仍属于初步数据,还需进一步验证。标准化的工作负荷、易用性及用户体验评价指标在两组之间并未表现出显著的差异。尽管如此,在组合模式下工作负荷略低,而且对于复杂且带有参数的任务,以及那些需要扩展可表达命令范围却又不会让人感到负担过重的任务,特定任务的评分更倾向于组合模式。综合这些证据可以看出,Emeriti在所评估的智能家居任务范围内回应了RQ1:手势组合能够在保持简洁的基本词汇量的同时,支持更具表现力的带参数命令,并维持较高的任务处理效率。不过,这一结果不能推广到所有可能的顺序式基准方法或长期词汇学习,这些仍是未来研究的内容。
RQ2——将变序组合转化为预期命令。该问题探讨的是变序手势组合是否能够被解读为预期的任务级命令。从技术层面来看,EBNF语法以及基于ANTLR的解析器通过接受命令组件的多种有效排列方式,如动作、设备、参数、环境及数值元素,来支持这一点。因此,用户在组合命令时无需遵循固定的顺序。从实验结果来看,组合模式为所评估的智能家居任务提供了端到端的证据,证明这种解读过程是有效的。参与者实现了完美的任务成功率与目标完成率,这表明他们的复合手势不仅在语法上被接受,而且还与预期命令相对应。相比之下,顺序模式下的完成率较低且差异较大,尤其是在处理带参数的任务时。这一对比表明,直接组合方式比逐步输入方式更能帮助参与者可靠地表达完整命令。
由于参与者来自不同语言和文化背景,我们观察到他们会根据自身语言习惯以不同的顺序执行手势。许多说僧伽罗语和印地语的参与者会按照环境、设备,然后再是动作的顺序执行手势,即便任务是以英语展示的。
RQ3——对主观工作负荷、可用性及用户体验的影响。经过Holm校正后,研究后的问卷调查(NASA-TLX、SUS、UEQ-S)并未显示出各条件间具有统计学意义的差异。不过,总体而言,组合模式在可用性和用户体验方面更优,且不会增加用户感知的工作负荷。鉴于样本量有限,这些主观趋势应被视为初步结果。另一个需要考虑的因素是任务完成是自愿的:参与者可以随时停止,无需完成所有任务。有一些参与者在控制组(顺序模式)中选择提前停止手势输入,这减少了他们面对连续参数输入所带来的重复负担,也可能削弱了不同条件下在感知工作负荷和可用性方面的差异。因此,在解读这些主观评分时,需考虑到各条件间的这种差异性。
开放式反馈为这些趋势提供了更多背景信息,尤其是关于参数设置的部分。在控制组(顺序模式)中,多名参与者明确提到了为达到目标值而反复执行相同手势的负担,并提出了嵌入或压缩参数数值的方案(例如使用乘数)。典型的反馈包括:“我需要重复很多次同一个手势”以及“我希望用符号来表示音量增加的倍数”。其他人也类似地指出,由于重复操作,设置较大数值会显得繁琐或不方便。相反,实验组(组合模式)的参与者则强调,直接组合参数值能使意图表达更加精确(例如:“能让所需执行的动作更加精准”)。
综合这些定性反馈可以看出,组合模式降低了顺序式方法在处理包含大量参数的命令时的一个主要障碍——即编码数值所需的重复劳动。这一结论与客观的任务性能测试结果一致,也有助于解释为何即使经过标准化处理后主观评价并未达到统计学显著性,人们仍认为组合模式更适合多步骤及带参数的任务。
7.2 手势组合的技术可行性
先前的研究表明,手势组合可以提高可用性和记忆度[39, 89, 117],但通常仅关注有限的组合形式(如动作+设备)。要将组合扩展到参数和环境层面,就需要可靠的消歧机制以及能够在灵活顺序下被解析的命令表示方式。我们的研究主要探讨的就是这一可行性:基本手势可以组合成复合手势,并映射为基本指令、常用指令、宏指令和组合指令,包括顺序可调换的组合形式。然而,技术上的可行性并不等同于大规模应用时的人为可行性;随着命令空间的扩大,还需要通过纵向研究来评估其可学习性、记忆度以及持续使用情况。
7.3 应用上的局限性
我们的评估是在模拟的智能家居环境中进行的。虽然这种方式便于对多步骤及带参数的任务进行控制测试,但却无法完全反映现实世界中的条件(如环境变化、设备差异、干扰因素以及长期使用情况)。此外,这种控制对比实际上是对两种完整的交互设计进行的比较。尽管两种模式都保持了顺序的灵活性,但在参数值输入及界面流程方面存在差异(顺序模式下每个手势都需要重新设置)。未来的研究应在真实环境中进行类似测试,探索顺序参数输入的其他基准方法,并将评估范围扩展到其他领域(包括咖啡店场景等3D应用场景)。
另外,目前的Emeriti原型并未实现完全在线的手势分割功能,即无法在用户绘制过程中自动检测手势边界,而只能在使用者明确提交笔触输入后才进行识别。因此,在顺序模式下,我们在连续手势提交之间设置了2秒的延迟,以确保多笔触手势的边界能够被准确区分,避免笔触在不同元素之间意外合并。这种由界面设定的等待时间可能会增加顺序模式下的交互成本,超出现成顺序系统所需的标准。在组合模式下,原型同样依赖显式的空间分隔:参与者需要在指定的方形区域内分别绘制每个手势元素,以便识别器能够独立分类每个区域。这种受限的绘制空间可能会影响输入的舒适度,同时也可能影响其在无约束自由手势组合场景下的通用性。总体而言,这些局限性反映出该原型依赖于手动的时间和空间分割,而非强大的自动分割功能。未来的研究应整合在线手势分割及无需固定区域的手势元素分离功能,从而在不引入额外延迟或固定绘制区域的情况下,同时支持顺序输入和组合输入。
7.4 识别器的局限性
目前Emeriti采用了基于模板的识别器来处理2D和3D手势输入。但这并非涵盖了所有类型的识别器,而且要在不同数据集之间对比各种识别器,在方法论和计算成本上都面临较大挑战。未来的研究可以整合并对比基于模式匹配和学习方法的各类识别器,以提高系统的鲁棒性,尤其是在面对用户自定义词汇表和少量示例的情况下。
7.5 数据集的局限性
在当前的原型设计中,手势类别是通过实验者提供的模板来初始化的,参与者并未提供自己的训练样本。这种方法虽然有利于保证研究的可重复性,但可能无法反映最终用户在实际使用中自然的手势表达方式。未来的研究应评估用户自定义的词汇表、个性化设置(如少量样本的模板捕捉)以及适应策略,以更好地应对手势表达中的多样性。
8 结论与未来工作
对于那些只愿意使用有限数量手势进行交互的用户来说,单纯增加词汇表中与单个命令对应的基本手势数量并非一种可行的方法。因为用户难以记住并运用大量基本手势,所以将较少的基本手势组合成复合手势,是一种实用的方法,它既能帮助处理简单任务,也能应对更复杂的任务,而无需相应地扩大手势词汇量。
为此,我们严格定义了一组新概念,即基本指令、常用指令、宏指令、组合指令、元素以及组合元素,以此来构建基本手势并将它们组合成复合手势。为了能够表达与这些指令相对应的动作,我们创建了EBNF语法,使得指令无论以何种顺序都能被正确解析。除了手势的数量、相关命令的数量以及对象的数量之外,我们的语法还引入了设备、环境、带数值的参数等概念,这是其他方法所不具备的。
我们利用基于ANTLR的解析器生成器验证了该语法,并将这些概念应用到Emeriti框架中,该框架可用于识别2D(交互界面上的单笔触和多笔触手势)和3D(空间中的点轨迹)的基本手势及复合手势。在我们的智能家居应用中,这一框架使得可以通过手势组合来发出带有参数的复合命令,从而在无需大幅增加需要记忆的手势原始形式的前提下,大幅扩展可执行的命令范围。
重要的是,用户研究提供了初步的实验证据,表明这种设计选择确实具有实际优势。在基于被试间的任务评估中,组合模式在参与者层面的任务完成效率(严格完成度)和积极性(覆盖度)方面均显著高于顺序模式,同时在经过超时修正后的任务完成时间上也更快。所有处于组合模式下的参与者都获得了完美的整体任务效率与积极性得分,而顺序模式的性能则较低且差异较大。这些结果表明,直接的参数值组合不仅提升了参与者完成任务的能力,还增强了他们坚持处理那些需要反复顺序输入的复杂任务的意愿。
主观测评指标(NASA-TLX、SUS、UEQ-S以及自定义问题)在该样本中并未显示出各条件间具有统计学意义的差异,不过总体趋势仍偏向组合模式,尤其是在复杂任务的实用用户体验和感知效率方面。因此,我们将这些主观结果视为具有积极意义但尚属初步的结论,同时也明确承认当前样本量在统计功效方面存在局限。
至于未来的工作,我们计划为Emeriti添加多模态功能,使其能够接收跨不同模态的相同复合命令:自然语言(通过语音转文字模块识别并转换为符合语法规范的命令)、图形用户界面(带有动态生成的参数控件),以及本文中所展示的手势交互。这种多模态一致性既能保持统一的命令表示方式,又能通过共享的基于语法的结构来提升任务的发现效率和纠错能力。
我们还计划在更大规模、更贴近真实环境的场景中进一步测试Emeriti,涵盖更广泛的任务类型,并收集更多关于其记忆性、可学习性及长期使用情况的纵向数据。与此同时,未来的研究还应继续提升识别器的鲁棒性,并加强数据集的支持能力,尤其要针对那些由用户动态生成、且每个用户对应的模板数量有限的手势词汇表。
开放科学。我们公开了一个Emeriti 1代码库,其中包含了为本文开发的软件、所有用JavaScript编写的识别器(已在Node.js v18 LTS环境下测试,要求Node.js版本≥18),以及相关数据集,旨在推动手势识别技术及其在主流交互应用中的融合研究,并确保研究的可重复性。由于我们的Emeriti是公开可用的,因此它可以被用于其他需要可重复性验证的场景。此外,它还可以作为衡量标准,用于比较不同词汇表及其组合形式的性能。
致谢
作者们感谢EICS ’26的审稿人及协调员对手稿早期版本提出的宝贵意见。Nuwan Attygalle和Jean Vanderdonckt得到了欧盟EIC Pathfinder-Awareness Inside挑战赛中的Symbiotik项目(2022年10月1日至2026年9月30日)的资助,项目编号为101071147。所有作者还感谢由MIT与比利时共同开展的MIT国际科学技术计划(MISTI)以及全球种子基金(GSF)项目资助的项目“跨文化视角下的亲社会虚拟现实系统”(Respire:2025年5月1日至2027年1月31日),项目编号为P093800。