在基于图像的移动输入方法评估中控制语义一致性与词汇密度
《Proceedings of the ACM on Human-Computer Interaction》:Controlling Semantic Consensus and Lexical Density in Image-Based Evaluations for Mobile Input Methods
【字体:
大
中
小
】
时间:2026年07月18日
来源:Proceedings of the ACM on Human-Computer Interaction
编辑推荐:
摘要
移动输入法(IME)用于在交互式应用程序中输入文本,其评估通常在实验室环境中进行,以短语转录任务作为开发验证阶段的标准化流程。这类任务具有较高的内在有效性,但由于对参与者输入内容的限制,其生态效度和外在效度较低。有研究提出使用图像刺激的自由写作任务作为替代方案,但由于缺
摘要
移动输入法(IME)用于在交互式应用程序中输入文本,其评估通常在实验室环境中进行,以短语转录任务作为开发验证阶段的标准化流程。这类任务具有较高的内在有效性,但由于对参与者输入内容的限制,其生态效度和外在效度较低。有研究提出使用图像刺激的自由写作任务作为替代方案,但由于缺乏标准化控制手段来调节输出文本的数量与质量,因此也难以保证评估的内在有效性。本文提出了一种从大规模图像数据集中进行严格计算采样的方法,旨在控制IME评估过程中用户生成文本的词汇和语义相似性。此外,我们还利用扩散生成式AI模型从采样图像中系统地生成不同风格变体,从而分析原始图像、抽象风格及干扰元素对用户输入的影响。通过一项针对100名众包参与者的在线图像描述研究以及3000个输入样本的分析,我们发现,通过刺激采样和风格重置,可以在实验室环境中有效控制输入方法的评估过程,帮助研究人员系统地调节参与者的输入密度与多样性,从而解决图像任务评估中的内在有效性问题。本文还提供了选择图像刺激的基于证据的指导原则,并公开了相关数据集、实验应用代码及参与者信息。
AI生成的摘要(实验版)
该摘要由自动化工具生成,并非由文章作者撰写或审核。它旨在辅助文献检索、帮助读者判断文章相关性,以及便于相关领域的读者理解研究内容。该摘要是对作者提供的摘要的补充,而作者提供的摘要仍是文章的核心总结。完整文章才是最具权威性的版本。点击此处了解更多信息。点击此处对该摘要的准确性、清晰度及实用性发表意见,您的反馈将有助于后续改进和新的摘要生成。要查看此AI生成的通俗版摘要,需拥有高级访问权限。
1 引言
诸如虚拟键盘之类的移动输入法本身即是一种完整的交互系统,依赖直接触摸、手势或视线输入,并以视觉、听觉或触觉反馈形式提供输出。除了将用户输入转换为字母数字字符或其他符号(如表情符号)外,它们还提供预测建议、自动更正、基于大语言模型的文本转换等高级用户界面功能。与所有交互系统一样,移动输入法需要经过系统化的设计、开发与测试,既可独立存在,也可作为依赖它的交互系统的一部分。无论采用何种输入方式——无论是语音、手势还是传统键盘输入——新型输入方法或辅助系统(如自动更正算法、文本建议或替换算法)都需在实验室和真实环境中进行评估,不过由于实地研究存在成本和隐私问题,文献中以实验室评估为主。在实验室环境中,文本输入评估通常采用转录任务,要求参与者复制呈现给他们的短短语。有研究表明,这些任务可以辅以(或有时完全替代)自由文本输入任务,即写作任务或基于图像的任务。这类替代方法会向用户提供文本或图像提示,要求他们根据指示生成自由文本(例如“想象你正在给朋友发短信,内容是……”或“请描述你在这张图片中看到的内容”)。转录任务使用经过实证验证的短语集,这些短语易于记忆、能代表语言特征或被认为适合该任务。相比之下,关于写作任务中不同类型刺激的适用性,目前几乎没有验证研究,图像任务则更无相关研究。尽管如此,转录任务仍一直是实验室环境中的主流评估方法。虽然写作任务和图像任务因其更高的生态效度和外在效度而更具吸引力,但转录任务之所以普遍使用,可能是因为其他类型的任务由于允许参与者输入不受限制的文本,存在显著的内在有效性缺陷。写作任务和图像任务本质上会导致不同参与者在输入长度和所用词汇方面存在较大差异,这使得比较不同参与者输入的文本变得困难。即使面对相同的刺激,参与者也可能使用语义相似但词汇不同的词语来描述所见内容。虽然研究人员无法强制参与者用相同措辞描述某个概念,但如果能够预测在给定图像刺激下,参与者是否能够a) 注意到并聚焦于刺激中的相同概念,以及b) 在输入时使用语义相似而非完全相同的词语,那么就可以在一定程度上降低实验设计风险和结果不确定性。参与者提供的文本在语义(和语言)上的差异越小,实验就越容易控制,同时也能保留反思过程所带来的更高生态效度和外在效度。本文提出了一种以图像任务为核心的方法论,认为根据图像的内容和视觉特征,某些图像可能比其他图像更适于实现统一化参与者输入的目标。此外,我们认为除照片之外的其他图像类型(如绘图、素描或经过处理的照片)可能会引发用户不同的输入行为。我们的工作旨在系统探索一种评估方法(图像任务)及其相关材料(图像刺激),以支持移动输入法开发生命周期中的验证阶段,为相关研究和工程实践提供助力。简而言之,我们对知名的Flickr30k图像及描述数据集进行了语言学和视觉特征分析,提出了该数据集的系统采样方法,随后利用基于Transformer的生成式AI模型从原始采样图像中生成不同风格的替代图像刺激。我们开展了针对英语用户的在线实验,让100名参与者为每种类型的刺激生成图像描述,并从语言特征(如输入长度、词汇多样性、语义相似性)角度比较结果。研究结果表明,风格变化会对生成的文本产生显著影响,而且通过选择合适的图像类型,可以预测文本的长度及其语义和词汇特性。我们提供了所生成的刺激材料及配套的短语集,作为新的、经过验证的资料,供研究人员在规划及实施未来的基于图像或转录的文本输入评估时参考(详见第7节)。
2 相关工作
我们回顾了三个相关领域的现有研究成果。本节首先概述人类视觉感知及影响视觉意象内部心理表征形成的认知因素,因为这些因素构成了参与者生成图像文本描述的基础。接着,我们探讨了大规模众包图像描述实验的结果,重点分析了用于表达这些心理表征的各种语言特征的多样性及相关评估指标。最后,我们介绍了在移动输入法评估实验中使用图像刺激的最新进展。本节最后总结了这些研究结果及其对我们工作的启示。
2.1 人类的视觉感知
认知心理学实验表明,当人类观察视觉刺激时,会将信息编码为心理表征,这些表征会在接触刺激后很快形成于短期记忆中。究竟哪些信息会被编码,不仅取决于视觉刺激的内容,还取决于先前经验中已形成的长期记忆表征,以及我们与这些编码和其他经历之间的关联。因此,我们对所见内容的回忆实际上是一个重构过程,可能存在遗漏(无法记住细节)或添加(回忆出本不应存在的内容),而非对经历的简单再现。这些因素很可能是导致人类图像描述在语言层面乃至语义层面存在差异的原因。不过,决定性因素显然是参与者对同一图像中突出元素的感知与注意力。人类对视觉场景的感知是选择性的,观察者会提取场景的高层含义,而不会同等深入地处理所有元素。视觉感知的一个关键组成部分是视觉注意力,它专注于场景中的部分物体和区域。已有研究提出了视觉显著性计算模型,试图通过预测图像中哪些部分基于其低级特征可能吸引注意力,从而模拟自下而上的注意力分配机制。Wolfe和Horowitz对哪些视觉属性能够在视觉搜索任务中引导注意力分配进行了全面综述,他们指出颜色、方向和大小等属性能够引导注意力,而更复杂的属性则无法以相同方式引导注意力。除了关于选择性注意力的通用研究外,还有多项研究探讨了图像描述任务中的视觉注意力问题。Elazary和Itti利用LabelMe数据集,将人们选择在图像上标注的内容视为他们认为值得描述的有趣内容的体现。他们的研究结果表明,人类关注的内容,以及他们在描述中可能提及的内容,受低级视觉特征的影响。Berg等人研究了人类如何赋予图像中的视觉元素重要性,将描述中提及这些元素的情况视为其重要性的体现。他们的研究显示,人们选择描述的内容不仅受元素的大小和位置等低级特征的影响,还受语义和上下文因素的影响,比如物体是否具有生命特征、所属类别,或出现在异常环境中。Friedman在1979年的研究中首次记录了异常物体所具有的注意力吸引效应,他发现将不符合场景背景的突出物体放入图像中(例如在厨房里放一只企鹅),会强烈吸引人类的注意力。Berg等人进一步证明,这些因素可用于预测描述中会提及的内容,从而将图像属性与人类的描述行为联系起来。He等人则构建了一个同步记录眼动数据和图像描述的数据集,使得可以直接分析文本生成过程中的视觉注意力分布。他们的研究结果表明,被描述的物体很可能是观察者注视过的对象,同时他们还观察到,在文本生成任务与自由观看任务中,人们的注视模式存在差异。
2.2 众包图像描述与语言多样性
图像描述任务属于自由文本输入任务的一种,参与者需要根据视觉刺激生成文本。这类任务广泛应用于图像标注、字幕生成及无障碍技术领域,由此产生了多个自然语言数据集,这些数据集为每张图像收集了多种描述。Rashtchian等人早期的研究提出了一个通过众包方式创建的字幕数据集,非专业参与者为给定的视觉刺激(图像)提供简单的文本描述。之后的Flickr30k和Flickr30k Entities数据集进一步确立了图像描述作为一种人类文本输入任务的地位,它们为描绘人物和日常活动的照片收集了多条字幕,或者提供丰富的注释,将名词短语与图像区域对应起来,而不限制描述的产生方式。[28]中的研究者采用了不同的刺激设计理念,创建了Microsoft COCO数据集,该数据集包含包含多个物体的复杂、以物体为中心的场景。众包技术还被应用于其他领域,例如Vedantam等人利用在线数据集中的图像创建了两个包含卡通风格图像的字幕数据集,Gurari等人则为盲人拍摄的实拍图像收集了字幕。以往的研究表明,对于同一刺激,不同人的描述之间存在显著差异。Rashtchian等人[42]指出,尽管给参与者提供了明确的指导,但收集到的描述仍存在很大差异。2014年,Young等人[64]提出了视觉表示的概念,用以衡量图像描述的相似性,尤其是为了解决词汇上不同的表达可能指向相同视觉实体这一问题(这一研究是在首个嵌入模型技术如Word2Vec[35]开始流行之前进行的)。Gurari等人[17]收集的图像标题进一步凸显了在非受控环境中拍摄的图像标题在词汇上的多样性。他们发现,基于Flickr30k[64]和MSCOCO[28]等精心筛选的数据集训练的视觉语言模型,在为这些图像提供恰当描述方面表现不佳,这反映出精心设计的测试样本与“自然场景”中拍摄的图像之间存在显著差距。虽然这一发现是从算法性能的角度提出的,但它也强调了测试样本特征对描述生成过程的广泛影响。为了解决这种词汇多样性问题,人们提出了多种相关评估指标。其中,Vedantam等人提出了CIDEr[54],这是一种基于共识的标题评估指标,旨在衡量大多数人对图像的描述方式,而非依赖精确的词汇重叠度,通过TF-IDF加权n-gram计算与多个参考标题的相似性,并给予有信息量的词汇更高分值。作为CIDEr的替代方案,Anderson等人[1]提出了SPICE,他们明确指出“n-gram重叠既不是两个标题传达相同含义的必要条件,也不是充分条件”。相反,SPICE指标通过将标题解析为场景图元组并计算F分数来在语义层面进行比较,从而在底层语义内容一致时将词汇差异视为次要因素。随着如[35]所示的语言嵌入模型的发展,后续研究者开始评估这些模型在衡量图像标题相似性方面的能力,与之前的CIDEr或SPICE等算法方法相比。具有重大影响力的BERTScore论文证明了嵌入模型在多种应用场景中评估文本相似性的高效性,包括机器翻译和图像标题生成[65]。在[47]中,Sharif等人使用多种嵌入模型,证明了与SPICE、CIDEr和Word Mover Distance[25]相比,嵌入模型计算出的余弦相似度在系统层面与人类判断结果的一致性上具有惊人的效果。我们工作中使用的大语言模型和扩散模型的提示语均包含在代码中,欢迎读者查看以便更清晰地理解。图1. 数据集采样与风格变化生成流程概览。3.2 步骤1与步骤2:将数据分为一致性类别我们的首要目标是分析Flickr30k数据集中每张图片的五种描述之间的相似度。为此,我们基于每张图片附带的文字描述,对经过词形还原和未做处理的描述版本使用了多种指标进行评估(见表1)。除最后一个指标(嵌入向量)外,其他指标都能以统计方式捕捉语言多样性,但无法体现语义相似性,而语义相似性或许能解释为何人们对同一概念的描述会有所不同。例如,当看到一张女孩拿着花的照片时,有的参与者可能会描述为“一个拿着花的年轻女孩”,而另一些人则可能写成“手里拿着花的孩子”或“拿着雏菊的小女孩”等等。显然,这些描述在语义上是相同的,但统计指标却会显示它们存在很大差异。正如文献中所指出的,在基于图像的评估任务中,期望参与者使用完全相同的词汇来描述所见内容是不现实的。相反,我们可以引导他们的注意力,让他们只能使用一些我们预期中的有限词汇(比如[女孩、孩子]、[拿着、手握]、[花、雏菊])。为了解决词汇差异带来的语义相似性问题,我们采用了最先进的语言嵌入模型EmbeddingGemma[56],将描述转化为768维空间中的嵌入向量。对这些指标的分析(见附录A.1)表明,部分指标之间存在较高相关性,且基于嵌入向量的指标似乎比其他指标更能反映整体差异性。通过语言指标分析,我们认为嵌入向量相似度可能是描述图像及其描述的最合适指标(图1,步骤1)。此外,从之前的分析中可以看出,未经处理和经过词形还原的描述之间的相关性并无显著差异,因此我们决定仅使用嵌入向量相似度指标。我们根据未经处理描述嵌入向量相似度的最小四分位数区间(0-25%)、中间50%区间(37.5-62.5%)以及最大四分位数区间(75-100%),将数据集分为高、中、低三个一致性类别,具体见表2(图1,步骤2)。表1. 指标名称描述TF-IDF相似度单张图片描述集中所有配文单元向量对之间的余弦相似度平均值[41]。杰卡德相似度单张图片描述集中所有配文向量对之间的杰卡德相似度系数平均值[41]。熵值用于衡量特定描述集中的不可预测性或信息含量[38]。KL散度以子集的全局语料库分布为基准,衡量图片描述集的相对熵值[38]。困惑度用于衡量配文集的概率分布预测样本的能力[38]。嵌入向量相似度单张图片描述集中所有配文嵌入向量对之间的余弦相似度平均值[43, 56]。Flickr30k图片描述的语言指标表2. 低中高四分位数范围最小值0 0.25 0.375 0.625 0.75最大值1 嵌入向量值0.360 0.629 0.661 0.714 0.743 0.968样本数量795 1800 27917根据平均描述嵌入向量值划分的一致性类别。3.3 步骤3至步骤5:基于视觉与语言指标的数据采样由于每个一致性类别的图片数量较多(见表2),我们又采用了两种技术,基于图片的视觉特征计算出另外四个指标,从而从每个类别中提取具有代表性的样本(表3及图1,步骤3)。首先,我们使用了YOLO物体检测模型[23](版本11x,为本文撰写时的最新版本),来识别每张图片中所呈现场景中的物体。未经额外微调的YOLO11x仅能识别约80种物体,显然不足以涵盖Flickr30k数据集中的所有物体类型。不过,它仍能反映场景的复杂程度——场景越复杂,可识别的物体通常就越多。此外,我们还使用了基于Transformer架构的先进模型TranSalNet,该模型通过人类视觉注意力数据训练,可用于估算图片的视觉显著性[29]。TranSalNet能为任何输入图片生成显著性图,因此我们可以通过计算整个图片的显著性图平均强度来评估场景的视觉复杂度。我们还测量了YOLO检测到的物体边界框内的平均显著性图强度。最后,为克服YOLO分类能力的局限性,我们使用了Watershed算法[6]将显著性图分割成以高显著性区域为中心的若干区域。该算法将显著性图视为地形图,高亮度区域相当于局部峰值,围绕这些峰值就可以识别出图像的不同片段。该方法尤其擅长克服局部最大值的限制,因此既能识别高亮度区域,也能识别低亮度区域。通过这种方式,我们能够更准确地把握图片的重点——并非实际存在的物体,而是那些能吸引人类注意力、在语义上具有重要意义的物体或特征,这类元素很可能会被体现在图片描述中。图2展示了Flickr30k中一张示例图片的相关概念。虽然YOLO仅能检测到三个不同物体,但基于Watershed算法的分割却识别出了五个值得关注的区域。如表4所示,由于注意力集中在图片左侧的标识和右侧建筑上的文字,描述中会明确提到该标识(编号1),并推断这可能是一家加油站(编号3)。在5篇描述中,无论是显著性区域还是YOLO的检测结果,都认为自行车是核心关注点,而汽车仅在1篇描述中出现。同时也可以看出,同一物体在不同的描述中被赋予了不同的名称([人、某人、男人]和[自行车、单车])。表3. 指标名称描述YOLO检测到的物体数量基于YOLO11x默认分类标准检测到的物体数量[23]。YOLO显著性所有YOLO11x检测到的物体边界框内的平均显著性图强度[23, 29]。图片整体显著性整个图片的平均显著性图强度[29]。显著区域数量使用Watershed算法在整个图片中检测到的显著区域数量[6]。Flickr30k图片的视觉指标图2. Flickr30k中一张原始图片、其显著性图、基于Watershed算法的显著性图分割结果以及YOLO11x物体检测结果的示例。表4. 编号描述1穿着绿色衬衫和及膝牛仔裤的人正在路边骑自行车,即将超过一辆灰色汽车和一个德士古加油站标识2一个人在一片荒凉的城市街道上骑自行车。3位于街角阴影中的一家空置加油站。4一个穿着绿色衬衫的人在骑自行车。5一个男人骑着自行车在街上行驶。图2所示Flickr30k原始图片的对应描述。因此,我们对每张图片分别计算YOLO检测到的物体数量、检测到的显著区域数量、整个图片的平均显著性强度,以及YOLO检测到的物体边界框内的平均显著性强度。随后,我们利用这些视觉指标从每个一致性类别中提取少量具有代表性的样本。我们从每个类别中选取了那些视觉指标值在所在类别指标平均值一个标准差范围内的图片子集(图1,步骤4)。通过这一过程,低一致性类别得到了90张图片,中等类别得到171张,高一致性类别得到89张。为了从这些子集中最终选出每类10张图片,我们首先使用最先进的基于视觉的LLM模型QWEN3-VL 8B Instruct 4位量化版本[63]为每张图片生成通用描述,并使用EmbeddingGemma模型[56]计算其嵌入向量。最后,在每个类别中,我们采用带有多起点优化(随机初始化次数为1000次)的贪婪最远点采样方法GFPS,选出10张图片,使得这些图片在768维嵌入空间中尽可能分散[60](图1,步骤5)。步骤5的具体流程详见附录B。3.4 步骤6:生成图片变体在为每个一致性类别选出10张图片的最终样本集后,我们开始对图片进行一系列变换,以此研究在刺激呈现过程中增加抽象程度会对感知及描述产生何种影响(图1,步骤6)。为此,我们使用了最先进的开源图像到图像扩散模型FLUX.2-klein-9B,该模型经过8位量化处理[26],并指令其执行以下风格修改操作(即图片变体):a)为图片应用海报风格(V0);b)为图片应用素描风格,去除无关细节,仅突出显著物体或人物(V1);c)为图片应用简化的黑白卡通风格,同样去除无关细节,仅突出显著物体或人物(V2)。此外,我们还设计了一种干扰项变换,即在原始图片中添加不常见的物体(V3)。V3这种干扰项变换的灵感来源于视觉处理领域的一个已知现象:人类的注意力会强烈集中在那些不常出现的物体,或是与图片场景不符的意外物体上(比如厨房里出现的企鹅),而与场景相关的普通物体则不会受到太多关注(因此不太可能被编码进记忆中,也不会出现在描述中)[5, 15]。我们推测,通过修改原始图片加入意外物体,可能会显著影响参与者的描述结果,使其更符合Friedman[15]的原始研究结论,即描述结果会更趋统一。这些干扰图片也是使用同样的扩散模型FLUX.2-klein-9B,经过8位量化处理生成的,具体生成流程详见附录C。图3展示了这些变换后的示例图片。在本文的后续部分,我们用符号V[0-3]表示上述各类图片变体,用符号V4表示未经修改的原始图片。所有图片(包括原始图片和衍生图片)均随本文一同提供(见第7节)。图3. 应用于Flickr30k原始图片的各类图像变换。从左到右依次为:原始图片、海报风格、素描风格、卡通风格、基于QWEN3的干扰项风格、基于Gemma-3的干扰项风格。4 图像任务在线研究由于我们的目标是验证我们的刺激选择流程是否能够控制参与IME评估任务时所生成的文本的定性和定量特征,所以我们开展了一项基于众包的图片描述任务研究,共招募了100名以英语为母语的参与者,这些参与者是通过Prolific平台筛选的。在这项研究中,我们并非要评估新的IME系统,而是想确认我们的刺激选择方法(以及风格变化策略)能否用于支持IME开发生命周期中的验证阶段。因此,我们允许参与者使用自己手机上已安装的常用IME系统,而我们将分析重点放在他们生成的文本上。这项研究的设置是让每位参与者为所有原始图片及其各种风格变体中的每张图片提供20条描述。每位参与者需要为30张图片撰写描述,共分为3组,每组10张图片,每组对应一种风格变体,其中包括原始图片。我们限制参与者查看同一张图片的不同风格变体,原因有二:其一,避免参与者多次查看同一张图片的不同风格版本;其二,防止参与者疲劳,进而避免文本质量和数量下降。由于参与者并未体验到所有可能的风格变体,因此我们采用混合效应模型来分析研究结果。研究环境是一个移动端网页应用,用于展示测试图片(见图4)。每张图片会向参与者展示10秒时间,这段时间足够让参与者将视觉内容从大致记忆转化为概念性短期记忆[10, 40],并形成结构化的视觉表征[9](图4a)。之后图片会被隐藏,同时向参与者说明描述的要求。我们选择隐藏图片而非一直显示,是为了捕捉参与者内在形成的认知框架[8],同时避免因长时间曝光而导致文本内容过度丰富(即出现一些非关键的次要细节)。参与者输入的文本长度在程序上被限制在6到50词之间。在我们的服务器上,一个具备视觉功能的小型大型语言模型(Gemma-3-4b LLM,8位量化版本)会检查提交的描述与实际图像的匹配度,如果发现一致性或相关性极低(比如输入无意义的内容,或者描述与图像完全不匹配),则要求参与者提供更合适的描述(见图4b)。参与者可使用日常使用的智能手机键盘,我们也没有限制他们使用高级输入功能(如自动更正、滑动输入、词汇建议等),以避免增加额外的认知负担,从而不影响实验的核心内容——即输入时对视觉记忆模式的回忆——并防止混淆因素影响实验的内部有效性[58]。最后需要说明的是,在进行实际的图像测试之前,参与者会先进行5幅图像的引导性练习,以熟悉实验流程。在本节的其余部分,我们将总结相关分析结果,以此为实验室实验中选择样本及使用图像刺激来验证即时语音输入方法提供指导。关于这项研究的完整细节、实验流程以及结果分析,可参见附录D(在线研究描述)和附录E(在线研究数据分析)。图4. 在线应用实验界面。4.1 描述长度在经过包括标点符号和停用词删除在内的基本预处理后,我们首先从字符数和词数两个方面分析了描述长度。该分析的详细内容可见附录E.2。总体而言,参与者为每幅图像提供的文本描述相对较长(平均为80个字符或16个词),其中超过一半的内容为非停用词,即有实际意义的词汇。以高一致性原始图像(V4)为基准,该图像对应的有效文本长度平均为49.39个字符(标准误差为2.14),以及7.89个词(标准误差为0.337)。混合效应模型显示,类别具有显著的主效应:与基准相比,低一致性图像自然会引发更长的文本描述(多出19.11个字符,多出2.86个词;p值<0.001)。我们还发现,在高一致性图像中,当根据原始描述判断场景在语义上清晰时,轻微的抽象风格(Plakatstil V0、Pencil V1)对文本长度没有显著影响。然而,通过卡通风格(V2)或添加干扰元素(V3)来引入强烈的风格抽象,则会显著增加文本输入量(V2:多出15.83个字符/2.32个词;V3:多出9.03个字符/1.48个词;所有情况的p值均<0.001)。中一致性图像的情况与基准类似,但卡通风格(V2)除外,该风格会显著缩短文本长度(β值为?19.94个字符,p值<0.001)。最后,对于低一致性类别,所有风格转换(V0–V3)都会显著减少相比原始照片的文本输入量(所有情况的p值均<0.001)。在那些参与者往往难以就描述内容达成一致、从而导致描述冗长的场景中,抽象风格(V0-V2)似乎起到了约束作用。这类风格滤镜会去除导致最初描述分歧的背景细节或模糊之处,将场景简化为最核心的元素,从而引导参与者聚焦于更少但更突出的元素,进而生成更简短、更精炼的描述。即便不进行视觉细节的抽象处理,引入干扰元素也会产生类似的效果。4.2 描述相似性在分析描述相似性时,我们采用了之前使用过的杰卡德相似度、TF-IDF相似度以及嵌入相似度指标,所分析的描述同样是在去除停用词之后的内容。基于杰卡德和TF-IDF的指标反映的是参与者描述中的词汇一致性,而嵌入指标则体现语义一致性。该分析的详细内容可见附录E.3。总体而言,基准条件(高一致性,原始照片V4)揭示了自由文本输入的一个基本特征:尽管语义一致性较高(MECSS-S值为0.722,与Flickr30k数据集中的原始描述相当),但词汇一致性却明显较低(杰卡德相似度为0.218,TF-IDF相似度为0.184)。这表明,即使参与者对所看到的内容(即图像的核心概念)完全一致,他们也会自然地选择不同的词汇来描述它。无论是中一致性还是低一致性的原始图像(V4),其三种指标的相似度得分都显著低于基准值,这证实了Flick30k数据集中存在的描述模糊问题在我们收集的数据中也存在。风格变化的影响更为复杂,且取决于图像的一致性类别。在高一致性类别中,抽象风格(V0–V2)会导致三种指标的数值出现小幅但具有统计学意义的下降。我们可以推测,由于去除了原始照片中的高保真视觉线索,这些风格迫使参与者去解读抽象内容,从而在词汇选择和语义聚焦方面引入了不确定性。值得注意的是,在高一致性场景中,添加干扰元素并未对相似度产生具有统计学意义的显著影响。与抽象风格不同,添加独立物体并不会打破原有的共识。而在中一致性及低一致性场景中,这种关系则发生了逆转。风格转换起到了统一作用,降低了图像的固有模糊性,尤其是在低一致性类别中,我们观察到了最为显著的效应。在该类别中,所有风格转换(V0–V3)都在词汇一致性指标上产生了具有统计学意义的显著提升效果,提升了描述相似度。不过,这种词汇层面的改善幅度较小(β值约为0.04到0.06)。这表明,虽然抽象处理有助于略微缩小词汇差异,但参与者仍然会使用多种不同的同义词。此外,在低一致性类别中,所有风格转换(V0–V3)都能提升语义一致性,不过V3带来的提升效果更为明显,尤其是从三种指标的整体改善程度来看。最后,对于中一致性类别,Plakatstil(V0)风格显示出强大的语义统一作用,使得语义相似度大幅上升(β值为0.102,p值<0.05)。4.3 语言代表性最后,我们评估了这些描述在英语语言方面的代表性,比较了它们与Mackenzie和Soukoreff [32]以及Vertanen & Kristensson [59]所提出的短语集的相似程度,后者通常用于转录任务。评估的主要指标是基于字符级二元组的库尔贝克-莱布勒散度(KLD),参考语料库为Google Books nGrams Data(20120701版本)。我们采用了非参数自助法(B=500,样本量=50),来计算三个短语数据集(我们的数据集以及[32, 59]中的数据集)相对于参考语料库的95%置信区间。我们的数据集的散度值介于另外两个短语数据集之间,这表明我们的描述在语言代表性方面表现良好,且在不同图像类别和版本之间的差异很小(见图5)。这一中等分数意味着,我们收集的描述保持了较高的词汇多样性和语法结构(在标准语言覆盖范围方面优于Vertanen数据集),同时比严格正式的MacKenzie数据集呈现出更多自然化的表达方式。这表明,这些图像任务在为参与者提供文本输入评估时,能够带来适度且有效的挑战。该分析的更多细节可见附录E.4。图5. 基于Google Books语料库的二元组频率分布代表性对比,展示了标准转录任务短语集以及不同一致性类别和图像版本下的图像描述,评估指标为库尔贝克-莱布勒散度(相对熵)。5 讨论鉴于当前移动端文本输入评估方法存在的局限性,尤其是转录任务方面的问题,我们试图对用于替代性、研究较少的基于图像的任务的图像刺激选择方法进行深入研究。我们的目标是探讨如何控制这一替代任务的内部有效性,希望找到证据表明,它即便不能作为主要评估方法,也可以作为辅助手段,用于评估新的输入方法和辅助工具。在此过程中,我们创新性地运用了生成式人工智能领域的最新技术成果,展示了这些技术如何帮助未来的研究人员改进研究方法,解决十年前可能难以处理的难题。我们的工作取得了一些有价值的成果,下文将对其进行概述,但同时也存在一些局限性。我们将在下一节中讨论这些局限性,以及研究结果所带来的尚未解决的问题。5.1 成果贡献5.1.1 对文本输入实验设计的启示我们的核心贡献是为文本输入研究中的实验设计提供参考,即在与传统转录任务相比时,图像组合任务可能是一种更具生态效度的选择。既然有像Flickr30k这样规模庞大的数据集可供挑选用于图像组合任务的视觉刺激,我们试图解决的问题就是如何选出最合适的刺激。我们在线研究的结果表明,刺激选择过程是成功的,因为在文本输入任务中使用原始图像时,确实实现了预期的效果。而使用风格化图像时的表现则进一步证明了原始图像集可以作为基础,用来引发其他类型的反应。研究结果会根据实验目标的不同而有所差异。如果实验的目标是获得尽可能一致的文本输入,那么我们的研究表明,通过依据我们在表2中规定的阈值,利用Flickr30k数据集的均值成对嵌入相似度作为筛选标准,选择高一致性图像,就能得到最可控的输出结果,即最高的语义和词汇一致性,以及可预测的文本长度。这类照片能自然地带来最高的词汇和语义相似度(嵌入得分约为0.77),同时生成的文本也最为简短(约49个字符),从而使任务时间保持较短。在这些照片中添加视觉干扰元素,虽仍能保持较高的词汇和语义相似度,但也会增加提交的文本量,使任务时间变长。如果实验希望获得更多样化的参与者输入,那么原始的低一致性照片尤其能有效促进词汇量的增加以及每项任务对应的文本长度增长。否则,若要在保持任务时间较短的同时维持词汇和语义的多样性,我们建议对低一致性图像应用抽象风格。这些建议汇总在表5中。表5. 文本相似度 高低文本量高高一致性 + 干扰元素低一致性 + 原始图片低高一致性 + 原始图片低一致性 + 抽象风格根据实验目标,基于Flickr30k数据集提出的图像选择和风格转换应用建议。5.1.2 其他贡献在本文中,我们提供了一个完整的处理流程,帮助研究人员从Flickr30k数据集中筛选图像刺激。该流程的优势在于所有步骤均为自动化操作,仅在第6步结束时需要人工检查一次,以评估生成变体的质量(详见附录C),而且所需的工作量极小。该方法可应用于任何类似Flickr30k的其他数据集,包括针对特定应用领域的现有数据集,例如用于研究医生输入诊断内容时的文本输入情况(参见[28, 30, 44, 48, 49, 52])。除了处理流程和代码之外,我们还在本文的附录7中提供了实验中使用的全部现成图像刺激,供研究人员进一步使用,作为移动端文本输入研究中图像描述任务的经过验证的刺激来源,同时这些图像对应的描述也能为预测其呈现内容时的文本特征提供有力参考。我们的实验产生了大量由人类输入的文本样本。我们所收集的短语可作为传统转录任务中文本输入评估的参考语料(该短语集的获取方式见附录7)。由于这些短语的二元组分布所反映的语言覆盖范围介于Mackenzie数据集中较为正式的短语和Vertanen数据集中更偏向移动设备使用的短语之间,因此这些刺激材料能够提供比任意单一数据集都更广泛的适用场景的平衡基准,尤其是其中来自Low-V1子集的短语,因其字符数和词数都最为简短,有助于保持任务时间较短。这些短语体现了正式英语的结构,但并不陈旧,同时也保留了移动端文本的简洁性,不会出现片段化问题(即它们都是连贯的短语,而非像Vertanen数据集中的一些短语那样是脱离上下文的单词序列,例如“Get with Mary for format”、“What is up with ENE?”)。这对于可穿戴设备(智能手机、智能手表、AR眼镜)来说非常重要,因为这类设备的交互时间较短,但往往需要用户给出结构化的回复。此外,与主要由标准英语构成、易于训练和预测的Mackenzie数据集,或包含大量词汇表外单词且违反语法规则的Vertanen数据集相比,我们收集的短语可能为压力测试预测文本算法提供更好的基准,不过仍需对这些数据集(以及我们的数据集)中的句法和语法模式进行正式分析才能确认这一点。最后,我们的数据集可能在评估不同认知负荷条件下的文本输入表现方面发挥作用。高/中/低一致性分类表明,人类参与者在查看并形成对刺激物的记忆框架时面临不同的认知负荷。因此,这些刺激物能为未来的研究者提供一种精细的工具,用于评估在不同语言熵水平下输入技术的性能下降情况,而这往往是仅通过整体平均每分钟字数难以察觉的关键因素。
5.2 局限性与未来工作
在本实验中,我们要求参与者使用移动设备,因此移动端打字的动作限制可能会放大抽象化带来的影响。我们不能排除这样的可能性:在实体键盘上,由于打字更为流畅,参与者可能会忽略图像风格,直接输入较长的描述。不过,考虑到其他图像风格下参与者输入的文本长度,我们认为观察到的效应主要源于抽象化,而非动作限制或实验时长带来的疲劳。不过,这些结果可能无法完全推广到基于桌面的文本输入实验。此外,我们的实验仅以英语进行。我们所测量的词汇一致性指标(Jaccard、TFIDF)在很大程度上取决于英语的同义词密度。我们知道,在形态结构更为复杂的语言(如芬兰语)或形容词结构不同的情况下,视觉抽象化对词汇选择的影响可能会有很大差异。我们对一致性的定义依赖于原始Flickr30k数据集标注者所达成的语义共识。虽然这一指标在该数据集上表现良好,但它仍受限于英语描述及西方视觉规范。因此,我们所测量的模糊性既可能是视觉层面的问题,也可能是社会语言学层面的现象。
虽然我们手动检查了实验中使用的干扰图像(V3),确保预先选定的异常物体(如企鹅、烤面包机)不会占据过多空间或遮挡重要特征,但并未系统地控制这些干扰物的语义距离或像素占比。未来的研究应量化更大或语义上更令人震惊的干扰物是否能产生更强的聚焦效果。
我们使用了大型语言模型来检测输入内容是否存在胡言乱语或其他不合逻辑的情况。尽管这是确保众包任务质量的重要因素,但这可能会人为影响参与者的输入行为,进而影响相关指标。虽然我们认为我们设定的最低字数要求(6个词)以及较低的AI一致性阈值(t ≤ 2/5)并非不现实或过于严格,但通过拒绝过短或敷衍的输入,我们实际上压缩了数据分布的尾部,因此平均长度很可能高于完全不受约束的众包任务。另一方面,AI一致性评分的平均值非常高(xˉ=4.669,σ=0.670)。这可能意味着参与者被迫提交AI在图像中识别到的内容,而非他们实际看到的内容。为降低AI规则“强制”特定描述的风险,我们不断优化AI提示词的设计,直到对结果满意,并灵活调整接受阈值,仅过滤掉完全无关的内容(如胡言乱语或图像中不存在的显著元素)。虽然没有保留描述被拒的记录,但AI规则对参与者创造力的影响似乎很小。事后对Jaccard相似度的分析表明,这一机制并未人为使参与者输入内容趋于同质化,因为所有条件下的词汇多样性都保持较高水平(≈ 0.2)。尤其是在最具抽象风格的V2模式下,AI一致性评分依然保持较高水平(V2-High xˉ=4.790,σ=0.536;V2-Medium xˉ=4.415,σ=0.834;V2-Low xˉ=4.685,σ=0.639)。因此,我们认为这一担忧已得到充分缓解。
最后,在本实验中,由于众包任务的特性,参与者使用的是自己的设备。这带来了屏幕尺寸和键盘规格的差异,但也保证了较高的生态效度,因为参与者使用的是他们最熟悉的硬件和肌肉记忆来完成任务。我们刻意未限制参与者使用自动更正、预测文本或滑动打字等高级输入法功能。尽管这会在输入速度和潜在的词汇启动效应(通过预测建议实现)方面带来一定差异,但它保持了研究的生态效度,确保了参与者在记忆图像、回忆细节并生成描述时面临相同的认知负荷。虽然并未明确禁用或限制这些高级功能,但由于众包任务通常在公共或半公共场合进行,再加上文本数据的特性,大部分输入仍为手动完成。未来的研究可以明确控制输入方式,以便单独分析语音转文字、词汇建议或纠错功能对图像描述长度的影响。
在本文中,我们并未对文本输入指标(如每分钟字数、错误率等)进行分析。尽管我们收集了相关数据,但此类分析超出了本文的范围,本文的重点是研究文本输入过程的最终结果,而非过程本身。仔细分析文本输入指标或许能为我们提供有关实际打字行为的有用见解,尤其是比较那些使用高级文本输入辅助功能的参与者与未使用的参与者之间的差异。我们将这项工作留作未来的研究内容。
本文所使用的较大规模生成式AI模型是在部门拥有的NVIDIA A100 40Gb GPU集群上运行的,而较小规模的模型则是在配备NVIDIA 3070 8Gb GPU的桌面工作站上运行。在本研究中,我们仅使用参数量不超过140亿的开放权重模型,这样做的目的是确保其他仅使用普通工作站级GPU(如显存≥16Gb)的研究人员也能实现最大程度的重复实验。当然,不同的生成模型可能会产生不同的结果,尤其是在生成图像变体方面。即便使用相同的模型,由于生成过程的随机性,结果也无法完全复现(每次运行都会产生略有不同的结果)。因此,我们公开了每个步骤产生的所有数据,以便其他人能够利用我们的数据验证研究结果。未来的研究还可以更深入地探讨其他开源或专有模型在生成更高保真度图像版本方面的性能。此外,未来研究还可以验证我们的发现是否在采用其他数据集时依然成立(如[28, 30, 44, 48, 49, 52])。
6 结论
随着移动端文本输入研究持续依赖生态效度高的方法来评估键盘性能和预测模型,建立可控、可重复的数据收集方法变得极为重要。相较于传统的转录任务,以及那些内部效度较低的野外研究,像图像任务这类替代性实验室方法能够在可控范围内呈现自然行为,同时不会削弱研究的内部效度。本研究表明,视觉刺激本身是一个关键变量,可以通过精心设计来影响参与者的行为。
通过对这一主题的深入分析,我们得出结论:对图像保真度的偏好是情境依赖的。高保真度的照片仅适用于简单、无歧义的场景。在复杂环境中,逼真度会导致词汇数量激增,而风格上的抽象化则是确保数据质量的必要约束。引入异常的焦点元素(视觉干扰物)是一种非常有效的方法,可用于为模糊的场景建立语义秩序,从而在原本混乱的数据集中重新形成共识。研究人员应当将图像风格视为一种方法论工具。通过选择适当的一致性和抽象化组合,实验者可以调控用户输入的密度和多样性,根据所评估的键盘或语言模型的具体需求来定制任务。未来的研究应将这一框架扩展到非英语语言甚至专业语言领域(如医学影像),进一步验证视觉设计作为人机交互中认知控制机制的有效性。
7 数据与代码
作为本文的补充,我们公开发布了用于Flickr30k数据集分析、图像生成、实验应用界面以及实验数据分析的所有代码。所有代码均用Python编写,以Jupyter Notebooks和Python脚本的形式提供。所有代码均在支持CUDA13的最新PyTorch版本(2.10)以及SentenceTransformers v5.2.2环境下运行。此外,实验中收集的所有数据也一并公开。
致谢
本研究得到了[匿名部门]计算机中心的支持,我们感谢该中心提供的GPU集群,使得我们能够运行更大规模的LLM模型。[其他致谢内容因审核需要已匿名处理]。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号