在基于图像的移动输入方法评估中控制语义一致性及词汇密度
《Proceedings of the ACM on Human-Computer Interaction》:Controlling Semantic Consensus and Lexical Density in Image-Based Evaluations for Mobile Input Methods
【字体:
大
中
小
】
时间:2026年07月06日
来源:Proceedings of the ACM on Human-Computer Interaction
编辑推荐:
摘要
移动输入法在交互式应用中的文本输入功能通常在实验室环境中进行评估,其开发验证阶段以短语转录任务作为核心测试手段。这类任务虽具有较高的内部有效性,但由于对参与者输入内容的限制,其在实际应用场景中的生态效度和外部效度较低。有研究提出使用图像刺激的自由写作任务作为替代方案,但
摘要
移动输入法在交互式应用中的文本输入功能通常在实验室环境中进行评估,其开发验证阶段以短语转录任务作为核心测试手段。这类任务虽具有较高的内部有效性,但由于对参与者输入内容的限制,其在实际应用场景中的生态效度和外部效度较低。有研究提出使用图像刺激的自由写作任务作为替代方案,但这类方法缺乏标准化控制机制,难以确保输出文本的数量与质量,从而限制了评估的内部有效性。本文提出一种从大规模图像数据集中进行严谨计算采样的方法,旨在控制用户生成文本的词汇与语义相似性,以便在移动输入法评估中运用。此外,我们还利用扩散生成式AI模型从采样图像中生成不同风格变体,进而分析原始图像、抽象风格及干扰元素对用户输入的影响。通过一项针对100名众包参与者的在线图像描述研究及3000份输入样本的分析,我们发现通过刺激采样与风格重塑,可在实验室环境中有效控制参与者的输入密度与多样性,从而缓解图像任务评估中的内部有效性问题。本文还提供了选择图像刺激的实证指导,并公开了相关数据集、实验代码及参与者信息。
AI总结(实验版)
该总结由自动化工具生成,未经文章作者撰写或审核。它旨在辅助文献检索、帮助读者判断文章相关性,以及便于相关领域的读者理解研究内容。该总结是对作者提供的摘要的补充,而作者摘要仍是论文的核心概要。完整文章才是最具权威性的版本。点击此处了解更多信息。点击此处对该总结的准确性、清晰度及实用性发表意见,您的反馈将有助于后续优化。要查看此AI生成的通俗版总结,需拥有高级访问权限。
1 引言
虚拟键盘等移动输入法本身即是一种完整的交互系统,依赖触摸、手势或视线输入,并以视觉、听觉或触觉反馈形式提供输出。除了将用户输入转换为字母数字字符或其他符号(如表情符号)外,这类输入法还具备预测建议、自动纠错、基于大语言模型的文本转换等高级用户界面功能。与所有交互系统一样,移动输入法需要经过系统化的设计、开发与测试,既可独立存在,也可作为其他依赖它的交互系统的一部分。无论采用何种输入方式——无论是语音、手势还是传统键盘输入——新型输入法或辅助系统(如自动纠错算法、文本建议或替换算法)都需在实验室和真实场景中进行评估,不过由于实地研究存在成本和隐私问题,文献中以实验室评估为主。在实验室环境中,文本输入评估通常采用短语转录任务,要求参与者复制呈现给他们的短短语。有研究表明,这些任务可通过自由文本输入任务来补充(有时甚至完全替代),即写作任务或基于图像的任务。这类替代方法会向用户提供文本或图像提示,要求他们根据指示生成自由文本(例如“想象你正在给朋友发短信,内容是……”或“请描述你看到的这张图片内容”)。短语转录任务使用经过验证的、易于记忆且能代表语言特征的短语集。相比之下,关于写作任务中不同类型刺激适用性的验证研究很少,图像任务的相关研究则更为匮乏。因此,短语转录任务至今仍是实验室环境中的主流评估方法。尽管写作任务和图像任务因具有更高的生态效度和外部效度而更具吸引力,但短语转录任务之所以普遍使用,可能是因为其他类型的任务由于允许参与者自由输入文本,存在较大的内部有效性缺陷。写作任务和图像任务本质上会导致不同参与者产生差异较大的输入结果,无论是输入长度还是所用词汇都可能存在很大差别,这使得难以比较不同参与者提交的文本。即便面对相同的刺激,参与者也可能使用语义相似但词汇不同的词语来描述所见内容。虽然研究人员无法强制参与者使用相同的措辞来描述某个概念,但如果能预测参与者在面对特定图像刺激时,能否a)识别并聚焦于刺激中的相同概念,b)在输入时使用语义相似的词语,或许就能降低实验设计的风险。如果参与者提交的文本在语义(及语言)层面差异较小,那么实验就能得到更好控制,同时也能保留反思过程所带来的更高生态效度和外部效度。本文提出了一种以图像任务为核心的方法论,认为根据图像的内容和视觉特征,某些图像比其他图像更有利于实现统一化参与者输入的目标。此外,我们认为除照片之外的其他图像类型(如绘图、草图或经过处理的照片)也可能引发用户不同的输入行为。我们的工作旨在系统探索这种评估方法及其相关材料(图像刺激),以支持移动输入法开发过程中的验证环节,为相关研究与工程实践提供助力。简而言之,我们对广为人知的Flickr30k图像及描述数据集进行了语言学和视觉特征分析,提出了该数据集的系统性采样方法,随后利用基于Transformer的生成式AI模型从原始采样图像中生成不同风格的替代刺激。我们还开展了针对英语母语参与者的在线实验,让参与者为每种类型的刺激生成图像描述,并从语言特征(如输入长度、词汇多样性、语义相似性)角度对比分析结果。研究发现,风格变化会对生成文本产生显著影响,而通过选择合适的图像类型,可以预测文本的长度及其语义和词汇特征。我们提供了所生成的替代刺激及配套的短语集,作为新的、经过验证的材料,供研究人员在规划及开展未来的基于图像或短语转录的文本输入评估时参考(详见第7节)。
2 相关工作
我们梳理了三个相关领域的现有研究成果。本节首先概述人类视觉感知及影响视觉意象内部心理表征形成的认知因素,因为这些因素构成了参与者生成图像文本描述的基础。接着,我们介绍了大规模众包图像描述实验的结果,重点分析了用于表达这些心理表征的各种语言特征及其相关指标。最后,我们探讨了在移动输入法评估实验中使用图像刺激的最新进展。本节最后总结了相关研究结果及其对我们工作的启示。
2.1 人类的视觉感知
认知心理学实验表明,当人类观察视觉刺激时,会将信息编码为心理表征,这些表征会在接触刺激后短时间内形成于短期记忆中。究竟哪些信息会被编码,不仅取决于视觉刺激的内容,还取决于以往经验中已形成的长期记忆表征,以及我们与这些编码和其他经验之间的关联。因此,我们对所见内容的回忆实际上是一个重构过程,可能会存在遗漏(无法记住细节)或添加(回忆出本不应存在的内容),而非对经历的简单再现。这些因素很可能是导致人类图像描述在语言层面乃至语义层面存在差异的原因。不过,决定性因素显然是参与者对同一图像中突出元素的感知与注意力。人类对视觉场景的感知具有选择性,观察者会提取场景的高层含义,而不会同等深入地处理所有元素。视觉感知的一个关键组成部分是视觉注意力,它专注于场景中的部分物体和区域。为模拟自下而上的注意力机制,人们提出了视觉显著性计算模型,通过分析图像的底层特征来预测哪些部分可能吸引注意力。Wolfe和Horowitz对能够引导视觉搜索任务中注意力分配的视觉属性进行了全面综述,他们指出颜色、方向和大小等属性能够引导注意力,而更复杂的属性则无法以相同方式引导注意力。除了关于选择性注意力的普遍研究外,还有多项研究探讨了图像描述任务中的视觉注意力问题。Elazary和Itti利用LabelMe数据集,将人们选择在图像上标注的内容视为他们认为值得描述的有趣内容的体现。他们的研究结果表明,人类关注的内容,以及他们在描述中可能提及的内容,受底层视觉特征的影响。Berg等人研究了人类如何赋予图像中的视觉元素重要性,将生成标题时对这些元素的提及视为其重要性的一种体现。他们的研究显示,人们选择描述的内容不仅受元素的大小和位置等底层特征的影响,还受语义和上下文因素的影响,比如物体是否具有生命特征、所属类别,或是否出现在异常环境中。Friedman在1979年的研究中首次记录了异常物体所具有的注意力吸引效应,他发现将不符合语境的突出物体置于图像场景中(例如在厨房里放置企鹅),会强烈吸引人类的注意力。Berg等人进一步证明,这些因素可用于预测描述中会提及的内容,从而将图像属性与人类的描述行为联系起来。He等人则构建了一个同步记录眼动与图像描述的数据集,从而可以直接分析标题生成过程中的视觉注意力。他们的研究结果表明,被描述的物体很可能是观察者注视过的对象,同时他们还发现,在标题生成过程中与自由观看任务相比,观察者的注视模式存在差异。
2.2 众包图像描述与语言多样性
图像描述任务属于自由文本输入任务的一种,参与者需要根据视觉刺激生成文本。这类任务广泛应用于图像标注、字幕生成及无障碍领域,目前已形成了多个自然语言数据集,这些数据集为每张图像收集了多条描述。Rashtchian等人的早期研究提出了一个通过众包方式创建的字幕数据集,非专业参与者只需为给定的视觉刺激(图像)提供简单的文本描述。此后出现的Flickr30k和Flickr30k Entities等数据集进一步确立了图像描述作为一种人类文本输入任务的地位,它们要么为描绘人物和日常活动的照片收集多条字幕,要么提供丰富的标注信息,将名词短语与图像区域对应起来,但不限制描述的产生方式。[28]中的研究者采用了不同的数据集设计理念,创建了Microsoft COCO数据集,该数据集侧重于包含多个物体的复杂、以物体为中心的场景。众包技术还被应用于其他领域,例如Vedantam等人利用在线数据集中的图像创建了包含卡通风格图像的两个图像字幕数据集,Gurari等人则为盲人拍摄的实景图像收集了字幕。以往的研究表明,对于同一视觉刺激,不同人的描述之间存在显著差异。Rashtchian等人[42]指出,尽管给参与者提供了明确的指导,但收集到的描述仍存在很大差异。2014年,Young等人[64]提出了视觉表示的概念,用于衡量图像描述的相似性,尤其是为了解决词汇上不同的表达可能指向相同视觉实体这一问题(需要注意的是,这是在首个嵌入模型技术如Word2Vec[35]开始流行之前)。Gurari等人[17]收集的图像标题进一步凸显了在非受控环境中拍摄的图像标题在词汇上的多样性。他们发现,基于Flickr30k[64]和MSCOCO[28]等精心筛选的数据集训练的视觉语言模型,在为这些图像提供恰当描述方面表现不佳,这反映出精心设计的测试样本与“真实场景”中拍摄的图像之间存在巨大差距。虽然这一发现是从算法性能的角度提出的,但它也强调了测试样本特征对描述生成影响的广泛性。为了解决这种词汇多样性问题,人们提出了多种相关评估指标。其中,Vedantam等人提出了CIDEr[54],这是一种基于共识的标题评估指标,旨在衡量大多数人对图像的描述方式,而非依赖精确的词汇重叠,通过TF-IDF加权n-gram计算与多个参考标题的相似度,并给予有信息量的词汇更高分值。作为CIDEr的替代方案,Anderson等人[1]提出了SPICE,他们明确指出“n-gram重叠既不是两个标题传达相同含义的必要条件,也不是充分条件”。相反,SPICE指标通过将标题解析为场景图元组并计算F分数来在语义层面进行比较,从而在潜在语义内容一致时将词汇差异视为次要因素。随着如[35]所示的语言嵌入模型的发展,后来的研究者开始评估这些模型在衡量图像标题相似性方面的能力,与之前的CIDEr或SPICE等算法方法相比。具有重大影响力的BERTScore论文证明了嵌入模型在多种应用场景中评估文本相似性的高效性,包括机器翻译和图像标题生成[65]。在[47]中,Sharif等人使用多种嵌入模型,证明了与SPICE、CIDEr和Word Mover Distance[25]相比,嵌入模型计算余弦相似度作为图像描述指标在系统级上与人类判断结果更为吻合。
2.3 自由输入法IME评估方法
IME评估传统上是通过转录任务来进行的。在这些任务中,参与者需要尽可能快速准确地复制从精心挑选的短语集中选出的短语。转录任务能够提供较高的实验控制性,并便于不同研究之间的比较,因此成为文本输入研究中的主流评估方法[33]。标准化短语集中的短语经过挑选,长度适中、易于记忆且能代表目标语言,从而实现可控且可重复的评估[24, 32, 38, 59]。因此,诸如每分钟字数(WPM)、每字符按键数(KSPC)以及修正错误率和未修正错误率(CER、UER)等评估指标在文本输入研究中被广泛采用[2, 34, 51, 61],有助于研究人员将用户表现上的差异归因于所研究的输入法。尽管转录任务有其优势,但它们也因外部效度和生态效度有限而受到批评,因为这些任务不要求参与者生成文本或进行文本规划[58]。先前的研究还表明,当预选短语的语言与参与者的母语不同时,转录表现可能会受到影响[14]。为了解决这些局限,人们提出了组合任务作为转录任务的补充[58]。在组合任务中,参与者可以自由输入文本,这更贴近真实的文本输入行为,也能提升外部效度。Vertanen等人[57]结合转录任务和组合任务,观察更自然的打字行为,研究了不同输入片段大小对智能手表上虚拟键盘解码性能的影响,包括输入速度、错误率以及用户偏好的输入策略。Arnold等人[4]则采用了扩展型组合任务,让参与者在移动设备上撰写餐厅评价,而非简单转录预定义短语,以此研究多词短语建议如何影响建议的采纳程度和写作行为,以及这些建议与单词预测相比如何塑造最终的文本内容。然而,组合任务更高的真实性也带来了新的挑战。由于文本规划和生成过程中的认知因素也可能影响用户的表现,因此打字速度和准确度的差异不再能仅归因于所研究的输入法[32, 58]。后续研究还发现,参与者在组合任务中可能会调整自己的写作策略,比如选择更简单的词汇,进而影响其实际表现[16]。
组合任务的一种变体是使用图像刺激来引导参与者自由写作(即图像任务)。据我们所知,Dunlop等人[11]是最早提出这种变体的人。在他们的一项小规模实验中,他们发现图像任务能生成更长的文本,其中包含词汇表之外的词语,更能真实反映现实世界的文本输入情况。与组合任务中那些对语言有严格限制的情境化指令类似[4],图像任务也可能对参与者的词汇选择产生限制,因为描述中可能使用的词语在很大程度上取决于所呈现图像的内容。此后,只有少数文本输入研究采用了基于图像的组合任务。Nicol等人[36]在[11]的基础上,引入了基于图像的组合任务,用以获取老年人的文本输入性能数据。在Arnold等人[3]的研究中,使用图像刺激来引导用户在不同级别的预测文本辅助下输入标题,以此评估智能文本输入支持方法对打字行为的影响。Foley等人[13]则让参与者查看三幅剪贴画图像,然后让他们根据这些图像自行构思包含对应词汇的短语。最近,Li等人[27]也使用了基于图像的组合任务,研究在带有文本建议的打字任务中视觉注意力和检查行为的影响。所有这些研究都使用公共领域的图像集作为刺激源。不过,只有[3]和[27]采用了某种指标来以非随机方式选择图像刺激。Arnold等人[3]手动从Flickr30k集合[64]中挑选照片,根据照片中显著人物或动物的数量将其分为三类(一个、两个或多个)。Li等人[27]则采取了更为系统的方法,从COCO数据集[28]中挑选配对照片,这些照片的标题基于所有五份由众包工作者为每张图像输入的标题的拼接内容的单词TF-IDF相似度来看最为相似,然后从每对照片中随机选取一张。
2.4 相关工作概述与研究目标
总体而言,先前的研究表明,人类生成的图像描述并非随意为之,而是会受到图像特征的影响,这些特征能够引导注意力并影响参与者在描述中提及的内容。因此,不同的图像刺激集合可能会根据参与者选择关注和描述的元素,导致描述在词汇和语义上存在差异。这凸显了在需要控制输出内容的文本输入评估中,精心设计和选择图像刺激的重要性。不过,据我们所知,目前还没有研究探讨某些视觉刺激是否比其他刺激更适于引导人类参与者生成一致的描述,或是探究刺激属性如何影响文本输入行为。先前的研究还指出了文本输入评估中的一个明显权衡:一方面是成熟的转录任务所提供的实验控制性,另一方面则是自由文本输入任务,如组合任务和图像描述任务,所带来的外部效度和生态效度。转录任务得益于标准化的短语集和性能指标,而自由文本输入任务则更有利于激发自然的写作行为。不过,这样做也会带来输出文本的多样性增加,以及难以在不同参与者之间比较输出结果和性能的问题。图像描述已被用于数据集构建,近年来也被用于输入法评估,但其显著的词汇和语义多样性仍然是一个固有挑战。为了解决在比较标题时的词汇多样性问题,人们提出了相关评估指标,但这些指标并未考虑到在更早阶段就存在的差异,即感知和视觉注意力的不同会影响参与者选择哪些元素进行描述。综上所述,现有研究促使人们需要探索专门的方法来设计和选择用于文本输入评估任务的图像刺激,其目标是在保持自由文本输入任务自然输入行为的同时,更好地控制生成的文本的词汇和语义内容。在本文中,我们试图系统地评估各种图像刺激选项,包括来自知名数据集的原始图像,以及对这些图像进行抽象处理或添加干扰性风格变化后的版本。我们的目标是确定图像刺激类型对生成文本描述的影响,从而为那些希望利用非转录任务方法研究任何环境下的自然文本输入行为的学者提供决策依据和实验控制手段。
3 为文本输入评估构建多样化的图像刺激数据集
3.1 方法论概述
为实现我们的目标,我们首先选用了一个知名的数据集——Flickr30k[64],该数据集包含来自Flickr.com网站的31,783张照片,每张照片都有五位众包工作者提供的描述。Flickr30k数据集是在早期约8,000张图像的数据集[19]基础上扩展而来的,同样通过众包方式为每张图像获取5条描述。在这个过程中,独立的远程工作者被要求用简洁的描述(单句,不超过100个字符)来描述图像中所呈现的活动、人物、动物和物体。基于这些数据,我们进一步识别原始图像及其配套描述中的视觉和文本特征,试图通过合适的指标将这些图像分为描述一致性不同的类别,即那些能引发高、中、低多样性文本描述的刺激。
我们提出了一种方法,用于从每个类别中严格筛选出数量虽少但具有足够代表性的样本(每类10张图像)。之所以每个一致性类别的图像数量要少,有两个原因。首先,我们计划将这些图像用于一项涉及人类参与者的实验,目标是每张图像获得20条描述,这一数量远高于Flickr30K数据集中每张图像的5条描述(见第4节)。其次,由于我们希望研究每位参与者面对每张原始图像的不同风格变体时的反应,即让他们接触四种风格选项,因此呈现给参与者的图像刺激总数将会大幅增加。因此,为了平衡实验的有效性、基线原始版本与风格变体之间的可比性,以及考虑实验时长和参与者疲劳度,我们需要从每个类别中选取少量具有足够代表性的原始图像。为生成风格变体,我们采用了最先进的扩散生成模型[50]。本节将详细介绍我们用于编制最终150张图像集的方法,这些图像将按照原始图像描述的一致性和风格变体进行分类,以便生成新的描述并进行比较。本节的其余部分将详细介绍最终图像集的生成过程。该过程在图1中有示意图展示,具体细节将在后续小节中阐述,实现细节则载于论文附录。所有用于分析的数据和代码均作为本文的补充材料提供(详见第7节)。我们工作中使用的大语言模型和扩散模型的提示语均包含在代码中,欢迎读者查看以便更清晰地理解。图1. 数据集采样与风格变化生成流程概览。3.2 步骤1和步骤2:将数据分为一致性类别我们的首要目标是分析Flickr30k数据集中每张图片的五种描述之间的相似度。为此,我们使用了多种指标,这些指标基于每张图片的词形还原版本和未修改版本的描述,并结合其对应的文字说明(见表1)。除最后一个指标(嵌入向量)外,其他指标都能以统计方式体现语言多样性,但无法捕捉语义相似性,而语义相似性或许能解释对同一概念的不同表述。例如,当看到一张女孩拿着花的照片时,有的参与者可能会描述为“一个拿着花的年轻女孩”,而另一些人则可能写成“手里拿着花的孩子”或“拿着雏菊的小女孩”等等。显然,这些描述在语义上是一致的,但统计指标会显示它们存在很大差异。文献表明,期望参与者在基于图片的评估任务中用完全相同的词汇来描述所看到的内容是不现实的。相反,我们可以引导他们的注意力,让他们给出我们预期范围内的有限词汇选项(比如[女孩、孩子]、[拿着、手中]、[花、雏菊])。为了解决词汇差异带来的语义相似性问题,我们采用了最先进的语言嵌入模型(EmbeddingGemma [56]),将描述转换为768维空间中的嵌入向量。对这些指标的分析(见附录A.1)表明,某些指标之间存在较高相关性,且基于嵌入向量的指标似乎比其他指标更能反映整体差异性。通过语言指标分析,我们得出结论:嵌入向量相似性可能是描述图片及其描述的最合适指标(图1,步骤1)。此外,从之前的分析中可以看出,未经处理和经过词形还原的描述之间的相关性并无显著差异,因此我们决定仅使用嵌入向量相似性指标。我们将子集按照未处理描述嵌入向量相似度的第一四分位数区间(0-25%)、IQR中间区间(37.5-62.5%)以及第四四分位数区间(75-100%)划分为三类一致性类别:高、中、低,具体见表2(图1,步骤2)。表1. 指标名称描述TF-IDF相似度单张图片描述集中所有描述词向量对之间余弦相似度的平均值[41]。杰卡德相似度单张图片描述集中所有描述词向量对之间杰卡德相似系数的平均值[41]。熵值衡量特定描述集中的不可预测性或信息量[38]。KL散度以整个子集的全局语料库分布为基准,衡量某张图片描述集的相对熵值[38]。困惑度衡量描述集的概率分布预测样本的准确程度[38]。嵌入向量相似度单张图片描述集中所有描述嵌入向量对之间余弦相似度的平均值[43, 56]。Flickr30k图片描述的语言指标表2. 一致性类别低中高四分位数范围最小值00.250.3750.6250.75最大值1嵌入向量值0.3600.6290.6610.7140.7430.968样本数量795180027917根据平均描述嵌入向量值划分的一致性类别。3.3 步骤3至步骤5:基于视觉和语言指标进行数据采样由于每个一致性类别中的图片数量较多(见表2),我们又采用了两种技术,基于图片的视觉特征计算出另外四个指标,从而从每个类别中提取具有代表性的样本(表3及图1,步骤3)。首先,我们使用了YOLO物体检测模型[23](版本11x,本文撰写时的最新版本),来识别每张图片中所呈现的场景中的物体。未经额外微调的YOLO11x仅能识别大约80种物体,显然不足以涵盖Flickr30k数据集中的所有物体类型。不过,它仍能反映场景的复杂程度,因为场景越复杂,可识别的物体通常就越多。此外,我们还使用了基于Transformer的先进模型TranSalNet,该模型通过人类视觉注意力数据训练,用于评估图片的视觉显著性[29]。TranSalNet可以为任何图片输入生成显著性图,因此我们可以通过计算整张图片的显著性图平均强度来评估场景的视觉复杂度。我们还测量了YOLO检测到的物体边界框内的平均显著性图强度。最后,为了解决YOLO分类能力的局限性,我们使用了分水岭算法[6]将显著性图分割成以高显著性区域为中心的多个区域。该算法将显著性图视为地形图,高显著性区域形成局部峰值,围绕这些峰值就可以识别出图像的不同部分。它尤其擅长克服局部最大值的限制,因此既能识别高显著性区域,也能识别低显著性区域。通过这种方式,我们能够更准确地把握图片的重点,不是基于图片中实际存在的物体,而是那些能吸引人类注意、在语义上重要的物体和特征,这类元素很可能会被纳入图片描述中。图2展示了Flickr30k中一张示例图片的相关概念。虽然YOLO只能识别出三个不同的物体,但基于分水岭算法的分割却识别出了五个值得关注的区域。如表4所示,由于注意力集中在图片左侧的标志和右侧建筑上的文字,描述中会明确提到该标志(编号1),并推测这可能是一家加油站(编号3)。在5份描述中,无论是显著性区域还是YOLO的识别结果,都认为自行车是核心焦点,而汽车仅出现在一份描述中。同时也可以看到,同一物体在不同描述中的表达方式各不相同([人、某人、男人]和[自行车、单车])。表3. 指标名称描述YOLO检测到的物体数量基于YOLO11x默认分类规则检测到的物体数量[23]。YOLO显著性所有YOLO11x检测到的物体边界框内的平均显著性图强度[23, 29]。图片整体显著性整张图片的平均显著性图强度[29]。显著区域数使用分水岭算法在整个图片中检测到的显著区域数量[6]。Flickr30k图片的视觉指标图2. 一张原始Flickr30k图片、其显著性图、基于分水岭算法的显著性图分割结果以及YOLO11x物体检测结果。表4. 编号描述1穿着绿色衬衫和及膝牛仔裤的人正在路边骑自行车,即将超过一辆灰色汽车和一个德士古标志。2一个人在一片荒凉的城市街道上骑自行车。3街角阴影中的一家空置加油站。4一个穿着绿色衬衫的人在骑自行车。5一个骑自行车的人在街上行驶。图2所示原始Flickr30k图片的对应描述。据此,我们对每张图片计算了YOLO检测到的物体数量、检测到的显著区域数量、整张图片的平均显著性强度,以及YOLO检测到的物体边界框内的平均显著性强度。然后,我们利用这些视觉指标从每个一致性类别中提取少量具有代表性的样本。我们从每个类别中选取了那些视觉指标值在 ??类别指标平均值一个标准差范围内的图片子集(图1,步骤4)。这样,低一致性类别得到了90张图片,中等类别得到171张,高一致性类别得到89张。为了从这些子集中选出最终的10张图片,我们首先使用最先进的基于视觉的LLM模型(QWEN3-VL 8B Instruct 4位量化模型[63])为每张图片生成通用描述,并使用EmbeddingGemma模型[56]计算其嵌入向量。最后,在每个类别中,我们采用贪心最远点采样法结合多起点优化策略(随机初始化次数为1000次),选出10张图片,使得这些图片在768维嵌入空间中分布尽可能均匀[60](图1,步骤5)。步骤5的具体流程详见附录B。3.4 步骤6:生成图片变体一旦为每个一致性类别选出了10张图片的最终刺激集,我们就开始进行一系列图片变换,旨在研究在刺激呈现过程中增加抽象程度会对感知以及描述产生怎样的影响(图1,步骤6)。为此,我们使用了最先进的开源图像到图像扩散模型(FLUX.2-klein-9B,8位量化版本[26]),并指令该模型执行以下几种风格化修改(即图片变体):a) 为图片应用海报风格(V0);b) 为图片应用素描风格,去除不重要的细节,只突出显著物体或人物(V1);c) 为图片应用简化的黑白卡通风格,同样去除不重要细节,只突出显著物体或人物(V2)。此外,我们还设计了一种干扰项变换,即在原始图片中添加一些不寻常的物体(V3)。这种干扰项变换的灵感来源于视觉处理中的一个常见现象:人类的注意力会强烈集中在那些不常出现的物体,或是与图片场景不符的意外物体上(例如厨房里出现企鹅),而与场景相关的普通物体则不会受到太多关注(因此不太可能被编码到记忆中,也不会在描述中被提及)[5, 15]。我们推测,通过修改原始图片加入意外物体,可能会显著影响参与者的描述结果,使其更符合Friedman[15]的原始研究结论,即描述结果会更受控制。这些干扰图片也是使用同样的扩散模型(FLUX.2-klein-9B,8位量化版本[26])生成的,具体流程详见附录C。图3展示了这些变换后的示例图片。在本文的后续内容中,我们用符号V[0-3]表示上述各类图片变体,用符号V4表示原始未修改的图片。完整的图片集(包括原始图片和衍生图片)随本文一同提供(见第7节)。图3. 应用于原始Flickr30k图片的图片变换效果。从左到右依次为:原始图片、海报风格、素描风格、卡通风格、基于QWEN3的干扰项风格、基于Gemma-3的干扰项风格。4 图片任务在线研究由于我们的目标是验证我们的刺激选择流程是否能够控制参与IME评估任务时所生成的文本的质和量,所以我们开展了一项众包式图片描述任务研究,共招募了100名以英语为母语的参与者,这些参与者是通过Prolific平台筛选的。在这项研究中,我们并非要评估新的IME系统,而是想确认我们的刺激选择方法(以及风格化变体)能否用于支持IME开发生命周期中的验证阶段。因此,我们允许参与者使用自己手机上已安装的常用IME系统,而我们将分析重点放在他们生成的文本上。这项研究的设置是让每位参与者为全部原始图片及其各种风格化变体中的每张图片提供20条描述。每位参与者需要为30张图片编写描述,共分为3组,每组10张图片,每组对应一种风格化变体,其中包括原始图片。我们限制参与者查看同一张图片的不同风格化变体,原因有二:其一,防止参与者多次查看同一张图片的不同风格版本;其二,避免参与者疲劳,进而降低文本的质量和数量。由于参与者并未体验到所有可能的风格化变体类型,因此我们使用混合效应模型来分析研究结果。研究环境是一个移动端网页应用,用于展示刺激材料(见图4)。每张刺激材料会向参与者展示10秒时间,这段时间足够让参与者将视觉内容从概要记忆转移到概念性短期记忆中[10, 40],并形成结构化的视觉表征[9](图4a)。之后图片会被隐藏,同时向参与者说明描述的要求。我们选择隐藏刺激材料而非持续显示,是为了捕捉参与者内心形成的认知结构[8],同时避免因长时间暴露而导致文本内容被人为夸大(也就是出现一些非关键的次要细节)。参与者输入的文本长度在程序上被限制在6到50词之间。在我们的服务器上,一个具备视觉功能的小型大语言模型(Gemma-3-4b LLM,8位量化版本)会检查提交的描述与实际图片的匹配度,如果发现匹配度或相关性极低(比如输入无意义内容,或者描述与图片完全不符),就会要求参与者提供更合适的描述(见图4b)。参与者可使用常规智能手机键盘输入,我们并未限制他们使用高级输入功能(如自动更正、滑动输入、单词建议等),以避免增加额外的认知负担,从而不影响实验的核心内容——即输入时对视觉记忆模式的回忆——并防止混淆因素影响实验的内部有效性[58]。最后需要说明的是,在进行实际图片测试之前,参与者先进行了5张图片的引导性练习,以便了解实验流程。在本节的其余部分,我们将总结相关分析结果,以此为实验室实验中选择样本及使用图片刺激来验证即时语音输入方法的步骤提供指导。该研究的完整细节、实验流程以及结果分析可见附录D(在线研究描述)和附录E(在线研究数据分析)。图4. 在线应用实验界面。4.1 描述长度在完成包括去除标点符号和停用词在内的基本预处理后,我们首先从字符数和词数两个方面分析了描述长度。相关分析细节见附录E.2。总体而言,参与者为每张图片提供的文本描述相对较长(平均为80个字符或16个词),其中超过一半的内容为非停用词。以高一致性原始图片(V4)为基准,该图片对应的有效文本长度平均为49.39个字符(标准误差=2.14),以及7.89个词(标准误差=0.337)。混合效应模型显示,类别具有显著的主效应:与基准组相比,低一致性图片自然会引发更长的文本描述(多出19.11个字符,多出2.86个词;p<.001)。我们还发现,在高一致性图片中,当根据原始描述判断场景语义清晰时,轻微的抽象风格(Plakatstil V0、Pencil V1)对文本长度没有显著影响。然而,通过卡通风格(V2)或添加干扰元素(V3)来引入强烈的风格抽象,则会显著增加文本输入量(V2:多出15.83个字符/2.32个词;V3:多出9.03个字符/1.48个词;所有统计值均p<.001)。中一致性图片的表现与基准组大致相同,但卡通风格(V2)除外,该风格会显著缩短文本长度(β=-19.94个字符,p<.001)。最后,对于低一致性类别,所有风格转换(V0–V3)都会显著减少相对于原始照片的文本输入量(所有统计值均p<.001)。在那些参与者往往难以就描述内容达成一致、从而导致描述冗长的场景中,抽象风格(V0-V2)似乎起到了约束作用。这类风格滤镜能够去除导致原本描述分歧的背景细节或模糊之处,从而将场景简化为最核心的元素,促使参与者聚焦于更少但更突出的元素,进而生成更简短、更简洁的描述。即便不通过抽象化视觉细节,引入干扰元素也会产生类似的效果。4.2 描述相似性在分析描述相似性时,我们采用了之前用过的杰卡德相似度、TF-IDF相似度以及嵌入相似度指标,所分析的描述均为去除停用词后的结果。基于杰卡德和TF-IDF的指标反映的是参与者描述中的词汇一致性,而嵌入指标则体现语义一致性。相关分析细节见附录E.3。总体来看,基准条件(高一致性,原始照片V4)揭示了自由文本输入的一个基本特征:尽管语义一致性较高(MECSS-S=0.722,与Flickr30k中的原始描述相当),但词汇一致性却明显较低(杰卡德相似度=0.218;TF-IDF相似度=0.184)。这表明,即使参与者对所看到的内容(即图片所表达的概念)完全一致,他们仍然会选用不同的词汇来进行描述。与中一致性及低一致性原始图片(V4)相比,所有三类图片在三种指标上的相似度得分都显著更低,这一结果证实Flick30k数据集中存在的描述模糊问题在我们收集的数据中也存在。风格变化的影响较为复杂,且取决于图片的一致性类别。在高一致性类别中,抽象风格(V0–V2)会导致三种指标的数值出现小幅但具有统计学意义的下降。我们可以推测,由于去除了原始照片的高保真视觉线索,这类风格迫使参与者去解读抽象内容,从而在词汇选择和语义聚焦方面引入了不确定性。值得注意的是,在高一致性场景中,添加干扰元素并未对相似度产生具有统计学意义的显著影响。与抽象风格不同,添加独立物体并不会打破原有的共识。而在中一致性及低一致性场景中,这种关系则发生了反转:风格转换起到了统一作用,降低了图片本身的自然模糊性,尤其是在低一致性类别中,我们观察到了最为显著的效应。在低一致性类别中,所有风格转换(V0–V3)都在词汇对齐指标上产生了具有统计学意义的正向效应,提升了相似度,不过这种提升幅度较小(β约为0.04至0.06)。这表明,虽然抽象化有助于略微缩小词汇差异,但参与者仍然会使用多种不同的同义词。此外,在低一致性类别中,所有风格转换都能提升语义一致性,不过V3带来的提升效果更为明显,尤其是从三种指标的整体提升幅度来看。最后,对于中一致性类别,Plakatstil(V0)风格表现出了强大的语义统一作用,其带来的语义相似度提升幅度较大(β=0.102,p<.05)。4.3 语言代表性最后,我们分析了这些描述在英语语言方面的代表性,比较了它们与Mackenzie和Soukoreff [32]以及Vertanen & Kristensson [59]提出的短语集的差异,这类短语集通常用于转录任务。评估这一代表性的主要指标是基于字符级二元组的库尔贝克-莱布勒散度(KLD),参考语料库为Google Books nGrams Data(20120701版本)。我们采用了非参数自助法(B=500,样本量=50),来计算所有三个短语集(我们的数据集以及[32, 59]中的数据集)相对于参考语料库的95%置信区间。我们的数据集的散度值介于另外两个短语集之间,这表明这些描述在语言代表性方面表现良好,且在不同图片类别和版本之间的差异较小(见图5)。这一中等水平的评分说明,我们收集的描述保持了较高的词汇多样性和语法结构(在标准语言覆盖范围上优于Vertanen短语集),同时比严格正式的MacKenzie短语集呈现出更自然的多样性。这表明,这类图片任务能够在文本输入评估过程中为参与者提供适度且充分的挑战。该分析的更多细节可见附录E.4。图5. 基于Google Books语料库的二元组频率分布代表性对比,展示了针对不同一致性类别和图片版本的图片描述在库尔贝克-莱布勒散度(相对熵)指标下的表现。5 讨论鉴于当前移动端文本输入评估方法存在的局限性,尤其是转录任务方面的不足,我们试图深入研究用于替代性、研究较少 的基于图片的任务的图片刺激选择方法。我们的目标是探讨如何控制这类替代任务的内部有效性,希望找到证据表明,它不仅可以作为辅助手段,甚至可以成为评估新型输入方法和辅助工具的主要实验室评估方法。在这一过程中,我们创新性地运用了生成式人工智能领域的最新技术成果,展示了这些技术如何帮助未来的研究者改进方法论,并解答那些在十年前可能难以解决的难题。我们的工作取得了一些有价值的成果,接下来将予以概述,但同时也存在一些局限性,我们将在下一节中讨论这些局限以及研究结果所带来的未解问题。5.1 成果贡献5.1.1 对文本输入实验设计的启示我们的核心贡献在于为文本输入研究中的实验设计提供指导,即在某些情况下,与传统的转录任务相比,图片组合任务可能是一种更具现实意义的選擇。既然有Flickr30k这样的大型数据集可供挑选用于图片组合任务的图片刺激,我们需要解决的问题就是如何选出最合适的图片。我们在线开展的研究结果表明,刺激选择过程是有效的,因为在使用原始图片进行文本输入任务时,确实实现了预期的效果。关于风格化图片的反应则是一项额外的贡献,它展示了如何以原始图片集为基础来诱发其他类型的反应。研究结果会根据实验目标的不同而有所差异。如果实验的目标是获得尽可能一致的文本输入,那么我们的研究结果表明,通过采用我们设定的标准将图片分类为高一致性图片,即可得到最可控的输出结果,即最高的语义和词汇一致性,以及可预测的文本长度。筛选标准为依据Flickr30k数据集的均值成对嵌入相似度,并参照表2中的阈值进行筛选。这类图片能自然地带来最高的词汇和语义相似度(嵌入相似度约0.77),同时生成的文本也最为简短(约49个字符),从而使任务时间保持较短。在这些图片中添加视觉干扰元素,虽然仍能保持较高的词汇和语义相似度,但会增加提交的文本长度,从而使任务时间变长。如果实验希望获得更多样化的参与者输入,那么原始的低一致性图片(V4)尤其能有效激发参与者使用更多词汇,并增加每项任务的文本长度。否则,如果希望在保持任务简短的同时维持词汇和语义的多样性,我们建议对低一致性图片应用抽象风格。这些建议汇总在表5中。表5. 文本相似度 高低文本长度高高一致性 + 干扰元素低一致性 + 原始图片低高一致性 + 原始图片低一致性 + 抽象风格根据实验目标,基于Flickr30k数据集提出的图片选择和风格转换应用建议。5.1.2 其他贡献在本文中,我们提供了一种完整的处理流程,帮助研究人员从Flickr30k数据集中抽取图片刺激。该流程的优势在于所有步骤均为自动化处理,仅在第6步结束后需要进行少量人工检查,以评估生成变体的质量(详见附录C),所需工作量极小。这种方法可以应用于任何类似Flickr30k的其他数据集,包括针对特定应用领域的现有数据集,例如用于研究医生输入诊断信息的文本输入情况(参见[28, 30, 44, 48, 49, 52])。除了处理流程和代码之外,我们还在本文的附录中提供了实验中使用的全部现成图片刺激,供研究人员进一步使用,作为经过验证的刺激选择方案,同时这些图片所对应的描述也能为预测其呈现内容时的文本类型提供有力参考。我们的实验产生了大量由人类输入的文本样本。我们收集的这些短语可以作为传统转录任务中文本输入评估的参考语料(该短语集的获取方式见第7节)。由于基于二元组分布的语言覆盖范围介于Mackenzie集合中较为正式的短语和Vertanen集合中更偏向移动设备使用的短语之间,因此这些刺激材料能够提供更为全面的基准,覆盖更广泛的使用场景,尤其是那些来自Low-V1子集的短语,它们的字符数和词数都较短,有助于保持任务时间较短。这些短语既保留了正式英语的结构,又不会显得过于古旧,同时也体现了移动端文本的简洁性,不会出现碎片化的情况——也就是说,它们都是连贯的短语,而非像Vertanen集合中的一些短语那样是脱离上下文的单词序列(例如“Get with Mary for format”、“What is up with ENE?”)。这对于可穿戴设备(智能手机、智能手表、AR眼镜)来说至关重要,因为这类设备的交互时间较短,但通常需要用户给出结构化的回复。此外,与主要由标准英语构成、易于训练和预测的Mackenzie数据集,或是包含大量词汇表外单词且违背语法规则的Vertanen数据集相比,我们收集的短语可能为预测文本算法的压力测试提供更好的基准。不过,仍需对这些数据集(以及我们的数据集)中的句法和语法模式进行正式分析才能确认这一点。最后,我们的数据集或许有助于在不同认知负荷条件下评估文本输入表现。高/中/低一致性分类表明,参与者在查看并构建刺激物的记忆框架时面临不同的认知负荷。因此,这些刺激物能为未来研究者提供一种精细的工具,用于评估在不同语言熵水平下输入技术的性能下降情况,而这种因素往往会被单一的平均每分钟字数得分所掩盖。
5.2 局限性与未来工作
在本实验中,我们要求参与者使用移动设备,因此移动端打字的动作限制可能会放大抽象化带来的影响。我们不能排除这样的可能性:在实体键盘上,由于打字更为流畅,参与者可能会不管图像风格如何都输入冗长的描述。不过,鉴于其他图像风格下参与者输入的文本长度,我们认为观察到的效应主要源于抽象化,而非动作限制或实验时长带来的疲劳。不过,这些结果可能无法完全推广到基于桌面的文本输入实验。此外,我们的实验仅以英语进行。我们所测量的词汇一致性指标(Jaccard、TFIDF)在很大程度上取决于英语的同义词密度。我们知道,在形态学结构更复杂的语言(如芬兰语)或形容词结构不同的情况下,视觉抽象化对词汇选择的影响可能会有很大差异。我们对一致性的定义依赖于原始Flickr30k标注者的语义共识。虽然这一指标对该数据集而言较为有效,但它受限于英语描述和西方视觉规范。因此,我们所测量的模糊性既可能是视觉层面的,也可能是社会语言学层面的。
虽然我们手动检查了实验中使用的干扰图像(V3),确保预先选定的异常物体(如企鹅、烤面包机)不会占据过多空间或遮挡重要特征,但我们并未系统地控制这些干扰物的语义距离或像素占比。未来的研究应量化更大或语义冲击力更强的干扰物是否会产生更强的聚焦效果。
我们使用大型语言模型来检测输入内容是否存在胡言乱语或其他不连贯之处。尽管这是确保众包任务质量的重要因素,但这可能会人为影响参与者的输入行为及相应指标。虽然我们认为我们设定的最低字数要求(6个词)以及较低的人工智能一致性阈值(t ≤ 2/5)并非不现实或过于严格,但通过排除过短或敷衍的输入,我们实际上压缩了数据分布的尾部,因此平均长度很可能高于完全不受约束的众包任务。另一方面,人工智能的一致性评分均值非常高(xˉ=4.669,σ=0.670)。这可能意味着参与者被迫提交的是人工智能在图像中识别到的内容,而非他们实际看到的内容。为降低人工智能限制“强制”特定描述的风险,我们不断优化人工智能提示词的设计,直到对结果满意,并灵活调整接受阈值,仅过滤掉完全无关的内容(如胡言乱语或图像中不存在的显著元素)。虽然我们没有保留描述被拒的记录,但人工智能限制对参与者创造力的影响似乎很小。事后对Jaccard相似度的分析表明,这一机制并未人为使参与者的输入趋于同质化,因为在所有条件下词汇多样性都保持较高水平(≈ 0.2)。尤其是在最具抽象风格的V2组中,人工智能的一致性均值始终很高(V2-高组xˉ=4.790,σ=0.536;V2-中组xˉ=4.415,σ=0.834;V2-低组xˉ=4.685,σ=0.639)。因此,我们认为这一担忧已得到充分缓解。
最后,在本实验中,由于众包任务的特性,参与者使用的是自己的设备。这带来了屏幕尺寸和键盘规格的差异,但也保证了较高的生态效度,因为参与者使用的是他们最熟悉的硬件和肌肉记忆来完成任务。我们刻意未限制参与者使用自动更正、预测文本或滑动输入等高级输入法功能。虽然这会带来输入速度的一些差异,以及可能的词汇启动效应(通过预测建议实现),但它保持了研究的生态效度,确保了参与者在记忆图像、回忆细节并生成描述时承受的认知负荷处于合理水平。尽管并未明确禁用或限制这些高级功能,但众包任务通常在公共或半公共场合进行,加之文本数据的特性,表明大多数输入仍是手动完成的。未来的研究可以明确控制输入方式,以便单独分析语音转文字、文字建议或纠错功能对图像描述长度的影响。
在本文中,我们并未对文本输入指标(如每分钟字数、错误率等)进行分析。虽然我们收集了相关数据,但此类分析超出了本文的范围,本文的重点是研究文本输入过程的最终结果,而非过程本身。仔细分析文本输入指标或许能为我们了解实际场景下的打字行为提供有用信息,尤其是比较那些使用高级文本输入辅助功能的参与者与未使用的参与者。我们将这项工作留作未来的研究内容。
本文所使用的大型生成式人工智能模型是在部门级的GPU集群上运行的,该集群配备了NVIDIA A100 40Gb GPU。较小的模型则是在配备NVIDIA 3070 8Gb GPU的桌面工作站上运行的。在本研究中,我们仅使用参数量限制在140亿以内的开源模型。这样做是为了确保其他研究人员仅使用普通的工作站级GPU(如显存≥16Gb)也能实现最大程度的可重复性。当然,不同的生成模型可能会产生不同的结果,尤其是在生成图像变体方面。即便使用相同的模型,由于生成的随机性,这项工作也无法做到完全可重复(每次运行都会产生略有不同的结果)。因此,我们公开了每个步骤产生的所有数据,以便其他人能够利用我们的数据验证研究结果。未来的研究还可以进一步探讨其他开源或专用模型在生成更高保真度图像版本方面的性能。此外,未来研究还可以检验我们的发现在使用其他数据集时的适用性(如[28, 30, 44, 48, 49, 52])。
6 结论
随着移动端文本输入研究继续依赖生态效度高的方法来评估键盘性能和预测模型,采用可控、可重复的数据收集方法变得极为重要。超越传统的转录任务,避免现实环境中内部效度较低的混乱研究状况,像图像任务这类替代实验室方法能够在可控范围内呈现自然行为,同时不会削弱研究的内部效度。本研究表明,视觉刺激本身是一个关键变量,可以通过设计来影响参与者的行为。
通过对这一主题的深入分析,我们得出结论:对图像真实度的偏好是依赖于具体情境的。高清晰度的照片仅适用于简单、清晰的场景。在复杂环境中,过度写实会导致词汇量激增,而风格上的抽象化则是确保数据质量的必要约束。引入异常的焦点元素(视觉干扰物)是一种非常有效的手段,可用于为模糊的场景建立语义秩序,从而在原本杂乱的数据集中恢复一致性。研究人员应当将图像风格视为一种方法论工具。通过选择适当的一致性和抽象化组合,实验者可以设定用户输入的预期密度和多样性,从而根据所评估的键盘或语言模型的具体需求来定制任务。未来的研究应将这一框架扩展到非英语语言甚至专业语言领域(如医学影像),进一步验证视觉设计作为人机交互中认知控制机制的可行性。
7 数据与代码
作为本文的补充,我们公开发布了用于Flickr30k数据集分析、图像生成、实验应用界面以及实验数据分析的所有代码。所有代码均用Python编写,以Jupyter Notebook和Python脚本的形式提供。所有代码均在支持CUDA13的最新PyTorch版本(2.10)以及SentenceTransformers v5.2.2环境下运行。此外,实验中收集的所有数据也一并公开。
致谢
本研究得到了[匿名部门]计算机中心的支持,我们感谢该中心提供的GPU集群,它使得我们能够运行更大的大型语言模型。[其他致谢内容因审查需要已匿名处理]。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号