缓解多语交流中非母语者的语言与互动焦虑

《Proceedings of the ACM on Human-Computer Interaction》:Alleviating Linguistic and Interactional Anxiety of Non-Native Speakers in Multilingual Communication

【字体: 大 中 小 】 时间:2026年09月24日 来源:Proceedings of the ACM on Human-Computer Interaction

编辑推荐:

   # 摘要 非母语者(NNSs)在多语交际中常常遇到口语表达困难。现有的研究在促进非母语者理解和参与实时交流方面展现了应用前景,但往往忽视了对其口语表达的主动支持,而语言不足引发的焦虑以及不确定的互动动态是其中的核心问题。为此,我们引入了一款用于实时口语支持的翻译工具。该工具

  

# 摘要

非母语者(NNSs)在多语交际中常常遇到口语表达困难。现有的研究在促进非母语者理解和参与实时交流方面展现了应用前景,但往往忽视了对其口语表达的主动支持,而语言不足引发的焦虑以及不确定的互动动态是其中的核心问题。为此,我们引入了一款用于实时口语支持的翻译工具。该工具还建立了一条与母语者(NSs)相互理解的通道,以缓解互动焦虑。通过一项包含25对非母语者与母语者(N=50)的组内实验,他们共同完成协作任务。研究发现,该工具提升了非母语者的口语自我效能感,降低了他们的互动焦虑和工作负荷,尤其对于语言水平低于平均水平的非母语者效果更为显著。此外,非母语者报告通过相互理解通道感受到了母语者伙伴的显著支持感,而母语者也清晰地感知到非母语者需要帮助,并表现出强烈的交际责任意识。本研究强调了AI辅助在实时非母语者交流中的潜力,以及促进相互理解的重要性,并提出了面向未来工作的可操作设计启示。

# 1 引言

在全球协作中,使用英语等通用语言进行团队沟通是普遍做法[39, 96],其中非母语者(NNSs)往往面临巨大挑战,尤其是在口语表达方面[2, 13, 108]。首先,口语表达中的语言不足[22, 40, 110]让他们害怕遭到合作者的负面评价[49, 56, 76],即产生语言焦虑。此外,实时交流对非母语者施加了额外压力。例如,对话中的沉默或交流中断[57, 68, 84, 113]会增加非母语者对对话状态的担忧,从而导致互动焦虑[37, 69, 105]。这些有害的情感状态会抑制非母语者的口语表现,并阻碍其在协作团队中做出有效贡献[42, 106]。

目前,直接聚焦于在实时交流中支持非母语者口语表达的研究仍显不足[95],导致缓解这两类焦虑的实证依据有限。现有研究主要通过理解支持或增加非母语者的参与度来提供帮助[70, 90]。例如,Pan等人[90]允许母语者(NSs)在转写文本中标注关键词,以减少非母语者跟从复杂对话时的认知负荷。Li等人[70]开发了一个代理,用于监测交流中的发言权交接,并在母语者主导讨论时进行干预,从而为非母语者创造更多发言机会。与此不同,Qin等人[95]近期提出了一种基于AI的口语助手,直接赋能非母语者用目标语言表达其观点,为实时口语支持提供了思路。然而,该工具未能降低非母语者在寻求口语帮助时的互动焦虑和工作负荷,导致沟通体验不佳。这凸显了在实时口语中支持非母语者的复杂性,表明我们不仅需要消除语言障碍,还需要减少互动焦虑和工作负荷。

为此,我们开发了一款由两个组件构成的工具。首先,它旨在通过口语助手解决非母语者的语言障碍,该助手提供翻译功能[86, 101],使非母语者在用第二语言(L2)表达想法遇到障碍时,可以用母语(L1)表达自己的观点。为兼顾灵活性和响应性,该功能支持语音和文字输入的组合[98]。此外,它旨在通过一条相互理解通道来降低非母语者的互动焦虑。先前的研究表明,示弱可以引发亲社会行为[115],且母语者的反馈对非母语者的沟通体验至关重要[6]。因此,该通道的设计旨在向母语者展示非母语者面临的口语困难。我们预期该通道将通过提供建设性反馈来增进母语者对非母语者处境的理解并共同分担交际责任[72, 99],从而降低非母语者的互动焦虑。我们考察了该设计如何影响非母语者的沟通体验,特别是口语助手和相互理解通道的影响,同时探索母语者对该干预的感知和回应。

我们进行了一项包含25对非母语者与母语者(N=50)的研究。每对参与者完成了两项不同的协作任务[47],并采用任务顺序反平衡以减轻潜在的顺序效应。研究发现,该系统显著提升了非母语者在实时交流中的口语自我效能感,降低了他们的互动焦虑和工作负荷。这一有益效应对于第二语言水平低于平均和处于平均水平的非母语者尤为显著,他们在沟通体验方面的改善更为明显。此外,母语者给予的积极和明确的反馈似乎缓解了人际不确定感所带来的焦虑,从而为非母语者提供了重要的安慰并促进其持续投入交流。从母语者的角度来看,普遍观察到他们愿意主动分担共同交际责任的意愿,并表达了对非母语者伙伴所面临挑战的共情。

总之,本研究为计算机支持的协同工作(CSCW)社区做出了两项主要贡献:
(1)我们引入了一款工具并实证验证了其在缓解非母语者所面临的语言焦虑和互动焦虑方面的有效性,从而展示了AI中介交流在实时协作场景中的实际潜力。
(2)我们提供了面向未来AI中介交流工具中口语支持的可操作设计启示,倡导鼓励母语者主动分担交际责任的工具设计,并提出新型辅助范式。

# 2 相关工作

## 2.1 非母语者的语言与互动挑战

### 2.1.1 语言焦虑

在多语交际中,非母语者往往面临重大挑战,包括理解能力不足[15]、参与度较低[70]以及口语产出能力欠佳,其中口语表达被认为是最具挑战性的方面[2, 13, 108]。词汇有限、语法困难以及难以将想法组织成连贯的口语表达[7, 85]等因素共同导致了较差的口语表现。伴随这些挑战的是非母语者对负面评价的恐惧[67],即语言焦虑。这些负面影响进一步压制了他们的语言表现,阻碍非母语者在团队协中发挥其应有的作用[50, 54, 83]。这些研究意味着有必要在实时对话中支持非母语者的口语表达。

### 2.1.2 互动焦虑

非母语者在实时对话中也受到互动焦虑的影响,这种焦虑源于对话中的不确定性[37, 69, 105],如沉默和交流中断[32, 41, 79, 84]。由于在高认知负荷下执行多任务(如规划即将说出的话或思考合适的措辞来应对对话)[62, 81, 92],非母语者常常经历交流中断或停顿[85]。由于人类大脑天然地寻求可预测性和控制感,信息的缺乏或不确定性会导致威胁感和警觉性增加,触发身体的应激反应[48]。Levinson[68]进一步详细指出,在这种情况下,听众倾向于做出强烈的推断:要么是交流通道出现了中断,要么是社会或人际方面出了问题。在缺乏明确解释的情况下,沉默的接受方可能会开始质疑互动本身,怀疑自己是否说了什么不当的话,对方是否不愿回应,或者对话是否已经完全破裂。

综合来看,与语言相关的焦虑源于他们对自己能力的信心不足和无法有效使用语言[43],而互动焦虑则源于不透明的对话动态[68]。

## 2.2 现有的支持非母语者的方法

### 2.2.1 对理解能力和非母语者参与度的支持

现有的在实时交流中支持非母语者的研究更多地关注通过提高理解能力和创造更多参与机会来实现对话平衡,而非直接提供支持以缓解口语中的语言焦虑和互动焦虑。

为增强非母语者的理解能力,先前的研究利用了机器翻译[20, 101]、自动转写[52, 91]和关键词高亮[44, 51, 90]。具体而言,Pan等人[91]发现,当提供实时转写时,非母语者的理解能力可以得到显著提升。Gao等人[44]将翻译与高亮相结合,指出当消息中的关键词被高亮显示时,人们认为消息对更清晰且更不令人分心。关键词高亮还改善了人们对合作伙伴的主观印象以及协作质量。

关于创造发言机会,Li等人[70]开发了一个自动化代理,用于监测对话动态,追踪参与者的发言时长和频率。当某位发言者(通常是母语者)主导讨论时,该代理会进行干预,为非母语者创造更多参与贡献的机会。类似地,Duan等人[35]引入了一个语速监测器,当母语者语速过快时发出提醒,使非母语者有更多时间处理信息并构思回应[114]。Pan等人[90]提出的另一种方法允许母语者在自动转写文本中突出关键内容,重新分配对话工作负荷,减轻非母语者的沟通压力。

### 2.2.2 对非母语者口语表达的支持

目前,提供实时口语支持的研究非常少。Qin等人[95]近期提出了一种基于AI的口语助手(AISA),允许非母语者在遇到困难时输入部分成型的想法,AI会生成上下文相关的建议以支持非母语者在正在进行的对话中进行口语表达。研究发现,AISA提升了非母语者对其表达的感知组织能力,但未能降低焦虑或感知工作负荷。事实上,一些参与者报告该工具增加了互动焦虑,特别是由于使用它时产生的尴尬停顿,反而使他们不愿继续使用该工具。Qin等人[95]将这一结果归因于系统仅狭隘地关注语言不足,忽视了额外产生的互动焦虑。[95]中的非母语者报告说,他们担心打断对话流畅性并让母语者伙伴长时间等待。

这些发现凸显了在口语表达方面支持非母语者的复杂性:语言焦虑和互动焦虑需要同时考虑,仅补偿口语能力的解决方案可能会适得其反。

## 2.3 研究目标

从先前的文献中,我们发现对非母语者的口语支持不仅需要减少语言产出方面的压力,还需要关注互动焦虑。

为应对语言焦虑,我们使用机器翻译。它已被广泛应用于多语交流支持[71, 86, 101],可减轻与第二语言使用相关的认知和社会负担[4, 12, 27, 100, 103]。为兼顾灵活性和响应性,该功能可与语音[98]或文字输入配合使用。激活时,系统会自动静音用户以防止干扰正在进行的对话。

关于互动焦虑,我们引入了一条旨在改善非母语者与母语者之间相互理解的通道[35, 95]。先前的研究强调,母语者往往缺乏对非母语者语言困难的认知[53, 72, 99]。Duan等人[35]强调,如果没有有效的理解通道,母语者往往会误解沟通困难的来源,高估非母语者的语言能力,并将参与度低归因于害羞等个性特征,而非焦虑或沟通挑战[35, 53]。这表明明确传达非母语者的体验(如语言困难)给母语者的重要性。同时,自我表露已被证明可以引发他人的亲社会行为,包括共情[107, 115]。因此我们提出,在实时对话中向母语者示明非母语者面临的口语困难及对辅助的依赖,可能促进母语者表现出更多的理解和支持行为。此外,向非母语者展示母语者的态度同样有价值[6, 85],因为这可以帮助非母语者解读社会线索,减少对对话状态的不确定性,从而缓解互动焦虑[25, 33, 69, 105]。

因此,我们采用亲社会设计研究中的一种常见方法,通过在界面上构建简单的提示来促进母语者的亲社会行为[77]。当非母语者激活口语助手时,母语者会收到一条固定通知——"请耐心等待,我正在使用翻译工具",旨在提高他们对非母语者在口语表达中所面临挑战的认识。同时,母语者的界面上会出现一个响应面板,允许母语者使用预设表情符号或自定义消息来回应,表达他们对工具使用的态度(参与是可选的)。

在本研究中,我们首先旨在探究我们的设计如何影响非母语者的口语体验。因此,本研究提出以下研究问题:

**RQ1:** 该工具如何影响非母语者的口语体验,包括他们的互动焦虑、口语自我效能感和工作负荷?

其中,互动焦虑指对对话中断的担忧以及对他人态度的不确定感[32, 37, 41, 69, 79, 105]。同时,语言焦虑通过口语自我效能感来评估,基于Bandura[8]的社会认知理论,该理论将自我效能感确定为焦虑等情绪状态与实际行为之间的关键中介变量。

焦虑指标捕捉的是整体的情感不适感,而自我效能感则更直接地反映了用户管理口语表达任务的信心,使其既具有可操作性,又能对干预措施敏感。此外,我们希望通过以下研究问题来了解非母语者(NNSs)对该工具各个组件及其整体可用性的评价:

RQ2:各个组件的设计如何影响非母语者的口语表达体验?
- RQ2.1:非母语者如何评价口语辅助功能?
- RQ2.2:非母语者如何评价为促进相互理解而设计的沟通渠道?

在 Duan 等人 [35] 的研究中,为帮助非母语者使用工具却未促进相互理解的做法,导致母语者(NSs)感到不满。为了进一步了解母语者的看法,我们提出了以下研究问题:

RQ3:母语者如何对待和感知这一工具?
- RQ3.1:母语者如何看待该工具为非母语者带来的变化?
- RQ3.2:母语者如何回应非母语者发出的困扰信号,其背后的动机是什么?

3 研究方法
3.1 概述
本研究采用混合方法,包含一项组内实验。我们招募了英语母语者和非母语者,将每位非母语者与一名不同的母语者配对。每对参与者完成了两项协作任务:一项可使用工具,一项不可使用工具。任务顺序和工具可用性经过平衡处理。每项任务结束后,两位参与者均填写一份问卷,回顾与搭档合作中的体验。研究最后进行访谈,以更深入地探索非母语者的使用体验。

3.2 参与者
我们通过在当地社交媒体社区发布招募公告,共招募了 25 名英语母语者(16 名女性,9 名男性)和 25 名英语非母语者(均为汉语母语者,14 名女性,11 名男性)作为参与者。汉语母语者在这些社区中约占 18%,其余主要为英语母语者。我们将参与者分为 25 对,每对各包含一名非母语者和一名母语者。我们使用自我报告的英语口语水平,而非标准化测试成绩,因为本研究关注主观体验,如焦虑和自我效能感。已有研究表明,自我感知的语言熟练度是外语焦虑的重要预测因素,且相较于客观熟练度指标,在解释焦虑差异方面通常更为有效,因此是衡量口语主观体验的合适替代指标 [1, 11, 112]。非母语者参与者的自我报告英语口语水平分布如下:6 人低于平均水平,14 人为平均水平,5 人为良好水平。在教育背景方面,1 名非母语者持有高中学历,8 人持有学士学位,14 人持有硕士学位,2 人持有博士学位。相比之下,10 名母语者持有高中学历,15 人持有学士学位。非母语者参与者的平均年龄为 24.519 岁(标准差 = 3.203),母语者参与者的平均年龄为 28.957 岁(标准差 = 7.010)。参与者每小时获得 13 美元的报酬。本研究已获得作者所在大学机构审查委员会的批准。

3.3 任务选择
我们采用了哥伦比亚游戏语料库中常用的"物体游戏"(Objects Game)[47](游戏界面见图 1),该任务广泛用于团队协作研究。每轮游戏会在方形画布上为双方玩家显示相同的图形集合。锚点图形(以红色实线边框标记)不可移动,而可拖动图形(以灰色虚线边框标记)可移动。每轮开始时,所有图形按预设位置排列。锚点图形在双方玩家的位置相同,而可拖动图形的初始位置则不同。每轮中,非母语者担任描述者角色,不能移动任何图形,而母语者担任跟随者角色,只能移动自己的可拖动图形。游戏开始时,非母语者向母语者描述自己可拖动图形的真实位置,母语者的目标是将自己的可拖动图形摆放至与描述一致的位置。双方无法看到对方的画布,仅能通过语音和视频交流。一旦双方达成一致,本轮得分将根据母语者可拖动图形与其正确位置之间的总距离计算。为排除屏幕尺寸差异可能带来的影响,距离以游戏画布的相对比例计算,而非绝对像素距离。该游戏的客观分数可能受到多种因素影响,例如肢体语言、描述位置时的个体偏差以及母语者的提问方式。因此,分数仅在练习轮中显示,以让玩家对表现有一个大致了解,并据此在正式轮次中调整策略,而非作为沟通质量的绝对衡量标准。

3.4 实验平台与工具实现
3.4.1 实验平台
图 1:实验界面展示了与物体游戏组件集成后的工具界面。为保护隐私,参与者的视频画面已在本图中进行编辑处理。屏幕左半部分,从上至下依次为房间控制栏、折叠的对话记录面板和语音翻译组件。右上角区域中,视频区域显示视频流,弹窗则是(1)显示非母语者求助信息的渠道,以及(2)允许母语者以表情符号或自定义消息回应的渠道。最后,物体游戏组件展示了包含锚点图形(红色实线边框)和可拖动图形(灰色虚线边框)的画布。实验界面截图,包括房间控制栏、对话记录面板、语音翻译组件、视频流、通知弹窗、母语者回应面板,以及包含锚点图形和可拖动图形的物体游戏画布。

实验平台(见图 1)前端框架使用 Vue.js,后端框架使用 Django。实时音视频通信通过 Agora 实现。此外,还集成了由 Assembly AI 支持的自动语音识别功能,以提供对话记录,帮助非母语者理解对话内容,并在遗漏信息时进行回顾 [10, 52, 91]。位于左上角的房间控制栏允许参与者加入和退出房间,以及切换麦克风开关。其下方的对话记录面板会在参与者进入房间后实时显示对话历史。默认情况下,仅显示最近的两条消息,以减轻非母语者的认知负荷,同时提供展开选项以查看完整的对话历史。翻译组件由输入框、两个按钮和输出框组成。在界面的右上部分,视频流让参与者可以互相看到对方,而弹窗则是(1)显示非母语者求助信息的渠道,以及(2)允许母语者以表情符号或自定义消息回应的渠道。最后,物体游戏组件包括说明、画布、图形、控制按钮和本轮得分。3.4.2 节将详细介绍该工具的实现细节和用户交互过程。

3.4.2 工具实现与用户交互
图 2:(a)口语辅助功能和(b)相互理解渠道的用户旅程图,详细说明了非母语者和母语者可能执行的操作以及界面变化。两张界面流程示意图,分别展示了非母语者如何通过语音或输入方式使用口语辅助功能,以及母语者如何接收工具使用通知、查看回应面板并发送表情符号或文字反馈。

首先,该工具集成了语音翻译功能,旨在帮助非母语者在遇到口语表达障碍时获得支持。该功能通过 Google 语音转文字 API 实现。为进一步提升翻译的鲁棒性和准确性,当输入内容存在轻微错误时,我们对比了 Google 翻译 API 与 OpenAI 的 GPT-4o 的翻译结果。此类错误可能源于语音不清晰、同音词混淆、自动语音识别缺陷或拼写错误。最终,OpenAI GPT-4o 表现更佳,因为它可以被提示纠正轻微错误,因此我们选择了它来提供流式翻译服务。我们使用的提示词如下:

"请将以下句子从 {源语言} 翻译为 {目标语言}。由于拼写错误、发音错误或语音识别错误,部分输入可能存在不一致之处。请在不依赖额外信息的情况下,根据这些错误推断出正确的意图。对于数字或非 {源语言} 的输入,请提供 {目标语言} 中完全展开的对应翻译。除翻译内容外,不得返回任何其他内容。"

如图 2(a) 所示,当非母语者使用翻译功能时,可以选择语音或输入方式。开始语音输入时,系统将自动静音非母语者的声音,以免打扰房间内其他参与者,并将语音实时转写至输入框。停止录音后,输入内容将立即翻译成第二语言,并显示在输出框中。如果非母语者希望输入或编辑当前第一语言的输入内容,则需要点击"翻译"按钮进行手动翻译。非母语者可参考第二语言的翻译输出来表达自己的想法。

图 2(b) 展示了工具使用过程中的动态变化。当非母语者通过语音或输入方式在翻译组件中输入内容时,其视频流旁会弹出一条消息:"请耐心等待,我正在使用翻译工具。"同时,其视频画面周围会持续闪烁红色边框。这一反馈清晰地告知母语者,非母语者在口语表达方面遇到了困难。与此同时,仅对母语者显示一个回应面板,允许其对非母语者使用翻译工具这一行为进行回应。母语者可以使用预设的表情符号进行回应,这些表情符号能有效表达情绪,且在交流中易于理解 [19, 46, 61],也可以输入自定义消息。母语者发送反馈后,该消息将显示在其视频流旁边,直到下一次发送新的回应。母语者发送的反馈传达出其对非母语者使用口语辅助功能的态度。

3.5 实验流程
首先,非母语者、母语者和研究人员加入一个预先安排的 Zoom 会议。签署知情同意书后,参与者在各自的分组会议中接受关于实验平台和流程的简要说明。非母语者还收到一份补充指南,详细说明口语辅助功能的使用方法;随后与研究人员一起练习使用该工具,直至熟悉为止。熟悉平台后,两位参与者收到实验平台的链接,登录后从 Zoom 切换至实验平台。在正式轮次开始前,参与者完成一轮物体游戏的练习轮,以适应平台操作。正式实验包含两轮:一轮非母语者可以使用口语辅助功能,另一轮则不可以使用。任务顺序经过平衡处理。每项任务结束后,参与者填写一份问卷,回顾自己的使用体验。最后进行时长 15-20 分钟的半结构化访谈,以收集详细反馈,包括对工具可用性、有用性和可接受性的评价。

3.6 测量方法
我们利用工具日志数据、7 点 Likert 量表和半结构化访谈,进行全面评估。

3.6.1 操纵检验
我们使用单选题来评估参与者对口语辅助功能和反馈组件是否存在这一情况的认知,例如"本房间中是否可以使用口语辅助功能?"。所有问题列于附录 A.1.3 中。

3.6.2 参与者使用行为
为研究非母语者对口语辅助功能的使用情况,我们测量了以下指标:(1) 口语辅助功能使用次数,记录非母语者参与者使用母语寻求帮助的频率;以及 (2) 口语辅助功能输入偏好,识别他们在实时情境中选择的输入方式及其原因。

对于母语者(NS)参与者,我们记录了:(3)NS回应次数,用于评估其向非母语者(NNS)提供反馈的意愿;以及(4)NS反馈偏好,通过判断NS在回应中是否选择了表情符号或个人化文本来进行评估。3.6.3 NNS——口语助手可用性。为评估口语助手的可用性,我们参考了[17]并将其改编为7点李克特量表(1=非常不同意;7=非常同意),Cronbach's α为0.693,使用的陈述包括"我希望在与NS交流时频繁使用这款口语助手"。陈述集合详见附录A.2。3.6.4 NNS——口语助手实用性。为评估口语助手的实用性,我们参考了[28]并将其改编为7点李克特量表(1=非常不同意;7=非常同意),Cronbach's α为0.794,使用的陈述包括"总体而言,我认为这款口语助手对我和NS之间的沟通非常有用"。陈述集合详见附录A.3。3.6.5 NNS——对NS回应的感知。我们用四个7点李克特子量表(Cronbach's α=0.783)评估NNS对NS回应的可能感知,使用的陈述包括"我认为NS的反馈缓解了我对口语交流的焦虑"。陈述集合详见附录A.4。在后续访谈中,我们进一步询问了NNS对NS反馈的更多感知。3.6.6 NNS——口语自我效能感。自我效能感[9]是指个体对自己在具体情境中成功完成任务或达成目标的信念或信心。这一指标通常被认为与口语焦虑具有显著负相关[78, 89]。因此,我们通过测量口语自我效能感的变化来反映我们所提出的方法对NNS语言焦虑的影响。该指标还可以评估我们系统提供的辅助是否有效地帮助克服了与语言相关的困难,从而增强学习者对参与交流能力的信心。因此,我们修改了来自[43]的口语自我效能感7点李克特量表(1=非常不同意;7=非常同意,Cronbach's α=0.905),以评估(1)表现口语自我效能感和(2)语言口语自我效能感。表现口语自我效能感反映个体在具体情境中有效完成口头交流任务的信心,陈述包括"我觉得自己在与NS合作完成任务的过程中表现良好"。语言口语自我效能感涉及个体对自己准确、恰当地表达自己(包括使用精确词汇和清晰阐述推理和想法)的信心,例如"我自信能够使用恰当的词汇在这些任务中清晰地表达自己的想法"。陈述集合包含在附录A.5中。3.6.7 NNS——互动焦虑。沟通中断和沉默[37, 68, 69, 84, 105]可能增加参与者之间的不确定性感受并提高其焦虑水平。为评估这种互动焦虑,我们开发了一个7点李克特量表(1=非常不同意;7=非常同意),Cronbach's α为0.851,使用的陈述包括"我担心我的口语会打断对话的流畅性"。陈述集合详见附录A.6。3.6.8 NNS——工作负荷。我们修改并使用了NASA-TLX量表[24]的四个维度(脑力需求、时间需求、努力程度和沮丧感)的7点量表来评估NNS在完成描述任务时的工作负荷(1=非常低;7=非常高),Cronbach's α为0.767。陈述包括"你感到多么沮丧、烦躁、有压力或恼火?",完整陈述集在附录A.7中。3.6.9 NS——对NNS口语表现的评价。我们改编自群体沟通质量量表[73]来从NS的角度评估NNS的口语表现。我们保留了清晰度和舒适度的指标,并引入了流畅度维度,Cronbach's α为0.860,使用的陈述包括"我觉得自己没有误解他们想要表达的内容"。陈述集合包含在附录A.8中。3.6.10 NS——给予回应的动机。我们用四个7点李克特子量表(Cronbach's α=0.929)评估NS给予回应的可能动机,使用的陈述包括"我很确定他们当时遇到了语言困难,所以我想要提供一些自己力所能及的支持"。陈述集合包含在附录A.9中。在后续访谈中,我们也询问了NS选择提供反馈的其他原因。3.6.11 访谈。半结构化访谈用于深入了解参与者的体验。对于NNS参与者,我们探讨了他们的使用体验、对NS伙伴反馈的感知以及对改进设计的建议。对于NS参与者,我们最初关注的是他们对工具促进的沟通效果的感知。我们还探索了他们对于NNS通过此额外工具获得辅助的接受度。随后,我们基于第3.6.10节中NS提供反馈的动机进行深入探讨,询问了他们对反馈格式的偏好,并评估当前设计和交互是否对NS参与者造成了工作负荷压力。所有访谈问题包含在附录A.10中。所有访谈均在参与者同意的前提下进行了录音和转录。我们采用主题分析[16]对转录文本进行编码。该过程始于两名研究人员独立手动对转录文本进行编码。我们的编码策略主要是归纳性的,允许主题从数据中自然涌现,这与依赖于预设概念和编码者间信度的演绎方法形成对比[80]。在数据编码过程中,研究人员确保主题与研究问题紧密相关。初始编码之后,各方进行讨论以澄清每个编码的理由,通过比较和反思达成共识。这一迭代过程涉及多次回顾转录文本,以确保编码准确捕捉参与者体验的细微之处。通过这种详细考察,研究人员能够发现模式并归纳出总体主题。4 结果4.1 操纵检验。我们对参与者意识到的口语助手存在及双向理解渠道的操纵检验是成功的。所有NNS在相应条件下都意识到了口语助手的存在(100%),并且会在NS做出回应时注意到反馈(100%)。同样,所有NS都报告说他们在NNS使用口语助手时注意到了弹窗通知(100%)以及反馈面板(100%)。4.2 对NNS口语体验的影响(RQ1)。在本节中,我们使用配对样本t检验来比较NNS参与者在工具有效时(记为CT)与工具无效时(记为CW)的评分。分析重点关注对NNS感知的影响,如口语自我效能感、工作负荷和互动焦虑。对于亚组分析,在每个自我报告的熟练度组内进行了配对样本t检验。效应量以Cohen's dz报告。4.2.1 NNS口语自我效能感。总体而言,当系统可用时,NNS报告的口语自我效能感显著提高,其中在低于平均水平组和平均水平组中的提升最为明显。配对样本t检验结果显示,CT与CW之间的NNS口语自我效能感存在显著差异(t(24)=4.735, p<0.001, dz=0.947),如图3(a)所示。描述性数据显示,CT的统计值为M=5.640, SD=0.771,而CW的统计值为M=4.540, SD=1.318。进一步分析发现不同分层熟练度水平间存在差异。特别是,图4(a)展示了自我报告其L2口语能力为低于平均水平的NNS参与者的结果。该图显示,与CW(M=4.042, SD=1.317)相比,CT条件下的口语自我效能感显著提高(t(5)=2.778, p=0.039, dz=1.134; M=5.250, SD=0.612)。对于自我报告L2口语熟练度为平均水平的NNS参与者,其口语自我效能感(见图5(a))在CT条件下显著改善(t(13)=3.364, p=0.005, dz=0.899)。CT的均值为5.732(SD=0.717),而CW为4.625(SD=1.274)。对于口语熟练度良好的NNS组,两种条件下的口语自我效能感没有差异(t(4)=1.629, p=0.179, dz=0.729),如图6(a)所示。图3. 所有NNS参与者在CW和CT条件下的口语自我效能感、工作负荷和焦虑感知对比。星号表示统计显著性水平,ns>=0.05,*代表p<0.05,**代表p<0.01,***代表p<0.001。小提琴图表示分数分布,叠加的箱线图显示中位数和四分位距。在本图中,当我们的工具可用时(CT),NNS显示出显著更高的(a)口语自我效能感、显著更低的(b)工作负荷和显著更低的(c)焦虑。三幅小提琴图对比了所有NNS参与者在工具不可用和工具可用条件下的口语自我效能感、工作负荷和焦虑。工具可用时口语自我效能感更高,而工作负荷和焦虑更低。图4. 口语能力低于平均水平的NNS参与者在CW和CT条件下的口语自我效能感、工作负荷和焦虑感知对比。星号表示统计显著性水平,ns>=0.05,*代表p<0.05,**代表p<0.01,***代表p<0.001。小提琴图表示分数分布,叠加的箱线图显示中位数和四分位距。在本图中,语言熟练度低于平均水平的NNS在工具可用时(CT)显示出显著更高的(a)口语自我效能感、边际更低的(b)工作负荷和显著更低的(c)焦虑。三幅小提琴图对比了口语能力低于平均水平的NNS参与者在工具不可用和工具可用条件下的口语自我效能感、工作负荷和焦虑。工具可用时口语自我效能感更高、焦虑更低,而工作负荷边际更低。图5. 口语能力为平均水平的NNS参与者在CW和CT条件下的口语自我效能感、工作负荷和焦虑感知对比。星号表示统计显著性水平,ns>=0.05,*代表p<0.05,**代表p<0.01,***代表p<0.001。小提琴图表示分数分布,叠加的箱线图显示中位数和四分位距。在本图中,语言熟练度为平均水平的NNS在工具可用时(CT)显示出显著更高的(a)口语自我效能感和显著更低的(b)工作负荷及(c)焦虑。三幅小提琴图对比了口语能力为平均水平的NNS参与者在工具不可用和工具可用条件下的口语自我效能感、工作负荷和焦虑。工具可用时口语自我效能感更高,而工作负荷和焦虑更低。图6. 口语能力良好的NNS参与者在CW和CT条件下的口语自我效能感、工作负荷和焦虑感知对比。星号表示统计显著性水平,ns>=0.05,*代表p<0.05,**代表p<0.01,***代表p<0.001。小提琴图表示分数分布,叠加的箱线图显示中位数和四分位距。在本图中,语言熟练度良好的NNS在工具可用时(CT)的(a)口语自我效能感、(b)工作负荷或(c)焦虑均未显示出显著差异。三幅小提琴图对比了口语能力良好的NNS参与者在工具不可用和工具可用条件下的口语自我效能感、工作负荷和焦虑。三项指标在不同条件间均无显著差异。4.2.2 不同熟练度水平的口语助手使用情况。图7. 不同自我报告L2口语熟练度水平的口语助手使用次数。空心圆圈代表单个NNS参与者,彩色点代表组均值,误差线代表均值标准误。拟合趋势线显示随着自我报告熟练度提高使用次数呈描述性下降,尽管总体组间差异不具有统计显著性。一张显示三个自我报告L2口语熟练度组口语助手使用次数的图表:低于平均水平组6名参与者,平均水平组14名参与者,良好组5名参与者。单个参与者的使用次数以空心圆圈显示。组均值从低于平均水平组的约8.7,降至平均水平组的约5.8,再到良好组的约4.4。

误差线显示标准误,带阴影置信带的拟合线表明存在下降的描述性趋势,但组间差异在统计上不显著。不同自我报告的第二语言(L2)口语熟练度水平的非母语者(NNSs)在使用口语助手方面呈现出描述性的变化模式(见图 7),这反映在口语助手的使用次数上。自我报告熟练度较高的参与者描述性地倾向于较少使用该助手。第二语言口语熟练度低于平均水平的非母语者使用口语助手的频率最高(M = 8.667, SD = 3.502, n = 6),其次是平均水平(M = 5.786, SD = 3.847, n = 14),然后是良好水平(M = 4.400, SD = 3.050, n = 5)。然而,单因素方差分析(ANOVA)显示三个熟练度组之间不存在具有统计意义的差异,F(2, 22) = 2.084, p = .148, η2 = .159。鉴于熟练度水平的有序性,我们进一步检验了随着熟练度提高,口语助手的使用是否呈线性下降。线性趋势为负,表明自我报告的第二语言口语熟练度越高,口语助手的使用事件越少(b = ?2.172, β = ?.386)。这种关联在双尾检验下接近显著性水平,F(1, 23) = 4.039, p = .056, R2 = .149。总之,这些结果表明,随着自我报告的第二语言口语熟练度增加,口语助手的使用呈描述性下降趋势,但这一模式在统计上并不具有决定性,应谨慎解读。

4.2.3 非母语者的工作负荷。
非母语者报告称,当系统可用时,他们感知到的口语工作负荷较低,其中中等熟练度非母语者的降低幅度显著,低于平均水平非母语者的降低幅度接近显著。配对样本 t 检验(见图 3(b))显示,在与母语者(NSs)协作任务期间,工具可用条件下的非母语者工作负荷评分显著较低(t(24) = ?4.230, p < 0.001, dz = ?0.846)。当系统可用时,非母语者的平均工作负荷为 3.630(SD = 0.930),而不可用时为 4.290(SD = 1.070)。考察不同的第二语言口语熟练度水平,低于平均水平非母语者的工作负荷降低幅度为边际显著,未达到传统的显著性阈值(t(5) = ?2.570, p = 0.0501, dz = ?1.049)(见图 4(b))。在工具可用条件(CT)中,统计数值为(M = 3.750; SD = 0.689),而工具不可用条件(CW)中为 M = 4.792; SD = 0.732。对于中等语言熟练度的非母语者,工作负荷的降低具有显著性(t(13) = ?3.710, p = 0.003, dz = ?0.992; 见图 5(b))。对于语言良好水平的非母语者,工作负荷的降低仍然不显著(t(4) = ?0.707, p = 0.519, dz = ?0.316; 见图 6(b))。

4.2.4 非母语者的互动焦虑。
非母语者报告称,当系统可用时,他们的互动焦虑显著降低,其中低于平均水平和中等熟练度非母语者的降低幅度显著。为简化表述,以下结果统一使用焦虑一词进行描述。图 3(c) 中的配对样本 t 检验显示,CT 与 CW 之间存在显著差异(t(24) = ?3.974, p < 0.001, dz = ?0.795)。与 CW(M = 5.000; SD = 1.236)相比,非母语者在 CT 中报告的焦虑较低(M = 4.333; SD = 1.337)。进一步的亚组分析显示,在语言熟练度低于平均水平的非母语者组中观察到显著差异(t(5) = ?3.873, p = 0.012, dz = ?1.581),CT 中的非母语者经历较低的焦虑(M = 4.889; SD = 0.455),而 CW 中的非母语者为 M = 5.889; SD = 0.272,如图 4(c) 所示。中等语言熟练度的非母语者也在 CT 中报告了显著较低的焦虑(t(13) = ?3.357, p = 0.005, dz = ?0.897; 见图 5(c))。相反,对于语言良好水平的非母语者,没有发现显著差异(t(4) = ?0.647, p = 0.553, dz = ?0.289; 见图 6(c))。

4.3 非母语者对工具的评价(研究问题 2)
4.3.1 口语助手可用性和有用性的定量证据(研究问题 2.1)
结果表明,使用口语助手的非母语参与者认为该工具具有良好的可用性(M = 5.583; SD = 0.750)和有用性(M = 5.411; SD = 0.738),同时也揭示了个体和口语场景围绕使用频率和必要性的期望存在有意义的差异。表 1 和表 2 中的详细细分提供了更多见解。表 1 中的描述性统计数据显示,参与者通常对口语助手的可用性持积极看法,某些方面获得了特别高且一致的评分。例如,“我想象大多数人能很快学会使用这个系统”获得了最高平均评分(M = 6.125)和最低标准差(SD = 0.680),表明口语助手的特性易于上手。同样,“我认为口语助手与整个系统整合良好且易于使用”也获得了有利的评分(M = 5.625; SD = 1.173)。另一个项目,“当我在口语中遇到障碍时,我立即想到使用口语助手来帮助我克服它”,也反映了对口语助手效用的高度信心(M = 5.583; SD = 1.213)。然而,“当我与母语者交流时,我希望频繁使用这个口语助手”的平均得分较为适中(M = 5.000),标准差相对较高(SD = 1.588),表明对其频繁使用的看法存在更多差异。这种差异可能反映了感知需求、沟通策略或依赖外部支持的特定情境意愿方面的个体差异。这些结果表明,非母语参与者认为口语助手易于学习,很好地整合到口语工作流程中,并且在遇到口语困难时易于访问,尽管预期的使用频率在个体间有所不同。关于有用性(表 2),描述性统计数据显示,参与者普遍认为口语助手在多语言交流中非常有用。例如,“使用口语助手使我的表达更精确”获得了高平均评分(M = 5.917)和低标准差(SD = 0.654),表明非母语参与者之间高度一致。这种认知与第 4.4.1 节中母语者对非母语者清晰度的评估相符,在该节中,母语者对 CT 条件下非母语者的口语清晰度评分更高。至关重要的是,“总体而言,我认为口语助手对母语者与我之间的交流非常有用”获得了更高的平均评分(M = 6.083; SD = 0.717),反映了对其有用性的广泛认可。相反,“在某些与母语者实时多语言交流中,没有口语助手将很难沟通”的平均评分较低(M = 4.958),标准差较大(SD = 1.732),表明对特定场景下口语助手必要性的看法存在更多差异。这一发现与第 4.2.2 节中的描述性模式相符,表明当某些非母语者拥有足够的替代表达策略时,他们可能认为助手不那么必要。此外,非母语参与者对口语助手在增强口语控制感(M = 5.458; SD = 0.884)和减少口语努力(M = 5.542; SD = 1.179)方面给予了积极评价。这些认知分别与第 4.2.1 节和第 4.2.3 节中的条件水平结果相符,其中 CT 与非母语者更高的口语自我效能感和较低的工作负荷感知相关。最后,“口语助手使沟通更顺畅并减少了尴尬的停顿”获得了最低评分(M = 4.75; SD = 1.327),表明参与者认为对话流畅性方面的益处相对有限,这与第 4.4.1 节中母语者的评估一致,即非母语者在 CT 和 CW 条件下的口语流畅性没有显著差异。总体而言,口语助手被评为在多语言交流中提高表达精确性、信心及感知控制力的有用工具,而在会话流畅性方面提供的益处则较为有限且不均衡。

4.3.2 口语助手可用性和有用性的定性证据(研究问题 2.1)
在定性数据中,非母语参与者报告了他们发现口语助手有帮助的场景,并分享了关于其使用的具体感受。几位母语参与者也根据对其搭档的观察,提供了关于口语助手有效性的见解。然而,少数非母语参与者描述了他们可能难以使用口语助手甚至考虑停止使用的情形,突显了工具功能潜在改进的领域。口语助手有助于表达并缓解非母语者的焦虑。16 名非母语参与者明确表示,当遇到难以描述的词汇或难以表达的概念时,他们会使用口语助手。例如,NNS-15 提到口语助手“减少了[他们的]思考时间,允许[他们]更快地回答问题,并减少了[他们的]尴尬”。此外,它还缓解了 NNS-15 的焦虑,因为他们强调了其用处,“当[他们]惊慌失措且不知道如何回答对方问题时”。同样,母语参与者对口语助手表达了积极态度。他们注意到了非母语搭档使用口语助手时的弹出消息,并且大多数(N = 18)认为这有益。例如,NS-13 强调了它提供的支持,回忆了当口语助手缺席时其非母语搭档的尴尬:“没有它,我的[非母语]搭档很慌乱和尴尬,因为她无法描述游戏中的物体。”此外,四名母语者观察到在使用口语助手后,非母语者的交流和清晰度增加了信心。例如,NS-19 指出:“我相信它是有用的,因为我的搭档确实很好地向我传达了她的想法。”NS-21 认为口语助手显著增强了非母语者连贯表达的能力并促进了更好的理解:“它帮助我的非母语搭档用英语描述物品……从他们的母语翻译过来。非母语者能够形成更连贯和语法正确的英语句子……在试图理解时有更少的困惑(或许还有挫败感)”。口语助手不受欢迎的情况。尽管口语助手有诸多益处,但几位非母语参与者更喜欢在拥有替代表达策略时避免使用外部辅助。例如,NNS-23 认为只有在特定词汇障碍时才需要使用口语助手,因为轻微的语法不准确并不妨碍母语者理解:“如果我能说出这些词,我可能不会使用[它],因为母语者能理解”。其他人也解释说,他们只在缺乏替代策略来表达自己时才会使用助手:“我没用它。因为我能找到另一种方式来描述它。有很多替代词(NNS-25)。”“在我能找到另一种表达方式的情况下,比如使用肢体语言,我将放弃使用它(NNS-13)。”两名非母语参与者还对工具在某些场合的适用性提出了担忧,例如面试或工作会议。NNS-7 强调:“如果我们有与导师的会议,那可能会很尴尬。”NNS-8 附和了这种情绪:“有时我不能说话或输入语音命令,例如在面试期间,我会放弃使用它。”改进建议。最后,少数非母语参与者建议增强功能以提高口语助手的可用性。他们提出了如直接音频输出复杂翻译或选择以文本形式与母语者分享翻译等功能,因为这些将有助于解决发音挑战。这些非母语者表示:“我希望……翻译文本可以直接发送出来,因为……我不知道如何准确发音(NNS-23)”。另一人表示同意,说道:“如果它能说出英语翻译而不仅仅是显示单词,那就更好了(NNS-7)。”总之,虽然口语助手因其可用性和克服语言障碍的有用性而普遍受到非母语参与者的欢迎,但一些参与者提到了替代表达策略,表达了对正式场合使用的担忧,并建议增加额外功能以进行改进。该助手被认为很有价值,但可能需要进一步完善,以更好地支持多样化的沟通场景。

4.3.3 使用口语助手的偏好。
在口语助手的两种输入方法之间,手动输入在 155 个案例中使用了 22 次。如图 8(a) 所示,大多数输入(155 次中的 133 次)是使用语音启动的,并且这些语音输入中有很大一部分(133 次中的 76 次)随后通过打字进行了修改。在事件层面,语音输入的平均长度长于手动输入(见图 8(b))。

具体而言,语音输入的输入平均长度为13.639个字符(标准差=15.702),而手动打字输入的平均长度为6.909个字符(标准差=8.880)。图8. 语音助手用于口语支持时,NNS参与者的输入行为描述性统计。(a)表示输入方式的分布;(b)表示每种输入方式的输入长度分布。

两张图总结了NNS的输入行为。第一张是嵌套饼图,显示大多数输入使用语音输入,通常随后会进行手动调整。第二张是小提琴图,显示语音输入的平均长度大于打字输入。

我们的访谈数据支持了这一发现,表明大多数NNS参与者更喜欢将语音输入作为主要方式,因为它快速且简单。具体而言,12位NNS表示语音输入满足了实时结果和效率的需求,只有在他们的第一语言出现语音识别问题时才选择打字输入。例如,"我使用第一语言进行语音输入,因为它更快,节省了大量时间。但如果识别有误,我会使用打字输入来纠正它(NNS-15)"。同样,NNS-17指出,"我通过语音输入使用第一语言辅助。因为这样,我能非常方便快捷地获得结果。"

然而,六名参与者明确表示更喜欢打字输入,原因是需要避免中断他们的演讲以及对话中途切换语言的困难。NNS-3解释道,"使用语音输入可能会打断我的逻辑流程……对我来说很难切换到[口语]中文然后再立即切换回来。"其他人也表达了类似的担忧,例如"我不想在与别人说话时突然改变语言(NNS-21)",而另一个人强调语言切换"破坏了说英语的沉浸感(NNS-17)"。

此外,一些参与者认为打字输入更适合更简单的任务,也更符合他们的习惯。一位参与者解释道,"我只搜索几个词而不是整句话时使用打字输入,因为它更快(NNS-10)"。另一位参与者评论道,"使用打字输入是一种无意识的选择。当我们在网上聊天时,我们倾向于更多地使用打字而不是语音输入(NNS-13)"。

总的来说,虽然大多数NNS参与者因其效率而偏好语音输入,但有些人偏好打字输入以维持对话流畅性和出于个人习惯。这些偏好反映了NNS在使用语音助手时多样化的需求和用法模式。

**4.3.4 NS反馈的定量评估(RQ2.2)**

总体而言,NNS对其NS伙伴的反馈评价积极(M = 5.792;SD = 0.759)。表3展示了详细统计,并表明NS反馈总体上受到NNS的欢迎。例如,"我认为NS的反馈减轻了我对演讲的焦虑"这一陈述获得了5.611的平均分(SD = 0.979),表明NNS参与者很大程度上认同这一感受。同样,反馈被视为表明NS愿意等待他们使用语音助手的一种信号(M = 5.722;SD = 1.018)。此外,NNS参与者对NS反馈普遍持有积极感受(M = 5.889;SD = 1.023)。值得注意的是,"NS反馈帮助他们更好地理解NS的感受,从而消除一些疑虑和负面情绪"这一陈述获得了最高的平均分(M = 5.944;SD = 0.873)。这些发现表明,NS反馈可以减少焦虑并促进积极沟通态度。

**4.3.5 NS反馈的定性评估(RQ2.2)**

一些NNS参与者随后详细阐述了他们与NS反馈相关的经历以及其在减轻焦虑方面的作用。例如,NNS-15描述道,"当我刚开始使用时,我看到NS时会紧张,担心我说不出口,发音不标准,或者当我说话时无法理解NS,但在使用了[语音助手]之后,我可以很快表达自己,然后将其翻译成英语……当我看到NS的反馈时,我逐渐获得了信心,我更愿意表达我的想法和观点,正面反馈给了我更多的勇气去说。"同样,NNS-13表示,"NS反馈大大减轻了我用英语表达自己的压力。它让我放心,即使我使用工具,他们也愿意沟通。"NNS-5对收到反馈感到惊喜:"我没有期待NS的回应,但它减轻了压力,因为这表明了伙伴的耐心和理解。"值得注意的是,许多NNS参与者表现出了一种共同行为:尽管有弹出通知表明他们正在使用语音助手,他们仍然口头提醒NS,经常说"对不起,我需要使用这个工具"。这些发现强调了NS反馈在建立NNS信心和减轻多语言交流焦虑中的重要性。NNS参与者更可能期望获得NS的认可和支持,尤其是在依赖额外支持时。

总之,NNS通常认为NS反馈在减轻焦虑和不确定性方面是有效的,这些不确定性涉及NS的态度,同时也有助于建立演讲和使用语音助手的信心。

**4.4 NS对工具的评价(RQ3)**

**4.4.1 对NNS演讲表现的有效性(RQ3.1)**

图9. (a) NNS的演讲表现由其NS伙伴进行评估,包括三个方面:(b) 清晰度、(c) 流畅性和(d) 舒适度。星号表示统计学显著性水平,ns ≥ 0.05,*表示p < 0.05,**表示p < 0.01,***表示p < 0.001。小提琴图代表分数的分布,叠加的箱线图显示中位数和四分位距。

四张小提琴图展示了NS对NNS演讲表现的评价。面板比较了在工具不可用和工具可用条件下,整体演讲表现、清晰度、流畅性和舒适度的差异。整体演讲表现和清晰度在工具可用时较高,而流畅性和舒适度没有显著变化。

图9(a)显示,当工具的可用性发生变化时,NS在CT条件下对NNS的演讲表现评分显著更高(t(24) = 2.146,p = 0.042,dz = 0.429)。关于评估的各个维度(图9(b)-(d)),NNS的清晰度也被评为显著更高(t(24) = 2.579,p = 0.016,dz = 0.516)。CT的描述性统计为M = 5.160;SD = 0.965,而CW的描述性统计为M = 4.580;SD = 1.352。关于流畅性(t(24) = 1.487,p = 0.150,dz = 0.297)和舒适度(t(24) = 0.931,p = 0.361,dz = 0.186)未发现显著差异。

**4.4.2 对NNS使用语音助手的可接受性(RQ3.1)**

大多数NS参与者(N = 21)认为当NNS使用语音助手来辅助口语互动时,该工具在实时交流中是可接受的。其中,11位NS觉得语音助手可以提高沟通质量,帮助NNS最大限度地减少尴尬停顿,简化表达,并增强信心;使用它所需的时间与这些优势相比被认为是微不足道的。例如,"我认为时间……是可以接受的。唯一的影响……是对话变慢了,但[如果]我能理解NNS试图传达的内容,那[就]没关系(NS-21)"。"[延迟]与不使用辅助工具时思考要说什么所需的时间相当。它帮助我们的沟通更清晰(NS-19)"。四位NS进一步报告说,他们的NNS伙伴无缝且自然地使用语音助手参与对话,以至于他们几乎没注意到其使用:"这足够快,他们能获取所需的答案(NS-20)"。

这表明通过语音助手提供实时支持的时间延迟对NS而言并非显著问题。相反,NS更注重NNS表达的清晰度和沟通质量。

**4.4.3 响应方式的偏好(RQ3.2)**

共有13位NS参与者通过弹出面板提供了反馈,当其NNS伙伴使用语音助手时,共提供了28条响应,其中26条为正面表情符号,2条为文字消息。随后,定性发现表明NS强烈偏好使用表情符号而非文字,因为它们更快且更容易传达,使NS能够给予鼓励而不打断NNS伙伴对语音助手的关注。正如NS-15提到的,"表情符号更容易……文字对我来说很奇怪,因为我会需要思考。"另一位强调了效率,指出,"在时间紧迫的情况下,表情符号更容易被理解……人们看到图片比阅读文字处理得更快(NS-23)"。此外,NS们觉得表情符号提供了跨越语言障碍的"共同基础"(NS-9),减少了澄清的需要。相比之下,打字需要额外的精力,并且可能会分散NNS参与者的注意力。例如,NS-24评论道,"[文字]可能会分散NNS组织思绪的注意力。"

总之,NS参与者在提供反馈时主要使用表情符号而非文字。关键原因包括表情符号的速度、简便性和非侵入性,这使得NS能够表达鼓励而不打断其伙伴的注意力。此外,表情符号作为一种普遍理解的沟通形式,最大限度地减少了可能的误解。

**4.4.4 给出或给予回应的理由(RQ3.2)**

表4展示了提供反馈的NS参与者的内在动机,揭示出责任感是最强的动机,具有最高的均值(M = 5.846;SD = 1.345)。其他重要的动机因素包括减轻NNS焦虑的愿望(M = 5.615;SD = 1.446)以及对NNS面临的语言挑战的认识(M = 5.538;SD = 1.613)。虽然愿意安抚NNS也影响了NS的反馈决定,但这相对不那么突出(M = 5.308;SD = 1.494)。

两位NS参与者表达了同理心,并从个人语言学习经历中汲取灵感。NS-23分享道,"在[入读理工学院]之前,我每次英语考试都不及格。因此,……我不希望任何人因为语言而感觉羞愧或压力。"同样,双语NS-7进行了角色互换,希望"让他/她知道花点时间思考怎么说没关系……我可以想象如果反过来会是什么感觉"。

然而,一些NS参与者选择不通过可用渠道提供反馈。一个常见原因是担心反馈可能会干扰NNS的注意力。例如,NS-13表示,"我不想打扰我的伙伴,因为她正在打字和专注于翻译。"三位NS觉得实时肢体语言和面部表情足以传达支持,NS-6评论道,"……肢体语言和面部表情……[就]足以表达[我们的]态度,不需要使用额外的表情符号或文字……"。NS-18也表达了类似观点:"……口头交流和肢体语言……足以展现耐心和鼓励。"另外三位NS simply "没有觉得需要使用反馈渠道"。

总之,除极少数仍认为无需提供反馈的NS外,其他NS似乎认识到需要在沟通中承担更多责任。因此,一些NS直接表达了正面情绪,而另一些人则选择不给出回应或通过使用其他非侵入性方式提供反馈以避免打扰NNS。

**5 讨论**

本研究初步证明,使用该系统的NNS在演讲自我效能感方面有所提高,感知负荷和互动焦虑有所降低。此外,我们的发现揭示了该助手对具有不同L2水平的NNS的差异化效果。在所有系统可用的条件下,我们观察到NS对NNS的沟通挑战意识增强以及更具同理心的互动模式,同时NNS的互动焦虑有所降低。这些模式与系统功能使NNS的困难向NS显现是一致的,尽管该研究并未单独分析各组件的影响。从NS伙伴的角度来看,系统也对NNS的整体演讲表现和清晰度产生了适度改善,尽管流畅性和舒适度没有显著变化。以下小节将深入探讨我们研究的关键发现,并最终为未来AI辅助多语言沟通的研究和开发提出可操作的设计建议。

**5.1 系统的有效性与分层现象**

结果显示,当系统可用时,演讲自我效能感显著更高,焦虑更低,负荷更低,表明其在帮助NNS克服语言障碍[5, 30, 110]和互动焦虑方面具有潜力,实现了初步设计目标。

由于本研究将系统与无辅助条件进行了比较,我们在系统层面解释这些效果,而不将结果归因于个别组件。本研究连同 Qin 等人 [95] 提出的 AISA,丰富了 AI 中介交流在支持非母语者(NNSs)实时口语方面的研究。

量化结果数据表明存在分层效应:该系统似乎对第二语言(L2)口语水平在低于平均水平到平均水平之间的 NNSs 更为有益。低于平均水平的说话者在口语自我效能和焦虑方面表现出显著改善,工作负荷方面则有边际减少;平均水平的说话者在口语自我效能、工作负荷和焦虑方面均表现出显著改善。相比之下,口语水平较好的说话者在这方面的感知结果上未出现显著变化。然而,使用数据显示,使用频率随熟练程度水平的下降仅呈描述性下降趋势,且未产生具有统计意义的组间差异。这种模式表明,熟练程度与工具使用之间的关系并非简单直接。它不仅可能反映了语言需求的差异,还反映了求助行为的差异,而后者常常与自尊和身份认同交织在一起 [109]。先前的研究表明,自我效能和熟练程度较高的个体可能较少依赖外部援助,有时将求助视为对自身能力的承认,这可能威胁到他们对自身能力和自主性的自我认知 [18, 29, 59, 60]。与此解释一致的是,一些 NNSs 报告称,当他们认为自己已有足够多的替代方式来表达自己时,会依赖熟悉的交流策略 [3, 34] 而非口语助手(见第 4.3.1 节)。

对于第二语言口语水平较低的 NNSs,该系统可能特别有用,但频繁使用此类辅助仍然可能引发对外部依赖的担忧。在以目标为导向的实时对话中,用户体验到更高的多任务处理和认知负荷 [92],并可能通过快速参考系统输出来优先完成工作任务,而不是充分处理和学习系统提供的内容。先前的研究表明,当用户遇到更大困难时,他们更倾向于依赖 AI 辅助 [93],这可能会损害他们的第二语言发展和语言能力 [58]。

这些发现表明,口语支持应根据熟练程度、用户偏好以及特定情境下寻求帮助的意愿进行调整。对于熟练程度较低的 NNSs,工具可以提供更丰富的支架,但还应提供学习机会 [94],例如建议表达与预期表达之间的反思性比较。对于不太愿意寻求帮助的 NNSs,支持应当更少干扰、更可选择性,以补充而非取代他们现有的策略。

### 5.2 促进 NNSs 与 NSs 相互理解的重要性和顾虑

用于促进相互理解的整合通道似乎已实现其主要目标。首先,自动求助消息与提醒 NSs 承担其沟通责任以及培养对 NNSs 所经历困难的同理心是一致的。这说明了通过策略性地自我暴露脆弱性来触发亲社会行为的原则的适用性 [115]。在许多先前的研究中 [23, 99],观察到 NSs 往往不轻易承担公平分担沟通责任的部分,通常将交流中断或困难完全归因于 NNS 的语言限制。Ashtari [6] 恰当地强调,有效沟通是合作完成的成就,引用了 Schegloff [99] 关于"对话始终是合作完成的"的断言 [23],这一概念也被称为相互责任原则。相比之下,本研究中的大多数 NSs 主动提供了支持性反馈,并将责任感作为他们的主要动机。这表明相当一部分 NSs 认可了共同的沟通责任。这一积极转变似乎与通知消息的存在相一致,该消息明确告知了 NSs 关于 NNSs 的口语挑战和需要使用口语助手的事实,展现了自我表露在鼓励同理心和随后的亲社会行为方面的有效性 [107, 115]。值得注意的是,一些未通过面板发送明确回复的 NSs 仍然报告感受到了同理心,他们选择以更微妙的方式提供支持,或避免明显的反馈,以免可能干扰 NNS 的注意力;只有少数 NSs 认为反馈没有必要。

同时,NSs 普遍将口语助手视为帮助 NNSs 精确表达其想法的必要且宝贵的工具。他们表示愿意容忍因使用助手而引入的轻微互动延迟,以换取整体沟通清晰度的提高。这一发现与 Duan 等人 [35] 的研究形成对比,在后者中设计了一个用于打断 NSs 以为 NNSs 创造说话机会的智能体,但未能充分建立对干预背后理由的共同理解,导致 NSs 产生不公平感。这突显了一个关键点:虽然 NNSs 在第二语言口语交流中无疑处于不利地位,且 NSs 应承担一部分沟通责任 [99],但确保 NSs 充分意识到辅助技术的理由和必要性至关重要,尤其是在引入辅助技术以支持 NNSs 时。

此外,NSs 通过相互理解通道提供的反馈被认为有助于为 NNSs 营造友好的交流氛围,为他们提供安慰,从而缓解他们的焦虑。具体而言,这些回复传达了 NSs 的积极态度,直接解决了 NNSs 对人际不确定性的担忧 [37, 69, 105],例如 NS 同伴的态度或对其贡献的理解(见第 4.3.5 节)。表情符号的使用为 NSs 提供了一种轻量级的表达情感支持的途径 [21, 26, 46, 55, 111],有效地传递了积极信号。

虽然相互理解通道有效地培养了对 NNSs 的同理心、共同责任感和舒适感,但它也引发了重要的伦理问题,特别是关于 NNSs 沟通挣扎的透明度问题。自动化的说话困难自我表露,即使是出于好意,也涉及揭示一种 NNSs 可能并未明确选择分享的脆弱性。这种担忧可能有助于解释为什么一些 NNSs,特别是那些重视自主性或在正式场合注重面子的人,不愿意使用口语助手工具。

总体而言,相互理解通道的有效性强调了设计 AI 中介系统的重要性,这些系统不仅要支持 NNSs 的语言表现,还要通过积极吸纳 NSs 来培养包容性的交流环境。然而,还需要进一步研究一个挑战:同时实现两个目标:(1) 通过增强的相互理解减少沟通障碍;(2) 避免暴露语言弱点,以免给 NNSs 带来不适。

### 5.3 设计启示

为应对前文提出的多方面挑战并促进 AI 中介交流的发展,我们提出以下可操作的设计启示。

#### 5.3.1 增强对发音和翻译输出传递的支持

虽然口语助手帮助 NNSs 构建了更清晰的表达,但一些人表示难以准确地发出翻译输出的声音,这可能造成了 NNSs 在整体 NS 评分表现和清晰度改善的情况下,流利度和舒适度未发生变化的原因(第 4.4.1 节)。当前的口语助手无法解决这一问题,表明需要进一步完善。未来研究可以引入文字转语音技术 [63, 104] 来直接朗读或指导 NNSs 发音,正如第 4.3.1 节中一些 NNSs 所建议的那样。近年来语音生成技术的进展 [104] 已能提供接近人类的质量,这可能会缓解这种不适,但仍需进一步研究以确认其在实时交流中的适用性。另一种潜在的改进方法是实现翻译文本与双方用户转录稿的自动同步并加视觉指示(如高亮文本),使 NNSs 无需大声朗读。这种方法可以减少 NNSs 的阅读压力,同时确保 NSs 准确捕捉关键信息。

#### 5.3.2 暴露语言脆弱性的替代方法

一些 NNS 参与者表达了一个明显的顾虑,即不愿在正式或评估性场合(如求职面试、学术演讲或与上级对话)使用口语助手。这种犹豫可能源于害怕暴露其语言限制,这在某些情境下可能会被负面看待。这表明,虽然语言困难的自我表露可以在协作性、低风险的环境中有效地激发 NSs 的亲社会和支持性行为,但系统设计也必须考虑一些 NNSs 更高的自尊 [66, 82] 和面子保全需求,忽视这些因素可能会无意中抑制求助行为。为解决这一问题,我们建议未来系统应探索替代的交互范式。例如,智能体中介的提示可以取代 NNS 明确的求助行为 [75]。与其由 NNS 明确激活助手,不如让 AI 智能体主动检测 NNS 语音中的语言犹豫、不流利 [64, 97] 或潜在的概念空白。智能体随后可以谨慎地向 NNS 建议简化的改写或澄清,同时微妙地提示 NSs 放慢语速或提供鼓励,而无需明确暴露 NNS 的挣扎或对辅助的依赖。

#### 5.3.3 促进 NS 发起的澄清以推动 NNS 表达精细化

一些 NNSs,特别是那些认为自己可以依赖替代交流策略的 NNSs,报告称当他们认为自己的表达足够清晰或高效时会避免使用助手 [36]。然而,这并不意味着 NSs 总能理解这些 NNSs 的表达,这可能导致误解的积累,因为 NSs 不常主动向 NNSs 询问澄清沟通问题 [31, 72, 87],即使这些问题可能会影响对话的顺利进行。例如,Lindemann [72] 发现持消极态度的 NSs 更可能对 NNSs 使用"回避策略",例如不提供反馈、不提问、不寻求解释,即使这可能导致任务失败。此外,礼貌规范或面子保全顾虑 [38, 45] 也是重要的考量因素,正如沟通适应理论所提示的那样。这种动态阻碍了相互理解,并限制了 NNSs 的表达精细化机会。为此,我们建议设计能够促进 NSs 低摩擦澄清请求的机制。具体而言,可以允许 NSs 直接操作,例如从转录稿中选择语句,并触发一组情境化的提示按钮,如"你能解释一下这个吗?"、"你能换个说法吗?"或"你这里是什么意思?"。选择后,系统将生成一个轻量级的、符合社交规范的澄清提示,鼓励 NNS 优化或重新表达想法。这种方法使 NSs 能够表达困惑而无需社交上的不适,同时也引导 NNSs 走向更精确的沟通和对口语助手的更积极使用。

#### 5.3.4 将对话支持延伸为长期学习机会

根据语言习得原则 [14, 65, 102],参与口语交流时面临的挑战代表了提升语言技能的关键学习机会。目前,NNSs 可能由于不同原因未能充分利用这些学习机会。一些 NNSs 可能为了避免影响自主性或面子,特别是在正式或评估性场合,而避免寻求帮助,另一些人可能主要专注于在高认知负荷下完成即时沟通任务,难以识别合适的语言发展机会。因此,我们建议集成一个对话后模块,该模块自动识别调用口语助手或检测到语言困难的时刻。系统随后可以生成一个包含情境化翻译、词汇、语法提示和未来练习提示的复习集。通过将学习材料与先前经历的交流场景相联系,复习内容被深度嵌入到有意义的对话上下文中 [88] 并与用户的场景记忆相关联 [74],从而增强记忆和学习效率。这可以与间隔重复引擎集成,以支持随时间的累积学习。

### 6 局限与未来工作

本研究存在若干局限性。首先,本研究在受控的实验室环境中进行,使用特定的"物体游戏"任务来评估我们的系统对 NNS-NS 交流的影响。虽然这种设计实现了受控比较,但此类设置可能无法完全捕捉现实交流中的复杂性、自发性和社会动态,从而限制了生态效度。未来研究可以在更自然主义的任务中检查该系统,如开放式对话或工作场所互动,以评估自我效能和相互理解方面的类似益处是否持续。

其次,参与者仅限于以母语为中文的 NNSs 和以母语为英文的 NSs。尽管当地社区的人口统计特征决定了这种组成并提供了关于口语助手可用性的有意义见解,但这些发现可能无法推广到其他语言对或文化背景,在这些背景下语言距离、语用学和互动规范存在差异。未来工作可以将此研究扩展到多样化的语言配对,以更好地了解此类工具在不同交流背景下如何运作。

第三,我们的研究关注短期互动,捕捉了自我效能的即时改善和焦虑的减少。

然而,对语言学习、交流模式以及对口语助手依赖性的潜在长期影响仍未得到探索。纵向研究可以调查长期使用如何随时间塑造多语言交流实践。
7 结论
为了协助非母语者(NNSs)开口交流,我们专注于减轻他们的语言焦虑和互动焦虑。因此,我们提出了一种整合语音驱动翻译和相互理解通道的系统。通过一项涉及 25 对非母语者 - 母语者(NNS-NS)配对的被试内实验,我们的研究结果表明,该系统在支持多语言交流期间的非母语者方面是有效的,这体现在非母语者的口语自我效能感增强、工作负荷降低以及焦虑缓解上。进一步分析表明,第二语言口语熟练度低于平均水平及处于平均水平的非母语者可能从口语助手中获得更显著的好处,而熟练度良好的非母语者在这些感知结果上没有表现出显著变化。此外,我们展示了建立相互理解的重要性,其中非母语者自我表露的脆弱性提升了母语者分担交流责任感和共情的意识,而母语者的回应反过来帮助非母语者轻松参与交流并降低对交流的焦虑。未来的研究可以探索此类支持工具在交流动态方面的更广泛应用和长期影响,并考虑扩展该工具对不同语言和文化背景的适应性。
致谢
本研究得到了新加坡国立大学人工智能研究所(NAII)通过 NAII 种子基金(项目编号 A-8003879)的支持。我们感谢所有参与者的宝贵贡献,以及我们在整个研究过程中合作者给予的反馈。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号