让所有人参与进来:一项关于大语言模型(LLM)辅助群体决策制定的实验研究

《Proceedings of the ACM on Human-Computer Interaction》:Bringing Everyone to the Table: An Experimental Study of LLM-Facilitated Group Decision Making

【字体: 大 中 小 】 时间:2026年10月22日 来源:Proceedings of the ACM on Human-Computer Interaction

编辑推荐:

  摘要 要查看这篇由AI生成的摘要,您必须拥有高级访问权限。了解更多信息请登录。 **摘要** 群体决策常常面临信息 sharing 不均的问题,这会削弱决策的质量。尽管大型语言模型(LLMs)已被广泛研究作为个体辅助工具,但它们支持用户群体(可能作为促进者)的潜力尚

  摘要
要查看这篇由AI生成的摘要,您必须拥有高级访问权限。了解更多信息请登录。

**摘要**
群体决策常常面临信息 sharing 不均的问题,这会削弱决策的质量。尽管大型语言模型(LLMs)已被广泛研究作为个体辅助工具,但它们支持用户群体(可能作为促进者)的潜力尚未得到充分探索。我们设计了一项预先注册的随机实验,共有1,475名参与者被分配到281个小组中,完成一个隐藏档案任务——为假设的体育赛事选择最佳城市——并在四种促进条件下进行:无促进、一次性信息分享提示、人工促进者或LLM(GPT-4o)促进者。我们发现,LLM的促进作用提高了小组成员对任务的最小参与度,从而增加了信息共享量,而这些增益在参与者对任务、小组或促进者的态度方面造成的影响有限。无论是由人工还是AI进行促进,对最终决策结果都没有显著影响,这表明即使是大幅但部分的信息共享增加也不足以克服所研究的隐藏档案效应。为了支持LLM介导的群体决策系统的设计与评估,我们公开了我们的数据以及我们的实验平台“Group-AI Interaction Laboratory”(GRAIL),作为一个开源工具。

**AI生成的摘要(实验性)**
该摘要是由自动化工具生成的,并非由文章作者编写或审核。它旨在帮助发现相关内容、协助读者评估文章的相关性,并帮助来自相邻研究领域的读者理解本研究的工作。它应该补充作者提供的摘要,后者仍然是论文的权威版本。点击此处了解更多信息。点击此处评论该摘要的准确性、清晰度和实用性。您的反馈将有助于改进未来的生成版本。要查看这篇由AI生成的通俗语言摘要,您必须拥有高级访问权限。

**引言**
从部落议会到委员会会议,群体决策一直是人类社会行为的基石,贯穿于不同的时代和文化。团队在诸如招聘[72]、患者护理[18]和危机响应[40]等关键功能中做出决策,调节团队表现的因素已被广泛研究[1, 23, 32, 36, 37, 46]。尽管基于团队的任务在工作环境中无处不在,但团队也会面临诸如社会懈怠[38]、群体思维[6]和两极分化[26]等挑战,以及在信息 sharing、讨论和评估中的各种偏见[50, 60, 67]。

已经有许多努力来衡量团队的能力并设计干预措施以改善团队表现。其中一类干预措施涉及使用算法来影响集体行为,从简单的、能改善网络团队协调的机器人[12],到重新连接人类网络以促进合作的图神经网络[47]。随着2022年11月ChatGPT的推出,大型语言模型(LLMs)进入了公众视野,并成为研究这些模型如何增强人类能力的焦点。虽然大量文献探讨了LLMs如何在包括写作、编程、艺术和教育[33, 51, 53, 79]在内的广泛领域帮助个体用户,但我们对这些模型如何帮助人们共同使用它们的理解仍然相对初级[11, 39, 44, 75]。最近的研究表明,LLMs可以通过静态干预(例如,向小组成员提供的摘要或建议)帮助团队达成共识[64, 73]并讨论争议性话题[5]。与事后工具(如会议摘要)相比,将LLMs作为讨论的积极参与者可以实时支持团队并提高讨论质量,从而增加有意性和包容性[10, 25]。更具体地说,作为会议促进者,LLMs可能在某些方面表现出色,而这些方面对人类促进者来说可能很具挑战性,特别是在管理高速且节奏快速的讨论时,以及跟踪谁参与了讨论。在这方面,最近的研究探讨了这类基于LLM的干预措施的设计原则[44],并实证研究了基于LLM的干预措施(如提出异议)对群体决策和设计过程的影响[11, 39]。这些研究共同指出了一个不断发展的LLM促进策略设计空间,这些策略在时机、目标和互动风格上各不相同,从而影响了团队的协调和审议方式。

在这项工作中,我们研究了在关键信息在团队成员之间分布不均的决策讨论中,基于LLM的促进者的作用。在这种情况下,由于参与度不均、对话动态以及信息关注和解释的偏见等多种因素,团队往往无法有效地揭示和整合独特持有的信息。这些动态可能导致次优决策,特别是当关键信息仅为一部分参与者或甚至单个个体所知时。我们引入LLMs作为促进者,帮助团队完成“隐藏档案”任务(HPTs)[67],这是一个经过充分研究的在信息不对称情况下进行决策的实验范式。通过实施支持参与和信息综合的结构性干预,LLMs可能成为面临此类决策的团队的有效辅助工具。为了进一步理解LLM在这种环境中的促进作用,我们提出了以下研究问题(RQs):
- RQ1:与无促进、书面指导和人工促进相比,LLM促进是否增加了信息不对称情况下的群体决策中的信息共享?
- RQ2:除了信息共享量之外,LLM促进还如何影响信息聚合过程和决策的质量?
- RQ3:参与者如何主观评价LLM促进的群体决策经验?

为了调查这些问题,我们进行了一项预先注册的随机实验(AsPredicted #192061),其中281个由五名决策者组成的小组完成了隐藏档案任务,并被随机分配在无辅助的情况下或在校人工促进者或LLM促进者的帮助下完成任务。我们发现,LLM促进增加了信息共享的数量和广度,而没有对团队凝聚力和生产力的自我报告态度产生负面影响。然而,尽管信息共享有所增加,团队仍然做出了次优决策,这突显了偏见的力量,并激发了对旨在克服群体讨论和决策中已知偏见的算法促进工具的研究。为了支持未来的研究,我们还公开了完整的实验数据集和Group-AI Interaction Laboratory(GRAIL),这是一个用于研究对话任务中群体与AI互动的开源接口。

**相关工作**
在这项工作中,我们研究了LLM促进在信息不对称情况下对群体决策的影响。我们的研究受到群体在信息不对称环境中表现出的已知偏见和沟通失败问题的启发,并建立在之前的群体与AI互动和群体决策支持技术设计工作的基础上。我们通过提供大规模的、预先注册的实验证据来补充现有研究,描述了LLM促进对完成具有挑战性的隐藏档案任务时群体行为的影响。

**2.1 隐藏档案任务范式与群体决策研究**
自从Stasser和Titus的开创性工作[67]以来,隐藏档案任务(HPTs)已被广泛用于研究成员信息不对称的团队中的决策动态[9, 41, 58, 65, 69]。在HPT中,一组决策者需要从几个预定义的选项中选择一个,关于这些选项的信息分布在不同的团队成员之间。每个团队成员收到关于各种选项的不同信息集(或“档案”),通常以每个选项的事实列表形式提供。信息的可见性(公共/共享/私有)和极性(正面/负面/中性)以及它们在团队成员中的分布是故意设计的,使得个别可访问的信息暗示一个选项是最优的,而全部信息集则会识别出另一个更优的选项。这种信息不对称性创造了一个决策场景,其中最佳的团队表现需要有效的信息交换和整合,而不仅仅是简单的多数投票或个人偏好的平均。

熟悉群体智慧[71]和集体智能[78]文献的人可能会直觉地认为,群体在决策任务中会优于个人,包括HPTs。然而,先前的研究发现,由于努力和时间的限制,群体通常不会完全分享信息[67]。HPT下的信息分布引起了两个关键的信息共享偏见,这阻碍了团队的进展。在完成HPT的团队中,共享的信息比私有信息更频繁地被提及(信息共享偏见[35, 52]),并且参与者更可能分享支持他们个人信息集下所青睐的选项的信息(个人偏好偏见[28, 60])。更广泛地说,这些动态被众所周知的团队过程放大了。例如,社会懈怠[38]会降低参与度,增加私人持有的信息永远不会被共享的机会;沟通焦虑[45, 52]会阻止个人贡献独特或不同的信息;群体思维[6]会导致团队过早地倾向于最初偏好的选项,而没有充分考虑其他选项。总体而言,这些因素导致了HPT范式的核心挑战:团队往往失败不是因为相关信息不可用,而是因为在讨论过程中没有有效地揭示和整合相关信息。

**2.2 团体促进的计算方法**
简单来说,促进者的作用是实施过程和内容干预,帮助团队实现其目标[49, 76]。过程干预在团队讨论中引入和强化结构,例如制定议程或管理特定的讨论格式(例如,德尔菲方法和名义小组技术[21])。在对话中,实施过程干预的促进者通常执行诸如计时、管理参与和支持综合等行动,而不引入他们自己的实质性判断或领域专长。相比之下,内容干预涉及促进者将自己的判断、解释或建议加入到当前的讨论中,例如支持某个特定选项或引入新的信息和观点。

计算方法促进建立在CSCW和更广泛的HCI社区关于群体决策支持系统(GDSSs)[16]和对话代理(CAs)[17]的丰富工作基础上。1993年,Phillips & Phillips认为,虽然计算机可以作为交互的媒介来支持促进,“但促进者的关键功能,如观察、关注、保持对感受的意识和干预,当然不能由计算机来执行...”[56]。自那时以来,计算方法在这些功能方面已经发展到了实际应用的水平,后续工作探讨了在团队环境中实现促进者的结构和对话角色的技术解决方案。例如,Kim等人[31]展示了CA在群体辩论中交互式添加结构(如轮流发言)的效用,而Do等人[19]展示了代理如何敏感地提供反馈给表现不佳的团队成员,Shamekhi等人[61, 62]研究了具身化如何影响人们对促进者在决策群体中的参与感、信任、智力和效能的感知。

在信息不对称情况下的决策背景下,过程干预理论上可以帮助团队避免次优决策。在隐藏档案任务中,团队成员共同拥有识别最优选择所需的信息,但这些信息往往分享不均,且没有充分整合到最终决策中。通过激发所有成员的贡献并结构化信息分享和综合的方式,过程干预非常适合缓解这些信息交换的失败。这使得隐藏档案任务成为研究过程导向促进效果的natural环境。同时,尽管这些干预在理论上可能是有益的,但LLM基础系统是否能在实践中有效实施此类促进仍然是一个实证问题。

有效的LLM促进者可能使我们能够更精确、更广泛地执行这些促进功能,从而扩大促进支持的覆盖范围。专业促进者(例如在Find a Facilitator上找到的那些)的收费通常在每天1,500到3,000美元之间,这对于许多决策环境中的团队来说可能是难以承受的。基于大型语言模型(LLM)的系统的相对较低(且持续下降的)边际成本可能提供了一种更具可扩展性和成本效益的替代方案。2.3 组群AI互动 一系列算法被用来影响群体行为,以克服不利的群体过程,这些算法的复杂程度从简单的、发出噪音的机器人(用于改善网络化群体中的协调性[12]),到重新连接人类网络以促进合作的图神经网络[47],以及用于影响隐藏档案任务中群体动态的变分自编码器[55]不等。最近,大型语言模型(LLMs)被探索作为一种工具,用于在各种环境中影响群体动态和结果。这种干预的一种形式是向群体提供静态或事后的LLM输出;在这些应用中,LLM作为工具以高度结构化的格式向群体提供输入,而不是作为群体互动的积极参与者。例如,Tessler等人[73]的基于LLM的“哈贝马斯机器”可以迭代生成关于社会和政治问题的共识声明,还有一些方法利用LLM帮助用户表述他们的信息,以增加在分歧性对话中的被理解感[5]并提高群体间的合作[13]。正如Mao等人[44]和Do等人[19]所强调的那样,从结构化的支持形式转变为交互式的多用户聊天环境,扩展了设计空间,不仅包括说什么,还包括何时说以及対谁说。为了解决基于聊天的环境中多方互动的复杂性,Mao等人[44]和Papachristou等人[54]提出的框架引入了多组件LLM系统,每个组件处理互动的一个方面(例如时机、内容、接收者选择、意图提取和协调),而Houtti等人[25]提出的“观察、询问、干预”框架则关注此类互动干预应如何实施。在会议和小组讨论的背景下,LLMs被用作引入反驳意见的“魔鬼代言人”[11],作为会议调度过程的协调者[54],以及支持跨重复会议的时间管理的工具[75]。我们在已有文献的基础上进行了扩展,进行了一项预注册的大规模(281个小组)、高度互动(每组5-6名成员)实验,研究单个LLM作为决策促进者在信息不对称和对抗性场景中的角色。3 方法 3.1 参与者 在这项预注册的实验(AsPredicted #192061)中,从Prolific招募了1,475名参与者,并随机将他们分成五人一组(在一个处理条件下增加了一名作为协调者的第六名参与者)。所有参与者都居住在美国,平均年龄为39岁(标准差=12.5岁),其中54%为男性,45%为女性(其余参与者拒绝回答)。参与者完成整个研究后获得固定报酬3.75美元,每小时的中位报酬率为14.40美元。该研究获得了微软研究院机构审查委员会(MSR IRB;记录编号#10883)的批准,所有参与者都明确同意参与这项研究。有关招募材料,请参见附录A。3.2 实验设计与实施 3.2.1 协调 本研究的重点操作是提供辅助支持,以帮助小组在讨论过程中进行协商。每个小组被随机分配到四种协调处理方式中的一种:(1)无协调(“None”,N=70组),小组在没有任何协调支持的情况下完成任务。(2)一次性消息(“Message”,N=71组),向小组展示一条信息:“大家可能对正在讨论的内容有不同的了解,因此请鼓励大家分享所有相关的信息。”这条通知在小组讨论开始时展示,并在讨论开始后逐渐消失。作为一种最小的预讨论提示,这种干预措施反映了Stasser等人[66, 70]先前研究中的主动控制条件。(3)人工协调(“Human”,N=70组),增加第六名人类参与者作为协调者。这名参与者没有收到任何任务相关的私人信息,因此作为一个中立的、外部的非专业协调者,专注于组织小组的讨论,而不是实质性地参与决策。(4)LLM协调(“LLM”,N=70组),使用LLM(GPT-4o)作为协调者。无论是人工协调者还是LLM协调者,都没有获得关于隐藏档案任务中任何选项的相关信息,因此他们的角色仅限于组织小组的讨论,而不是提供与任务相关的内容。两位协调者都收到了相同的提示:“首先,确保每个人的意见都被听到并分享他们所知道的信息;其次,充当记分员,记录支持和反对意见。”此外,他们还收到了“Message”协调条件下提供的提醒(在“Human”和“LLM”条件下,这条信息仅提供给协调者,而不是参与者)。如果小组被分配了LLM协调者,LLM每90秒向小组发送一条消息,并在小组直接提问时做出回应;每次发送给LLM的请求都包含请求之前的完整时间戳记录,以及关于会议目标、参与者和时间消耗/剩余时间的概述信息。有关每种协调条件的实施细节,包括截图,请参见附录C。LLM协调者及其提示结构的实施细节在附录D中有进一步说明。3.2.2 隐藏档案任务 在这个实验的隐藏档案任务中,小组的任务是从三个虚构的城市——Eldoron、Myloria和Cragnio中选择一个来举办类似于奥运会的国际体育赛事。每个城市由10个不同的事实描述,这些事实分为五个类别:天气、旅游、交通、社区,以及一个不影响决策的混合类别。每个关于城市的事实都有正面(例如,“居民友好且热情好客”)、负面(例如,“湿度高于平均水平”)或中立的效价(例如,“被认为是该地区的生物技术中心”),并通过实验前的调查进行了验证。任务的结构,包括小组规模、选项数量和信息架构,是模仿“Grogan Air”隐藏档案任务[4]设计的,并根据国际体育赛事的背景进行了调整。有关隐藏档案任务设计和效价测量调查的详细信息,请参见附录E。在提供全部信息的情况下,使用单位权重线性模型(UWLM)[22]对效用进行评估,该模型给正面事实分配1分,中性事实分配0分,负面事实分配-1分,结果显示Eldoron是最有利的选项,总分为6分,其次是Myloria,得分为2分,Cragnio得分为0分。然而,每个小组成员只能访问一部分事实;事实可以是公开的(所有小组成员都可以看到)、共享的(多个成员可以看到)或私有的(仅一个成员可以看到)。为了掩盖Eldoron的吸引力并创建“隐藏”的档案,通过操纵事实的极性(正面/负面/中性)和可见性(公开/共享/私有),使得Myloria在每个单独的信息集中成为最吸引人的选项,详见表1。有关全部事实列表和信息在参与者之间的分配情况,请参见附录中的图12。表1. 信息集 Eldoron Myloria Cragnio 全部信息 6 20 蓝色 23 1 绿色 13 2 橙色 23 2 粉色 13 2 红色 13 2 城市的效用得分(Eldoron, Myloria, Cragnio)根据信息集。在提供全部信息的情况下,Eldoron的效用最高,而个别参与者的信息集(蓝色、绿色、橙色、粉色、红色)被操纵以创建一个有利于Myloria成为最吸引人的城市的隐藏档案。效用得分反映了基于单位权重线性模型(UWLM)赋予正面(+1)、中性(0)和负面(-1)事实的效价值之和。3.2.3 实验流程 在入职期间,参与者会被告知会议的目的和持续时间、他们的小组规模,以及是否为他们的小组提供了协调者的信息。在查阅说明并完成简短的理解检查后,每个小组将经历实验的三个阶段,如图1所示,使用图2所示的聊天界面:(1)破冰活动:小组首先用相同的聊天界面互相介绍,为接下来的决策讨论做准备。在这个阶段,参与者熟悉界面,以便立即开始下一阶段的决策讨论。在此阶段,参与者不会看到任何与任务相关的信息。虽然人工协调者可以参与破冰活动,但LLM协调者不会参与。(2)决策讨论:破冰活动结束后,每位参与者会看到他们的个人信息集,小组有10分钟的时间来讨论任务。小组必须全程参与这10分钟。在此阶段,“Human”和“LLM”条件下的协调者通过小组使用的相同聊天窗口与小组进行沟通。与五名“决策”参与者不同,人工协调者的界面显示的是协调者的指示。(3)任务后调查:决策讨论结束后,所有参与者(包括人工协调者)单独完成退出调查。他们被要求报告小组的决定,以及对任务、他们的小组和他们的协调者(如果有分配)的主观评价。有关介绍和退出调查的截图,请参见附录G。图1. 实验设计。在阅读任务概述并完成简短的理解检查后,参与者被分成每组5名决策者的小组(如果分配了协调者,则还包括第六名参与者作为协调者),然后进行实验的三个阶段。(A)首先,参与者完成了一分钟的破冰练习,使用他们将在主要任务中使用的相同聊天界面相互认识。(B)破冰之后,小组有10分钟的时间完成隐藏档案任务,并被随机分配到无协调支持的对照条件,或三种协调处理方式之一:“Message”、“Human”或“LLM”。(C)主要讨论结束后,每位参与者单独完成退出调查,报告小组的决定以及他们对任务、他们的小组和他们的协调者的主观评价。图2. 实验界面。屏幕的左侧部分,参与者可以查看一般指令和关于每个城市的独特信息集。屏幕的右侧部分,小组通过共享聊天窗口进行沟通;参与者可以使用“@”标签直接与其他人交流,包括协调者。实验界面的截图。屏幕的左侧部分,参与者可以查看一般指令和关于每个城市的独特信息集。屏幕的右侧部分,小组通过共享聊天窗口进行沟通;参与者可以使用“@”标签直接与其他人交流,包括协调者。在每个小组内,参与者被随机分配颜色(“蓝色”、“粉色”、“绿色”、“橙色”、“红色”)作为昵称;在所有小组中,每种颜色都与一个信息集相关联(包括所有公开信息以及分配给他们的任何共享或私人信息),这些信息在“个人简报”中呈现。通过图2所示的界面,参与者可以在屏幕的左侧查看他们的个人简报,并通过屏幕右侧的聊天窗口进行沟通。界面配置为禁止直接复制和粘贴个人简报中呈现的信息,以保持信息共享的限制,这使得必须选择要共享的信息,并防止参与者轻易地分享所有可用的事实或将内容复制粘贴到外部大型语言模型(LLM)中进行总结。3.3 结果和过程测量为了回答问题RQ1,我们预先注册的主要结果是每个组内涵盖的信息量,具体表现为小组讨论期间提到的不同事实的总数,范围从0到最多30个事实。为了量化这一结果,GPT-4o对参与者发送的每条消息进行注释,以识别所有直接或间接提到的事实(更多细节请参见附录F)。我们关注信息覆盖率的原因是,信息聚合是有效决策的必要条件(尽管在我们实现的HPT中是不充分的,正如我们在第4.3节中讨论的),并且在广泛的HPT设计和小组绩效评估方案中也是如此[48]。为了研究问题RQ2,即我们的促进性处理对讨论动态的影响,我们测量了几个过程结果。讨论密度定义为讨论中浮现的事实数量与发送的消息数量(不包括促进者消息)的比率,这使我们能够区分是通过更长的对话增加的事实共享,还是由于讨论焦点的不同而增加的。为了了解促进对选项探索的影响,我们测量了小组内每个选项浮现事实的基尼系数,其中较低的基尼系数意味着选项的信息覆盖更加均匀。在信息不对称的情况下,例如隐藏档案任务中,个人参与度至关重要;如果小组成员不参与讨论,关键信息可能会被排除在决策过程之外。在每个小组中,我们通过测量单个小组成员添加到讨论中的新事实的最小和最大数量来衡量个人参与度的上下限。另一个相关但不同的衡量标准是小组是否实现了全面参与,我们将其定义为每个成员是否至少提出了一个之前在讨论中未提到过的新事实。最后,我们定义了描述浮现信息以及小组所做的决策的衡量标准。在每个小组中,我们将一个选项的“规范分数”定义为根据小组浮现的事实给该选项的分数,假设小组完全按照意图感知了事实的极性,并使用这些分数来找到小组在单权重线性决策模型下会做出的决策。我们将这种规范决策与小组实际做出的决策进行对比,实际决策是由多数小组成员报告的小组决策,不包括人类促进者。所有281个小组都形成了明确的多数,其中19个小组的投票比例为4-1,8个小组为3-2,其余小组作出了 unanimously 的决策。问题RQ3的动机是,虽然某种处理可能导致结果或过程的改进,但这些改进可能会以牺牲决策者的主观体验为代价。为了研究这一点,我们在任务后调查中测量了个体参与者对三个维度的主观评价——任务、他们的小组和他们的促进者(如果有的话)。通过NASA任务负荷指数[24]来衡量主观任务体验,这是一个包含心理、身体和时间需求,以及表现、努力和挫败感的6个项目工具。在TLX之后,小组的主观评价首先是一个通用的自由文本问题(“你对你的小组在任务中的表现有什么感受?”),接着是四个5点李克特量表问题,旨在捕捉小组决策和讨论质量的常见研究方面,即参与度和包容性(“我觉得我能够为小组讨论做出贡献”)、能动性(“我觉得我能够影响小组的决策”)、生产力(“小组的讨论感觉很有成效”)和结构(“小组有结构化的方式来收集和总结信息以达成决策”)。小组评估的最后一个项目旨在衡量小组的凝聚力,通过询问一个二元问题来了解参与者是否愿意假设性地与同一个小组或一个新的随机小组重复任务。最后,在小组评估的结构之后,促进者评价首先是一个关于促进者的类似表述的自由文本问题,接着是四个5点李克特量表问题,用于评估促进者的表现,包括信息引出(“促进者鼓励小组分享信息”)、信息综合(“促进者帮助小组总结共享的信息以达成决策”)、任务焦点(“促进者能够保持小组专注于任务”)以及分心和过程中断(“促进者是否分散了注意力”)。促进者评价以“你是与[无、人类、AI]促进者一起完成任务。如果你要重复这个任务,你更喜欢哪种类型的促进?”这个问题结束,可选的选项包括“无”、“人类”和“LLM”。对于分析,TLX和基于李克特的响应通过取每个小组内非促进者响应的平均值来汇总到小组层面,使分析单位与处理分配保持一致。所有TLX项目的主观调查完成率超过了98%,所有小组和促进者的李克特及多项选择项目的完成率超过了95%,可选自由文本响应的完成率为68%。3.4 统计分析和数据处理作为预先注册的(AsPredicted #192061),我们通过确认性、成对、单侧、独立样本t检验来研究RQ1,比较实验处理之间平均事实覆盖率的差异,样本大小基于试点研究数据选择,以在5%的显著性水平下检测到2个事实的差异时具有70%的功效。除了这些预先注册分析的p值外,我们还使用Benjamini-Hochberg程序[7]报告调整后的p值作为保守的稳健性检查。本工作中的所有其他分析都是探索性的,并报告未经调整的p值,所有后续的t检验都是双边的。在我们的探索性分析中,我们使用单变量方差分析(ANOVA)和皮尔逊卡方检验来分别测试连续和二元结果之间的处理差异。为了探究小组决策中事实的相对重要性,我们估计了一个多项式逻辑回归模型,作为规范UWLM分数的函数。让Yg表示小组g选择的选项,让Sg、E、Sg、M和Sg、C分别表示Eldoron、Myloria和Cragnio的浮现规范分数。对于每个非基线选项j ∈ {Eldoron, Cragnio},我们指定:log?Pr(Yg=j)Pr(Yg=Myloria)=βjESg,E+βjMSg,M+βjCSg,C我们将Myloria设为参考类别,因此每个系数βjk捕捉了选项k的浮现规范分数与选择选项j(相对于Myloria)的对数几率之间的关联,同时保持其他分数不变。重要的是,因为规范分数本身受到实验处理的影响,这些估计应该被描述性地解释:它们捕捉了不同小组之间浮现信息和决策的共同变化,而不是在固定决策过程的情况下隔离额外信息的因果效应。因此,系数反映了小组对信息的权重以及处理如何共同影响信息共享和决策的组合。3.4.1 数据处理考虑到如果参与者退出研究,决策任务可能会失去私人信息的敏感性,我们的预先注册的纳入标准是每个参与者至少发送一条消息,小组总共发送至少10条消息,并且所有参与者都在Prolific上提交了任务完成代码(在研究结束时显示)。从Prolific中抽样小组,直到达到每个实验条件下的70个有效小组的预先注册数量。在数据收集过程中,“无”、“消息”和“LLM”条件下的每个条件各有7个小组,“人类”条件下的15个小组未能满足纳入标准;为了确保处理之间的等概率分配,还在“消息”条件下额外抽样了一个小组。虽然排除率的差异在统计上不显著(χ2(3, N = 317) = 4.56, p = 0.21),但“人类”条件下的较高排除率可能反映了其较大的小组规模(6对5),这机械地增加了至少有一个参与者导致小组被排除的概率。有关预先注册的更多细节,请参阅附录B。4 结果4.1 在信息不对称的情况下,LLM促进增加了小组讨论中的信息共享如图3 A所示,我们发现一次性消息处理(Δ = 1.32, t(139) = 1.52, p = 0.066, Benjamini-Hochberg调整后的p = 0.082)和人类促进(Δ = 0.43, t(138) = 0.51, 未经调整和B-H调整后的p = 0.31)都没有显著增加与无促进相比的平均事实共享数量。然而,我们发现LLM促进相对于所有其他条件增加了信息共享:对于“无”,Δ = 2.9, t(138) = 3.58, p < 0.001, B-H调整后的p = 0.001;对于“消息”,Δ = 1.58, t(139) = 2.1, p = 0.021, B-H调整后的p = 0.035;对于“人类”,Δ = 2.47, t(138) = 3.38, p < 0.001, B-H调整后的p = 0.001。为了将LLM促进相对于无促进的信息覆盖增加进行背景化(“LLM” vs. “无”),效应大小(Cohen’s d)为0.61,表明LLM促进对信息覆盖有中等到较大的实际效果。4.2 LLM促进对小组讨论和信息共享的过程层面影响尽管LLM促进者从小组中引出了更多的事实,我们没有检测到不同处理之间小组成员(不包括促进者)发送的总消息数量的显著差异(F(3,277) = 0.46, p = 0.71),并且发现LLM促进的讨论平均信息密度高于无促进的讨论,其中密度定义为覆盖事实与讨论中非促进者消息数量的比率(Δ = 0.067, 95% CI [0.025, 0.109], t(138) = 3.17, p = 0.002;见图3 B);这些发现共同表明,事实覆盖的增加并不是仅仅由于讨论时间更长。此外,LLM促进的小组中覆盖的信息可能在三个候选城市之间分布得更均匀,如每个城市覆盖事实的平均基尼系数降低所示(Δ = -0.05, 95% CI [-0.091, -0.009], t(138) = -2.42, p = 0.017;图3 C),这表明LLM促进可能鼓励小组更全面地评估手头的决策。图3. LLM促进增加了讨论中的事实共享量、密度和广度。(A)显示了小组浮现的总事实数量。(B)显示了对话中的事实密度(#浮现的事实 / #消息,不包括促进者消息)。(C)显示了每个小组在三个选项中覆盖信息的基尼系数。误差条表示95%的置信区间,可能小于标记。散点标记代表每个小组。为了可读性,面板(A)中的边界标记表示超出y轴范围的点。LLM促进增加了共享的信息总量,提高了信息密度(每条消息的事实数量),并使得与其他促进条件相比,三个候选城市的讨论更加平衡。从消息的数量和长度来看,人类促进者似乎采用了更为对话式的风格。人类促进者更频繁地沟通,平均向他们的小组发送了9条消息,而LLM促进者平均发送了7条消息(如附录D中详细说明的那样;t(138) = 2.74, p = 0.007),然而人类促进者的平均消息长度要短得多,只有9个词,而LLM促进者的平均消息长度为79个词。然而,通过评估促进者消息的内容,我们发现推动信息共享增加的一个潜在机制是与小组成员的直接互动,以参与讨论(例如,“红,我们还没有收到你的消息...”)。平均而言,25%的人类协调者在讨论中的信息是直接针对小组成员的,而大型语言模型(LLM)协调者在单次讨论中68%的信息都是直接针对小组成员的;LLM协调者在每个互动的小组中至少直接与一名小组成员交流过一次,而只有77%的人类协调者这样做。与这些协调者行为的差异一致,LLM协调显著增加了小组中任何成员分享的新事实的最低数量(即小组讨论中之前未涉及的事实)(Δ = 0.41,95%置信区间[0.145, 0.684],t(138) = 3.04,p = 0.003),但并未增加个人分享的新事实的最大数量(如图4A和4B所示)。这种增加可以通过两种机制实现:一种是强烈的边缘效应,即最不活跃的参与者分享了更多事实;另一种是广泛的边缘效应,即原本不参与的成员(那些没有分享新事实的成员)至少分享了一个事实。当限制在所有成员都至少分享了一个事实的小组中时,我们没有观察到不同处理方式之间的差异(F(3,277) = 1.37,p = 0.25),这表明已经在参与的成员之间的最低参与度差异有限。然而,在“无协调”、“消息”和“人类”条件下,分别只有39%、44%和47%的小组实现了所有成员的参与,而在LLM协调的小组中,61%的小组的所有成员至少分享了一个新事实(χ2(3, N = 281) = 8.10,p = 0.044),这提供了证据表明信息分享的增益可能来自广泛的边缘效应。

4.3 信息汇总并未转化为与UWLM一致的决策
将小组的集体选择定义为大多数人选择的选择,“Eldoron”(最佳选择)在未协调的小组中被31%选择,在收到一次性信息的小组中被21%选择,在人类协调的小组中被30%选择,在LLM协调的小组中被23%选择;然而,这些比例在统计上没有显著差异(χ2(3, N = 281) = 2.85,p = 0.42)。尽管不受协调处理方式的影响,但这些最佳结果的比例与我们基于的隐藏资料任务报告的比例一致[4]。如果小组严格遵循UWLM做出决策,“Eldoron”应该会被60%的未协调小组选择,48%收到一次性信息的小组选择,47%人类协调的小组选择,63%LLM协调的小组选择,但这些处理方式之间的差异也不显著(χ2(3, N = 281) = 5.6,p = 0.13)。同样,那些在UWLM下会选择“Eldoron”但实际上没有这样做的小组比例在不同处理方式之间也没有显著差异(χ2(3, N = 281) = 7.52,p = 0.057)。
在严格遵循UWLM决策的假设之外,对不同选项的信息进行差异加权可能部分解释了与UWLM决策的偏差。根据 menggunakan multomial logit模型并以“Myloria”(“诱饵”)作为基准选项的估计,选择“Eldoron”(最佳选项)的概率随着其得分的增加而增加(β = 0.395,95%置信区间[0.245, 0.545],p < 0.001),并且随着Myloria得分的增加而减少(β = ?0.734,95%置信区间[-0.919, -0.548],p < 0.001),而Cragnio的得分对此没有影响(β = 0.054,95%置信区间[-0.170, 0.279],p = 0.64)。同样,选择Cragnio的概率随着其得分的增加而增加(β = 0.417,95%置信区间[0.136, 0.698],p = 0.004),并且随着Myloria得分的增加而减少(β = ?0.649,95%置信区间[-0.843, -0.455],p < 0.001),而Eldoron的得分对此没有影响(β = ?0.043,95%置信区间[-0.236, 0.150],p = 0.66)。在这两种比较中,Myloria得分的效果幅度分别比另一种城市高出86%(与Eldoron相比)和56%(与Cragnio相比),表明小组决策更依赖于关于Myloria的信息而非其他选项的信息。

图5. NASA任务负荷指数(TLX)。TLX衡量了六个维度的工作负荷感知:心理需求(A)、身体需求(B)、时间需求(C)、表现(D)、努力程度(E)和挫败感(F)。参与者在1(“非常少”)到7(“非常多”)的离散尺度上单独回答每个问题。每个小组内的回答平均后,每个散点标记代表一个小组。误差条表示95%的置信区间,可能会比标记本身小。
参与者在所有协调条件下报告的工作负荷在NASA TLX的六个维度上相似,感知到的任务需求没有显著差异。

图6. 对小组动态和协调者效果的主观评价。参与者被要求通过在1(“强烈不同意”)到5(“强烈同意”)的离散尺度上对每个陈述的同意程度进行评分,来评估他们的小组(A-D)和协调者(E-H)。每个小组内的回答平均后,每个散点标记代表一个小组。误差条表示95%的置信区间,可能会比标记本身小。
参与者在不同条件下对小组动态的评价相似,而LLM协调者在引发信息和总结讨论方面获得了比人类协调者更高的评分,但同时也被认为稍微有些分散注意力。

图7. 参与者对未来协调方式的偏好。参与者如果假设要重新完成任务,他们会根据最初的协调体验(无协调、消息、人类或LLM)分组,分别报告他们偏好的协调类型。
当被问及在各种形式的协调下假设性地重复任务时,参与者通常更喜欢他们在研究中体验过的协调风格。

4.4 对任务、小组和协调者的看法
根据NASA TLX的测量,小组层面的平均反应(在每个小组的内部分别平均)表明,小组对任务的整体态度通常是积极的,并且在实验条件之间没有显著差异,参与者报告的心理、身体和时间需求以及努力和烦躁感水平较低(图5 A-C,E-F),并且对他们分配的任务的成功感较高(图5 D)。同样,小组报告的个人贡献、对决策的个人影响力、生产力和结构感也较高(图6 A-D),在不同条件之间没有统计学上的显著差异。小组凝聚力——即表示希望与同一小组再次合作的小组成员的平均比例,在“消息”条件下为77%,在“人类”条件下为80%,条件之间的差异不显著(F(3,277) = 0.21,p = 0.89)。总体而言,这些结果表明,尽管协调方式存在差异,但参与者在任务和小组互动方面的体验是相似的。
在“人类”和“LLM”条件下,协调者在引发信息、总结讨论和保持小组专注方面都获得了积极的评价(图6 E-G)。LLM协调者在信息引发(Δ = 0.41,95%置信区间[0.22, 0.60],t(138) = 4.18,p < 0.001)和总结(Δ = 0.59,95%置信区间[0.39, 0.79],t(138) = 5.87,p < 0.001)方面的平均评分更高,这在自由文本反馈中也得到了体现:102名参与者(在70个LLM协调的小组中)对信息引发和/或总结给予了积极评价。例如,一名参与者指出协调者“善于总结数据并促进参与...”,而另一名参与者则描述它帮助小组“保持目标并以有组织的方式前进”。两名协调者都被评为总体上不分散注意力(图6 H),但LLM被评为更分散注意力(Δ = 0.38,95%置信区间[0.21, 0.56],t(138) = 4.29,p < 0.001),参与者描述了诸如重复干预、打断流程和感到匆忙等反复出现的问题。有些参与者认为它们有效增加了参与度(例如,“很好地促使那些发言不多的人尝试发言”,而另一些则认为它们干扰了对话的流畅性(“有点烦人并且干扰了对话的流程”)或社交上不舒服(“让我感到有点压力...就像被单独挑出来”)。总体而言,参与者倾向于喜欢他们所经历的协调风格(或没有协调)(图7),这表明偏好可能受到直接经验的影响。

5. 讨论
5.1 LLM协调为审议过程增加了什么价值?
5.1.1 信息汇总
LLM协调增加了小组内分享的信息量和广度,而没有延长讨论的长度,表明向信息密集型的审议转变。重要的是,这些收益至少部分来自于广泛的边缘效应:LLM不仅增强了已经活跃的参与者的贡献,还提高了小组内的最低参与水平,减少了不参与的情况。在隐藏资料任务中,这种区别至关重要,因为独特的信息可能掌握在单个参与者手中,如果无法获取这些信息,小组就无法获取所有相关事实。
通过增加贡献的可能性,从而增加了私人持有的信息进入讨论的可能性,LLM协调者可以提高信息引出的可靠性。同时,这种干预针对的是信息的可用性而非使用:虽然更多信息被呈现出来,但这些信息如何被解释、加权并整合到最终决策中仍然没有变化。因此,LLM协调解决了有效集体决策的一个必要条件——信息汇总——但没有解决信息整合的下游挑战。
5.1.2 决策
尽管信息分享增加了,但LLM协调的小组并没有更有可能选择UWLM最优选项,这表明信息可用性和使用之间存在脱节。从某种意义上说,这并不令人惊讶:该模型基于这样的强烈假设,即信息被视为预期的、一致加权的、线性汇总的,并且精确地制表以识别得分最高的选项。然而,这种脱节并不一定是有问题的,因为协调的目标不是诱导严格符合UWLM的决策。相反,UWLM作为诊断基准,用于评估失败是由于信息汇总不足还是由于信息的使用方式。在这方面,Lu等人[41]回顾的24项实证HPT研究表明,当资料是公开的时候(即所有成员都能访问全部信息),小组选择正确选项的可能性显著增加,这表明对于这种任务结构,符合UWLM的行为是可行的。
与公开资料条件相比,隐藏资料设置引入了初始信息的不对称性,这可能会形成早期印象,进而影响对话动态、注意力以及随后分享信息的解释。因此,即使干预增加了信息覆盖范围,小组也可能无法完全恢复公开资料的好处,因为新出现的信息会受到这些初始偏见的影响。这一观点与之前的研究一致,这些研究表明HPT的表现更多是由信息的使用而非覆盖范围决定的[80];正如Dennis所说,“你可以引导小组获得信息,但无法让它思考”[15]。值得注意的是,虽然LLM增加了信息覆盖范围,但这种变化相对于完整的信息集来说仍然很小,使得小组仍处于部分隐藏的状态,其中早期的不对称性继续影响信息的解释和使用。
在我们的设置中,尽管我们观察到的信息加权与UWLM决策方向一致(较高的规范分数增加了选择的可能性),但我们发现支持“诱饵”选项(Myloria)的信息与选择的相关性更强。虽然我们的设计没有确定了这种不对称性背后的机制,但这种差异可能反映了在HPT范式中常见的个人层面偏好偏见[20, 28, 50, 60]。因为每位参与者最初都认为Myloria是他们各自信息集中最具吸引力的选项,他们可能会继续倾向于在使用已知事实时关注Myloria,从而影响群体层面的决策。5.1.3 主观体验。尽管大型语言模型(LLM)的引导显著改变了小组讨论的结构,但它并没有对参与者完成任务或小组成员的体验产生负面影响。在衡量工作量和小组动态的各种指标上,我们没有观察到不同条件之间的显著差异,这表明信息共享的增加并没有以增加认知负担或降低小组凝聚力为代价。与人类引导者相比,LLM在引发和总结信息方面表现更好,尽管它依赖于一个相对简单、领域中立的设置。然而,参与者的反馈也突显了这些干预方式在体验上的权衡,特别是在干扰和直接针对性方面。总的来说,这些发现从实证角度强调了引导系统不仅需要解决说什么的问题,还需要解决何时说以及对谁说的问题——这一重点反映在新兴的群体人工智能(group-AI)干预设计框架中[19, 44, 54]。5.2 设计更有效的LLM引导者5.2.1 超出信息聚合的过程干预。我们的研究发现表明,虽然我们的LLM引导方式提高了信息的可获得性,但它可能不会显著改变信息如何被解释、权重分配以及整合到最终决策中。这一差距部分是由于我们的设计选择:LLM以固定的时间间隔进行小组层面的干预,仅通过共享的文字记录和一般性指导来引发和组织信息。因此,引导者主要影响了进入讨论的信息,而没有影响这些信息随后的处理方式。这意味着更有针对性的过程干预可能会影响信息在讨论过程中的感知方式。例如,引导者可以不是持续聚合信息,而是将讨论分为聚合和反思的周期,使小组能够定期总结和评估已经分享的内容,然后再引入额外的信息。更广泛地说,适当的信息聚合结构可能取决于具体情境。虽然我们研究中的LLM鼓励对各种选项进行更平衡的讨论,但在时间有限的情境下,这种方法可能不是最优的,因为在这种情况下应该迅速排除占主导地位的选项。这表明允许用户根据任务需求指定或调整引导过程是有价值的。过程干预也可以应用于决策阶段。引入结构化的程序,如分阶段评估、排序或德尔菲法(Delphi method)的变体,可以帮助系统地比较不同选项,并减少早期印象对最终决策的影响。重要的是,我们故意将LLM的角色限制为过程导向,避免给出直接建议,以保持小组对决策的所有权感。未来能够更直接塑造决策过程的系统(例如,通过指出关键的权衡或提供判断)可能有助于指导更有效的信息使用,但也会引入偏见和过度依赖的新风险。Ma等人[42]描述的“审议型AI”系统在一个单用户系统中整合了过程和内容干预,并提出了一个有希望扩展到多用户环境的框架。5.2.2 管理协调。参与者对LLM引导者的主观评价指出了群体人工智能互动环境中协调与注意力管理之间的权衡。尽管参与者感谢LLM在聚合和组织信息方面的作用,但他们也认为它比人类引导者更分散注意力。描述过度或干扰性插话的反馈,以及感到仓促的感觉,表明引导者在共享通信渠道中争夺参与者的注意力。除了LLM干预的内容之外,其形式也可能影响这种权衡。在我们的研究中,LLM引导者的信息比人类引导者写的信息长得多,并且在整个固定的10分钟讨论过程中反复发送。这种格式既带来了注意力上的压力,也带来了时间上的压力。较长的引导信息占据了更多的可见聊天窗口空间,可能挤占了参与者信息的显示,中断了对话流程。它们还需要更多时间来处理,可能会增加感到仓促的感觉,并减少小组成员分享、讨论和解释信息以做出决策的时间。例如,通过限制消息长度、调整干预频率或转向更对话式的、渐进式的互动,可以减轻这种负担。然而,这样的改变也可能影响引导的有效性,在信息提供性和侵扰性之间引入了紧张关系,这需要进一步研究。一种补充方法是多样化LLM引导者与参与者互动的渠道。引导系统不仅可以同时面向整个小组,也可以分别与参与者互动。这使得引导者可以私下提供反馈(如Do等人[19]所研究的那样),讨论关切或动机,或者提供与每个参与者参与程度相匹配的定制提示,从而在保持针对性过程干预好处的同时减少共享讨论空间的干扰。5.2.3 管理情绪紧张。与人类引导者不同,LLM可能更容易直接与个别小组成员互动。由于这些提醒对整个小组都是可见的,它们可能会增加参与的社会压力,从而减少社会惰性[27]。然而,参与者的反馈表明,这些干预也可能引起不适。Houtti等人[25]的先前研究表明,当与AI引导者互动时,小组成员可能会通过合理化或忽视批评性反馈来应对这种不适,从而可能削弱干预的效果。这表明另一个动态权衡:虽然直接干预可以提高即时参与度,但如果引发足够的不适,它们也可能降低对未来干预的接受度。因此,引导的有效性不仅取决于干预是否发生,还取决于它们如何影响参与者接受后续指导的意愿,这就需要仔细校准干预的时间和对象。5.3 限制我们的实验设置中的几个设计选择影响了LLM引导对信息共享、决策和主观体验的影响。除了LLM引导者及其界面的实现之外,如第5.2节所讨论的,时间压力[28, 29]、小组规模[14]和通信方式(聊天、视频、音频、面对面[30, 34, 63]等上下文因素也会显著改变任务的注意力格局,从而影响LLM引导的效果。在保持LLM引导者和任务背景设计不变的情况下,隐藏档案任务本身的特性可能会进一步影响这些效果。例如,隐藏档案任务的难度[8, 59]和总信息量[68]可能会影响引导者引发信息的能力以及任何被揭示的额外信息的决策价值。更根本的是,我们研究中的隐藏档案任务是一个中性领域的协作任务;在争议性[43]或竞争性[74, 77]环境中有效管理不同的观点和激励可能需要比这里考虑的更复杂的引导策略。总之,影响LLM引导的群体互动的各种因素需要系统性和综合性的研究方法[3]。通过仔细结合这些维度,该领域可以朝着更稳健和可推广的群体AI引导见解迈进。5.4 开放数据和开源软件以支持群体AI互动研究。对群体AI互动的理解进展受到共享数据集和实验基础设施有限访问的限制。虽然像隐藏档案任务(HPT)这样的范式为研究小组如何聚合分布式信息提供了一个标准环境,但由于实施差异和缺乏可访问的过程级数据,结果往往难以比较或基于此进行扩展。为了推进群体AI互动的累积科学,需要丰富的数据集和可重复使用的实验平台。为此,我们发布了包含14,343条消息的数据集,这些消息由1,475名参与者在281个小组中分享,为研究引导技术和群体决策的研究人员提供了丰富的资源。除了文本记录,我们还提供了所有LLM请求和响应,以及相关的元数据和LLM生成的推理过程,使研究人员能够方便地进行事后分析或模拟不同的引导提示。除了数据集,我们还推出了基于Empirica框架[2]的Group-AI Interaction Laboratory (GRAIL)开源实验平台,该平台加入了日益增长的群体AI审议研究工具库,如Deliberate Lab平台[57]。GRAIL旨在解决进行基于小组的行为实验时的关键实际挑战,包括协调同步参与、管理实时互动以及将LLM集成到共享通信环境中。通过提供灵活的接口来指定任务结构、特定于参与者的刺激和LLM干预逻辑,GRAIL允许研究人员在不重新实现底层系统的情况下原型化和部署新的实验设计。6 结论我们的研究表明,LLM通过直接参与小组成员并随着讨论的进展促进参与,以及有效地总结快速、信息密集的通信,实际支持了群体的决策讨论。通过提高小组内个体参与的最小水平,LLM引导者增加了小组可用的信息范围,并增加了所有小组成员为决策贡献信息的可能性——在信息不对称的环境中,这一结果至关重要,因为单个成员的私人知识可能具有决定性。无论是单独还是协作进行决策,都是一个复杂的多阶段过程。尽管观察到的信息共享增加并没有直接转化为更好的最终决策,但这一结果突显了群体决策的复杂性和情境依赖性。它还强调了整合计算支持的潜在价值,这种支持特别关注审议过程的每个阶段,从初始信息收集到评估和共识形成。通过鼓励小组内的更广泛参与,LLM引导者帮助小组考虑更广泛的观点,特别是那些可能保持被动的小组成员的观点。在类似于隐藏档案任务的实用场景中(例如招聘委员会),这种形式的引导可能在通过促进对话公平性来减少偏见方面发挥重要作用。此外,计算引导技术的持续发展可以扩大这些组织技术的可及性,使其能够为无法负担专业引导服务的社区所用。我们的工作建立在CSCW和更广泛的HCI社区中研究群体决策支持系统有效性的广泛研究基础上,这些系统历来采用了多种计算方法。LLM的新功能提供了提高这些系统真实性和适应性的机会,我们希望这里提供的有力实证证据能够激发未来的研究工作,并且我们的开源实验平台能够使研究人员系统地探索和扩展这些潜在的好处。7 数据、代码和机构审查实验数据和分析代码可以在研究的Open Science Framework仓库(https://doi.org/10.17605/OSF.IO/ERVNB)上找到,GRAIL平台可通过其GitHub仓库(https://github.com/microsoft/group_ai_lab)获取。该研究得到了微软研究机构审查委员会(MSR IRB;记录#10883)的批准,所有参与者都明确同意参与。致谢我们感谢Daniel Ames对隐藏档案任务范式提供的有益见解。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号