利用AI创建群组规则:WhatsApp审核中的人机协作
《Proceedings of the ACM on Human-Computer Interaction》:Creating Group Rules with AI: Human-AI Collaboration in WhatsApp Moderation
【字体:
大
中
小
】
时间:2026年09月24日
来源:Proceedings of the ACM on Human-Computer Interaction
编辑推荐:
摘要
WhatsApp是全球使用最广泛的消息平台之一,数十亿用户在私密群组中分享信息。然而,它几乎不提供支持内容审核和群组治理的基础设施。在缺乏平台级监管的情况下,群组管理员承担着规范群组行为的职责。本文探讨了WhatsApp群组管理员如何与AI工具协作来创建、执行和维护群组
摘要
WhatsApp是全球使用最广泛的消息平台之一,数十亿用户在私密群组中分享信息。然而,它几乎不提供支持内容审核和群组治理的基础设施。在缺乏平台级监管的情况下,群组管理员承担着规范群组行为的职责。本文探讨了WhatsApp群组管理员如何与AI工具协作来创建、执行和维护群组规则。基于在印度对20名管理员开展的两阶段推测性设计研究,我们考察了参与者如何与AI助手(Meta AI)互动以共同创建规则,以及他们对一系列展示AI辅助审核功能的设计探针的反应。研究发现,虽然管理员赞赏AI能够发现被忽视的规则并减轻其审核负担,但他们对关系信任、数据隐私、语气和社会语境等问题非常敏感。我们识别出群组类型和管理员风格如何塑造他们授权AI的意愿,并揭示了当前聊天机器人界面在支持协作规则制定方面的局限性。最后,我们提出了设计建议,旨在构建以人类判断、关系细微差别、语境适应性和集体治理为核心的审核工具。
1 引言
WhatsApp是使用最广泛的端到端加密消息平台,数十亿全球用户在不受监管的群组中分享信息[5, 34]。由于端到端加密,WhatsApp对群组中传播的内容了解有限。这将审核责任交给了群组管理员,他们通常是创建这些群组的用户,非正式地管理它们[46]。
先前的研究表明,在正式的WhatsApp群组——如工作或学习群组——管理员倾向于积极执行规则以防止不良内容[46, 54]。相反,公共群组或紧密关系群组(如家人和朋友群组)的管理员通常避免审核,原因可能是既有的社会等级关系或大量问题内容[35, 37, 46]。虽然群组规则的存在可以促进成员负责任的行为[13, 36],但大多数平台(包括WhatsApp)几乎不提供规则创建或执行的基础设施[46, 57]。尽管Reddit和Twitch等平台长期以来一直使用自动审核工具,但它们通常依赖人工审核员预先定义规则[24]。即使随着大语言模型在审核中的使用日益增加,重点仍在于其检测预定义规则违规的能力,而非支持群组管理员和审核员首先创建或调整这些规则[21]。
因此,定义群组规则的过程仍然是临时性的且负担沉重[7, 45, 46, 51]。在缺乏结构支持的情况下,管理员依赖自己的直觉、试错法,或简单地从其他群组复制规则[46, 57]。这种支持的缺乏通常迫使管理员采取反应性方法,只有在问题行为已经损害群组的社交结构后才制定规则[6, 46]。鉴于平台对创建群组规则的支持有限,且许多WhatsApp管理员不愿进行主动审核,我们考察AI协助是否能帮助管理员建立适当的群组规则而不会增加管理负担。具体而言,我们提出以下研究问题:
RQ1:WhatsApp群组管理员如何与AI互动以共同创建群组规则?
RQ2:管理员如何评价使用AI创建群组规则的益处和局限性?
为回答这些问题,我们在印度对20名WhatsApp管理员进行了两阶段的推测性设计研究。我们选择印度,因为它是拥有最多WhatsApp用户的地方,用户达五亿[49]。在第一阶段,参与者使用WhatsApp内的Meta AI聊天机器人共同创建群组规则。在第二阶段,他们与不同的AI辅助功能的设计探针互动,这些功能用于创建和执行群组规则。
研究发现,AI生成的数据驱动的群组规则的价值因群组类型、管理员审核风格以及群组内的关系动态而异。大型正式或半正式群组——如大学或邻里协调群组——的管理员发现,AI支持在起草全面规则时很有帮助,特别是解决那些因消息量大而常被忽视的问题。在这些群组中,管理员与成员的个人联系有限,他们认为AI生成的摘要和针对潜在问题行为的规则建议很有效,并放大了他们的权威。相反,小型、非正式和紧密关系群组(如朋友和家人群组)的管理员发现AI辅助几乎没有价值。这些管理员依赖关系信任、隐含的群组规则和微妙的社交信号来维持群组秩序。因此,他们认为AI生成的规则是不必要的,甚至会破坏人际关系和群组动态。
在各种群组中,管理员希望按自己的条件与AI互动,主动确定治理的哪些方面可以委托给AI,哪些方面必须保持社会性和关系性的人类特征。他们倾向于根据群组的需求选择性地参与AI生成的规则建议,并强调调整规则的语气和框架以符合群组规范。其中许多人还表达了对民主治理功能的需求,反对那些仅接受管理员输入来制定规则的AI系统。我们讨论了这些协商如何受到端到端加密平台上隐私、文化可理解性和问责制方面边界工作的影响。我们将这些见解转化为设计建议,以构建支持语境化和集体规则制定的AI工具,用于管理加密空间。总体而言,我们的工作对HCI和CSCW学术研究做出了以下贡献:
• 证明在端到端加密平台上,AI辅助审核的感知价值往往是语境化的,并受群组动态驱动;
• 揭示管理员在与AI共同创建规则时如何协商权威、信任和关系动态;
• 为支持而非取代人类能动性在管理加密群组中的AI工具提供了设计建议。
2 相关工作
我们将本工作定位在CSCW和HCI文献中,这些文献考察了在线社区中的社会和技术审核实践。我们关注两个方面的先前工作:(1)群组规则如何随时间创建、维护和协商;(2)如何引入AI驱动的工具来协助审核员。
2.1 创建、维护和协商群组规则
先前的工作记录了Reddit、Facebook、Twitch和WhatsApp的审核员和群组管理员如何依赖正式和非正式规则的混合来指导群组行为。例如,Jiang等人[25]在不同社交媒体平台的社区准则中确定了66种不同类型的规则,涉及在线伤害,如复仇色情和暴力描写。Chandrasekharan等人[8]根据采用水平将Reddit规范分类,区分了平台级的宏观规则(如禁止仇恨言论)、大型子版块中常见的中观规则(如禁止垃圾信息)和特定子版块的微观规范(如禁止维基百科链接)。最近,Fang等人[16]扩展了这项工作,根据对用户行为的影响对规则进行分类,包括反映社区价值观的规则(如相互尊重)、限制特定内容的规则(如禁止笑话)和实施结构性法规的规则(如最低字数限制)。除了正式的群组规则外,Reddit和Twitch的审核员以及WhatsApp群组管理员通常也执行指导审核但未正式成文的隐含规则[6, 57]。
规则创建通常是临时性的。虽然群组规则有助于在线社区的稳定性[13, 36],但大多数平台在创建这些规则方面提供的支持很少[57]。在缺乏平台支持和框架的情况下,群组管理员和审核员通常利用他们的常识、过往经验和个人价值观来创建规则。通常情况下,考虑到创建和执行规则所需的认知负荷,他们只是采用其他群组的规则而不是自己制定规则[7, 45, 46, 51]。通常,他们创建的规则不是数据驱动的,而是由通用的指导方针组成,劝阻对其他群组成员的不尊重态度和个人攻击。
群组规则通常通过试错法制定[57],新规则往往是对破坏性事件的回应,例如COVID-19大流行期间的错误信息[6],或管理员认为质量低下的AI生成内容的大量涌入[33]。有时,规则设计受技术约束影响;例如,Reddit审核员引入强制性图像说明以通过AutoMod支持自动化[24]。然而,在大多数公共和紧密关系的WhatsApp群组中,管理员不努力实施针对问题行为的规则[46]。这种缺乏参与,加上有限的平台支持和由于加密而缺乏集中审核,使WhatsApp成为一个社区治理特别具有挑战性的环境[46, 53]。
协作规则制定在不同平台和社区中有所不同。在某些情境下,规则创建涉及审核员之间的集体审议——通过Slack、Messenger或Discord进行[4, 24, 57]。在其他情境下,特别是在层级分明的社区中,规则制定更加自上而下[45]。在Slashdot等平台上,规则由社区成员投票决定[32],但在Reddit和Twitch中,让更广泛的社区参与通常被视为一种风险,特别是由于潜在的规则操纵[10, 26]。
规则维护通常是一个持续且协作的过程。Reddit审核员不断通过添加新的不良短语或域名列表来更新规则[7]。规则变更通过对新兴群组行为的反思发生,尤其是当新成员加入群组并以不符合群组隐含规则的方式行动时[10, 45]。在具有明确层级的社区中,主管审核员通常做出最终决定并宣布规则变更,而不征求其他审核员的反馈[45]。相反,在层级较弱的社区中,规则变更通常涉及审核员之间的公开讨论,范围从非正式的想法交流到正式的辩论[45]。一些审核员使用社区调查或收集群组成员对拟议规则变更的意见[45]。此外,每个子版块维护一个Wiki页面来跟踪哪个审核员对Automod规则做了什么变更,以便审核员可以对其行为负责[24]。
尽管大多数先前工作考察了人类审核员如何创建、维护和协商群组规则,但很少有人关注这些过程如何可能受到AI系统的支持或重塑,我们将在下文中讨论。
2.2 AI与社区审核
随着审核变得越来越复杂,CSCW研究人员开始探索AI如何减轻志愿者审核员的负担并支持在线社区中的决策制定。例如,为帮助Reddit审核员处理大量内容,Chandrasekharan等人[7]开发了一种AI工具来标记AutoMod未能注意到的内容。Schluger等人[42]重新设计了维基百科审核员的仪表板,以显示哪些对话可能会偏离到反社会行为。类似地,Choi等人[9]设计了一个AI增强的Discord界面版本,允许审核员跟踪跨多个频道和服务器的对话活动和毒性水平。Koshy等人[29]还为Reddit开发了一个AI引导的审查面板,以显示有争议的案例,以便多个审核员可以审查以减少审核决策的不一致性。Khullar等人[27]为基于语音的讨论论坛设计了AI工具,以减轻审核员的琐碎任务,如检测和拒绝空白录音。然而,大多数工具假设群组规则已经存在,专注于协助规则执行而非规则创建。因此,AI在审核任务(如阐述、适应或协商群组规则)中的使用在很大程度上仍未被探索。
尽管有这些进展,关于AI如何支持审核员创建群组规则的研究仍然有限,只有一个例外是Xiang等人[59],他们设计了AI代理在虚拟现实社区中共同创建规则。此外,现有大多数社区驱动的群组规则研究集中在Reddit、Twitch和Facebook等平台上。相比之下,很少有研究考察规则如何在WhatsApp等端到端加密平台中产生或被执行[6, 38]。
我们的工作通过关注加密消息环境中群组规则如何被协作创建、适应和协商来扩展了这一研究方向,这些环境对审核的基础设施极少。虽然先前的研究分析了规则如何通过非正式实践产生或通过AI工具执行,但人们对管理员如何与AI协作进行实际的规则创建过程知之甚少——特别是在像WhatsApp这样的高摩擦、关系敏感的环境中,这些环境在研究中严重不足。我们通过研究日常群组管理员如何与AI助手互动以起草和修改群组规则来填补这一空白,揭示了社区审核中人与AI协作的新动态。
尤其,我们探索的是:(1)WhatsApp群组管理员如何与AI协作共创群组规则,以及(2)他们如何看待使用AI创建群组规则的优势与局限。
**表1**
| ID | 性别 | 群组类型 | 群组规模 | 正式程度 |
|------|------|---------|---------|---------|
| P3 | 男 | 大学 | 50–100 | 正式 |
| P11 | 男 | 大学 | 50–100 | 正式 |
| P6 | 男 | 大学 | >100 | 正式 |
| P17 | 女 | 大学 | >100 | 正式 |
| P7 | 男 | 白化病患者互助群 | 20–50 | 半正式 |
| P15 | 女 | 前同事群 | 50–100 | 半正式 |
| P4 | 男 | 社区居民群 | >100 | 半正式 |
| P13 | 女 | 计算机科学专业学生群 | >100 | 半正式 |
| P19 | 女 | 美妆产品团购群 | >100 | 半正式 |
| P9 | 男 | 家庭群 | <20 | 非正式 |
| P10 | 男 | 朋友群 | <20 | 非正式 |
| P12 | 男 | 朋友群 | <20 | 非正式 |
| P18 | 女 | 朋友群 | <20 | 非正式 |
| P20 | 女 | 朋友群 | <20 | 非正式 |
| P1 | 男 | 朋友群 | 20–50 | 非正式 |
| P2 | 男 | 兼职/朋友群 | 20–50 | 非正式 |
| P5 | 男 | 家庭群 | 20–50 | 非正式 |
| P8 | 男 | 朋友群 | 20–50 | 非正式 |
| P14 | 女 | 朋友群 | 50–100 | 非正式 |
| P16 | 女 | 朋友群 | >100 | 非正式 |
**参与者人口学特征,按正式程度分组并按规模排序**
## 3 研究方法
为了了解管理员如何看待AI在创建和维护群组规则中的实用性,我们在印度对20位WhatsApp群组管理员进行了一项两阶段的推测性设计研究。该研究方案已获得我们所在机构伦理审查委员会(IRB)的豁免批准。
**参与者招募。** 我们结合便利抽样和滚雪球抽样方法招募参与者。我们在印度的社交媒体群组以及我们直接认识的人脉网络中发布了研究招募信息。我们选取的参与者需年满18岁,至少是一个WhatsApp群组的管员,且在其群组中曾遇到过问题内容。为确保视角的多样性,我们招募了来自公共群组和私人群组的管理员,这些群组在规则执行力度上各不相同——有的群组执行明确的规则,而有些群组的管理员则依赖隐含规则,期望成员自觉遵守而无需主动强制执行。我们持续招募参与者,直到回应达到理论饱和[39]。
**参与者人口学特征与群组详情。** 表1展示了我们20位参与者的人口学详情,其中包括7位自认为女性、其余为男性,年龄分布在20至40岁之间。所有参与者都拥有智能手机并管理至少一个WhatsApp群组。此外,所有参与者均已取得或正在攻读大学本科学历。
本研究中的参与者是类型多样的WhatsApp群组的管员,这些群组在规模、用途和社会正式程度上各不相同:正式群组(如大学协调群组)、半正式群组(如社区协会、互助群组和前同事网络)以及非正式群组(如家庭和朋友群)。这种群组类型的多样性使我们能够从不同类型的群组、管理风格和社会动态的角度,更全面地了解AI如何支持管员。我们样本中的参与者在AI素养方面也存在差异,从熟悉AI使用和提示技巧的计算机专业学生和 data scientist 到接触有限的非技术工作者。尽管在AI熟悉程度上存在差异,我们观察到参与者对AI辅助管理在实用性和风险方面的核心态度——包括对隐私和同意权的担忧、保留人类权威的期望以及对AI理解社会情境能力的怀疑——在整个样本中保持一致。
**推测性设计研究。** 我们与20位WhatsApp管员进行了一项两阶段的推测性设计研究,以了解他们在创建和部署群组规则时可能需要什么样的支持。研究通过Zoom进行,语言根据每位参与者的偏好选择印地语或英语。在获取知情同意后,我们详细询问了参与者在WhatsApp群组中处理问题内容的经验,以及他们制定现有群组规则或规范背后的动机。随后,他们进行了一项写作练习:第一阶段使用Meta AI共创群组规则,第二阶段则是观看并反思展示数据驱动规则执行方案的设计探测。每次会话持续约一小时,并在参与者同意下进行录音。每位参与者获得价值500印度卢比(5.76美元)的礼品卡作为时间和参与的报酬。
**第一阶段:与Meta AI共创群组规则。** 为了引发参与者对AI帮助他们制定群组规则能力的细致回应,我们进行了一项出声思维写作练习,让参与者使用Meta AI为其群组创建规则。我们选择Meta AI聊天机器人是因为它已集成在WhatsApp内[55],所有参与者都可以轻松访问。在这项写作练习中,参与者通过提示Meta AI为其群组建议规则,然后逐步提供指令以完善这些规则。我们要求参与者在与Meta AI交互时进行出声思考——描述他们的期望、对AI生成规则的反应,以及修改AI生成规则背后的推理过程。这项练习使参与者能够批判性地参与现有AI工具在制定群组规则方面的能力,并以直观的方式反思他们与AI的协作。
**第二阶段:规则创建与维护的设计探测。** 技术探测在HCI领域中被广泛用于促使用户批判性地思考新兴技术的可能性[22, 23]。我们设计了一系列交互式探测,帮助参与者想象和批判各种AI辅助的、数据驱动的方法,用于创建、执行和维护群组规则——这些场景如果仅靠口头描述将难以理解。探测的设计参照了已集成在WhatsApp内的Meta AI聊天机器人[55],以确保连贯性和熟悉感,因为参与者已在第一阶段与Meta AI交互以共创群组规则。
探测呈现了一个场景:Meta AI聊天机器人询问WhatsApp管员是否愿意授权访问群组内容以生成数据驱动的规则(见图1 A)。像Twitch、Reddit、Telegram和Discord等平台 routinely 使用机器人实时扫描和审核内容[1, 28, 44],但WhatsApp由于加密限制而缺乏此类能力。一旦获得授权,探测展示机器人生成一份关于可能不适合群组语境的简报报告(见图1 B)。这一场景参考了先前的研究[46],显示WhatsApp管员(尤其是大型活跃群组的管员)往往难以监控群组中的消息。
接着,探测展示机器人提示管员审核被标记的内容,并提供针对这些内容的建议规则——管员可以接受、编辑或删除这些规则(见图1 C)。在后续界面中,我们探索了人与AI在监控和执行规则方面的交互,聊天机器人通知管员有违规行为并询问他们希望如何回应(见图1 D)。在这一界面中,我们根据先前研究整理的选项,研究显示WhatsApp管员对违规行为的回应方式因与违规者的关系而异,分为公开回应或私下回应[46]。
后续界面展示了更多功能:每周规则违规和消息趋势摘要(见图1 E),灵感来源于Facebook和Reddit管员使用的仪表盘[46];以及最后一个界面,展示AI如何检测新兴的内容趋势并主动更新群组规则以保持对话的聚焦性(见图1 F)。
参与者详细考察了每个探测,并分享了对在群组中使用AI辅助规则执行的优势和担忧的看法。参与者在任何时候都没有与我们或探测分享实际的群组数据;他们是对推测性场景做出回应,并反思他们可能与AI如何协作以创建、调整和强制执行群组规则。
**分析。** 我们在两个阶段共收集了约22小时的录音数据,以及第一阶段参与者使用Meta AI聊天机器人时产生的132页交互日志。所有录音均被手动转录并翻译为英语。
为了分析第一阶段的交互日志,我们遵循了Kuckartz的质性数据分析方法[30]。这一结构化编码过程使我们能够探索规则共创过程的不同阶段,例如提供群组初始背景信息(如群组类型、群组目的)以及定制化AI生成的规则以适应群组语境。我们的结构化编码涉及多轮数据审查。我们应用开放编码发展出14个子主题,为我们提供了对参与者与AI生成群组规则交互的细致理解。这些包括调整语气和语言以匹配群组语境、移除不相关的群组规则等。
为了分析第二阶段收集的访谈数据,我们进行了反思性主题分析[2]。第一作者主导编码过程,所有作者定期会面以审查和完善编码手册,合并重叠的编码,并识别新兴主题。经过多轮分析,我们发展出107个编码,归类为12个子主题,如"对AI辅助群组规则执行的期望"和"对AI能力的担忧"等。我们将数据中的主题按群组规则生命周期的不同阶段进行组织,包括规则创建、规则呈现、规则执行和维护等。我们在附录中提供了两个分析阶段所使用的编码手册。
**立场性。** 我们的分析受到身处这些WhatsApp群组的第一手经验的塑造。三位作者来自印度,一位来自孟加拉国。所有作者使用WhatsApp已超过十年,曾管理多个WhatsApp群组,并对这些空间中的问题内容有着第一手经验。作者们在印度和孟加拉国也有丰富的田野调查经验。他们的社会文化背景和教育背景与参与者高度契合,使他们能够理解这些群组的潜在动态并获得细致的洞察。
我们从解放性行动研究的思维模式出发。我们并不假设AI是审核的万能解决方案,也不将自动化视为本质上中立或有利的。相反,我们的目标是居中WhatsApp管员作为日常治理者的视角,并批判性地审视当AI工具被引入这些草根形式的社区管理时所产生的机遇、风险与张力。
## 4 发现
我们首先描述参与者如何创建、执行和维护群组规则,以及这些实践在不同类型的群组中如何有所不同(第4.1节)。然后,我们呈现参与者对允许AI访问群组消息以生成情境化规则这一想法的反应(第4.2节)。最后,我们描述了管员在群组规则生命周期的不同阶段中构想AI支持的愿景,包括规则创建(第4.3节)、规则执行(第4.4节)和规则维护(第4.5节)。
### 4.1 跨群组类型的规则创建、执行与协商
参与者创建、执行和维护规则的方式深受其WhatsApp群组的社会动态和目的影响。借鉴先前关于非正式治理和关系性审核的CSCW文献[24, 45, 51, 57],我们根据成员之间关系的正式程度确定了三个广义的群组类别:正式群组、半正式群组和f非正式群组。这些类别强烈影响了管员如何治理群组行为——无论是通过明确的规则设定还是隐性的社会期望。
**正式群组**——如大学协调群组——往往拥有明确定义的书面的规则。这些群组通常由班长管理,某些情况下还包括教授。规则侧重于维护秩序、减少干扰并确保有效的信息交流。这些群组的管理员往往与管理员同事协作制定规则,并将规则呈现视为一种可见且有意的行为:定期发布规则、置顶以便随时查阅,以及在违规时提醒成员注意规则。
**半正式群组**包括社区协会、互助群组和职业校友网络。虽然成员偶尔会分享个人动态,但交流基调主要由文明规范和话题相关性所约束。这些群组的规则通常是书面的,但其执行取决于管员与群组的关系。例如,清奈一个400名成员住宅社区群的管理员描述了执行禁止政治帖子和虚假信息传播的规则,同时仍然允许成员分享社区动态和个人里程碑。另一个案例中,一个白化病患者互助群组使用一套共享规则为成员讨论结构性问题和个人经历创造安全且尊重他人的环境。
**非正式群组**主要由家庭和朋友组成,严重依赖关系信任和隐含规范。这些群组——通常规模较小——即使对话变得激烈或偏离话题,也很少维护书面规则。相反,管员描述使用温和干预措施,如私信或暂时移出群组,来管理冲突而不损害人际关系。在一个案例中,一位管员私下给一位分享了虚假信息的家庭成员发消息,温和地解释问题并要求对方删除帖子。
这些例子说明了非正式群组的管理员为了维护群组和谐而常常付出的情感与关系劳动。虽然正式和半正式群组依赖于结构化的规则执行手段,包括公开警告、删除内容,甚至临时封锁群组(例如切换为仅管理员可发言),但非正式群组的管理员除非万不得已,否则不会采取对抗性的执行方式。在所有类型的群组中,参与者都认为规则并非一成不变的指令,而是不断演化的产物——受到经验、群组成长和新兴问题的影响。例如,一位大学群组管理员在消息变得难以追踪后,引入了要求成员将技术问题整理成PDF的规则;另一位管理员则禁止成员之间直接私信以防骚扰,将所有回复转移到公开群聊空间。管理员在更新规则的频率上也存在差异。正式和半正式群组的活跃管理员表示,他们会随着新挑战的出现而不断迭代完善规则集。相比之下,被动型管理员——尤其是大型半正式或非正式群组的管理员——通常只在发生重大事件时才会添加或调整规则。在许多情况下,规则是被动应对而非主动预防,是针对骚扰或隐私泄露等具体事件而直接制定的。例如,团购群管理员P19分享道:"我随意添加了一个非印度号码,对方发了一长条消息……看起来像机器人发的,还包含一个链接。群里的人担心有人会访问他们的订单数据,让我查一下是谁,因为我不太会查看普通群聊。当然,我马上把那个人移出群组并删除了其消息。之后,我制定了一条规则:非印度号码不能加入。"这些发现进一步印证了以往CSCW研究中关于管理具有社会嵌入性的观点[45, 46],表明WhatsApp管理员如何借助人际动态、情境知识和过往经验来构建群组治理。这些发现还揭示了在制定和维护规则的过程中,可见度、正式程度和劳动量存在不同程度的差异,强调WhatsApp上的管理更多是持续的、情境化的协商,而非自上而下的控制。鉴于管理实践的这种多样性,我们接下来考察参与者对在这些场景中引入AI的想法有何反应,特别是他们对让AI助手访问群组内容以生成情境化、数据驱动规则的回应。
4.2 协商AI辅助管理中的数据访问权限
在第二阶段,我们探讨了参与者对允许Meta AI聊天机器人访问其WhatsApp群组内容(如消息、图片和分享链接)以生成情境化、数据驱动规则的态度(图1 A)。参与者的回应揭示了一系列复杂的社会技术考量,这些考量基于群组情境、感知到的隐私风险和集体责任。大型正式群组的管理员——例如用于学术协调或职场事务的群组——愿意有条件地向AI开放群组数据访问权限,但前提是必须解决关键的隐私问题。这些群组通常讨论的是较不敏感的话题,如学术问题、作业、考试安排或组织公告,管理员认为这些内容带来的隐私风险极小。然而,尽管持开放态度,许多管理员认为自己无权单方面授权AI访问群组数据,并强调成员同意和集体数据治理的重要性。一些参与者感到不妥于以群组名义单方面做决定,他们认为任何AI对群组数据的访问都应获得成员的明确且可撤销的同意。参与者还描述了应该限制访问时间或可逆的情况,例如在政治敏感时期(如选举期间)或情绪激动讨论时。这些担忧反映了管理员如何看待群组隐私——隐私是情境依赖的,受群组性质和成员不断变化的敏感度共同影响。一些参与者表示,如果AI的数据使用政策易于理解且透明,他们愿意共享群组数据。半正式大型社区群组管理员P4呼应了关于数据本地化和减少对不透明云端系统依赖的更广泛担忧:"如果整个处理都在我的设备上完成,数据不会外泄,我会对数据隐私的担忧更少一些。"在各种群组类型中,管理员也预期会根据感知到的隐私风险来区分哪些数据会与AI共享,哪些不会。几乎所有参与者都强烈反对共享敏感的用户生成内容,如关于政治观点、健康信息或家庭住址等私人数据的信息。相比之下,大家普遍同意,新闻文章、YouTube视频或社交媒体帖子的外部链接可以共享,无需担心,因为它们不会泄露个人数据。在这些情况下,管理员希望AI在处理这些链接时提供额外支持,例如标记指向恶意内容的外部链接、摘要付费墙后的新闻文章以提高可访问性,以及核查可能的假新闻。参与者还认为群组元数据(如群组规模、用途或描述)风险较低,足以让AI提供相关规则,无需额外访问群组消息。大型朋友群组管理员P2解释道:"我同意共享一些群组信息,因为我们已经在群组描述和群组名称中有了这些信息。所以也许AI可以读取这些内容并拥有了一些背景数据……我想我可以开放消息和链接的访问权限,但作为管理员,我也要考虑群组成员的私人图片和视频。所以我可能不同意与AI共享那些内容。"这些发现表明,参与者是否愿意授予AI访问群组数据的权限,受其对成员同意的态度、共享不同类型数据的感知风险以及这些数据将如何处理等因素的影响。这种谨慎的边界划定反映了管理员作为非正式数据管理者所扮演的微妙社会技术角色。接下来,我们描述参与者如何设想AI在群组规则生命周期的不同阶段——制定、执行和维护——中的角色。
4.3 AI与规则制定
在第一阶段,参与者与Meta AI聊天机器人互动,为其现有的WhatsApp群组生成规则。这一过程揭示了来自不同群组类型的管理员如何与AI生成的建议互动,协商语气和相关性,并应对当前聊天机器人界面的局限性。参与者指出了使用AI起草群组规则的优势和摩擦——强调了工具在哪些方面符合他们的需求,哪些方面表现不佳,以及其效用如何在不同的群组情境中变化。
规则覆盖范围更广,但具体性有限。在第一阶段,大多数参与者在提示Meta AI创建群组规则时输入很少,通常只提及群组用途,没有提供更多关于规模、动态或管理偏好的情境。常见的起点提示语如"你能帮我创建学院群组的规则吗?"或"我想要朋友群组的一些规则"。AI最初生成的输出通常冗长、使用正式语言,并包含12至15条规则,分为"一般规则"、"发帖礼仪"、"内容准则"、"管理员职责"和"后果"等部分。无论参与者在提示中提及何种群组类型,Meta AI都建议一些通用规则,如"要尊重和包容"、"成员必须遵守管理员指示"或"成员多次违规将被移除"。参与者赞赏的是,即使在输入很少的情况下,AI不仅能生成预期中的规则,还能提出他们此前未考虑过的新规则。这些出乎意料的建议揭示了一些被忽视或难以表达的规则,为主持人提供了反思和正式化新兴担忧的途径。例如,白化病患者互助群组管理员P7对AI建议的音频消息相关规则印象深刻:"保持音频消息简短清晰。使用缓慢清晰的语速以方便理解。"尽管这条规则不属于现有群组规则,但鉴于群组成员经常使用音频消息,P7认为它非常相关。同样,管理正式大学群组的P14对关于合理使用表情符号的规则表示赞赏。虽然她的群组尚未正式制定此类准则,但成员此前曾滥用表情符号暗示不当含义。她认为AI的建议很及时,并计划将其纳入。她描述道:"在制定这些规则之前,我需要大约一到两个小时来完全考虑可能发生的所有假设情况及其后果。但在这里,我只用了几秒钟就生成了,因为AI足够智能,能理解我想说什么。"这表明,虽然活跃的管理员本可以自己制定规则,但AI能够呈现相关规则,包括那些常被忽视的规则,使过程更快、更省力。几位参与者指出,AI的通用输出经常忽视了他们已经建立的关键情境规则。例如,管理美妆产品买卖群组的P19忘记包含她现有群组规则中列出的购买说明。同样,用于工作分享的非正式朋友群组管理员P2未能包含他之前引入的禁止不当内容的规则。虽然AI生成的"禁止垃圾信息"或"保持主题"等规则可以适用于他的需求,但这些规则缺乏具体性,无法解决群组之前遇到的具体问题。这表明需要AI提供支架或明确提示,以在建议规则中捕捉现有群组规则。
迭代编辑与语气调整。已经是活跃管理者——尤其是正式和半正式群组中的管理员——更有可能批判性地参与AI的输出。他们通过迭代提示来完善规则,要求AI纳入现有规则或调整措辞以提高清晰度和权威性。例如,大型计算机科学学生群组管理员P13,该群组专注于技术讨论和实习机会,要求AI加入一条"群组内不允许私人消息"的规则——反映了群组现有政策中禁止向未知群组成员发送未经请求的直接消息。同样,社区群组管理员P4将全面禁止商业推广的条例修订为允许来自社区内部的推广。这些例子展示了经验丰富的管理员如何将AI视为写作助手,迭代塑造其输出以符合既定社区价值观。这些情境化的输入在后续迭代中产生了更加定制化和相关的规则。管理员还会精修规则中嵌入的语气。例如,正式群组的管理员指示AI调整语言使其更正式和严格,认为AI生成规则的中性默认语气不会被群组成员认真对待。例如,大学学生群组管理员P3指出,最初AI生成的规则"非常宽松"。然后他要求AI"提供严格得多的规则及后果,以便成员在发送消息时牢记"。相比之下,非正式、紧密型群组的管理员偏好轻松的语气,并视规则仅供参考。他们通常接受AI的初步输出,仅进行表层更改——如使语言更友好或缩短列表。几位管理员对冗长、重复的规则列表表示不满,要求AI"删除通用规则"。他们请求更短更简洁、能捕捉要点的规则,以便群组成员易于审阅。例如,管理小型非正式朋友群组的P18要求AI只提供"三到四条一句话规则",这样她可以"把规则添加到WhatsApp群组描述中"。几乎所有参与者在编辑AI生成内容时都感到困难,因为其格式冗长、无结构。当参与者想编辑某条规则时,他们必须在长长的输出中滚动查找,找到特定规则,如果输出没有编号,还需要用关键词来引用该规则。尽管偶尔有规则编号会让参与者的提示"修改第X条规则"更容易——但当一条规则下有多条子规则时,这并不总是有效,使得很难指明哪个部分需要编辑。因此,参与者表达了能够选择特定规则直接修改的需求。在更改较小的情况下,如完全删除一条规则或更改一个短语,几位参与者觉得亲自直接编辑输出比提示AI更快更简单。
此外,与聊天机器人的反复互动使得用户难以比较规则在多次迭代中的变化。因此,参与者往往依赖记忆,或多次重复类似的指令,以达到期望的语气。规则的格式与呈现。当参与者对最终规则集满意后,他们会试图通过调整格式使其更加美观。他们希望得到一个可以轻松复制粘贴到群组中的版本,且没有明显的 AI 生成痕迹,因为输出中包含了"以下是您的规则"或"您想修改它们吗?"之类的语句。P8,一个好友群的管理员解释道:"我希望它(Meta AI)能去掉第一行,给我最终版本。我希望它是一条消息,我可以直接粘贴到群里。"参与者还希望布局更整洁——删除不必要的换行、修正编号错误、加粗关键点、删除多余的空白。在非正式的好友群中,管理员还希望 AI 为规则添加合适的表情符号以匹配群组的"氛围"。一些管理员甚至要求 AI 生成规则的文字版图片,以便轻松分享,因为 WhatsApp 群组描述的字数有限。然而,AI 有时会返回不相关的图片(例如人们在开会时的素材照片),凸显了当前在对齐输出格式与用户意图方面的局限。这些发现突显了管理员为使规则清晰可读、可接受且可用所做的额外呈现工作。英语能力有限的管理员发现 AI 在清晰简洁地表达规则方面特别有帮助。他们赞赏 AI 重新组织长句、简化语言的能力,使内容对他们和群成员都更易于理解。P19 分享道:"我不太擅长用恰当的措辞与人交流……在这种情况下 Meta 很有帮助。"对正式化 AI 规则的怀疑。关系紧密的家庭和好友群的管理员常常怀疑书面规则对于促进群组和谐是否必要,因为成员之间彼此熟悉。一些参与者预计,引入结构化规则可能显得"太正式"和"格格不入",使成员质疑规则,甚至质疑群组本身的亲密感。例如,对于 P9,Meta AI 为其家庭 WhatsApp 群推荐了一条规则"成员应该风雨同舟互相支持"。P9 认为这条规则矫揉造作,并要求 AI 删除,指出家人之间这种情感支持是无需通过 WhatsApp 群规则来正式化的。同样,当 P8 请求为朋友群制定规则时,Meta AI 提供了一条关于成员何时应被永久踢出群组的规则。P8 删除了这条规则,解释说他从未预期要采取如此严厉的措施,因为"他们都是好朋友"。他进一步说明:"我很确定我发布这条消息的瞬间,就会被嘲笑,因为我们之前没有任何书面规则……人们会问为什么要做这个?尽管这些规则相当友好且不严格,我群里的人可能会嘲笑我。"总体而言,参与者将 AI 视为规则制定的有用起点,尤其是在挖掘遗漏规则和减少起草全面规则所需的时间和精力方面。但与 AI 共创规则并非简单的即插即用过程——它需要管理员持续调整、编辑和格式化输出,使其对群组可用且合适。在高信任群中,正式规则可能显得格格不入。在更大或更结构化的群中,规则需要传达权威和清晰度。这些发现表明,规则制定不仅是一项技术任务,而是一种受社会期望、审美偏好以及管理员作为协调者和把关者双重角色塑造的情境化实践。在下一节中,我们将探讨参与者如何设想 AI 在规则引入后支持其执行与维护。4.4 AI 与规则执行参与者对 AI 中介执行的感知效用与风险的回答显示,在不同群组类型、管理风格和关系动态下存在差异。4.4.1 AI 问题内容概览。在第二阶段,我们向参与者展示了 AI 生成的报告,总结群组中可能存在问题的内容(图 1 B)。管理员,特别是管理大型活跃群组的管理员,预期这些报告有价值,作为监控群组规则一致性和评估对话是否偏离主题的方式。例如,P15,一个半正式前员工群的管理员说,如果 AI 标记了频繁的政治讨论(在她的群里属于偏离主题),她会利用这一洞察来强化或引入禁止政治内容的规则。同样,P13,一个大型大学群的管理员指出,这类报告有助于发现如无关推销或广告等可能因信息量大而被忽视的内容。管理员还看到利用 AI 生成报告追踪违规频率和识别可能需要干预的新破坏行为有价值。一些管理员指出,此类摘要可能揭示需要新规则的地方或现有规则过于僵化的地方。P3,一个正式大学群的管理员指出,如果许多成员发布某种未被明确禁止的问题内容,这可能表明需要建立新规则或创建专门讨论这些话题的小组。同样,P8,一个好友群的管理员表示,AI 报告可以提供信息,帮助判断现有群规则是否真正相关或过于严苛,取决于群成员实际如何使用群组。与此同时,一些管理员担心,仅仅列出问题内容实例的 AI 生成报告在没有额外上下文的情况下可能会产生误导。例如,如果 AI 报告群收到了大量某种类型的问题内容,管理员想知道这些消息是在一天内发布还是跨越多天,因为这会显著影响情况的紧急程度。一些管理员认为 AI 还应显示哪些群成员在分享问题消息,以帮助他们识别有破坏行为的成员。基于这些担忧,许多管理员指出,恰当执行规则需要理解被标记内容的深层上下文。他们希望 AI 不只是像探针中那样识别问题内容的数量和类别。许多管理员还希望 AI 超越内容分类,转而解读语气、意图和文化细微差别。例如,他们希望 AI 能区分讽刺与敌意,或随意政治玩笑与宣传,尽管他们也质疑 AI 准确评估这些细微差别的能力,尤其是当内容不是英语时,这在某些群组中很常见。P19 分享道:"有时我群里有些人喜欢开玩笑,使用讽刺性评论,AI 总是能检测到这些,可能将其标记为垃圾信息或类似的东西。或者当人们不用英语,或使用电影或网络梗的引用时,可能会被标记为冒犯性消息或类似情况。这可能会有问题。"相比之下,小型非正式群的管理员觉得这些报告不那么必要,认为规则执行可管理。正如 P8,一个好友群的管理员所说:"这是一种锦上添花的东西,我不太喜欢这类东西……如果群组很大,那么这些可能就够了,但在 15 到 20 个大学生的朋友群里,这感觉有点多余——就好像我在微观管理群组。"这些发现表明,AI 生成内容报告的价值高度依赖上下文。虽然对标记大型快速群组中的趋势有用,但此类摘要需要额外的细微差别和定制化,才能在多样化的环境中有效。4.4.2 AI 辅助的规则违规干预。接着我们探讨了参与者对 AI 在规则违规后直接干预的感受,无论是发送全员警告还是私聊违规者(图 1 D)。私信。在关系紧密的群组中,管理员更愿意亲自联系违规者,而不是将任务交给 AI,以维护人际关系。这些群的管理员担心 AI 发出的警告会显得缺乏人情味,缺少处理由认识的人造成的违规所需的细微差别和温暖。P10,一个小好友群的管理员解释道:"我希望有更好的人性化接触与我的朋友互动。这是一个朋友群。如果我选择让 AI 私信我的朋友,那将更像是一种 AI 审查。"在处理轻微或初次违规时,这种情感尤其强烈。管理员更愿意借助 AI 起草个性化消息,而不是让 AI 直接联系违规者。他们也希望在发送前审阅和编辑任何消息,特别是在涉及朋友或家人的情况下。在处理屡犯者时,管理员也倾向于自己通过私信发送警告,将其视为在考虑临时或永久移除等更严厉措施前更有意的升级。在正式群组中,一些管理员对 AI 传达违规严重程度的能力缺乏信心。他们担心 AI 会采用中性语气,其警告会被视为不真诚和软弱。他们相信管理员亲自联系更能传达权威,会被违规者更认真对待。此外,一些管理员不信任 AI 正确解读违规上下文的能力。相反,他们更愿意直接与违规者互动,以更好地了解其意图后再采取行动。相反,大型、公开或松散管理的群组管理员欢迎 AI 主导发消息的想法——特别是在他们不认识违规者个人或想避免对抗时。此功能在因性别动态或社会等级对抗违规者可能使管理员遭受骚扰的群组中尤其受欢迎。在这些情况下,管理员将 AI 视为自己与违规者之间的保护性缓冲。例如,P13,一个大型计算机专业学生群的女性管理员分享道:"我群里大多数成员是偶尔发布违反群规则的成人幽默内容的男生。我可以用 AI 给我认识的违规者发消息。因为如果我自己联系他们,他们可能会骚扰我。"在小型关系紧密的群组中,一些管理员也觉得将规则执行交给 AI 更容易,以避免直接管理社交圈中的人。例如,参与者觉得为一个朋友违反规则而对抗可能会导致尴尬。同样,在家庭群中纠正年长亲戚可能会让他们觉得被管理员不尊重。在这些情况下,管理员很赞赏 AI 可以扮演"黑脸"角色,将规则执行的负担从管理员身上转移,同时维护社会和谐。公开警告。一些管理大型正式群组的管理员更喜欢 AI 在违规后发送公开的、全群警告。他们认为这些提醒可以让他们集体处理违规而不针对个人。他们希望这能向成员传递群组正在被定期管理的信号,任何违规都会被及时处理。他们觉得此类警告在多个成员从事类似破坏行为时特别有效,减少了管理员联系个别违规者的工作量。然而,在非正式或较小的群组中,管理员觉得公开警告不必要,甚至适得其反。他们担心此类消息会显得太正式,打断正在进行的对话,或在同伴面前让违规者难堪。正如一位管理员指出的,全群警告在紧密群组中可能会被解读为"被动攻击或控制欲"。在这些情境中,更偏好随意的私下提醒。这些发现说明,AI 辅助的规则执行并非一刀切。管理员在考虑何时以及如何将执行交给 AI 时,需要在关系动态、群组规模和社会规范的复杂混合中权衡。虽然一些管理员将 AI 视为有用的助手或缓冲,但其他人则将其视为对群文化的潜在干扰。
设计能够适应这些情境差异的AI工具——并支持柔和与严格两种形式的执行——对于它们的接受度和有效性至关重要。4.5 AI与规则维护 除创建和执行群组规则外,参与者还反思了AI如何支持规则在长期内的维护和更新工作。这包括解释规则是否按预期发挥作用、识别可能需要政策变更的新行为模式,以及帮助管理员随着群组动态演变而调整规则。我们探讨了两个拟议的AI功能——每周审核摘要(图1E)和AI建议的新规则(图1F)——以及参与者在不同类型群组中对它们的可能性和局限性所持的态度。4.5.1 AI生成的每周摘要 在第二阶段,参与者看到了展示AI每周生成审核活动的摘要探针。其中包括被标记为违反规则的消息数量以及表明规则实施后群组行为变化的趋势等数据。大多数管理大型、高活跃度群组的管理员都表示对使用AI生成的审核摘要有浓厚兴趣。他们表示自己因群组中的消息量而应接不暇,并认为摘要是了解规则如何影响群组行为、识别违规趋势的一种方式。然而,即使在理论上认为摘要有用的管理员中,也很少有人计划积极使用它们。被动型管理员尤其如此——他们只在群组出现破坏性行为或群组成员提出问题时才参与审核。在小型、紧密的群组中,违规很少发生,审核工作量也很小,管理员觉得此类功能几乎毫无价值。他们质疑仅仅获得数据驱动的洞察是否足以做出决策。例如,大学群组管理员P11说道:"最终重要的是聊天是否感觉清爽干净,而不是规则实施以来违规数量的原始统计。"这些观察结果表明,除了关注数量或趋势外,AI系统还应考虑如何以与WhatsApp群组管理员的直觉判断和决策风格相符的方式,有意义地传达规则的影响。4.5.2 AI生成的新规则建议 我们还展示了基于近期群组活动生成的AI新规则建议(图1F)。大型、高活跃度群组的管理员通常赞赏这些AI生成的规则建议。他们发现这有助于发现被忽视的问题,并看重AI将群组层面的洞察转化为可执行规则的方式。例如,半正式前员工群组的管理员P15将此描述为"AI替我思考",赞赏AI不仅识别了问题,还提出了规则并给出实施方式。尽管如此,管理员们强调保持人类参与的重要性。管理有多位共同管理员的群组的管理员倾向于协作审核AI建议的规则,要么与共同管理员讨论,要么将建议发布在群组中征求反馈。大型朋友群组的管理员P16解释说,她会先达成共识再采纳AI提议的规则。像P16这样的管理员认为这种协作审核至关重要,因为AI生成的规则并非来自他们自己的判断、与共同管理员的商议或群组成员的请求。管理员对AI理解群组细微之处的能力缺乏信心,并认为参与式审核是确保合法性和认可度的方式。相比之下,小型、稳定群组的管理员认为AI建议规则的想法是多余的。这些群组通常由长期形成的隐含规范治理,很少需要新的正式规则。小朋友群组的管理员P10指出:"我觉得AI会很快就没东西可建议了,因为我们的群组已经很守规矩了。"总体而言,虽然参与者看到了AI辅助规则维护的潜力——尤其是在发现趋势或被忽视的问题方面——但对自动更新规则的热情有限。管理员们强调在决定是否以及如何更新群组规则时,人类判断、关系知识和集体输入的重要性。在AI系统更好地支持参与式流程并提供情境线索而非规定性变更之前,其在规则维护中的角色可能仍将是辅助性的,次于人类主导的治理。5 讨论 通过推测性设计研究与Meta AI共同创建规则的结合,我们的发现揭示,管理员根据AI辅助规则制定工具如何干扰群组情境、关系动态和他们的自主权来评估其效率。本节将批判性地反思这些细微之处,并将我们的发现置于更广泛的AI辅助内容审核背景中加以考察。5.1 在线治理中人类-AI边界的协商 虽然AI辅助可以支持规则生命周期的多个阶段,但我们的发现表明,管理员并非简单地接受或拒绝AI辅助。相反,他们积极协商AI参与群组治理的边界。这些协商围绕四个关切展开:保护社区隐私、维护关系权威、利用AI管理人际紧张关系、以及抵制文化错位。这些发现共同说明,AI辅助审核不仅受技术能力塑造,还受社会关系、权力和文化情境的影响。5.1.1 数据隐私方面的关切 在不同类型的WhatsApp群组中,管理员都感到让AI访问群组聊天来创建规则是不必要且侵入性的,尤其是当群组元数据就足够时。这些担忧与更广泛的对自动化审核系统的批评相呼应,后者认为这些系统在深化平台监控的同时限制了用户自主权和透明度[19, 20]。与对可见、可问责审核系统[58]的呼吁一致,本研究中的部分管理员表达了对设备端处理、选择性数据共享以及按需撤销AI访问权的强烈偏好。管理员们并未将数据访问视为一次性同意的过程,而是要求动态的、可撤销的、情境敏感的方法,以更好地保护其社区的隐私。然而,当前的AI辅助审核工具很少支持这一级别的管控,揭示了社区期望与现行政治设计规范之间的关键差距。5.1.2 边界工作与关系权威的划定 在所有群组类型中,管理员都表达了对AI建议规则保持人类权威的需求,担心AI缺乏理解讽刺、多语言内容和文化引用的能力。通过坚持规则执行需要"人性化触感"和"情商",管理员将这些任务归类为AI管辖范围之外。我们将这种坚持解读为一种积极的边界工作[18],即Gieryn所描述的行为——专家为区分其专业领域与非专业性领域而付出的努力,从而保护其自主权和权威。借鉴这一类比,我们发现WhatsApp管理员区分了信息性任务(如汇总违规和标记趋势,他们愿意将其委托给AI)和关系性执行(他们视为纯粹的人类责任)。在WhatsApp情境中,这种划定具有双重作用。首先,它阻止了缺乏情境敏感性的AI建议规则损害社会纽带。其次,它维护了管理员作为群组不可或缺的管理者的地位,并通过限制对AI的过度依赖来促进问责[20, 24, 31]。通过这一视角来看,AI建议的规则构成了一种边界对象[50],Star和Griesemer将其描述为存在于多个社会世界中并满足每个世界信息需求的实体。它们起源于大语言模型的技术领域,只有通过群组管理员的解释工作才能获得意义。因此,有效的AI辅助审核并不取决于替代人类判断,而取决于支持将技术输出转化为具有社会意义的规则。5.1.3 AI作为社会缓冲 虽然管理员寻求保留规则执行的权威,但他们并不一定将AI视为威胁。相反,一些人认为AI是一个有用的中介,可以帮助管理审核中固有的人际紧张关系。先前的研究表明,关于规则执行的分歧会给管理员带来巨大的心理负担,常常导致他们辞职[43]或屈从于资深管理员的偏好[4]。在WhatsApp群组中,共同管理员往往是家人或同龄人,此类冲突的人际代价尤其高昂。然而,我们的参与者并未选择辞职或屈从于他人偏好,而是表达了对利用AI去人际化与共同管理员冲突的愿望。通过将"唱黑脸"的角色委托给AI代理,管理员希望在执行规则的同时保护个人关系免受审核摩擦的损害。管理员将AI辅助视为保护他们免受关系冲突的缓冲,而Sch?pke-Gonzalez等人[43]将此识别为群组可持续性的关键威胁。5.1.4 考虑文化错位与算法霸权 我们的参与者一再对AI无法理解群组聊天中的文化引用、关系细微差别和语言模式提出关切。虽然我们的推测性设计方法不允许我们系统地审计具体的模型缺陷,但参与者表达的深层怀疑指向了AI辅助审核中一个更广泛且已充分确立的挑战:以西方为中心的模型规范凝视。研究表明,此类工具通常体现了一种殖民冲动,即使部署在南方国家也在推行西方标准作为普适标准[12, 47, 48]。由于这些模型主要基于以英语为中心的数据训练,当它们被推向非西方语境时,存在实施算法霸权的风险——本地沟通风格仅仅因为不符合西方的信任与安全理念就被标记为异常行为[41, 47]。因此,此类工具的广泛采用可能迫使用户自我审查表达以避免被算法标记[19]。此外,当前主要针对英语形态设计的自然语言处理技术在处理代码混杂内容方面经常力不从心,而后者在印度在线社区中非常普遍[47]。虽然我们的参与者仅使用英语与Meta AI互动,且在研究期间未分享真实的群组聊天记录,但他们一再对这类系统在实际部署于其WhatsApp群组聊天时(这些聊天通常包含代码混杂、多语言内容)的表现提出关切。正如我们的发现中已经概述的,参与者担心讽刺和其他具有文化情境的闲聊——尤其是以非英语或混合语言表达时——可能会被误读为垃圾信息或冒犯性内容。如果AI助手无法区分善意的社区闲聊和真正的骚扰,就会迫使管理员不断进行纠错,增加而非减少他们的工作量。5.2 AI支持的群组审核的设计启示 基于我们的发现,我们认为AI支持的审核应该增强而非替代人工治理。由于WhatsApp群组中的审核具有深度关系性,且往往依赖非正式的社会规范,有效的AI系统必须优先考虑情境理解、人类权威、协作控制、隐私和文化胜任力。AI系统不应充当自主审核者,而应作为协作伙伴运作,支持管理员在创建、传达和执行规则的同时,维护其社区的社会纽带。5.2.1 支持情境化规则共创、定制与沟通 许多参与者在提供足够上下文以生成适当规则时遇到困难,对需要大量编辑的通用AI输出感到沮丧。这类问题的出现是因为指定不足的用户提示导致模型过度补偿,将过滤无关或冗长内容的任务转嫁给用户[3]。现有的自动化工具如Reddit的AutoModerator[40]或Facebook的Admin Assist[15]同样要求管理员定义规则,而未主动获取有关社区规范或背景的信息。为支持有效的规则共创,平台应通过结构化互动提供收集群组背景的机制。这些机制可以包括简短问卷、可编辑模板或对话式界面,提示管理员描述群组规模、组成、正式程度、常见问题和现有规则。此类背景收集不应是一次性任务。管理员应能够在群组动态演变时重新访问和修改这些输入,确保AI生成的规则长期保持相关性。虽然Reddit和Discord等平台允许管理员以可编辑的文本格式定义规则(如YAML文件或关键词列表),但这些主要用于内部配置,而非面向成员的沟通。Facebook群组支持置顶规则[14],但格式功能有限,且不支持语调定制。由于规则最终是面向成员的产物,平台还应方便管理员为与群组成员沟通而调整AI建议。这包括启用直接编辑、提供语调控制(如正式、友好或严格),以及支持项目符号、高亮文本或表情符号等格式选项。
输出结果还应易于导出为适合在群组内分享的格式。
**5.2.2 维护人类权威与支持协作治理**
与我们关于边界工作的发现一致,AI治理工具的设计应赋予管理员权力,同时不损害其自主权和控制权。平台不应自动化处理违规行为的决定,而应让管理员可以选择性地将任务委托给AI,例如识别问题趋势,同时保留对需要信任、情境知识或关系判断的决定控制权。现有的审核工具,如Reddit的AutoModerator [40],仅根据版主明确定义的规则执行操作;而Twitch的AutoMod [52]则将标记的消息排入队列,等待版主审核批准。尽管这些系统保留了个人裁量权,但它们对协作性监督的支持有限。虽然多名版主可能在技术上可以访问规则配置,但内置的可供性很少支持共同编辑、讨论或集体审查审核决定。因此,协调工作通常以非正式的方式在平台之外进行。
因此,我们建议AI支持的审核系统明确支持协作治理。共同管理员应能够共同编辑AI生成的规则,讨论拟议的变更,集体审查审核决定,并在采纳新政策之前向社区成员征求反馈。此类机制有助于确保治理保持透明和可问责。
**5.2.3 减轻规则执行中的人际负担**
我们的发现表明,审核不仅是一个技术过程,也是一个关系性的过程。小型非正式群组的管理员通常更愿意直接与违规者沟通,以维护社会关系。相比之下,半正式群组的管理员更愿意在违规行为发生后采用AI中介的干预方式,以减少个人反弹和人际紧张。尽管现有的工具如Reddit的AutoModerator [40]或Discord的AutoMod [11]可以自动删除内容,但它们在执行删除时未考虑任何关系性因素。此外,这些工具均未为管理员提供可编辑的模板或写作支持,以便向违规者或整个群组发送个性化警告。
为了支持关系性审核,平台应提供可自定义的模板和AI辅助写作支持,帮助管理员传达警告、解释规则或处理问题行为。这些系统应保留文化细微差别和人际动态,而非强加通用或非人性化的语言。支持关系性沟通可以使AI充当缓冲器,在减少人际摩擦的同时,不让人类脱离审核过程。
**5.2.4 面向隐私与文化胜任力的设计**
我们的发现表明,隐私和文化契合是可信AI支持审核的先决条件。在WhatsApp中,端到端加密限制了服务器端对用户生成内容的访问 [56],使得对群组对话的无限制访问在技术上具有挑战性,在社会上也不受期望。因此,我们建议AI系统主要依赖本地处理或管理员提供的结构化元数据,而非完整的聊天记录,后者可能会侵蚀信任,尤其是在敏感场景下。更广泛地说,在Reddit和Discord等平台上,由于内容可公开访问,我们建议AI治理工具纳入细粒度且可撤销的内容控制,同时与群组成员进行清晰沟通。
设计师还必须考虑到文化和语言的多样性。以西方为中心的AI模型经常误解非西方的沟通风格,将良性内容标记为有害内容 [47],并可能建议与当地情境无关的规则。因此,我们建议AI辅助审核工具明确支持本地语言定制。不应仅依赖预训练的西方标准,平台应允许管理员提供可接受的本地表达的少样本示例,包括混用语言的俚语、玩笑式闲聊或社区特有的爱称,以指导规则制定和执行过程。通过让管理员在本地情境下定义有害内容与合作关系之间的边界,设计师可以避免压制合法的言论,并确保AI尊重社区价值观,而非强制执行西方标准。
**5.3 局限性与未来研究方向**
我们的研究存在若干局限性,为未来研究开辟了方向。
首先,我们使用设计探针来展示AI辅助审核功能。因此,我们的发现反映的是此类干预的感知价值,而非实际结果,这是设计探针的固有局限性。鉴于在加密的WhatsApp群组中部署实时AI助手所面临的伦理和实际约束,这种推测性方法是有必要的。
其次,参与者使用集成在WhatsApp中的Meta AI聊天机器人(Llama 3.2)共同创建规则。虽然这使我们能够考察管理员在与大语言模型聊天机器人共同创建规则时的互动,但我们无法区分所观察到的摩擦(如冗长表述或僵化的格式)是生成式AI的固有局限,还是Meta AI聊天机器人的特定问题。未来研究应探讨不同模型和提示策略如何影响管理员在共同创建规则时的体验。
第三,由于远程研究带来的招募限制,我们的样本偏向于印度城市中受过大学教育的WhatsApp用户。由于WhatsApp在多元化人群中广泛使用,未来的工作应招募更广泛的人群,包括农村、非英语使用者和低识字率用户,以全面了解AI审核工具在不同社会情境下的感知情况。
第四,我们研究中的许多群组由多名管理员协作治理。然而,由于协调同一WhatsApp群组中多名管理员的后勤复杂性,我们只从每个群组招募了一名管理员。此外,几名参与者表示,他们不会在与同事管理员一起在场的情况下讨论群组动态。这限制了我们系统考察管理员之间的权力动态、冲突的审核风格或对AI生成规则的分歧如何影响决策的能力。
最后,未来的研究可以实际开发AI辅助规则创建工具,以评估其效果。鉴于端到端加密以及在WhatsApp内部部署外部工具的限制,未来的系统可能探索平台外工具(例如用于规则起草和共享的网站),将治理与平台自身的基础设施解耦。此类工具可以采用数据捐赠模式,基于WhatsApp Explorer [17]等工具,让管理员自愿共享现有群组规则或群组数据,以获取针对其群组的规则建议。纵向部署可以帮助评估管理员的信任、偏好和使用方式如何随时间演变,随着群组动态的变化以及在多管理员协作的环境中。
**6 结论**
我们的研究揭示了来自不同群组的WhatsApp管理员如何感知、适应和抵制AI在群组规则创建和审核中的辅助作用。虽然大型正式和半正式群组的管理员认为AI工具在起草规则、总结违规行为和处理规模方面很有用,但小型紧密群组的的管理员通常认为此类干预是不必要的或会对关系造成破坏。在整个范围内,参与者都强调了保持人类权威、关系敏感性和情境判断的重要性,特别是在情绪激烈或模糊不清的场景中。这些发现挑战了自动化普遍简化审核的假设,表明AI辅助审核工具必须灵活适应不同的治理风格、群组动态和控制预期。
我们提供了设计建议,重点是提供结构化机制,从管理员处收集相关群组情境以生成适当的规则,根据群组文化灵活定制语气、长度和格式,支持注重隐私的数据共享和可撤销的同意,以及构建功能,允许管理员与共同管理员和群组成员在强制执行前协作审查和批准AI输出。最终,我们倡导一种灵活的设计,让AI工具保持可选状态,使小型群组能够在无需不必要自动化的情况下运作。随着平台开始在端到端加密环境中探索AI驱动的审核工具,我们的研究强调了设计AI辅助工具的必要性,这些工具应支持管理员的关系性实践、适应多样化的群组规则,并保持人类判断力,尤其是在私密的、小型群组的场景中。
**致谢**
我们衷心感谢参与者分享了关于AI如何支持WhatsApp社区中群组规则的创建、执行和维护的深刻思考。本工作部分由Infosys和NSF Grant #2542732支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号