AI乐高:在早期设计阶段为工业责任AI实践搭建跨职能协作框架

《Proceedings of the ACM on Human-Computer Interaction》:AI LEGO: Scaffolding Cross-Functional Collaboration in Industrial Responsible AI Practices during Early Design Stages

【字体: 大 中 小 】 时间:2026年09月24日 来源:Proceedings of the ACM on Human-Computer Interaction

编辑推荐:

   # 摘要 负责任的AI(RAI)工作日益强调通过社会-技术视角在AI开发生命周期早期解决潜在危害的重要性。然而,在跨职能工业团队中,这项工作往往因持续的协调挑战而停滞:技术角色如何交接技术意图、团队如何建立共享的协作结构、以及如何支持非技术角色系统地评估危害。通过文献综述和

  

# 摘要

负责任的AI(RAI)工作日益强调通过社会-技术视角在AI开发生命周期早期解决潜在危害的重要性。然而,在跨职能工业团队中,这项工作往往因持续的协调挑战而停滞:技术角色如何交接技术意图、团队如何建立共享的协作结构、以及如何支持非技术角色系统地评估危害。通过文献综述和对8名从业者的半结构化访谈研究,我们揭示了这一挑战的表现方式——技术设计选择很少以支持非技术角色有意义参与的方式交接;协作工作流缺乏共享的视觉结构来支持相互理解;非技术从业者缺乏系统评估危害的支架。像JIRA或Google Docs这样的现有工具虽然在产品跟踪方面有用,但不适合支持跨角色的联合危害识别,通常需要大量额外努力来对齐理解。为此,我们开发了AI LEGO,一个基于网络的原型,将边界对象理论操作化,以支持跨职能AI从业者有效促进知识交接并在早期设计阶段识别有害设计选择。技术角色使用交互模块起草开发计划,而非技术角色通过阶段特定的检查清单和LLM驱动的角色模拟与这些模块互动,以揭示潜在危害。在一项涉及18名跨职能从业者的研究中,与基线工作表相比,AI LEGO增加了所识别危害的数量和可能性。参与者认为其模块化结构和角色提示使危害识别更容易,促进了早期设计中更清晰、更具协作性的RAI实践。

# AI 生成摘要(实验性)

本摘要使用自动化工具生成,未由文章作者撰写或审阅。它旨在支持发现、帮助读者评估相关性,并协助相邻研究领域的读者理解本工作。它意在补充作者提供的摘要,后者仍然是本文的主要摘要。全文仍然是权威的正式记录版本。

AI LEGO 是一个网络工具,在工业 AI 开发规划和主动危害识别中为跨职能协作提供支架。借助 AI LEGO,技术 AI 开发者可以使用(A)生命周期模块草拟开发计划,每个模块对应特定的 AI 开发阶段并配有定制提示。他们将计划交接给非技术/面向用户的角色,这些角色进行(B)以阶段为中心的评估,系统识别和处理每个阶段潜在的有害设计选择。最后,(C)以角色为中心的评估功能有助于生成利益相关者角色,通过模拟不同视角来揭示边缘情况。

AI LEGO 网络界面的截图展示了三阶段工作流程。技术 AI 开发者首先使用颜色编码的生命周期模块创建连接成工作流程的开发计划。非技术协作者随后将特定阶段的评估附加到各个生命周期阶段。他们还可以使用以角色为中心的评估来生成利益相关者角色并模拟其视角,以帮助识别额外的潜在危害。示例使用 AI 简历筛选应用程序。

# 1 引言

由机器学习(ML)技术驱动的人工智能(AI)系统已对日常生活的许多方面行使权力,从决定我们看到哪些社交媒体帖子、我们接受的医疗质量,到我们向潜在雇主展示的方式[29, 34, 54, 55]。生成式 AI 的兴起进一步放大了这种影响。然而,它们也引发了紧迫的担忧,因为公众的呼吁和学术工作越来越多地记录了这些系统如何——无论是不知不觉还是故意——延续甚至放大现有的社会偏见或造成新的有害影响[9, 16, 68, 72]。

在建立高层政府政策和框架(例如美国的 NIST AI 风险管理框架[73])的同时,负责任的 AI(RAI)和人机交互(HCI)领域的研究人员开发了各种技术工具和交互系统以支持模型评估、审计和去偏[10, 12]。尽管贡献显著,但这条研究路线经常被批评为:(1) 未能揭示某些"盲点",这通常由于技术 AI 团队缺乏多样性[25, 40];以及 (2) 仅在系统构建或部署后才进行,此时重大危害已经发生[26, 74]。

最近的 CSCW 和 HCI 研究日益强调 AI 系统的社会技术性质,以及在 RAI 工作中涉及非技术/面向用户的角色(如设计师、产品/项目经理和政策利益相关者)的重要性[18, 37, 44]。在工业界,这类工作通常由跨职能 AI 团队完成,参与者带来多样化的专业知识形式[27]。先前的研究表明,在这些团队中涉及非技术角色可以帮助在开发早期揭示问题设计假设[75, 78]。

然而,现有工作还表明,跨职能 AI 团队的早期协作不仅仅是参与问题,而是协调问题[1, 57, 64, 81]。当 AI 设计仍在演变且仅部分规范时,团队必须跨具有不对称专业知识的角色协作推理技术意图、约束和潜在下游影响。虽然先前研究已识别出此类环境中的沟通挑战[3, 27, 53, 58],但在实施决策固定之前,如何通过协作工作结构支持这种早期 RAI 协调,仍缺乏充分规范[48, 61, 78]。

通过对 8 名跨职能 AI 从业者进行形成性访谈研究,我们考察了早期 RAI 协作在实践中如何崩溃。当 AI 设计仍在演变且仅部分规范时,团队必须跨具有不对称专业知识的角色协作推理技术意图、设计权衡和潜在下游危害。我们的研究揭示了三个反复出现的塑造这一协调工作的挑战。首先,技术设计原理和约束往往难以以外化方式表达,从而支持非技术协作者的有意义参与,导致知识交接崩溃[27, 45]。其次,协作实践通常依赖临时文档和沟通,使团队缺乏支持讨论、反思和迭代的共享结构[58, 61]。第三,即使设计信息可用,非技术从业者通常也缺乏系统地解释设计选择并评估潜在下游危害的支架[75, 78]。总体而言,这些挑战指向了早期跨职能 RAI 协作中更广泛的协调差距。

基于 CSCW 关于表述工作[64]和边界对象[69]的理论,我们将这些挑战视为协调问题的相互交织方面,而非孤立的崩溃。从这个视角来看,危害识别不是独立或下游的活动,而是取决于技术意图能否跨角色被表述、共享和审视。因此,支持早期 RAI 协作需要在一个单一工作流程中整合表述、共享协作结构以及适合角色的解释和评估支架的工具。

这一解释引导我们提出以下问题:如何设计边界对象以支持具有不对称技术专业知识的跨角色早期跨职能 RAI 协作?我们推导出三个设计目标以解决这些挑战:(1) 支持技术设计意图的表述和交接,(2) 提供共享且灵活的结构来组织跨职能协作,(3) 为非技术/面向用户的角色搭建系统危害评估支架。我们在 AI LEGO(图 1)中实现了这些目标,这是一个交互式网络工具,将边界对象理论[69]操作化,以帮助跨职能 AI 从业者更有效地传达高层设计想法并在早期设计阶段识别可能导致下游危害的潜在问题设计选择。

我们进一步进行了包含 18 名跨职能 AI 从业者(分为 6 个团队)的评估用户研究,以调查:(1) 我们的工具在帮助跨职能从业者进行早期设计阶段 RAI 工作方面的有效性;(2) 我们的工具相对于现有 RAI 实践对跨职能 AI 从业者的价值。结果表明,与使用 Google Docs 和危害建模框架[51]基线相比,AI LEGO 帮助 AI 从业者识别了平均 195% 更多可能导致下游危害的问题设计选择(4 分尺度上中位数增加 1.25 点),且发生的可能性更高。参与者还报告 AI LEGO 在弥合知识交接差距、提供灵活协作结构和支持多视角危害评估方面有效。

本工作的贡献包括:
- 来自文献综述和形成性半结构化访谈研究的设计目标,以应对早期跨职能 RAI 协作支架的挑战,包括从技术角色到非技术/面向用户角色的知识交接、缺乏共享协作结构以及危害评估支架有限。
- AI LEGO,一个交互式网络工具,支持跨职能 AI 从业者有效促进知识交接并在早期设计阶段识别有害设计选择,此时问题更容易修复而不会造成实际危害。
- 来自使用 AI LEGO 进行早期跨职能 RAI 协作实践的评估研究的实证发现。AI LEGO 帮助参与者识别 AI 设计中更多高质量的潜在危害,与现有资源相比更有用。
- 关于支持跨职能协作有效开展 RAI 工作,特别是早期 AI 设计的设计启示。

# 2 相关工作

我们将本工作定位于(1) 支持预见和解决危害的 RAI 工具和方法,以及 (2) CSCW 关于通过共享表示、表述工作和边界对象跨异构角色协调的研究。我们首先回顾 RAI 工具包和早期设计方法,然后考察跨职能 RAI 协作作为协调问题,最后讨论危害识别和利益相关者推理方法,这些方法启发了我们的系统设计。

## 2.1 为工业界的负责任的 AI 开发技术、工具包和系统

多年来,HCI/CSCW 领域的 RAI 社区在开发技术、工具包和系统方面做出了重大贡献,以支持工业从业者开展 RAI 相关工作[4, 20, 40, 49, 76]。许多早期工具侧重于支持受过技术训练的从业者评估已训练模型,特别关注公平性、偏见和性能权衡[10, 12, 77]。虽然这些工具在操作化 RAI 原则方面具有影响力,但先前工作指出它们通常在开发生命周期后期才暴露问题,此时核心设计选择(如数据源、代理或任务定义)已难以修改[26, 74]。

除了以模型为中心的工具外,一条并行工作路线开发了伦理工具包和设计方法,旨在支持更广泛的跨职能反思,关注伦理和社会影响。这些包括基于卡片和工作坊的方法,如 Envisioning Cards[33]、Value Cards[67],以及面向从业者的工具包,如 IDEO 的 AI Ethics Cards[41]。这些方法明确寻求让设计师、开发者和业务利益相关者在设计过程早期参与伦理考虑的协作讨论。然而,先前工作也告诫伦理工具包可能隐含地编码了谁执行伦理工作以及伦理关切如何转化为可问责的协调行动的假设,潜在地在流程整合、所有权和权力动态方面留下差距[78]。

最近的工作开始探索更早阶段的 RAI 干预,将工作游向上游设计过程。例如,Farsight[76]支持 LLM 驱动应用程序早期原型阶段的危害预期,Lam 等人[43]引入了迭代编写模型决策逻辑近似的框架。虽然这些方法将 RAI 考虑推得更早,但它们通常设计给技术从业者使用,并未明确构建跨跨职能角色的交接或评估结构。我们的工作建立在这些努力之上,关注早期设计产物如何结构化以支持跨具有不对称专业知识角色的协作推理和评估。

## 2.2 负责任的 AI 中的跨职能协作

CSCW 长期以来一直研究协作工作如何在异构角色间协调,强调表述工作、共享信息空间以及为对齐专业化知识形式所必需的持续协商[1, 64, 70, 71]。在组织环境中,跨职能协作通常依赖于允许参与者尽管在目标、词汇和证据标准方面存在差异仍能协调的共享表示。

工业 AI 开发的实证研究表明,在 AI 工作中这种协调特别具有挑战性,因为设计决策跨越技术、组织和社会考虑。Passi 和 Jackson 描述了企业数据科学项目如何依赖持续的"翻译"工作,使技术决策对非技术利益相关者变得可理解和可问责[57]。Zhang 等人[81]和 Piorkowski 等人[58]进一步记录了 AI 团队如何依赖工具、文档和会议的拼凑来跨角色协调,通常改编通用产物(如工单、共享文档)来传达设计意图和约束。

然而,这些适配方案是脆弱的:它们常常留下关键的隐含假设,偏重技术框架,或者要求非技术协作者投入大量的解释性劳动。既有文献指出,围绕公平性和伦理的跨职能协作引入了额外的复杂性。研究表明,不同角色对公平性的概念理解存在差异,证据呈现多种形式(如指标、轶事、生活经验),且伦理决策的责任往往是分散或存在争议的 [27, 44, 61]。Wong 等人 [78] 进一步指出,许多负责任的人工智能(RAI)工具隐含地假定伦理工作应当如何开展,却未能充分考虑到团队在实际中如何随时间推移协调这一工作。综上,相关文献表明,仅靠参与是不够的:有效的早期阶段 RAI 工作取决于协作结构是否支持不同角色(在专业知识不对等的情况下)之间进行阐述、解释和协商。

理解此类协调机制的一个核心 CSCW 概念是边界对象——既能共享又具灵活性的产物,它能够促进跨越认知与专业边界的协作 [17, 69]。CSCW 研究考察了边界对象如何在医疗保健和协作规划等场景中支持协调,在这些场景中,产物必须对具有不同专业背景参与者保持可解释性和可操作性 [62, 63]。重要的是,边界对象本身并非“解决方案”:它们通常需要通过持续的阐述工作来保持表征有意义并与具体情境实践保持一致 [1, 64]。在 RAI 情境中,边界对象已被用于支持共同反思和问责。例如,Madaio 等人 [48] 提议将公平性检查表融入跨职能 AI 团队的协作工作流程中,并平衡公平性决策的个人责任与指定审批人的监督职责。然而,现有工作很少具体说明这些产物在时间推移中是如何被处理的——它们是如何在不同开发阶段和角色间进行交接、解释和评估的,随着 AI 设计决策的演变。

我们开发了 AI LEGO,以进一步探索并操作化边界对象,作为结构化、分阶段工作流程的一部分,该流程明确支持知识交接 [21, 45]、协作评估,以及早期阶段 RAI 工作中的迭代。我们没有将协调视为讨论的隐含结果,而是考察如何通过共享产物来设计协调机制,这些产物随着设计决策在不同角色间被审视而不断演变。

### 2.3 识别 AI 系统、产品和服务中的有害问题

识别技术中有害或不道德的问题一直是人机交互领域长期关注的问题 [7, 32, 47]。随着 AI 系统日益融入社会,解决这些问题显得尤为重要。多年来,大量设计方法和工具包被开发出来,以支持设计师、开发者、数据科学家识别和预见 AI 系统中潜在的有害问题 [8, 28, 33, 49, 67]。例如,Raji 等人 [60] 定义了一个元层面的、端到端的 AI 系统审计框架,旨在确保系统在部署前的问责性。另一方面,Qiang 等人 [59] 进行了一系列对比研究,发现不同的 AI 伦理框架具有互补作用,根据具体情境组合使用时效果最佳。

支持 RAI 评估的一种突出方法是使用角色画像和利益相关者表征 [19, 23, 67]。角色画像为受影响群体提供具体的替身,并作为边界对象帮助团队推理社会影响和生活经验 [23]。以往的工作,如 Value Cards 工具包 [67],将角色画像卡片与模型卡片和检查清单卡片结合使用,证明在促进关于机器学习模型社会影响的讨论方面十分有效。随着生成式 AI 模型(如大语言模型)的兴起,这一方法可以进一步扩展,以加速并激发 RAI 工作的人性化评估。例如,Bu?inca 等人 [15] 提出了一种通用框架,利用大语言模型生成各种利益相关者可能面临的潜在有害描述,以协助 AI 从业者和决策者预见 AI 系统的潜在风险。类似地,Farsight [76] 利用大语言模型帮助从业者构建基于 LLM 的应用,以构思不同的用例、识别利益相关者并考虑潜在有害问题。

我们在这一系列工作的基础上进行扩展,并将其融入早期设计阶段的跨职能协作语境中。AI LEGO 引入两种脚手架技术,专门设计用于帮助非 AI 开发者在流程早期更有效地识别有问题的 AI 设计选择。首先,我们开发了一种分阶段检查清单以支持有害预见,覆盖整个 AI 开发生命周期的关键设计选择,以确保其有效性 [42]。其次,基于已有工作 [15, 76],我们引入大语言模型协助非 AI 开发者头脑风暴潜在受影响的利益相关者,并深入了解他们的生活经验。通过将这些脚手架视为边界对象,并将其整合进共享工作流程中——该流程结构化地审视不同角色下的 AI 设计决策——我们探索它们如何既支持解释性对齐,又揭示机器生成建议与人类伦理推理之间的张力。

### 3 初步研究与设计目标

为了更好地理解 (1) 跨学科团队在 AI 开发早期阶段识别潜在有害问题时面临的挑战,以及 (2) 跨职能协作工具或框架如何开发相关功能以支持该过程,我们进行了一项初步半结构化访谈研究,细节如下。

#### 3.1 半结构化访谈

我们通过社交媒体和邮件列表招募了 8 名工业界 AI 从业者(4 女 4 男)。参与者来自三个主要角色类别(4 名 AI 开发者,2 名产品经理,2 名 UI/UX 设计师)[22],并在不同规模的公司任职。参与者的筛选和选择基于其在跨职能 AI 开发方面的经验。他们不需要具备 RAI 方面的经验,这与以往研究一致 [48],反映了具有更广泛理解需求的 AI 从业者的典型人口统计特征。由于物流限制以及与区域行业实践保持一致的需要,所有参与者均位于美国。每位参与者获得 35 美元亚马逊礼品卡作为报酬。每场研究时长约为 60 分钟,重点在于识别参与者曾在跨学科团队协作中遇到的具体障碍,并探讨不同工具设计如何能够实现高效的早期阶段协作以缓解有问题的 AI 设计。我们首先介绍研究目标,然后请参与者描述其当前工作流程以及在技术角色与非技术/面向用户角色之间进行跨职能协作时遇到的挑战。这帮助我们理解其现有实践和痛点。随后,我们向参与者展示了五项初步设计产物(设计及其依据见附录 A),这些产物由研究人员在访谈前制作完成。这些产物包括两种呈现 AI 开发计划的方法:纯描述和受 AI 分镜故事板启发的分阶段脚手架 [24],以及三种头脑风暴潜在有害问题的 UI:改编自 Value Cards 的调查问卷、利益相关者表格和评论功能。我们请参与者就这些设计能否以及如何支持其当前工作流程、其感知可用性,以及改进建议发表意见(完整半结构化访谈协议见附录 B)。

#### 3.2 研究发现

我们使用亲和图 [46] 对参与者(P1–8)的笔记进行了分析。两位作者独立审阅了所有收集的材料,通过聚类相关评论、草图和批注生成初步观察。经过迭代过程,作者协作将这些观察归纳为三个更高层次的聚类:

**3.2.1 阐述与交接技术意图**

参与者一致指出,早期阶段跨职能协作的挑战并非简单地源于沟通不足,而在于难以以非技术协作者能够有效参与的形式阐述技术意图。虽然参与者指出,AI 团队内部的沟通流程和模式因团队规模(P2)、组织或业务类型(P4, P8)以及个体差异(P3)等因素而异,但大多数人(n = 8)同意,启动 AI 开发计划最好由技术角色或具有较强技术专长的从业者主导,以确保可行性(例如,P3 提到:“我的产品经理经常高估模型能够实现的效果。”)。然而,这种安排往往会导致向非技术或面向用户角色交接时出现中断(n = 5)。

部分参与者(n = 3)强调,现有的文档和规划产物要么过于技术化,要么过于碎片化,导致非技术协作者难以理解设计决策是如何做出的,以及潜在风险可能出现在何处。例如,P6 指出:“用通俗语言解释数据构建是成功的前提”,这反映了对技术决策可访问性表征的普遍需求。在缺乏此类表征的情况下,部分非技术参与者表示对技术角色存在强烈依赖,在解释和决策方面需要其介入(n = 2),这限制了他们在早期设计讨论中贡献意见的自主性。

参与者还指出,常用的协调工具——如 JIRA [6]、Asana [5] 和 Google Docs [36]——并不适合这种早期阶段的 RAI 工作。这些工具被认为要么过于僵化,无法支持快速迭代,要么过于通用,无法容纳关于价值观和有害问题的讨论。正如 P8 所说:“JIRA 设置起来花费大量时间,不适合快速周转。”因此,团队往往依赖临时解释或同步会议来建立共同理解,这被多位参与者(n = 4)认为效率低下或不必要。

**3.2.2 建立早期阶段 AI 规划的共享结构**

参与者强烈倾向于使用结构化但灵活的表现形式来支持跨角色的早期阶段 AI 开发规划。对比两种产物,所有参与者(n = 8)都更偏好分阶段脚手架,一致认为它是协调工作和建立共享参照框架的有效结构。参与者认为,分阶段脚手架允许技术开发者清晰勾勒 AI 开发中的任务与依赖关系,而非技术成员则受益于其清晰、模块化的视觉呈现。根据 P2 的观点,“分阶段表示标准化了 AI 开发规划的语言”,从而更容易被技术和非技术/面向用户角色所理解。分阶段拆解还有助于“频繁迭代”(P1),这在早期阶段的 AI 实践中尤为有帮助。

**3.2.3 为有害问题识别提供解释性工作脚手架**

参与者(n = 4)赞赏改编自 Value Card 的调查问卷 [67] 的简洁性和深入调查能力,尽管阅读量可能令人却步(P1, P2)。相比之下,利益相关者表格具有清晰的信息可视化(n = 4),允许在阶段和利益相关者之间进行“横向和纵向比较”(P1),从而全面进行评估。评论功能则因其促进开放式讨论并将识别出的问题与具体设计选择有效关联的能力而受到关注(n = 3),有助于加快迭代速度。理想的有害问题识别脚手架应当融合这些特点。

#### 3.3 设计目标

结合文献综述和半结构化访谈研究的见解,我们确立了以下设计目标:

**G1 支持技术意图的阐述与交接。** 系统应使技术角色能够在适当的抽象层次上外化早期 AI 开发决策,使非技术和面向用户的协作者能够有效参与和评估。

**G2 为协作规划提供共享、灵活的结构。** 系统应提供可视化、模块化的表征形式,以组织早期 AI 开发工作,同时能够适应不同的项目背景和协作风格。

**G3 为非技术和面向用户角色提供解释性评估脚手架。** 系统应整合结构化但开放式的评估支持,帮助非技术从业者推理不同开发阶段和利益相关者视角下的潜在有害问题,同时保留探索性和情境判断的空间。

### 4 AI LEGO

在设计目标的指导下,我们开发了 AI LEGO,一款交互式网页工具,帮助跨职能 AI 从业者在 AI 设计早期阶段协作识别有害的设计选择。我们首先展示一个跨职能团队在 RAI 项目上协作的示例场景,以演示 AI LEGO 的工作流程。

#### 4.1 使用场景示例

一家初创电影平台正在开发个性化推荐模型。John 是一名 AI 开发者,负责制定开发计划,但难以向团队其余成员展示该计划。Emma 是产品经理,她担心与有问题的设计选择相关的潜在偏见,例如推荐受到性别或年龄的影响。

他们决定使用 AI LEGO 获得支持。John 首先使用 AI LEGO 的生命周期模块勾勒出项目中的关键 AI 开发阶段(图 1 A)。嵌入的八阶段工作表提示他为每个阶段输入详细信息,从而创建清晰的开发计划视觉地图。当 John 将计划分享给 Emma 时,清晰的视觉框架和定制的提示语立即让 Emma 对开发计划有了整体了解。

随后,Emma 使用 AI LEGO 的阶段中心评估(图 1 B)来审查"数据集构建"和"模型定义"等关键阶段。该工具的八阶段检查表指导她识别风险,例如性别等敏感数据可能导致推荐产生偏见。她建议对该数据进行匿名化处理,但担心这会影响准确性。为了进一步探索,Emma 使用角色中心评估(图 1 C)来评估利益相关方的影响。她创建了几个用户画像,包括一位热爱电影的青少年,这帮助她认识到需要提供适合年龄的推荐内容。这促使她重新审视敏感数据的处理方式,以在公平性和准确性之间取得平衡。

基于这些见解,John 修订了开发计划,调整数据集和模型设计以解决伦理问题。经过几轮迭代后,John 和 Emma 最终确定了一份完善的方案,准备进入实际开发阶段。

表 1

| 阶段名称 | 工作表提示 | 检查表提示 |
| --- | --- | --- |
| 问题界定 | 明确你的目标 AI 方案预期要解决的具体问题或挑战。 | 该问题或挑战本身是否符合伦理?目标 AI 方案能否为该问题提供可行的解决方案? |
| 任务定义 | 详细说明你的目标 AI 方案设计的、旨在解决先前识别问题的具体任务。 | AI 方案预期实现的功能边界和局限性是什么? |
| 数据集构建 | 描述你用于训练目标 AI 方案的数据来源和收集方式,并说明数据预处理步骤以及应用于原始数据的特征工程技术。如果目标 AI 方案是生成式 AI,请描述你使用的微调数据集。 | 数据处理过程中是否存在潜在的偏见、隐私问题或其他伦理考量? |
| 模型定义 | 描述 AI 模型架构、所选代理及所用算法,并解释它们的作用和功能。如果目标 AI 方案是生成式 AI,请描述你使用的基础模型、提示技巧和微调方法。 | 所选模型、代理和算法是否适合已识别的任务?如果目标 AI 方案是生成式 AI,所选基础模型、提示技巧和微调方法是否适合已识别的任务? |
| 训练 | 描述 AI 方案如何使用精选数据进行训练,并阐明其性能提升的过程。 | 训练过程可能出现哪些问题?如果会,具体是什么问题? |
| 测试 | 解释 AI 方案的评估方式,并突出用于评估 AI 的关键性能指标。 | AI 成功的标准是什么?性能指标是否足以评估 AI 的成功程度? |
| 反馈 | 概述反馈的收集方式,明确从哪些人那里收集反馈以及收集的频率。 | AI 的部署是否符合实际应用场景? |

八阶段工作表与检查表提供了针对 AI 开发不同阶段的定制提示,指导 AI 开发者起草开发计划,并协助非技术/面向用户的角色识别有问题的设计选择。

## 4.2 八阶段工作表与检查表

八阶段工作表与检查表(表 1)均为提示问题清单,分别用于从技术角色处获取 AI 开发中关键设计选择的高层次描述,以及支持非技术/面向用户的角色进行潜在危害调查。基于先前研究的发现 [64, 65] 以及我们关于"分阶段"有效性的形成性研究结果,我们开发了涵盖 AI 开发生命周期八个阶段的提示:问题界定、任务定义、数据集构建、模型定义、训练、测试和反馈。这些阶段改编自 Cramer 等人提出的七阶段工作流 [24],并额外增加了明确的问题界定阶段。先前工作 [42] 同样纳入了这一阶段,并强调其在负责任的人工智能 (RAI) 实践中塑造下游技术决策的关键作用 [56]。提示问题的设计采用了迭代过程,确保它们不仅能捕捉社会技术层面,还能引导开发者有效阐述技术意图或非技术/面向用户的关注点,并对每个阶段的关键方面进行有意义的反思。

## 4.3 用户界面

AI LEGO 将八阶段工作表与检查表整合为一个可视化、可交互的界面,包含以下组件(见图 1;UI 转换详见附录 C 中的图 5):

**生命周期模块。** 生命周期模块是基于阶段的可视化构建块,用于描绘目标 AI 系统的开发计划(G2)。技术 AI 开发者可以通过点击左下角的阶段按钮在中央画布上创建模块(图 1 A)。当他们点击模块的文本框时,来自八阶段工作表的相应提示会出现在上方,引导他们填写相关描述。完成描述后,他们可以使用拖放功能链接模块并重新排列位置,以建立流程或结构。画布可在所有方向上无限扩展,允许开发者根据需要添加尽可能多的模块和分支,以实现最大灵活性。

**阶段中心评估。** 阶段中心评估使非技术/面向用户的角色能够检查草案计划中的各个阶段,以识别潜在有问题的设计选择(G3)。用户从选择一个模块开始,按下右下角的"阶段"按钮。这将生成一个侧边栏,显示来自八阶段检查表的相应提示,并允许用户描述有问题的设计。已完成的评估会自动保存,附加到相应的阶段模块上,并在团队内共享(图 1 B)。

**角色中心评估。** 为支持早期危害评估中的视角转换和反思性头脑风暴,AI LEGO 引入了角色中心评估功能,该功能利用用户画像作为支架来探索潜在利益相关方的观点。在评估过程中,非技术角色可以设想任何可能受目标 AI 系统影响的利益相关方,并通过文本描述创建具有特定特征(如个人和职业背景)的用户画像。为了平衡用户控制权和多样化代表性,角色中心评估支持手动输入与 LLM 生成示例相结合。这些用户画像保存在右上角,并以乐高迷你人偶图标的形式可视化(图 1 C)。在识别受影响的利益相关方后,角色中心评估还可以通过模拟用户画像对拟议 AI 开发计划的反应来进一步启发评估者。非技术角色可以选择一个已保存的用户画像,并询问其主观感受。为了促进更开放的讨论,我们提示 LLM 基于利益相关方的背景模拟他们可能表达的关注点,而非直接识别危害 [15]。这些模拟反应会被保存,并在鼠标悬停在用户画像图标上时显示。

## 4.4 实现细节

AI LEGO 网络应用程序使用 HTML、JavaScript 和 CSS 构建,并采用 React 库。其基于节点的界面使用原生 React 加上 react-draggable 包实现。前端托管在 Vercel 上,后端通过 API 调用使用 Google Firebase 进行用户身份验证和数据持久化(按每次状态更改)。角色中心评估功能利用 OpenAI GPT-4 模型,并采用零样本提示技术(详见附录 D)。

## 5 评估:用户研究

我们进行了一项用户研究,以评估 AI LEGO 在帮助跨职能 AI 从业者沟通并在早期阶段识别 AI 系统有问题的设计选择方面的有效性。为了在受控环境中模拟真实的跨职能协作设置,从而获得对我们工具的初步实证理解,我们将参与者分组为团队,并将研究分为两个阶段。我们采用了被试内设计,并创建了工具的两个变体:AI LEGO Lite 和 AI LEGO Full。两个变体都允许从业者使用生命周期模块起草 AI 开发计划。然而,AI LEGO Lite 仅支持阶段中心评估,而 AI LEGO Full 同时支持阶段中心评估和角色中心评估。

我们的研究由以下研究问题指导:
- RQ1:AI LEGO Full 和 AI LEGO Lite 在辅助跨职能 AI 从业者方面的有效性如何?
- RQ2:AI LEGO Full 和 AI LEGO Lite 是否比现有的 RAI 实践为跨职能 AI 从业者提供了更多价值?

### 5.1 参与者与团队组建

我们通过社交媒体发布和滚雪球抽样方式招募了 18 名行业 AI 从业者(6 名女性,12 名男性)。这些参与者均未参与我们之前的研究。同样,所有参与者均在美国境内,并要求具备在跨职能团队中从事 AI 产品开发的先前行业经验,但不要求有 RAI 经验。我们共收到 101 份自愿回复。根据预筛选问卷中关于他们过去在 AI 项目中角色的回答,我们选择了 6 名 AI 开发者、6 名产品经理(PM)和 6 名 UI/UX 设计师。参与者在研究前被随机分配到六个团队中。每个团队包含一名技术角色(AI 开发者)和两名非技术/面向用户的角色(一名产品经理和一名 UI/UX 设计师),他们在研究期间参与不同的任务(见 5.2 节)。由于招募程序的原因,每个团队内的参与者互不相识。未来的研究可以探讨熟人之间的动态关系。每次研究会话结束后,每位参与者获得一张价值 35 美元的亚马逊礼品卡。

### 5.2 研究设计

我们设计了一项被试内两阶段研究,以评估 AI LEGO 在跨职能 RAI 实践中的有效性:

图 2 两阶段团队评估研究任务流程

两阶段评估研究的工作流程图。在阶段 I 中,AI 开发者在三种不同的实验条件下为三个 AI 场景创建开发计划。在阶段 II 中,UX 设计师和产品经理独立审查每个计划以识别潜在危害。

#### 5.2.1 两阶段设计

团队内部的总体任务流(3 次会话)如图 2 所示。在阶段 I 中,技术 AI 开发者启动流程,起草 AI 开发计划。在三个模块中,他们被要求创建三个 AI 开发计划,每个计划聚焦于一个特定场景(见 5.2.3 节),并使用不同的工具对应不同的条件(见 5.2.2 节)。在阶段 II 中,PM 和 UX 设计师分别审查其团队中 AI 开发者在前一次会话中创建的计划,并被要求审查计划以识别源于有问题的设计选择的潜在下游危害。他们被呈现 AI 开发者创建的计划、场景描述,并使用与条件相对应的工具。

#### 5.2.2 实验条件

每位参与者都经历了三种不同的条件/工具:基线组(Google Docs)、AI LEGO Lite 和 AI LEGO Full。Google Docs 是业界最常用的在线协作和文档工具之一,它允许在文本输入和样式方面拥有高度自由度。我们进一步补充了 Harm Modeling [51](一种流行的风险识别框架,以可编辑表格形式呈现)。两者结合为支撑 RAI 实践(包括计划和识别潜在风险)提供了一个相当强的基线。AI LEGO Lite 和 AI LEGO Full 在阶段 I 中用于起草 AI 开发计划时完全相同。在阶段 II 中,AI LEGO Lite 仅支持阶段中心评估,而 AI LEGO Full 同时支持阶段中心评估和角色中心评估。这一对比是经过精心设计,旨在检验当角色中心评估叠加在结构化的阶段中心评估工作流之上时,其对危害识别过程的增量贡献。团队内部各参与者的条件顺序是固定的,并通过拉丁方设计 [13] 在团队之间进行平衡。

#### 5.2.3 AI 系统开发场景

为了模拟典型的工业早期 AI 设计流程,我们创建了五个场景(见附录 E),其中 AI 系统旨在解决现实世界问题。这些场景源自并改编自 AI 事件数据库 [50]。所有采样的事件都在多样化的 AI 应用领域获得了广泛的媒体报道。每个场景包含背景、目标、要求、评估指标、关键功能、部署细节和目标用户信息——代表了早期 AI 设计的典型起点。我们从材料中删除了所有可识别的实体名称以避免偏见。我们通过预筛选问卷确保所有团队成员对原始事件都不熟悉。每个团队按固定顺序分配了五个场景中的三个。在所有团队中,每个场景至少在每种条件/工具下被分配两次。详细的场景与条件分配见图 6(附录 G)。

#### 5.2.4 会话流程

每次会话持续约 60 分钟,通过远程视频会议一对一进行。开始时,参与者被介绍研究目标,并同意录制屏幕活动和音频。参与者随后完成三个模块,在指定条件下按各自角色执行任务。每个模块持续约 15 分钟,当参与者报告思维枯竭时结束。在一个模块结束时,他们通过填写系统可用性量表 [14] 来评估工具的易用性。

在第一阶段,仅记录了 AI LEGO Lite 的第一次干预的 SUS 分数。在条件之间,为参与者提供了一个自愿的 2 分钟休息时间。该环节以一个 10 分钟的半结构化访谈结束(协议见附录 F),在其中他们分享了他们对条件的偏好、选择背后的原因以及额外的反馈。

**5.3 数据分析**

数据分析旨在评估 AI LEGO Full 和 AI LEGO Lite 与 Google Docs 相比在早期负责任人工智能(RAI)实践中的有效性和可用性。我们分析了定量数据(识别出的危害评分、SUS 分数、偏好)和定性数据(半结构化访谈笔记),方法论如下所述。

**5.3.1 定量分析**

参照 [76],我们分析了识别出的危害的数量、严重程度和可能性,以评估 AI LEGO 的有效性(RQ1)。在通过系统日志和记录收集识别出的潜在危害后,两名作者独立使用 4 点量表对所有危害的严重程度(“在此场景下危害的影响有多严重?”)和可能性(“在此场景下该危害发生的可能性有多大?”)进行评分。两名作者均为具有 RAI 学术和业界经验的研究生(与许多参与者不同)。他们对识别危害所处的条件是盲态的,但可访问场景以进行情境理解。初始评分显示出适度至中等的协议度,加权(二次)Cohen's Kappa 分数严重程度为 0.51,可能性为 0.64。在初始评分后,作者通过讨论解决了差异,并基于社会技术危害分类法 [66] 制定了评分标准。带有示例的最终评分标准提供在附录 H 的表 2 中。

区间数据(识别出的危害数量)在参与者层面使用均值进行汇总,并使用重复测量方差分析进行分析,随后使用带有 Holm 校正的配对 t 检验进行配对比较。这种方法之所以合适,是因为 Shapiro-Wilk 检验表明不存在显著的正态性偏差(p > .05)。Mauchly 检验表明违反了球度假设(p = .02),因此应用了 Greenhouse-Geisser 校正。有序数据(识别出的危害的严重程度、可能性、SUS 分数、平均偏好排名)在参与者层面使用 median(中位数)进行汇总,并使用非参数 Friedman 检验进行分析,随后使用带有 Holm 校正的 Wilcoxon 符号秩检验进行事后配对比较。对于第一阶段的 SUS 分数和偏好排名,由于只有两个条件,应用了 Wilcoxon 符号秩检验。

**5.3.2 定性分析**

我们对半结构化访谈录音进行了转录,并应用了归纳性主题分析 [35]。两名作者独立对转录稿进行了初步的开放编码,重点关注参与者对工具体验的描述、感知效用、局限性以及对跨职能负责任人工智能实践的影响(RQ2)。随后作者们会面比较和协调他们的编码,迭代地将相关编码分组为更高级别的主题。通过反复审查转录稿来完善这些主题,以确保它们捕捉了参与者之间反复出现的模式,同时保留了不同的观点。

**5.3.3 功效与敏感性分析**

为了评估我们的研究设计是否能够检测到有意义的被试内效应,我们使用 G*Power 进行了敏感性分析,用于具有三个条件的单组重复测量方差分析(α = .05)。我们将重点放在第二阶段,这是系统效应的主要确认性评估,而第一阶段旨在支持探索性设计见解。假设重复测量之间存在中等相关性(r = .5)以及保守的 Greenhouse-Geisser 校正(? = .65,与我们观察到的数据一致),第二阶段设计(n = 12)对大约 Cohen's f ≥ 0.46 的效应具有敏感性,功效为 80%。这表明研究对检测中等至大的条件效应具有足够的敏感性,尽管较小的效应可能无法被可靠地检测到。局限性,包括人口统计构成和对可推广性的影响,将在第 7.4 节中讨论。

**6 研究结果**

**6.1 AI LEGO 在协助跨职能人工智能从业者方面的有效性(RQ1)**

定量结果显示了 AI LEGO Full 和 AI LEGO Lite 在帮助跨职能团队主动识别有问题的设计选择以防止潜在下游危害方面的有效性各异(图 3 A)。参与者还认为 AI LEGO Lite 和 AI LEGO Full 比 Google Docs 更具可用性且更受偏好(图 3 B)。

**6.1.1 AI LEGO 使跨职能团队能够发现更多有问题的设计选择**

重复测量方差分析测试显示条件对识别出的有问题的设计选择数量有显著的主效应(F(2, 22) = 16.26, pGG < .001)。事后 Holm 校正配对 t 检验显示所有条件之间存在显著差异。与 Google Docs(均值 = 1.9)相比,参与者在使用 AI LEGO Full(均值 = 5.6, p < .001)和 AI LEGO Lite(均值 = 3.7, p = .03)时识别出的有问题的设计选择显著更多。这表明 AI LEGO 赋予跨职能团队在人工智能开发过程中探索和浮现更多潜在危害的能力。此外,参与者在使用 AI LEGO Full 时识别出的有问题的设计选择显著多于使用 AI LEGO Lite 时(p = .04),表明额外的以角色为中心的评价功能通过鼓励更全面地探索可能的设计缺陷,进一步支持了头脑风暴。

**6.1.2 AI LEGO 允许跨职能团队识别更可能且更相关的人工智能系统设计缺陷**

Friedman 检验显示条件对识别出的危害的可能性有显著的主效应(χ2 = 9.72, p < .01)。事后 Holm 校正 Wilcoxon 符号秩检验表明,与 Google Docs(中位数 = 2)相比,使用 AI LEGO Full(中位数 = 3.25, p = .03)和 AI LEGO Lite(中位数 = 3, p = .03)识别出的危害被评为显著更相关。AI LEGO Lite 和 AI LEGO Full 之间未观察到显著差异(p = .2)。这一结果强调了 AI LEGO 使团队能够关注更可能的设计缺陷,提高了他们在开发过程中优先考虑相关风险的能力。关于识别出的危害的严重程度未发现显著的主效应,这表明 AI LEGO Full 主要增强了团队检测更可能发生的风险而非更严重风险的能力。

**6.1.3 AI LEGO 工具更受偏好且显示出相当的可用性**

尽管参与者在规划阶段对 AI LEGO Lite 给出了最高的平均总体 SUS 分数,在评估阶段对 AI LEGO Full 给出了最高的平均总体 SUS 分数,但统计测试显示没有显著的主效应,表明差异可忽略不计。对于规划阶段的单个 SUS 项目,Holm 校正 Wilcoxon 符号秩检验显示,与 Google Doc 相比,参与者在“我发现该工具使用起来非常繁琐”这一项目上对 AI LEGO Lite 的评分显著较低(W = 0.00, p = .04),在“我发现该系统的各项功能整合得很好”这一项目上评分显著较高(W = 0.00, p = .03)。在规划阶段,6 名参与者中有 5 名偏好 AI LEGO 而非 Google Docs。在评估阶段,Friedman 检验显示平均排名存在显著的主效应(χ2 = 10.67, p < .01)。事后 Holm 校正 Wilcoxon 符号秩检验显示,参与者对 AI LEGO Full(中位数 = 1)的排名显著高于 Google Doc(中位数 = 3, p < .001)。

**图 3. 条件对 (A) 识别出的危害的数量、严重程度和可能性以及 (B) 可用性和偏好的影响。** AI LEGO Full 允许人工智能团队识别出更多可能性更高的潜在危害;它更受偏好,并被认为是整合良好的,尤其是在规划阶段。显著性水平:*** p < .001, ** p < .01, * p < .05。误差线表示 95% 置信区间。
比较 Google Docs、AI LEGO Lite 和 AI LEGO Full 的条形图。AI LEGO Full 导致识别出的危害数量最多,可能性评分最高,同时保持相似的可用性分数。参与者在规划阶段和评估阶段都将 AI LEGO 评为首选工具,并认为它在规划方面比 Google Docs 更少繁琐且整合更好。误差线代表 95% 置信区间,并标示出显著的配对差异。

**6.2 相对于现有负责任人工智能实践的价值(RQ2)**

来自不同团队(T1–6)和不同角色(人工智能、用户体验、产品经理)的参与者的访谈笔记揭示了 AI LEGO 的功能在实现设计目标方面的有效性各异,同时也指出了未来改进的机会。

**6.2.1 八阶段工作表与检查清单作为跨职能团队知识传递的有效渠道(G1)**

参与者报告说,在八阶段工作表与检查清单提供的框架下,他们能更容易地阐述自己的想法。无论是技术角色(n = 3)还是非技术/用户面向的角色(n = 7)都认为这在人工智能生命周期的框架下有助于梳理思路。与 Google Docs(T2AI)的“自由形式”沟通风格相比,这种结构化方法有助于参与者关注人工智能开发的各个阶段,促进设计选择的阐述和想法的理解:

> “我很容易跟随提示(来自八阶段工作表)围绕(人工智能系统)开发的典型工作流程进行规划,而在 Google Docs 中,我不知道要描述什么以及从哪里开始。”(T5AI)
>
> “按照 AI LEGO 的清晰结构,让我很容易理解队友的规划。”(T6UX)

此外,八阶段机制分解了个人的任务,这使得沟通更加明确和可操作,而不是含糊不清和难以接近(T3PM, T4AI, T4UX, T6UX):

> “AI LEGO 在写出计划方面提供了更好的支持,并更清楚地指定了我应该关注的任务。”(T4AI)

参与者 T1AI 和 T2AI 明确报告说,他们感到受到鼓励,去思考他们本来可能通过 Google Docs 而忽视的关键组件。他们还描述了从被动的“以后再修”方式转向更主动的风险识别的转变(T2AI):

> "AI LEGO 中的‘反馈’阶段提示我考虑来自更广泛来源的输入,包括用户、执法部门和其他公共实体。”(T1AI)

人工智能开发者提供的易于理解的阶段性输入随后使非技术/用户面向的角色能够更积极地参与并在人工智能开发过程中承担更大的责任(T3PM, T4UX, T5UX),与传统模式不同,在后者中技术团队在定义项目时拥有主要权力。正如 T3PM 所指出的,他们不再是“信息的被动接收者”,而是成为了“负责任人工智能过程中的活跃伙伴”。

**6.2.2 AI LEGO 通过直观且引人入胜的布局呈现工作流程(G2)**

大多数参与者(n = 11)认为 AI LEGO 中相互连接的生命周期模块树状分类法适合人工智能产品设计过程。与 Google Docs 中的纯文本相比,树状分类法允许参与者一目了然地查看人工智能开发的整个流程。他们无需上下滚动查找相关笔记,可以轻松导航工作流程并专注于特定阶段。这种设计使参与者能够更有效地跟踪进度,同时保持持续的思维过程:

> “树状分类法可视化让我在起草计划时能够跟踪我的进度。然而,使用 Google Docs 时,我难以获得概览,并且经常不得不前后导航以参考早期的设计。”(T3AI)

这种基于流程的信息架构作为一种共享的视觉语言,促进了更有组织和针对性的协作方式。参与者 T1UX、T5UX 和 T6UX 强调,这让他们感觉像是开发生命周期的整合贡献者,而不是一次性反馈会议的参与者:

> “AI LEGO 的交互机制,您可以将鼠标悬停在模块上查看提示,非常直观。”(T1UX)
>
> “我特别喜欢这种基于流程的格式……它是一个很好的沟通模型……例如,您可以在特定模块上留下评论,然后您就可以针对特定内容与开发者进行异步对话。”(T5UX)

在此基础上,AI LEGO 进一步支持无缝的用户交互。参与者称赞 AI LEGO 通过八阶段工作表/检查清单与特定 UI 功能之间的集成,促进了直接操纵,这是人机交互中关于控制感的关键概念。

例如,参与者赞赏他们可以通过拖放操作来放置阶段模块(T2UX),并且将鼠标悬停在模块上即可查看提示内容(T1UX,T4AI):

"AI 乐高这种将鼠标悬停在模块上即可查看提示的交互机制非常直观。"(T1UX)

"借助拖放功能(操作阶段模块),整个体验既具有互动性又充满趣味。"(T2UX)

整体布局直观且视觉吸引力强,有效降低了学习曲线并增强了趣味性(T2UX,T4UX):

"即使没有人解释基于角色的评估功能,我也能通过系统提供的提示和自主探索学会如何使用它。"(T4UX)

"AI 乐高通过色彩缤纷的模块和小人偶,营造出乐高主题的趣味性氛围。"(T4PM)

**6.2.3 AI 乐高有助于非技术角色支持评估过程(G3)**

与 Google 文档相比,AI 乐高使非技术角色能够识别出更多 AI 产品的潜在危害(p < .001),且识别的可靠性更高(p = .02)。在使用 Google 文档时,非技术参与者频繁遇到文档结构不一致的问题(T1PM、T3UX、T5UX)以及晦涩难懂的技术术语(T1PM、T2PM、T3UX、T4UX、T5UX);相比之下,在使用 AI 乐高时未报告出现此类障碍。AI 乐高的一体化与脚手架式设计也减少了参与者在文档中分散的不同信息源之间切换的认知负荷(T3UX、T5UX)。这种设计有助于将伦理分析的重点"转移"(T3UX)到从抽象概念到具体的、阶段性的问题上来,从而实现更加审慎且具有上下文意识的危害分析方法,这比在 Google 文档加危害展望中常见的笼统、零散的泛化分析更加精准和可操作(T1PM、T2PM)。

大多数非技术参与者(n = 8)将评估效果提升归因于以角色为中心的评估功能。通过与模拟角色的互动,参与者能够从已识别的利益相关方视角出发,对 AI 开发计划的每个阶段进行"重新审视",从而从多个视角生成更广泛的想法(n = 6),并将抽象的技术方案与"现实世界的人类影响"直接关联起来(T5PM、T4PM):

"生成的角色让我能够根据其特征更深入地思考某个案例,这在发现边界情况方面真的很有帮助。"(T1PM)

"……角色功能通过提供利益相关方的视角,帮助我拓宽了视野。"(T2PM)

根据参与者反馈,这种方法在不熟悉的场景中(T3UX、T4UX)或独立工作而无协作输入可用时(T3PM、T5UX、T6UX)尤为有效。例如:

"当我对特定场景不熟悉时,角色功能特别有帮助,因为它让我可以从不同的立场和不同的粒度层级来接近问题。"(T3UX)

"角色功能帮助我思考像劳动力市场、经济影响……这些不太显而易见的问题。"(T4UX)

"在你独自工作时,角色可以提供模拟数据来激发你的思考过程。"(T6UX)

有趣的是,部分非技术/面向用户的角色参与者提到了当前跨职能团队中存在的权力失衡问题(这一问题在前导研究中被识别)。参与者将以角色为中心的评估功能描述为一个善于利用资源的"智能助手"(T5UX)或"创意激发器"(T6PM),该功能模拟了不同利益相关方的视角,从而使他们在质疑或挑战开发者的方案时能够提出更有力的论据(T5UX、T6UX)。与此同时,八阶段工作表促使 AI 开发者清晰地阐述其设计选择,减少了非技术角色频繁向开发者确认的需求,使他们能够更加自主地开展工作,而不必担心会不断打扰技术同事:

"(如果没有 AI 乐高)我大概需要问几个问题……那些我不理解的事情,或者他们(AI 开发者)没有解释清楚的事情。"(T4UX)

**6.2.4 为实现设计目标而进行的未来改进**

尽管参与者总体上赞赏 AI 乐高在提升效率和用户体验方面的表现,但他们也针对已识别的设计目标提出了改进建议。为了增强知识交接的效果(G1),参与者建议在八阶段工作表和检查清单中添加针对特定 AI 产品或场景的提示(T3AI),并允许自定义模块以便添加额外备注。T4UX 建议通过引入类似 Google 文档的格式化文本功能来增强 AI 乐高的可视化直观性(G2)。针对以角色为中心的评估功能(G3),参与者建议探索后台自动化等功能,以在检测到问题时触发评估(T3UX),并引入危害严重程度评级以辅助优先级排序(T4UX)。参与者 T4UX 和 T6UX 对 AI 模拟利益相关方缺乏现实背景或准确性表达了担忧:

"我有点担心,因为这全是 AI 生成的……如果不自己做研究,我不知道真相或(这些危害的)优先级。"(T4UX)

因此,需要开发相应机制以防止 AI 团队过度依赖以角色为中心的评估功能,替代面向用户的专家的专业知识和研究来验证和确定所识别危害的优先级。我们在第 7.2.7 节中对此进行了进一步讨论。

**7.2.7 讨论与设计启示**

我们的研究结果凸显了 AI 乐高在帮助跨职能 AI 团队完成高层 AI 系统设计知识交接和开展更全面的早期危害评估方面的有效性。下文,我们从负责任 AI 的三个关键方面探讨 AI 乐高的作用,阐明其贡献、局限及对未来 RAI 实践的启示。

**7.1 支持早期跨职能 RAI 展望**

我们的研究结果凸显了早期 RAI 展望是一种跨职能协调工作,而非纯粹的技术或反思活动。与以往主要支持个体从业者或狭窄设计场景的早期工具 [43, 76] 相比,AI 乐高专注于在实施之前结构化地组织技术角色和非技术角色如何协作阐述、审视和迭代 AI 设计决策。具体而言,AI 乐高引入了基于阶段的生命周期模块、相关提示和关联的评估工件作为共享表征,使团队能够通过它们来协调这项工作。通过这种方式,它突出了在系统设计仍处于流动和未充分规定状态时,预期危害所涉及的合作劳动。

AI 乐高的一个重要贡献在于其利用抽象性使早期 AI 设计工作变得集体可处理。通过将 AI 开发分解为模块化的、基于阶段的组件,八阶段工作表和配套的检查清单使参与者能够在规划期间以适当的粒度对复杂系统进行推理。这与早期设计中关于草图和抽象性的先前的研究相符 [79, 80],表明早期阶段的表征无需完整或精确即可支持有意义的协作。相反,它们必须在不同角色之间具有可解释性和可协商性。

参与者的反馈进一步阐明了协同工作中结构与开放性之间的一种核心 CSCW(计算机支持的协同工作)张力。虽然许多参与者重视 AI 乐高的基于阶段的结构和树状组织作为共享参考点,认为其提供了共同词汇和讨论据点,但部分参与者(T2AI 和 T6PM)更倾向于基线方法中自由形式的文档,因为其灵活性能支持开放式探索。这种张力并不意味着结构设计的失败,而是呼应了 CSCW 中长期存在的发现,即协调机制必须平衡形式化与情境化解读的机会。我们的研究结果表明,有效的早期 RAI 工具应允许团队根据协作的阶段和目的,在结构化表述和开放性反思之间灵活切换。

这些发现强化了边界对象在早期 RAI 工作中的作用。AI 乐高中的生命周期阶段和模块化的模块功能作为边界对象,既具有足够的稳定性以锚定讨论,又具有足够的灵活性以容纳多元视角 [48, 69]。通过将高层设计意图外部化为共享的可操作工件,AI 乐高支持跨角色的阐述工作,并使得危害识别能够被视为协作规划的有机组成部分,而非下游的审计任务。未来的研究应进一步探索如何将这些边界对象适配到不同的组织环境和协作风格中。特别是,存在机会探讨个性化、部分结构化或特定角色的视图如何能与共享基础共存,使团队能够定制早期 RAI 展望而不会割裂集体理解。

**7.2 迈向 RAI 实践中的人机互补**

AI 乐高中使用大语言模型生成的角色引发了关于在伦理审议和危害识别中如何结合人类与 AI 能力的更广泛问题。传统上,RAI 评估主要依赖人类专业知识,通过专家评审、众包和结构化审计等方法进行 [11, 25, 49]。近期的工作已开始探索大语言模型如何通过这些过程来辅助,例如生成候选危害或利益相关方视角 [15, 76]。

AI 乐高并未将评估权委托给大语言模型,而是采用了一种互补性设计,使参与者在将大语言模型作为生成性资源的同时,保留对危害识别的控制权。在这种配置下,以角色为中心的评估支持头脑风暴和视角采纳,但并未取代人类判断。这种设计与强调在协作工作中引入 AI 辅助时应保留人类自主性、问责制和情境化推理的人机协作视角相一致 [30, 39]。重要的是,AI 乐高中的大语言模型生成角色不仅仅是信息输出,而是作为边界对象,提供了一种共享的叙事参考,参与者可以对其进行集体解读、质疑和精化。对于非技术从业者,这些角色有助于发现边界情况并引发对不熟悉技术决策的反思。对于整个团队,它们可以提供一个共同的框架,使不同角色间在专业知识不对称的情况下讨论潜在危害。

与此同时,参与者对大语言模型生成角色的真实性和完整性的担忧凸显了一个关键的权衡。虽然此类角色可以增加边界对象的弹性,使团队能够快速探索更广泛的场景,但它们也可能引入合成性抽象,从而有掩盖现实世界复杂性的风险。此外,由于这些角色是基于通用语言模型(如 GPT-4)和有限的上下文提示生成的,它们可能会复现训练数据中存在的流行假设或偏见,不太可能揭示源于生活经历、文化特殊性或结构性边缘化的"盲点"。这种张力反映了机器中介协作中的更广泛挑战:在效率与生成性同基于实际情境、可问责的表征需求之间取得平衡 [48]。

我们将这种张力视为不仅是 AI 乐高的局限,更是 CSCW 研究中的一个开放设计空间。未来的研究应进一步探索人机互补在 RAI 实践中如何被操作化,包括何时以及如何让 AI 生成的工件呈现、受限或获得上下文以支持伦理审议,同时不取代人类责任 [38]。

**7.3 整合到工业跨职能产品工作流中**

本工作的范围在于理解开展早期跨职能 RAI 工作的主要挑战,以及 AI 乐高在应对这些挑战方面的有效性,具体包括技术角色的知识交接和面向用户/非技术角色的危害展望。与停留在高层次表征层面的其他解决方案(如指南 [8, 52])相比,AI 乐高被刻意构建为一个协作性 Web 工具。我们的工具化身旨在将一种非正式的社会技术活动融入早期产品设计流程,将产品规划与危害预期相结合,同时不施加过度工作负荷。评估结果证明了这一概念在增强跨角色参与度和提升整体评估表现方面的可行性。参与者 T2PM、T3PM 和 T4UX 特别赞赏了 AI 乐高如何将 RAI 工作模块化为步骤明确的任务,并指出其与工业实践的对齐性。例如:

"鉴于工业实践在推动产品方面的投入更多,我认为 AI 乐高是可行的,因为它通过协作和 AI 生成来扩展评估过程,同时没有增加显著的额外工作。"(T4UX)

尽管我们的系统和研究设计在很大程度上基于现实场景,但我们必须承认,工业跨职能实践涉及一些本工作未完全涵盖的额外因素和复杂性 [27, 58]。例如,不同团队和组织使用各种通信渠道、项目规划工具和协作政策,这些都影响他们的工作方式。虽然 AI 乐高可以进一步优化以降低上手成本,或适配为轻量级插件或功能完整的工具以获得实用价值(例如,具备工作分配和里程碑追踪功能),但这需要对组织偏好、约束以及可能限制采用的潜在摩擦进行更深入的理解。例如,T6UX 指出:

"这个工具……是用于发现潜在问题或潜在的偏见所在。但这也在某种程度上是一种'缺陷思维'的视角。我甚至没想到,由于工具的框架定位,我的组织里会有谁想要这样的东西。"(T6UX)

此外,AI 乐高侧重于促进技术 AI 开发者向非技术/面向用户角色的知识阐述,这是基于我们前导研究的发现,即与 AI 系统规划和危害评估相关的任务应分别委托给开发者和非技术/面向用户角色。

然而,这些角色总是合作的这一底层假设(例如,开发人员会轻松地将反馈整合到系统设计中)并不总是成立。我们的定性结果表明,AI LEGO 在应对普遍存在的权力不平衡方面显示出潜力,使非技术角色和面向用户的角色能够更自主、更积极地参与负责任的 AI 规划,而不是依赖开发人员的声音。尽管如此,未来的研究仍需要进行更系统的调查以验证这一点,特别是在不受控制的真实工业团队环境中部署 AI LEGO,以考察 AI LEGO 如何支持、缓解或重塑更广泛的组织动态(例如,权力、问责),正如实际的集体行为所反映的那样。7.4 局限性与未来工作作为支持早期跨职能 RAI 工作的初步努力,我们的方法存在一些局限性。首先,AI LEGO 主要是为了解决跨职能 RAI 工作中从技术角色到非技术/面向用户角色的知识传递难题而开发的——这一难题在先前的文献中已有充分记录,并在我们的形成性研究中显示为工业界的一个常见问题(见第 3 节)。为了迈向更具人文中心的 RAI 实践,我们承认未来的工作也应探索替代性工作流程,尤其是从非技术角色到技术角色的知识流动。这些工作流程对于将情境化、伦理和用户中心的洞察融入技术决策至关重要。未来探索的其他领域包括概念映射 [43],以及集体意义建构和跨角色决策。其次,作为概念验证原型,AI LEGO 需要进一步完善以提升用户体验、性能和流程集成度(见第 6.2 节)。特别是,正如第 7 节详细讨论的那样,基于 LLM 模拟的以用户角色为中心的评价既充满希望也暗藏风险,需要进行更系统的未来调查(例如,LLM 在危害评估或用户咨询中的自主性高或低)。请注意,我们的基于 LLM 的用户角色仅作为起点——并非真实利益相关者参与的替代品 [2, 31]。未来的工作应探索如何更有效地将真实用户和利益相关者整合到我们在此介绍的流程中。需要更精细的、反映真实最终用户互动和反馈的数据,以提供更强有力的基于利益相关者的 RAI 实践评价。第三,虽然我们的评估研究旨在近似真实的跨职能协作环境,但由于实际原因,研究设计中做了许多简化。例如,我们仅招募了基于美国的参与者,并组建了团队,每个团队由三个典型角色组成,这限制了我们对该工具的有效性在不同文化、地区和团队设置中可能如何变化的理解。AI LEGO 以端到端一次通过的方式进行评估,反映了最低限度的团队协调,为动态反馈和思想交流提供了有限的机会。未来的工作应探索控制程度较低的实验设置,例如部署研究,以更准确地反映日常实践。最后,评估中使用的六个 AI 产品场景改编自流行的 AI 事件。虽然我们对其选择和顺序进行了平衡,但未完全控制每个场景的复杂性。一些参与者指出,更复杂的场景似乎提高了工具感知价值的提升。未来的研究可以更深入地探讨场景复杂性如何影响工具的有效性。8 结论我们介绍了 AI LEGO,一个交互式工具,旨在帮助跨职能的 AI 从业者在整个开发生命周期中更好地沟通高层 AI 设计,并及早识别潜在有害的设计选择。我们与来自不同角色的 18 位行业从业者一起评估了 AI LEGO,包括 AI 开发人员、UI/UX 设计师和产品经理。我们的结果表明,AI LEGO 帮助参与者识别出更多问题设计选择,以及那些发生可能性更高的选择。这意味着工具的具体设计会影响促进跨职能知识传递和危害设想的 effectiveness,例如阶段级提示、基于模块的布局和 LLM 模拟的用户角色。我们讨论了在支持早期 RAI 工作中跨职能协作的挑战和机遇。可用性AI LEGO 已上线,地址为 https://ailego.vercel.app/(源代码:https://github.com/henrw/ai-lego)。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号