当解释产生误导时:司法人工智能中的可解释性、错误遵从与人类监督
《Computer Law & Security Review》:When explanations mislead: Explainability, erroneous compliance, and human oversight in judicial artificial intelligence
【字体:
大
中
小
】
时间:2026年09月30日
来源:Computer Law & Security Review 4.7
编辑推荐:
**摘要**
随着法院越来越多地采用人工智能,且监管机构日益重视高风险系统的可解释性,人们通常假定解释能够缓解黑箱风险并增强人类监督。本研究在一项涉及具备法律训练背景参与者的模拟裁判实验中检验了这一假设。我们开展了一项3×2实验,参与者为150名已通过中国国家法律职业资格考
**摘要**
随着法院越来越多地采用人工智能,且监管机构日益重视高风险系统的可解释性,人们通常假定解释能够缓解黑箱风险并增强人类监督。本研究在一项涉及具备法律训练背景参与者的模拟裁判实验中检验了这一假设。我们开展了一项3×2实验,参与者为150名已通过中国国家法律职业资格考试的法学生。参与者在三种条件下之一接收算法推荐后对模拟案件作出裁定:无解释条件、基于案例的解释条件,以及基于特征的解释条件。实验还通过简单陷阱案和复杂陷阱案(含有明确算法错误)来操纵案件复杂性。
结果显示,解释并未提高参与者发现或纠正错误算法推荐的能力。相反,基于特征的解释条件产生了最高的错误服从水平,且服从率显著高于无解释条件。尽管简单陷阱案与复杂陷阱案之间的服从率存在差异,但案件复杂性并未调节解释类型与服从之间的关系。主观难度同样未中介这一关系。
在这一实验情境下,上述发现揭示了司法人工智能中的"透明度悖论":解释未必能促进审查,反而可能通过使有缺陷的输出显得具有法律可理解性和可信度,从而增加不当依赖。对于司法人工智能的治理与设计,该发现表明,以解释为核心的保障措施应辅以对抗式设计模型,以支持对算法输出的主动质疑与抗辩。
**引言**
可解释性已成为当代司法人工智能辩论中的核心规范性保障之一[1]。在法律和政策文件中,主导性假设为:如果算法推荐能够被解释,人类决策者将能够更好地审查该推荐、发现错误,并维护裁判的正当性[2]。这一假设不仅体现在诸如《欧盟人工智能法案》第13条等监管文件中——该条要求高风险人工智能系统具备足够的透明度,以使部署者能够解读其输出并适当使用——也体现在关于不透明决策支持系统的司法争议中。例如,在State v. Loomis案中,威斯康星州最高法院裁定,量刑法院使用COMPAS风险评估不违反正当程序,尽管评分背后的方法论未向法庭或被告披露。该案的重要性在于它揭示了一种算法治理中反复出现的法律直觉:当无法获得模型的完全访问权限时,透明度警告和解释性保障措施被期望弥补不透明性的不足。然而,Loomis案也暴露了这一直觉的局限,因为它留下了一个悬而未决的问题:此类保障措施在实践中是否真正改善了人类审查。
中国数字法院的发展为检验这一假设提供了一个尤为突出的场域[3]。自最高人民法院于2016年提出建设"智慧法院"以来,司法技术已从电子化卷宗、无纸化流程和在线诉讼服务等信息化工具,演变为支持类案检索、量刑参考及其他决策支持功能的数据密集型系统[4]。随着生成式人工智能的兴起,这些系统正日益接近裁判的核心领域。
此类系统的法律吸引力显而易见。通过从庞大的司法文书库中提取案件要素,并在历史数据中识别统计模式,人工智能工具承诺减少类似案件之间的一致性不足,提高效率,并缓解繁重案件负担所造成的结构性压力[5]。然而,同样的系统也引发了熟悉的正当性问题。当用户无法理解推荐为何被生成时,对该推荐的依赖有仅由技术权威来正当化的风险[6]。正因如此,《欧盟人工智能法案》和《生成式人工智能服务管理暂行办法》均将透明度和可解释性视为核心治理原则。
即便如此,现有辩论中的许多内容过早地从治理愿望跳到了实证假设。可解释人工智能的技术工作已发展出越来越精密的方法,包括SHAP和LIME[7],以使模型输出更具可理解性。法律和政策讨论往往将下一步视为理所当然:更多的解释将改善人类监督。按照这一观点,打开黑箱应帮助用户更批判地评估推荐,并在推荐错误时予以纠正。
这一假设绝非不言自明。自动化偏见研究表明,人们往往过度信任自动化推荐,尤其是当这些系统显得权威时[8]。关于解释说服力的研究进一步表明,即使解释的实质内容薄弱,解释也可能增加接受度[9]。医学人工智能领域的研究走得更远,识别出"透明度悖论":解释可能增加对正确输出的信心,但也可能使错误输出显得更具说服力[10]。
对于司法人工智能而言,这一问题具有法律上的后果,而不仅仅是技术层面的。裁判不仅涉及事实分类,还涉及规范性判断、程序正当性和强制国家权力的分配。如果解释使错误推荐显得更合理而非更可质疑,那么解释要求可能无法实现其预期的保障功能,甚至可能加剧不当依赖的风险。
在此背景下,本文提出一个更窄但更具法律后果的问题:当人工智能推荐出现错误时,解释是否有助于具备法律训练背景的用户发现错误,还是反而使推荐显得更可信?为回答这一问题,本研究在涉及已通过中国国家法律职业资格考试的法学生的模拟裁判实验中,比较了三种条件——无解释、基于特征的解释和基于案例的解释。通过区分SHAP式特征归因和CBR式类比解释,本文不仅探讨司法人工智能是否应当可解释,还探究哪种类型的解释可能支持批判性审查,而哪种可能反而放大不当服从。
一个核心难点在于,"解释"往往被视为单一类别,实际上却涵盖了不同的解释形式。本文聚焦于两种。第一种是特征归因,在此操作化为SHAP式格式:它为特定预测中的输入变量分配局部重要性值,并告知用户哪些特征对模型输出影响最大。第二种是基于案例的推理(CBR):它通过检索类似的先例,邀请在当前争议与存储案例之间进行类比比较,从而解释推荐。在功能上,特征归因回答的是"哪些输入驱动了这一结果?",而CBR回答的是"哪些先例使这一结果看起来合理?"。由于这两种格式提供了不同的推断线索,它们不应被归并为一个不加区分的可解释性概念。
本文做出三点贡献。第一,通过表明在所测试的条件下,解释未必减少了对错误推荐的服从,且基于特征的解释与更高的服从相关联,为司法人工智能的法律文献做出了实证贡献。第二,发展了一个理论解释,说明解释为何可能独立于推荐质量而产生说服力。该解释作为对所观察模式的诠释而提出,并非实验直接测量的机制。第三,通过探讨此类系统在何时、以何种形式以及在何种制度条件下应呈现解释,而不仅仅是是否应当可解释,为司法人工智能的设计与治理提供了规范性启示。
更具体地说,分析围绕两个研究问题展开。第一,关于错误检测:基于特征的和基于案例的解释如何影响具备法律训练背景参与者识别算法错误的能力,主观难度是否中介了该关系?第二,关于情境条件性:在不同复杂性的案件中,是否有任何解释格式能更有效地减少对错误推荐的依赖,还是应使解释设计适应裁判情境?
**章节摘要**
**司法情境下可解释人工智能的分类**
随着可解释人工智能(XAI)的持续进步,学术关注点已逐步从解释是否必要这一基础性问题,转向更具技术挑战性的问题——解释应如何构建和交付[11]。计算机科学研究者 accordingly 开始探究一系列旨在使复杂模型推断输出对人类的……
**实验变量**
本实验采用以下因果模型来定量考察不同算法解释模态对模拟裁判情境中法律决策质量的差异化影响(见表1)。
**研究假设**
基于上述理论框架,本研究提出以下四个方向性假设:
H1(透明度悖论假设):在涉及故意算法推荐错误的实验条件下,……
**参与者**
使用G*Power进行的先验统计功效分析确定了本研究的最小所需样本量。假设中等效应量(f = 0.25)、双尾显著性水平(α = .05)和目标统计功效1?β = .80,3(解释模态:无解释 vs. 基于特征的解释 vs. 基于案例的解释)× 2(案件复杂性:简单 vs. 复杂)混合因子设计的最小所需样本量估计为N = 150。
理想情况下……
**描述性统计**
表3呈现了三个实验条件下主要结果变量的描述性统计,特别关注参与者在嵌入的陷阱案上的表现。自动化偏见指数被标准化为0到1的连续量表,其中较高分数反映对明显错误的算法定量刑推荐的无条件服从倾向更大。主观难度通过单项后任务评分进行评估……
**主要发现及其适用范围**
实验不支持"解释有害"的一般性论断。它识别出一个更为具体的模式:解释模态影响了错误服从,但统计上可靠的差异仅限于基于特征的解释与无解释条件之间。接收基于特征的解释的参与者显著更可能服从错误推荐,而接收无解释的参与者则不然。基于案例的条件介于两者之间,但……
**局限性**
本研究存在若干局限性。首先,参与者是通过中国国家法律职业资格考试的法学生,而非在任法官。他们的法律训练使其成为在控制条件下考察正式训练用户对解释格式反应的合适群体。然而,研究结果不应在未经进一步实证验证的情况下推广至司法决策者。专业经验和制度……
**结论**
本研究考察了在模拟裁判情境中,解释格式如何影响具备法律训练背景的法学生参与者对错误推荐的服从。基于特征的解释产生的错误推荐服从显著高于无解释条件。基于案例的解释未产生可靠的错误服从减少,且未观察到陷阱案类型的调节效应或主观难度的中介效应。在所测试的条件下,使……
**资助**
本研究未获得来自公共、商业或非营利领域基金机构的任何专项资助。
**利益冲突声明**
作者声明不存在任何已知的竞争性经济利益或个人关系,这些利益或关系可能被认为影响了本文所报道的工作。
**致谢**
作者感谢所有参与实验的参与者,感谢他们慷慨地为本研究贡献了时间和注意力。
**作者信息**
李佳林
上海交通大学凯原法学院,上海 200030,中国
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号