提升自然语言理解系统决策的公平性:一种基于信息论的去混叠方法实现交叉偏见校正模型

《Expert Systems with Applications》:Enhancing Fairness in Decision-Making of Natural Language Understanding Systems: An Intersectional Bias Debiasing Model via Information Theory-based Disentanglement

【字体: 大 中 小 】 时间:2025年12月27日 来源:Expert Systems with Applications 7.5

编辑推荐:

  交叉偏见信息论解混模型IBDM通过变分自编码器分离公平表征与多维度偏见,利用群体独立性将计算复杂度从指数级降至线性级,并引入随机对比数据增强提升效果。实验表明IBDM在性别与收入、种族、宗教等交叉偏见场景下,平均提升BERT和GPT-2公平性指标1.87%-4.57%,同时保持任务性能。

  
李颖姬|胡俊成|宋瑞|胡亮
吉林大学计算机科学与技术学院,长春,130012,中国

摘要

在减轻预训练语言模型(PLMs)的社会偏见方面,大多数去偏见方法都是针对单一社会偏见进行定制或评估的,忽略了跨越多个 demographic 组的交叉偏见。然而,现有的去偏见方法在泛化到交叉偏见时遇到困难,而且偏见方向的非线性组合会呈指数级增加计算复杂性。为此,我们提出了一种基于信息论的去偏见模型(称为 IBDM),该模型通过解耦来减轻 PLMs 表示中的交叉偏见,从而提高下游任务的决策公平性。基于信息论,我们引入了表示解耦,并利用 demographic 组之间的独立性将计算复杂性从指数级降低到线性级别。我们采用变分自编码器来解耦公平表示和多个单一偏见表示,同时利用任务标签和敏感属性标签作为指导。此外,我们设计了随机反事实数据增强来进一步提高解耦后公平表示的准确性和公平性。在三个真实世界数据集上的广泛实验表明,与最先进的去偏见方法相比,IBDM 在准确性和公平性之间实现了更好的平衡。在减轻性别和收入、性别和种族以及性别和宗教的交叉偏见方面,IBDM 分别平均提高了 BERT 的公平性指标 1.87%、3.18%、4.57%,以及 GPT-2 的公平性指标 1.91%、2.16%、3.86%,同时保持了具有竞争力的任务性能。我们的代码可在以下链接获取:
https://github.com/liyingji1996/IBMD

引言

最近,预训练语言模型(PLMs)如 Devlin, Chang, Lee, & Toutanova (2019); Liu et al. (2019),特别是大型语言模型 AI@Meta (2024); Radford et al. (2019); Zhang et al. (2022),受到了各行各业的广泛关注。它们在处理自然语言理解任务方面展示了卓越的语言建模能力,并已在现实世界的各个领域得到广泛应用。然而,随着 PLMs 功能的增强和普及,其公平性问题日益突出。许多研究表明,PLMs 可以从大规模预训练语料库中捕捉和学习类似人类的社会偏见(例如性别偏见、种族偏见、宗教偏见)(Gupta et al. (2024),这些偏见被编码到表示中并进一步传递给下游任务(Song, Giunchiglia, Li, Shi, & Xu (2023); Zehlike, Loosley, Jonsson, Wiedemann, & Hacker (2025))。PLMs 带有社会偏见的应用会产生不公平、有偏见的和刻板化的决策,从而影响社会和谐的稳定发展。例如,自动简历筛选系统(Bolukbasi, Chang, Zou, Saligrama, & Kalai (2016) 可能存在性别偏见,倾向于将“男性”申请者分配到“医生”职位,将“女性”申请者分配到“护士”职位。美国医疗系统(Obermeyer, Powers, Vogeli, & Mullainathan (2019)也被发现存在种族偏见,对于条件相似的“白人和黑人”,系统计算出黑人的患病率更高。因此,越来越多的研究专注于减轻 PLMs 的社会偏见,以提高模型决策的公平性。
已经提出了许多去偏见方法来缓解 PLMs 的社会偏见。一些常见的方法包括使用反事实数据增强来平衡不同 demographic 组的样本(Wang, Chen, McAuley, Cripps, & Yao (2025);利用对比学习来近似包含相反敏感属性的正样本之间的表示(Cheng, Hao, Yuan, Si, & Carin (2021); Li, Du, Wang, & Wang (2023b);通过将原始表示投影到无偏见空间来过滤偏见(Liang et al. (2020);Ravfogel, Elazar, Gonen, Twiton, & Goldberg (2020);以及使用正则化损失来约束去偏见训练(Bai, Chen, Yang, & Shi (2025); Guo, Yang, & Abbasi (2022))。尽管这些方法取得了一定的去偏见效果,但大多数方法都是针对单一社会偏见进行定制或评估的,而忽略了涉及多个身份或社会类别的情况(Ghavami & Peplau (2013); Gohar & Cheng (2023))。
当一个人属于多个 demographic 组时,就会产生交叉偏见,这通常会导致来自这些不同组的偏见和歧视的叠加(Carbado, Crenshaw, Mays, & Tomlinson (2013),例如“黑人女性、伊斯兰男性”等。与单一偏见相比,交叉偏见涵盖了更复杂和相互关联的社会身份谱系,但它们更难以检测,并且往往会导致多个身份维度上的不公平对待(Kirk et al. (2021))。不同身份维度之间的叠加效应可能会加剧歧视(Collins (2022); King (1988); Yang, Cisse, & Koyejo (2020))。例如,“黑人女性科学家”可能会因其性别、种族和职业而遇到偏见,这在工作场所面临比单一性别或种族偏见更严重的挑战。因此,解决 PLMs 的交叉偏见对于公平应用这些模型更为紧迫。
然而,在 PLMs 中解决交叉偏见面临许多挑战。1)交叉偏见本质上涉及多个单一偏见的重叠表现,需要在多个偏见维度上进行去偏见处理(Shokrollahi (2023); Subramanian, Han, Baldwin, Cohn, & Frermann (2021)。虽然针对单一偏见的方法一次只在一个偏见维度上进行去偏见处理,但它们可能会无意中影响其他维度,并且无法充分捕捉交叉偏见的复合性质。尽管一些近期工作(Chen, Xia, & Yu (2021); Garimella et al. (2021); Webster et al. (2020)扩展了单维度去偏见的范围,但它们没有明确建模交叉效应或对交叉子群体进行细致评估。因此,它们在减轻交叉偏见方面的有效性仍有待进一步实证验证。2)与单一偏见相关的近似线性偏见方向不同,交叉偏见可能源于多个 demographic 维度上偏见信号的非线性和交互组合(Hancock (2007); Lalor, Yang, Smith, Forsgren, & Abbasi (2022),从而导致指数级的计算复杂性。如图 1 所示,假设每个社会组有两个偏见方向,来自 n 个组的交叉偏见会产生 2^n 个偏见方向,随着社会组和偏见维度的增加,计算需求呈指数级增长。
为了解决上述问题,本文提出了基于信息论的去偏见模型(称为 IBDM),该模型通过同时减轻多个偏见维度来减轻 PLMs 表示中的交叉偏见,从而提高下游任务的决策公平性。如图 1 中的“SCM 1”所示,我们明确地解耦了包含交叉偏见的潜在有偏表示 b 与 PLM 编码的原始表示 h,仅保留包含任务信息而不含偏见信息的公平表示 z,从而避免潜在的偏见信息干扰预测结果。为了处理偏见方向的非线性组合,基于 demographic 组之间的独立性和信息论,我们将交叉偏见的表示解耦转化为每个单一偏见的表示解耦(如图 1 中的“SCM 2”所示),从而避免了与敏感属性的指数级组合相关的计算复杂性。此外,针对交叉偏见,我们设计了随机反事实数据增强(RCDA)来进一步提高解耦后公平表示的准确性和公平性。我们的贡献总结如下:
  • •
    我们使用互信息分析交叉偏见的去偏见目标,并提出基于信息论的解耦方法,同时减轻所有交叉偏见的维度,同时提供可证明的上界和下界估计,以提高去偏见的可解释性。
  • •
    通过利用不同 demographic 组之间的独立性,我们将交叉偏见的表示解耦转化为每个单一偏见的表示解耦,从而将去偏见训练的计算复杂性从指数级降低到线性级别,促进更高效的模型优化。
  • •
    我们在六个 PLMs 上进行了全面实验,包括 BERT、RoBERTa、GPT-2、OPT、QWEN-2.5 和 LLaMA-3.2,这些模型在四个包含交叉偏见的数据集上进行了测试。公平性和任务指标的结果表明,IBDM 在准确性和公平性之间实现了比最先进的去偏见方法更好的平衡。

部分摘录

PLMs 的社会偏见

自然语言处理领域的相关研究通常假设数据是独立同分布的。然而,现实世界应用中的数据是异构数据,具有不同的社会子群体行为和特征分布(Song et al. (2025)。在预训练过程中,PLMs 能够从大型未处理的实际语料库中捕捉类似人类的社会偏见和刻板印象,并在下游应用中进一步放大这些偏见(Ding et al.)。

初步介绍

定义 1 单一偏见

特定于 demographic 组的每个单一偏见代表一个社会敏感话题T={T1,T2,?,TK} Gendr={Male,Feml} 其中包含 K 个偏见方向,每个方向对应于话题下的一个社会子群体,每个子群体可以由一组敏感属性词(t1, t2, ???, tM)定义。例如,对于一个社会敏感话题,每个子群体可以由一组敏感属性词(如“he”、“his”、“man”、“father”、“boy”和“she”)定义。

方法论

在本节中,我们介绍了提出的去偏见模型 IBDM,以减轻 PLM 编码表示中的交叉偏见,该模型可以在公平性和准确性之间实现良好的平衡。我们首先基于信息论定义了去偏见目标,并展示了如何将计算复杂性降低到线性级别,然后估计了去偏见目标的互信息。此外,我们还提出了随机反事实数据增强方法。

CRediT 作者贡献声明

李颖姬:概念化、方法论、软件、验证、形式分析、调查、撰写——原始草稿、可视化。胡俊成:概念化、方法论、软件、数据管理、监督、项目管理、资金获取。宋瑞:概念化、方法论、软件、验证、形式分析、调查、撰写——原始草稿、可视化。胡亮:概念化、方法论、资源管理、监督、项目管理

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号