最近,预训练语言模型(PLMs)如 Devlin, Chang, Lee, & Toutanova (2019); Liu et al. (2019),特别是大型语言模型 AI@Meta (2024); Radford et al. (2019); Zhang et al. (2022),受到了各行各业的广泛关注。它们在处理自然语言理解任务方面展示了卓越的语言建模能力,并已在现实世界的各个领域得到广泛应用。然而,随着 PLMs 功能的增强和普及,其公平性问题日益突出。许多研究表明,PLMs 可以从大规模预训练语料库中捕捉和学习类似人类的社会偏见(例如性别偏见、种族偏见、宗教偏见)(Gupta et al. (2024),这些偏见被编码到表示中并进一步传递给下游任务(Song, Giunchiglia, Li, Shi, & Xu (2023); Zehlike, Loosley, Jonsson, Wiedemann, & Hacker (2025))。PLMs 带有社会偏见的应用会产生不公平、有偏见的和刻板化的决策,从而影响社会和谐的稳定发展。例如,自动简历筛选系统(Bolukbasi, Chang, Zou, Saligrama, & Kalai (2016) 可能存在性别偏见,倾向于将“男性”申请者分配到“医生”职位,将“女性”申请者分配到“护士”职位。美国医疗系统(Obermeyer, Powers, Vogeli, & Mullainathan (2019)也被发现存在种族偏见,对于条件相似的“白人和黑人”,系统计算出黑人的患病率更高。因此,越来越多的研究专注于减轻 PLMs 的社会偏见,以提高模型决策的公平性。
已经提出了许多去偏见方法来缓解 PLMs 的社会偏见。一些常见的方法包括使用反事实数据增强来平衡不同 demographic 组的样本(Wang, Chen, McAuley, Cripps, & Yao (2025);利用对比学习来近似包含相反敏感属性的正样本之间的表示(Cheng, Hao, Yuan, Si, & Carin (2021); Li, Du, Wang, & Wang (2023b);通过将原始表示投影到无偏见空间来过滤偏见(Liang et al. (2020);Ravfogel, Elazar, Gonen, Twiton, & Goldberg (2020);以及使用正则化损失来约束去偏见训练(Bai, Chen, Yang, & Shi (2025); Guo, Yang, & Abbasi (2022))。尽管这些方法取得了一定的去偏见效果,但大多数方法都是针对单一社会偏见进行定制或评估的,而忽略了涉及多个身份或社会类别的情况(Ghavami & Peplau (2013); Gohar & Cheng (2023))。
当一个人属于多个 demographic 组时,就会产生交叉偏见,这通常会导致来自这些不同组的偏见和歧视的叠加(Carbado, Crenshaw, Mays, & Tomlinson (2013),例如“黑人女性、伊斯兰男性”等。与单一偏见相比,交叉偏见涵盖了更复杂和相互关联的社会身份谱系,但它们更难以检测,并且往往会导致多个身份维度上的不公平对待(Kirk et al. (2021))。不同身份维度之间的叠加效应可能会加剧歧视(Collins (2022); King (1988); Yang, Cisse, & Koyejo (2020))。例如,“黑人女性科学家”可能会因其性别、种族和职业而遇到偏见,这在工作场所面临比单一性别或种族偏见更严重的挑战。因此,解决 PLMs 的交叉偏见对于公平应用这些模型更为紧迫。
然而,在 PLMs 中解决交叉偏见面临许多挑战。1)交叉偏见本质上涉及多个单一偏见的重叠表现,需要在多个偏见维度上进行去偏见处理(Shokrollahi (2023); Subramanian, Han, Baldwin, Cohn, & Frermann (2021)。虽然针对单一偏见的方法一次只在一个偏见维度上进行去偏见处理,但它们可能会无意中影响其他维度,并且无法充分捕捉交叉偏见的复合性质。尽管一些近期工作(Chen, Xia, & Yu (2021); Garimella et al. (2021); Webster et al. (2020)扩展了单维度去偏见的范围,但它们没有明确建模交叉效应或对交叉子群体进行细致评估。因此,它们在减轻交叉偏见方面的有效性仍有待进一步实证验证。2)与单一偏见相关的近似线性偏见方向不同,交叉偏见可能源于多个 demographic 维度上偏见信号的非线性和交互组合(Hancock (2007); Lalor, Yang, Smith, Forsgren, & Abbasi (2022),从而导致指数级的计算复杂性。如图 1 所示,假设每个社会组有两个偏见方向,来自 n 个组的交叉偏见会产生 2^n 个偏见方向,随着社会组和偏见维度的增加,计算需求呈指数级增长。
为了解决上述问题,本文提出了基于信息论的去偏见模型(称为 IBDM),该模型通过同时减轻多个偏见维度来减轻 PLMs 表示中的交叉偏见,从而提高下游任务的决策公平性。如图 1 中的“SCM 1”所示,我们明确地解耦了包含交叉偏见的潜在有偏表示 b 与 PLM 编码的原始表示 h,仅保留包含任务信息而不含偏见信息的公平表示 z,从而避免潜在的偏见信息干扰预测结果。为了处理偏见方向的非线性组合,基于 demographic 组之间的独立性和信息论,我们将交叉偏见的表示解耦转化为每个单一偏见的表示解耦(如图 1 中的“SCM 2”所示),从而避免了与敏感属性的指数级组合相关的计算复杂性。此外,针对交叉偏见,我们设计了随机反事实数据增强(RCDA)来进一步提高解耦后公平表示的准确性和公平性。我们的贡献总结如下:
- •
我们使用互信息分析交叉偏见的去偏见目标,并提出基于信息论的解耦方法,同时减轻所有交叉偏见的维度,同时提供可证明的上界和下界估计,以提高去偏见的可解释性。
- •
通过利用不同 demographic 组之间的独立性,我们将交叉偏见的表示解耦转化为每个单一偏见的表示解耦,从而将去偏见训练的计算复杂性从指数级降低到线性级别,促进更高效的模型优化。
- •
我们在六个 PLMs 上进行了全面实验,包括 BERT、RoBERTa、GPT-2、OPT、QWEN-2.5 和 LLaMA-3.2,这些模型在四个包含交叉偏见的数据集上进行了测试。公平性和任务指标的结果表明,IBDM 在准确性和公平性之间实现了比最先进的去偏见方法更好的平衡。