
-
生物通官微
陪你抓住生命科技
跳动的脉搏
心理测量效用保持嵌入去偏差:面向文化包容语言模型的动态偏差缓解框架
《Scientific Reports》:Psychometric utility-preserving embedding debiasing (PUPD): A dynamic framework for bias-aware and culturally inclusive language models
【字体: 大 中 小 】 时间:2026年09月23日 来源:Scientific Reports 4.9
编辑推荐:
摘要心理测量效用保持嵌入去偏差(PUPD)被提出作为一种动态框架,面向具有偏差感知与文化包容特性的语言模型,明确平衡偏差缓解与语义效用保持。传统去偏差方法往往会破坏对任务至关重要的嵌入表示,或未能考虑交叉偏差,从而限制了其在教育及文化敏感场景中的适用性。所提出的框架通过两个新
心理测量效用保持嵌入去偏差(PUPD)被提出作为一种动态框架,面向具有偏差感知与文化包容特性的语言模型,明确平衡偏差缓解与语义效用保持。传统去偏差方法往往会破坏对任务至关重要的嵌入表示,或未能考虑交叉偏差,从而限制了其在教育及文化敏感场景中的适用性。所提出的框架通过两个新颖模块对嵌入层进行重构:心理测量偏差-效用量化器(PBUQ),用于评估嵌入子空间上的偏差-效用权衡;以及异构偏好优化网络(HPON),用于动态调整嵌入更新策略,在保持语义效用的同时最小化偏差。PBUQ 通过学习到的注意力机制对人口属性进行建模,从而量化交叉偏差;而 HPON 则将去偏差过程构建为具有自适应权重的多目标优化问题。该框架可与 Transformer 架构无缝集成,在词元嵌入进入自注意力模块之前对其进行优化。此外,PUPD 采用门控循环单元(GRU)来建模时序上的偏差-效用动态变化,并引入轻量级 Transformer 编码器进行跨指标偏差分析。在三个基于文本的公平性基准——BiasBios、StereoSet 和 IntersectionalBias——上的实验表明,PUPD 在整个偏差削减过程中始终保持更高的语义连贯性,从而优于事后去偏差技术。