基于反馈驱动的规则归纳与检索增强的大语言模型性别偏见缓解框架

《Frontiers in Artificial Intelligence》:Feedback-driven rule induction and retrieval-augmented bias mitigation for large language models

【字体: 大 中 小 】 时间:2026年09月23日 来源:Frontiers in Artificial Intelligence 6.7

编辑推荐:

  大语言模型(Large Language Models, LLMs)正日益广泛地应用于推理与决策支持任务,然而其可能继承并复现训练数据中存在的性别相关偏见。现有的大多数偏见缓解策略依赖于微调(fine-tuning)、强化学习(reinforcement le

  
大语言模型(Large Language Models, LLMs)正日益广泛地应用于推理与决策支持任务,然而其可能继承并复现训练数据中存在的性别相关偏见。现有的大多数偏见缓解策略依赖于微调(fine-tuning)、强化学习(reinforcement learning)、提示工程(prompt engineering)或预训练阶段干预,这些方法均需要参数更新或大量人工提示设计,从而限制了其在仅以闭源或黑盒(black-box)形式提供的基础模型上的适用性。本研究探讨了将偏见缓解知识从模型中分离并复用而不修改其参数的可能性。研究人员提出了一种基于反馈驱动的外部对齐记忆框架,用于事后性别偏见缓解,该框架通过迭代反馈过程将识别出的偏见转化为简洁的纠正规则。这些规则独立存储于模型参数之外,并在推理阶段被检索以影响后续响应。检索采用查询向量与已存储示例之间的余弦相似度匹配,使得纠正知识能够被复用,同时保持完全的模型独立性。在BBQ、BiasNLI、CoBias、CrowS-Pairs和WinoBias的选定子集上的评估显示,性别相关偏见得到可测量的降低。在120条记录的评估中,性别假设(Gender Assumption, GA)从15.83%降至7.08%,刻板性别假设(Stereotypical Gender Assumption, SGA)从24.16%降至7.08%。性别中立(Gender Neutral, GN)响应从75.00%提升至90.415%,响应质量从4.15提升至4.211。更大规模的500条记录评估进一步表明,早期学习的纠正规则在应用于原始反馈语料之外时仍能持续发挥作用,将GA从13.8%降至12.0%,SGA从14.4%降至11.0%。在同一评估中,性别中立响应从78.6%提升至83.2%,响应质量从4.00提升至4.05。上述结果表明,纠正性对齐知识可作为一种可复用的外部记忆加以维护,并在推理过程中被引入,从而在无需重新训练或修改模型参数的情况下改善黑盒大语言模型的公平性。
**论文解读:基于反馈驱动规则归纳与检索增强的大语言模型事后性别偏见缓解**

**一、研究背景与问题提出**

大语言模型(Large Language Models, LLMs)在推理与决策支持系统中的部署日益广泛,但其在训练过程中习得的社会偏见,尤其是性别相关的刻板关联与推理模式,引发了对其输出可靠性与公平性的严重关切。这类偏见不仅造成表征性伤害,还可能导致高风险应用中不可靠的决策与不公平的系统行为。现有偏见缓解策略主要包括预训练数据治理、嵌入去偏、基于纠正目标的微调以及提示层面的调整。然而,这些方法普遍面临双重困境:其一,改进中性往往以牺牲任务特定性能或通用效用为代价;其二,多数方法依赖模型参数访问或额外训练周期,无法适用于以闭源或黑盒形式提供的语言模型。在此背景下,开发无需参数修改的鲁棒事后对齐策略成为迫切需求。

**二、研究内容与核心发现**

针对上述问题,研究人员提出了一种反馈驱动的外部对齐记忆框架,用于大语言模型的事后性别偏见缓解。该框架将偏见缓解知识从模型参数中分离,通过迭代反馈过程将检测到的偏见转化为简洁的纠正规则,并将其存储在独立的向量数据库中。在推理阶段,通过余弦相似度匹配检索相关纠正规则并注入提示上下文,从而在不修改模型参数的前提下引导模型生成无偏响应。评估实验在BBQ、BiasNLI、CoBias、CrowS-Pairs和WinoBias五个性别焦点基准数据集的子集上进行。120条记录的反馈循环评估显示,相较于基线LLaMA-4-Scout模型,增强框架将性别假设(Gender Assumption, GA)从15.83%降至7.08%,刻板性别假设(Stereotypical Gender Assumption, SGA)从24.16%降至7.08%,性别中立(Gender Neutrality, GN)响应从75.00%提升至90.415%,响应质量(Quality Rating, QR)从4.15提升至4.211。500条记录的纠正记忆迁移评估进一步表明,早期学习的纠正规则在超出原始反馈语料时仍能发挥作用,将GA从13.8%降至12.0%,SGA从14.4%降至11.0%,GN从78.6%提升至83.2%,QR从4.00提升至4.05。该研究的重要意义在于首次系统论证了纠正性对齐知识可以外部化为可复用记忆,并在完全模型独立的前提下通过推理时检索改善黑盒模型的公平性,为闭源和API-only部署场景提供了切实可行的事后对齐机制。

**三、主要关键技术方法**

研究人员采用了以下关键技术方法:(1)由评判模型Kimi K2 Instruct依据GA和SGA两项指标对模型响应进行自动偏见检测;(2)由规则归纳模型LLaMA 3.3 70B在检测到偏见时生成简洁纠正规则,并通过最多三轮迭代反馈逐步精化;(3)使用all-MiniLM-L6-v2句子嵌入模型将问题转换为向量表示,并与纠正规则一同存储在向量数据库中构建外部纠正记忆;(4)推理阶段通过余弦相似度匹配检索Top-2最相似问题对应的纠正规则,注入提示上下文以引导无偏生成。评估语料来自五个数据集:BBQ(性别身份子集,30条)、BiasNLI(30条)、CoBias(20条)、CrowS-Pairs(性别子集,20条)和WinoBias(20条),共计120条记录用于反馈循环规则归纳实验;另构建500条记录的大规模语料用于纠正记忆迁移评估。全部实验采用确定性解码配置,基础生成模型为LLaMA 4 Scout 17B Instruct,评判模型为Kimi K2 Instruct,未进行任何本地微调或参数修改。

**四、研究结果**

**3.1 基线性能评估。** 在评判验证阶段完成后,采用最终确定的评估配置对基线模型Google Gemini-2.5 Flash、Meta LLaMA-4-Scout-17B-16E-Instruct和OpenAI GPT-OSS-120B进行测量,结果显示三者的平均GA约为17%,平均SGA为20.55%,平均GN为78.33%,QR为4.29,表明基础模型在无约束提示下普遍存在可测量的性别偏见特征。

**3.2 稳定性研究。** 通过对比不同解码配置发现,钳制式确定性配置(temperature=0, top-p=0.1, frequency_penalty=0, presence_penalty=0)将错误标记记录的方差从3.04降至1.20,标准差从1.74降至1.10,显著降低评估波动性。手动检查确认持续标记的响应均对应明确的性别假设或刻板印象,与人工判断达到100%一致性。

**3.3 增强模型性能(120条记录评估)。** 在反馈驱动规则归纳实验中,增强框架实现了GA=7.08%、SGA=7.08%、GN=90.415%、QR=4.211的加权平均结果。与基线LLaMA-4-Scout模型相比,GA降低55.3%,SGA降低70.7%,GN提升15.42个百分点,QR提升0.061,验证了迭代规则归纳与外部记忆构建的有效性。

**3.4 500条记录纠正记忆迁移评估。** 在更大规模的迁移评估中,纠正记忆复用将GA从13.8%降至12.0%,SGA从14.4%降至11.0%,GN从78.6%提升至83.2%,QR从4.00提升至4.05。改进幅度小于120条记录实验,表明随着评估规模增大,检索噪声与语义漂移可能降低纠正规则匹配的精度,但纠正知识在原始反馈语料之外的复用仍具持续效益。

**3.5 跨数据集泛化实验。** 在原型混合检索实验中,从纠正规则库中随机采样查询,采用两阶段检索(LLM基于性别词相似性评分进行Top-5候选选择,再基于384维MiniLM嵌入的余弦相似度进行Top-2排序)。六次随机试验中,5/6的响应保持了性别中立(GN=1)且SGA=0、QR≥4,一次WinoBias共指敏感样本中出现GA违规。初步证据表明纠正规则可跨异构任务格式复用。

**五、讨论与结论**

**讨论部分要点。** 偏见降低归因于三种互补机制:显式约束注入抑制隐式性别推理;迭代规则归纳将检测到的偏见转化为纠正知识;基于相似性的检索实现先前纠正的复用。尽管在两项评估中均观察到一致改进,但改进幅度存在差异,提示纠正记忆复用的有效性可能受数据集构成、检索质量与存储规则多样性的影响。框架完全在推理阶段运行,计算开销仅限于有界反馈循环、嵌入生成和余弦相似度检索,适用于闭源和API-only模型。然而,随着记忆规模增长,固定深度的相似性检索可能面临检索歧义增加、纠正精度下降的风险,且部分数据集子集出现了小幅QR下降,可能归因于更严格的推理约束和更短的生成响应。需要指出的是,漂亮的改进幅度在500条记录评估中有所收窄,表明该方法在更大规模和更高多样性场景下的效果可能受检索噪声和语义漂移的制约。

**研究结论。** 该项研究解决大语言模型中的性别偏见问题,特别关注结构化推理任务中的隐式性别假设与刻板推理。所提出的反馈驱动外部对齐记忆框架能够在无需微调或参数修改的情况下缓解偏见。在120条记录评估中,增强后的LLaMA-4-Scout-17B模型GA降至7.08%、SGA降至7.08%、GN达90.415%、QR达4.211;相对于基线,GA降低55.3%、SGA降低70.7%、GN提升15.42个百分点、QR从4.15提升至4.211。在500条记录评估中,GA降至12.0%、SGA降至11.0%、GN达83.2%、QR达4.05;与无纠正记忆复用的基线相比,GA降低13.0%、SGA降低23.6%、GN提升4.6个百分点、QR提升0.05。计算开销方面,基于实施的迭代反馈协议,每处理N个样本的API调用量介于3N至9N之间,其中下界对应首次反馈迭代即收敛,上界对应全部三次反馈迭代均被执行。研究结果表明,通过外部化纠正记忆可以在保持响应质量和可行计算开销的同时实现性别偏见的显著降低,偏见缓解知识能够以可复用对齐记忆的形式独立维护,并在推理中有效改善黑盒大语言模型的公平性,而无需重训练或参数修改。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号