《Frontiers in Artificial Intelligence》:Confidence-aware pseudo-label selection and verifier training for semi-supervised LLM reasoning with minimal labels
编辑推荐:
摘要:本文研究如何以极少量监督提升大语言模型(LLM)的推理能力。近期LLM推理能力的提升主要源于对中间推理轨迹的学习,许多方法通过使用最终答案正确的轨迹来降低监督成本。然而,在实际场景中,即使获取这些答案标签也可能代价高昂,这促使研究者探索如何从极小的标注集
摘要:本文研究如何以极少量监督提升大语言模型(LLM)的推理能力。近期LLM推理能力的提升主要源于对中间推理轨迹的学习,许多方法通过使用最终答案正确的轨迹来降低监督成本。然而,在实际场景中,即使获取这些答案标签也可能代价高昂,这促使研究者探索如何从极小的标注集合出发,利用大量无标注问题扩展推理能力。基于验证器的半监督学习是一种有前景的方法:在少量标注集上训练的验证器可以对无标注问题生成的推理轨迹进行评分,并识别适合伪标签化的候选样本。然而,即使有了验证器,如何选择伪标签样本以支持下游训练仍不清楚。特别是,伪标签选择必须平衡质量与数量。为解决这一问题,研究者提出了一种自适应阈值选择策略,该策略利用验证数据上的伪标签精度和样本数量来确定阈值。研究者进一步将该策略与置信度感知的验证器训练相结合,以支持基于置信度的选择。在可验证的数学推理基准上的实验表明,在所采用的训练设置下,该组合相比测试基线提升了下游推理准确率,并选择了具有更有利的可靠性–覆盖率权衡的伪标签子集。这些结果为在答案可验证、极少量标注的推理场景中提供了验证器引导的伪标签选择的实用设计方向。
**论文解读:置信度感知的伪标签选择与验证器训练用于极少量标注下的半监督大语言模型推理**
**一、研究背景与问题**
近年来,大语言模型(LLM)在复杂问题求解上的能力显著提升,其关键驱动因素之一是对中间推理过程的显式利用与学习。思维链(Chain-of-Thought, CoT)等方法表明,将多步推理显式化能够大幅提升模型在挑战性任务上的表现。在此基础上,许多研究尝试复用模型自身生成的推理轨迹进行自我改进,通常将最终答案正确的生成解视为有效的监督信号。然而,这类方法普遍假设可以获得足量的最终答案标签。在专家领域或新兴任务中,即使仅标注最终答案也成本高昂。因此,一个实际且尚未被充分理解的问题是:当答案级监督本身极为有限时,推理能力能被扩展到何种程度?
为解决这一问题,近期研究探索了半监督推理,即利用一个小的标注集与大量无标注问题相结合。基于验证器的半监督学习是一种有前景的范式:先在小标注集上训练一个验证器,再将其应用于无标注问题生成的推理轨迹,仅保留可靠的轨迹作为伪标签用于下游自训练。该框架的吸引力在于,判断一条生成轨迹是否有效通常比从头生成一条有效轨迹更容易。然而,在基于验证器的半监督推理中,核心挑战并非仅仅是引入验证器,而是决定哪些伪标签样本应被实际保留。即使验证器为候选轨迹分配了置信度分数,不恰当的选择策略可能引入噪声伪标签,而过于保守的过滤又可能保留过少样本,从而无法发挥半监督学习的优势。换言之,伪标签选择并非简单的置信度过滤步骤,而是一个直接影响下游自训练的操作点设计问题。关键问题在于如何平衡伪标签的质量与数量。
**二、研究内容与结论**
针对上述问题,研究人员提出了一种集成设计,将自适应阈值选择与置信度感知的验证器训练相结合。其核心思想是:伪标签选择应被视为一个显式的质量–数量权衡问题,且熵信号仅在验证器置信度与正确性良好对齐时才有用。研究人员在三个可验证数学推理数据集(orca_math、synthetic_math、cn_k12)上,使用Llama-3.2-3B-Instruct和Qwen-2.5-3B-Instruct两种骨干模型进行了实验。结果表明,所提出的方法在极少量监督下显著提升了下游推理准确率。具体而言,自适应阈值选择优于固定top-10%策略,而置信度感知的验证器训练(CAVT)在与自适应阈值结合时效果最为明显。研究还发现,固定top-10%过滤往往次优,且CAVT在孤立使用时收益有限。这些发现表明,联合设计阈值选择与验证器置信度能够产生更有用的伪标签子集,并在极少量标注的验证器引导推理中实现更可靠的下游改进。论文发表在《Frontiers in Artificial Intelligence》。
**三、关键技术方法**
研究人员采用的主要技术方法包括:(1)基于验证器的半监督推理框架:训练一个轻量级验证器,对无标注问题生成的推理轨迹进行二元正确性判断,并利用token熵作为置信度度量;(2)自适应阈值选择策略:在验证集上搜索候选保留率k,通过一个结合Wilson下界、带符号噪声感知质量代理和保留比例得分的评分函数,选择最优k*;(3)置信度感知验证器训练(CAVT):采用GRPO风格的强化学习目标,奖励低熵正确预测,惩罚低熵错误预测,以增强熵与正确性的对齐。样本队列来源为Verifiable Math Problems基准的三个数学推理子集,每个数据集使用200个标注样本进行验证器训练、200个用于验证器验证,10,000个无标注样本用于伪标签生成和下游训练,以及100个标注样本用于早停验证、500个标注样本作为测试集。
**四、研究结果**
**1. 阈值选择规则的定性合理性检查**
研究人员通过可视化精度–覆盖率曲线(如图1所示)验证了所提阈值选择规则的行为。图1a展示了最高置信度区域并非最高精度区域的情况,此时固定top-10%规则可能次优;图1b则展示了极端高置信度区域看似精度较高但样本量有限的情况,引入Wilson下界有助于避免过度信任这些极端区域。这些例子表明,所提评分函数在定性上符合预期的质量–数量权衡,而非简单选择最自信的尾部。
**2. 总体结果**
在Llama3.2-3B-Instruct上,CAVT在所有自适应方法中取得最佳平均下游准确率,尤其在synthetic_math和cn_k12上提升明显,其AUPC等排序导向指标表现优异。在Qwen2.5-3B-Instruct上,各自适应方法差异较小,但CAVT仍取得最佳平均下游准确率,并在F1和召回率上领先,尽管其在synthetic_math上进入高召回低精度区域导致AUPC下降。整体而言,自适应阈值选择在两种骨干下均优于固定top-10%过滤,且CAVT与自适应阈值结合时收益最大。
**3. 消融研究**
消融实验对比了固定top-10%与自适应阈值、SFT与CAVT的交叉组合。结果表明,在固定top-10%下应用CAVT仅带来有限收益,甚至在某些情况下降低下游准确率(如Qwen在orca_math上从47.8%降至47.2%)。然而,当CAVT与自适应阈值结合时,下游准确率大幅提升:在Llama上,orca_math从42.8%提升至48.6%,synthetic_math从21.8%提升至27.4%,cn_k12从13.4%提升至17.4%;在Qwen上相应提升为47.2%→53.8%、25.4%→26.8%、19.0%→21.0%。这表明,CAVT的效果在自适应阈值下才能充分发挥,验证了阈值选择与置信度训练之间的协同作用。
**五、讨论与结论**
讨论部分强调,伪标签选择的有效性不仅取决于验证器的单一指标,还取决于所选操作点如何平衡伪标签可靠性与保留样本数。固定top-10%策略往往过于保守或过于宽松,而自适应阈值能够根据数据集特性调整操作点。置信度感知训练通过改善熵与正确性的对齐,使得熵排名更能反映伪标签可靠性,从而与自适应阈值选择形成良性互补。研究结论指出,联合设计阈值选择与验证器置信度能够产生更有用的伪标签子集,并在极少量标注的验证器引导推理中实现更可靠的下游改进。此外,研究也指出了若干局限性,包括评估限于可验证数学推理和少量骨干模型、单次运行实验未考虑全流程变异性、基于答案级正确性标签无法完全表征轨迹质量、所提阈值评分为实用启发式而非理论最优、未进行全面的敏感性分析、以及仅采用单轮自训练而未探索迭代自训练等。