RuPLaR:基于规则的先验进行LLM推理链的高效隐式压缩,从多步骤压缩到单步骤压缩
《Expert Systems with Applications》:RuPLaR : Efficient Latent Compression of LLM Reasoning Chains with Rule-Based Priors From Multi-Step to One-Step
【字体:
大
中
小
】
时间:2026年09月28日
来源:Expert Systems with Applications 9.4
编辑推荐:
•基于规则的先验分布训练的LLM噪声更小。
•单模型单步骤方法降低了复杂性、开销和延迟。
•聚焦的KL损失保持了核心推理能力,而不会过度约束。
•我们的方法在GSM8k-Aug数据集上的准确率提升了11.03%,同时 token 使用量最小。
引言
思考链(CoT)范式(Wei
•基于规则的先验分布训练的LLM噪声更小。
•单模型单步骤方法降低了复杂性、开销和延迟。
•聚焦的KL损失保持了核心推理能力,而不会过度约束。
•我们的方法在GSM8k-Aug数据集上的准确率提升了11.03%,同时 token 使用量最小。
引言
思考链(CoT)范式(Wei等人,2022年)通过引导大型语言模型(LLMs)逐步用自然语言表达推理过程,显著提高了LLMs在复杂任务上的可解释性和性能(Chen, Qin, Liu, Peng, Guan, Wang, Hu, Zhou, Gao, & Che, Chen, Zhao, Xia, Lu, Wang, Chen, Zhang, Wang, Li, & Shen, Guo, Yang, Zhang, Song, Zhang, Xu, Zhu, Ma, Wang, Bi等人)。通过外化中间思维过程,CoT为模型的决策提供了透明窗口,并使人类能够进行监督。然而,自然语言本身对LLMs的推理能力存在根本性限制。主要限制是概念-符号效率低下:携带关键推理概念的标记(例如“因此”、“必然”)被锁定在语法上必需但功能上冗余的结构中(例如“的”、“该”),这增加了标记使用量和推理成本,却没有增加推理价值(Feng, Fang, Ma, Wang, 2025; Sui, Chuang, Wang, Zhang, Zhang, Yuan, Liu, Wen, Zhong, Zou, Chen, Hu, 2025)。第二个限制是语义瓶颈:人类认知往往涉及抽象的、连续的或多概念的表示,这些表示超越了离散的语言符号,难以精确表达(Wittgenstein, 1921)。例如,对于人类来说,“30% of 600”是一个连续的量度估计,但对LLMs来说,必须逐步生成离散的标记序列,如600*30/100=180。这些固有的限制促使人们从显式的语言链转向潜在的思考链(latent CoT)推理,在这种推理中,推理在连续的潜在空间内进行(Zhang等人,2025a)。潜在的CoT模型用高密度、高维的潜在表示替换了离散标记,为计算推理提供了更自然和高效的基底。尽管如此,这种新兴范式由于推理过程不可观测的性质而引入了新的核心挑战。这种不透明性导致了显著的训练和协调困难,使得直接监督难以实现(Ruan, Band, Maddison, & Hashimoto, Xu, Guo, Zeng, Miao, 2025a)。
为了解决这些挑战,关于潜在CoT推理的研究取得了快速而有力的发展。如图1所示,现有方法可以根据其架构和程序设计大致分为三种范式:多模型多步骤、多模型单步骤和单模型多步骤。第一种范式(He, Zheng, Zhu, Zheng, Su, Vasudevan, Guo, Hong, Li, 2025; Wang, Ji, Luo, Qi, Li, Wang, Han, Yang, Ren等人;Xu, Guo, Zeng, Miao, 2025a; Xu, Guo, Zeng, & Miao)采用了一个级联框架,其中一个辅助模型生成软推理轨迹,然后由LLM利用这些轨迹产生最终答案。第二种范式(Kuzina, Pióro, Bejnordi, 2026; Shen, Yan, Zhang, Hu, Du, He, 2025)利用蒸馏技术在辅助模型的单次前向传递中将离散的显式CoT推理压缩成密集的潜在标记,从而在范式层面实现了单步骤。第三种范式(Liu, Huang, Sims, Chen, Teh, & Miao, Tan, Li, Ju, Luo, Song, Luan, 2025; Wu, Teng, Tu, 2025)包含多种方法策略。其中一种代表性的方法(Wang, Wu, Lai, Lian, & Zeng, 2025b)涉及将潜在标记与显式推理链对齐,然后对这些潜在标记进行迭代优化。
虽然这些范式显示出潜力,但它们的结构复杂性本质上存在局限。无论是模型内部还是模型之间的多步骤方法,都常常受到错误传播的影响,早期阶段的错误会损害最终结果。同时,多模型框架在组件之间实现紧密协作方面面临挑战,导致信息流不理想和计算开销增加。需要明确的是,在这个分类中,“步骤”指的是一个独立的训练阶段。“单步骤”方法意味着模型在一个阶段内从头到尾进行训练,无需级联预训练或单独的辅助模型训练。这样的方法在推理过程中可能仍然会自回归地生成多个密集标记——这并不是训练阶段的“多步骤”过程,而是序列模型的标准自回归生成程序。
受到上述启示,我们引入了单模型单步骤(One-Model One-Step)这一新的压缩范式,它体现了这一原则。这里,“单模型”意味着单个LLM处理潜在推理和答案生成,无需辅助模型。“单步骤”(如定义所述)意味着采用联合损失进行单阶段训练,消除了多阶段流程。通过设计,这种统一架构本质上规避了困扰多步骤方法的错误传播问题;它还避免了模型间协调的需要,从而避免了与多模型框架相关的次优信息流和额外的计算开销。具体来说,我们的方法训练LLM自主生成潜在推理标记——每个实例通常生成少量(通常2-3个)这样的标记——这些标记由基于规则的概率分布指导生成。这种集成方法消除了级联步骤和模型间协调,减轻了错误传播,并在统一模型内促进了更加连贯的推理过程。
本文探讨了一个特定且尚未充分探索的问题:我们能否利用推理链本身的显式结构信息构建一个更稳定、更易解释的潜在推理监督信号?我们的关键洞察是,在结构化的推理任务(例如算术、符号时间推理)中,每个推理步骤都有明确的输入-输出结构。通过从每个显式推理步骤中提取操作标记(输入/操作符)和结果标记(输出),我们可以构建基于规则的先验分布,这些分布直接编码了步骤的语义。这些先验提供了比学习得到的替代方案更清晰、更稳定的训练信号,消除了对辅助模型或强化学习的需求,同时保持了基于梯度的优化的可微性。
为了确保潜在CoT推理的质量,我们采用了包含三个关键组成部分的联合训练目标。首先是答案一致性约束:作为标准交叉熵损失来实现,这确保了最终输出的准确性和连贯性。其次是软思考范式约束(见第2节):以KL散度损失的形式表示,该术语最小化了基于规则的先验概率分布与每个生成的软标记分布之间的差异。第三是问题-思维语义约束:也以KL散度损失的形式实现,这使生成的思维标记的语义分布与输入问题标记的语义分布保持一致,确保潜在推理路径始终基于原始问题背景。为了验证其有效性,我们在四个数学推理基准测试集上评估了我们的模型:GSM8k-Aug、GSM-Hard、SVAMP和MultiArith。广泛的实验表明,它在最小的推理长度下实现了最先进的性能,证实了潜在推理的力量。
总结来说,我们的主要贡献有四个方面:
- 我们提出使用基于规则的先验概率分布作为LLM的训练监督。据我们所知,这一方向在潜在推理文献中受到的探索有限,并且提供了一种有前景的替代方案,可以避免引入噪声的训练衍生先验。
- 我们提出了一种新颖的单模型单步骤训练框架,作为可训练的软思考范式的变体。与多步骤或多模型方法相比,这种框架降低了系统复杂性、计算开销和推理延迟。
- 我们设计了一种聚焦的KL散度损失,它将模型生成的软标记分布与基于规则的先验对齐,仅应用于语义上关键的标记。这确保了核心推理内容得到保留,而不会过度约束其余部分。
- 广泛的实验验证了我们方法的优越性,不仅在准确率上相比现有的潜在推理方法提高了11.03%,而且实现了最小的token使用量。
相关工作
我们的工作专注于潜在推理。根据潜在表示的来源,我们将其分为三个主要类别:模型的内部隐藏状态、现有词汇标记的加权嵌入以及新引入的特殊向量。
隐藏状态。COCONUT(Hao等人,2025年)率先使用最终的隐藏状态作为潜在推理的输入,尽管它存在隐藏状态和标记嵌入之间的空间不一致性问题。CODI(Shen等人,2025年)通过...
问题定义和符号说明
本节正式定义了推理任务并介绍了我们的符号。我们以数学推理作为我们压缩框架的代表性测试平台。该框架适用于存在明确、可分割的符号结构的推理领域——如算术表达式、符号时间运算或程序轨迹——这些结构使得可以通过步骤分割和标记提取来构建基于规则的先验。对于结构较为简单的领域(如常识推理),...
方法
为了解决长推理序列的挑战,我们引入了一个基于压缩的框架,采用单模型单步骤方法将多步骤推理映射到一个紧凑的潜在空间中,从而提高了LLMs的效率。该方法旨在实现三个主要目标:
(1) 将推理标记编码为密集的潜在表示,并使模型能够解释这些压缩状态;
(2) 自回归地预测后续的潜在状态并决定何时停止推理;
(3)...
实验设置
我们在GSM8k-Aug(Deng等人,2023年)上训练和评估了我们的方法,GSM8k-Aug是对GSM8k(Cobbe等人,2021年)的增强版本,用于小学数学,包含385K个训练样本和1K个测试样本。值得注意的是,GSM8k-Aug中的推理链被形式化为纯算术表达式,没有自然语言描述(例如,<<600*30/100=180>> <<600*10/100=60>>),遵循Deng等人(2023年)的预处理方法。这种格式自然符合我们的步骤分割和标记提取方法。
结论
我们介绍了单模型单步骤(One-Model One-Step)这一压缩框架,它训练单个LLM在一个训练阶段内生成潜在推理标记,这一过程由基于规则的先验指导,消除了级联过程和模型间的依赖性。联合损失函数结合了答案一致性、用于选择性标记对齐的聚焦KL散度以及将推理与问题背景对齐的问题-思维约束。在四个数学基准测试上的实验表明,RuPLaR实现了45.93%的准确率。
尽管RuPLaR取得了有希望的结果,但仍有一些局限性需要讨论。首先,先验构建方法需要仔细调整超参数(βres, βop, λ, τ),因为不理想的设置会导致性能显著下降。其次,虽然我们在日期理解方面进行了初步实验,但本文的实证评估主要集中在数学推理上。尽管该框架在概念上被设计为具有广泛的应用性,...
未引用的引用
图8。
作者贡献声明
Xiaocheng Luo:概念化、方法论、软件、验证、形式分析、调查、数据策划、写作——原始草稿、可视化。
Kang Wang:软件、验证、调查、数据策划、写作——审阅与编辑。
Zaifu Zhan:方法论、验证、形式分析、写作——审阅与编辑。
Yuechi Zhou:软件、验证、调查、数据策划、写作——审阅与编辑。
Xiangyu Duan:概念化、方法论、资源、写作——审阅与...
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。