《Symmetry》:Syntax–Semantics–Numeracy Fusion for Improving Math Word Problem Representation and Solving
Zihan Feng,
Hao Ming and
Xinguo Yu
编辑推荐:
大多数预训练语言表示模型被设计用于为通用语言处理任务编码上下文语义信息。然而,它们对于数学文字问题(MWP)求解是不充分的,这需要不仅语言句法和语义理解,还需要数值推理。在本工作中,研究人员提出了SSN4Solver,一种深度神经求解器,通过在其上下文编码器中
大多数预训练语言表示模型被设计用于为通用语言处理任务编码上下文语义信息。然而,它们对于数学文字问题(MWP)求解是不充分的,这需要不仅语言句法和语义理解,还需要数值推理。在本工作中,研究人员提出了SSN4Solver,一种深度神经求解器,通过在其上下文编码器中对称地融合句法、语义和数值推理表示来改进MWP求解性能。该方法联合从依存树中捕获句法结构,从词性(POS)标签中捕获语义特征,以及数值实体的属性和关系。通过以平衡和对齐的方式处理这些异构信息源,SSN4Solver为MWP求解构建了丰富、多方面的表示,而不会引入大量计算开销,增强了人机交互(HCI)应用,如自适应教育界面和智能辅导系统。大量实验表明,SSN4Solver优于现有基线模型。此外,设计了一种可视化方案来阐明这三种类型的表示如何对求解过程做出贡献。因此,SSN4Solver提供了一种可扩展的解决方案,促进了既智能又数学有效的人机交互系统的开发。
论文解读文章:
研究背景与问题:数学文字问题(MWP)求解是自然语言处理与人机交互(HCI)中的关键任务,尤其在智能辅导系统和自适应学习界面中具有重要应用。然而,大多数预训练语言模型(PLMs)如BERT仅擅长编码通用语义信息,难以处理MWP中同时需要的语言句法、语义理解和数值推理。现有深度神经求解器常存在信息不对称问题:PLMs偏向文本模式而忽略数值属性,导致模型对关键词(如“more”与“fewer”)的预测偏差显著,进而降低准确性并引发HCI场景中的认知失调。此外,关系流算法虽利用多样化表示取得较好性能,但尚未系统融合句法、语义与数值表示于统一框架。为此,研究人员开展了本研究。
研究内容与结论:研究人员提出SSN4Solver,一种通过句法–语义–数值融合增强编码器的深度神经求解器。该模型采用PLMs(BERT或RoBERTa)作为基础编码器,以目标驱动树结构解码器(GTS)为解码器,并引入三项专门损失:句法对比损失(基于依存树元结构的TF–IDF相似度)、语义POS损失(基于词性标签的交叉熵)和数值损失(包括Token级与句子级目标)。在Math23K(中文)和MathQA(英文)两个标准数据集上,SSN4Solver均优于16个基线模型,在Math23K上BERT和RoBERTa版本分别达到85.6%和86.0%的准确率,在MathQA上分别达到76.6%和76.8%。消融实验表明三个组件互补,数值损失对防止表示退化至关重要。可视化分析显示,SSN4Solver产生更紧凑且分离的嵌入空间,尤其提升了对于与训练数据句法结构不同的“离群”实例的求解能力。该论文发表在《Symmetry》上。
关键技术方法(不超过250字):研究人员使用预训练语言模型(BERT/RoBERTa)作为编码器基础,并采用目标驱动树结构解码器(GTS)构建编码器-解码器架构。核心方法为句法–语义–数值三重表示融合:句法方面,通过依存树提取元结构,利用TF–IDF计算问题间相似度并构建对比学习损失;语义方面,对编码器输出施加词性(POS)标签预测的交叉熵损失;数值方面,设计Token级(如数字类型定位)和句子级(如数字计数预测)两个层次的目标损失。总损失为三者之和,训练分两阶段:基础PLM初始化与表示增强预训练。数据集来源为Math23K(23,164道中文小学数学题)和MathQA(37,200道英文数学推理题)。
研究结果:
4.1 实验设置:研究人员在Math23K和MathQA两个数据集上,将SSN4Solver与16种基线方法(包括Seq2Seq、Seq2Tree、Graph2Tree及PLM增强方法)进行对比。基线模型包括DeepNS、GTS、MWP-BERT、BERT-CL等。实验采用答案准确率和表达式准确率作为评价指标。
4.2 性能比较
4.2.1 准确率比较:研究人员通过对比发现,SSN4Solver在所有基线中取得最优结果,在Math23K上BERT和RoBERTa版本准确率分别为85.6%和86.0%,在MathQA上分别为76.6%和76.8%。提升在Math23K上更为显著,原因是MathQA的模板化结构限制了句法多样性。与大型语言模型(LLM)相比,SSN4Solver在参数规模远小于GPT-3.5/GPT-4的情况下取得更优或可比的性能。
4.2.2 消融实验:研究人员分别移除对比学习(w/o CL)、语义表示优化(w/o SRO)和数值知识优化(w/o MKO)三个组件进行测试。结果显示完整模型始终最优,移除数值损失导致准确率下降最大,表明数值损失作为正则化项防止表示退化。在RoBERTa上去除数值损失的影响稍弱,因其预训练语料更丰富。
4.3 编码器嵌入效果对比:研究人员通过t-SNE可视化和各向同性分数对比SSN-Encoder与原始RoBERTa编码器。提出的编码器产生更分散且各向同性更好的嵌入空间(各向同性分数从-0.43431升至-0.19578),且具有相似句法结构的问题形成更紧凑的簇,不同问题类型的簇间距离增大。进一步分析显示,准确率提升主要来自“离群”实例(训练集中无类似句法结构的问题),表明融合表示改善了面对新颖结构时的泛化能力。
总结讨论与结论翻译:论文在结论部分指出,SSN4Solver通过显式融合句法、语义和数值三种表示作为理解支柱,超越了仅依赖表面文本线索的先前方法。可视化分析证实,融合表示引导模型将结构相似的MWP映射到嵌入空间邻近区域,同时保持对不同问题的区分性。未来工作可整合更丰富的语篇/逻辑信号、提升对模糊语言的鲁棒性,并探索可解释推理轨迹的人机交互场景。研究结论原文翻译如下:“本文开发并验证了SSN4Solver,一种通过将句法、语义和数值推理融合到统一编码器表示中而推进MWP求解的深度神经方法。与先前存在信息不对称的方法不同,SSN4Solver明确将这三个来源视为理解的同等支柱。具体地,SSN4Solver通过依存分析增强句法意识,通过词性监督改进语义基础,并通过建模以数字为中心的属性和关系线索增强数值推理。在多个基准数据集上,SSN4Solver持续优于强基线,表明有针对性的表示增强仍是改进神经数学推理的高杠杆路径。除总体准确率外,分析表明融合表示产生了比原始编码器更紧凑和凝聚的表示簇,同时增加了对不同问题类型的分离度。这一经验证据支持核心假设:强制融合过程引导模型走向结构相似的MWP映射到邻近区域、不同问题保持可区分的嵌入空间,从而促进泛化。”