用于训练神经主题模型的多目标替代框架

《Neurocomputing》:A multi-objective surrogate framework for training neural topic models

【字体: 大 中 小 】 时间:2026年03月26日 来源:Neurocomputing 6.5

编辑推荐:

  神经主题模型(NTMs)常依赖多损失函数联合优化,但因损失量纲差异大导致优化困难,需频繁调参。本文提出MSOO方法,通过构建替代损失函数平衡各损失量纲,并利用多目标优化算法协调不同目标,解决了传统MOO方法因参数共享假设不适用NTMs的问题。实验表明MSOO在多个基准数据集上显著优于基线方法及直接应用MOO的变体。

  
作者:Chi Pham Khanh、Tue Le、Anh-Cuong Le、Linh Ngo Van
越南河内科技大学,Dai Co Viet路1号

摘要

神经主题模型在生成连贯的主题和学习文档-主题分布方面取得了显著进展,但它们通常依赖于多个损失函数,这些损失函数的规模差异很大。这种不平衡使得联合优化变得困难,往往需要大量的超参数调整。多目标优化(MOO)方法提供了一个有前景的方向,但其应用主要限于具有共享参数架构的设置,这限制了其在许多主题建模框架中的适用性。此外,将标准的MOO技术直接应用于神经主题模型可能会导致性能下降,因为目标之间存在不兼容性。本文提出了一种新的策略,将MOO集成到神经主题模型中,而不依赖于硬参数共享。所提出的方法能够有效地协调多个损失函数,并促进稳定的优化。在广泛使用的基准语料库上的实验表明,该方法比基线神经主题模型有显著改进,并且始终优于基于MOO的简单变体。我们的代码可在github上公开获取。

引言

经典的主题模型[4]、[6]、[31]、[79]被广泛使用,因为它们可以发现文本中的隐藏主题并提供易于理解的解释。然而,这些模型通常依赖于缓慢且难以调整的推理过程[89]。后来引入了神经主题模型(NTMs),在内容管理[78]、文本挖掘[47]、[78]和健康分析[25]等许多应用中展示了强大的性能。
现代NTMs通常基于变分自编码器(VAEs)[37]构建,并利用神经架构扩展了早期的主题建模思想[26]、[31]。为了提高主题质量和文档表示,大多数NTMs在训练过程中结合了多种损失函数,如重建损失[88]、KL散度[64]和对比损失[61]。同时训练多个目标是很困难的,特别是当这些损失函数的行为差异很大时。
如图1所示,不同数据集中的常见损失函数的幅度差异很大。当某个损失远大于其他损失时,它可能会主导优化过程并降低整体模型性能。一种简单的方法是为每个损失函数分配固定权重[71],但这需要大量的超参数搜索,并且随着训练过程中损失函数的变化,这些权重可能不再适用。如果目标之间存在冲突,那么使用固定的权重求和是不够的[42]、[52]、[63]。这促使我们将NTM训练视为一个多目标优化问题,通过平衡不同目标的梯度来达到帕累托稳定解。然而,许多基于梯度的MOO方法是为具有严格参数共享的架构设计的,而NTMs并不总是遵循这种设计。
之前的工作[63]探索了使用GradNorm[11]、PCGrad[94]、Random Weighting[44]和MGDA[72]等方法对对比主题模型进行MOO。除了MGDA之外,这些方法很少能改进模型,有时甚至会降低性能。即使是MGDA,改进也很小。这表明将标准的MOO算法直接应用于NTMs并不总是有效的。我们对几种强大的MOO方法和多种NTM架构的实验验证了这一观察结果。如表3、表4、表5、表6、表7所示,直接应用MOO通常几乎没有改进,甚至可能导致更差的结果。两个主要因素可以解释这一点:损失函数之间的强烈不平衡以及NTM架构与许多MOO算法中使用的参数共享假设之间的差距。
为了解决不平衡问题,我们引入了替代损失,将每个原始目标与总损失结合起来,如公式(14)所示。我们不是直接将MOO应用于原始目标,而是将这些替代损失应用于MOO。替代损失具有更相似的规模,反映了个体和全局优化信号。这也解决了架构问题,因为每个替代损失都依赖于完整的模型参数,使NTMs能够满足许多MOO技术所需的硬参数共享设置。
本研究的主要贡献总结如下:
  • •
    我们系统地研究表明,基于梯度的直接MOO方法对神经主题模型的好处有限,有时甚至不一致。
  • •
    我们引入了MSOO(多替代目标优化),这是一种新方法,它创建替代目标并将MOO算法应用于这些目标,而不是原始损失,从而消除了对硬参数共享的需求,减轻了损失不平衡,并且与多种模型架构和现有的MOO算法兼容。
  • •
    实验结果表明,MSOO在各种设置中一致地提高了神经主题模型的性能,并且明显优于直接应用现有MOO方法的结果。
  • 路线图:第2节回顾了相关先前的研究,以便将我们的工作置于现有文献的背景下。第3节介绍了所提出方法所需的基础概念。第4节详细介绍了MSOO框架并解释了相关的训练策略。第5节报告了全面的实验结果并讨论了关键观察结果。第6节总结了主要贡献。最后,第7节描述了我们框架的局限性并概述了未来研究的潜在方向。

    章节片段

    传统主题模型和神经主题模型

    传统主题建模方法通常分为概率图模型和基于矩阵分解的方法[89]。在概率模型中,潜在狄利克雷分配(LDA)[6]作为标准框架已经使用了近二十年[3]。在这些模型中,假设文档是由潜在主题生成的,参数推断通常使用变分推断[15]或马尔可夫链蒙特卡洛技术(尤其是Gibbs采样[75])来进行。

    背景

    本节简要回顾了神经主题建模和基于梯度的多目标优化(MOO)的基础,这些是该方法的基础。神经主题模型通过神经架构扩展了经典的概率主题模型,以实现可扩展的训练,而最近的进展通常结合了多个辅助目标来提高主题质量。这样的设置自然会导致多目标优化问题,其中不同的损失可能会产生冲突。

    方法论

    在本节中,我们介绍了多替代目标优化(MSOO)及其在神经主题模型(NTMs)中的实现。我们首先介绍了高层次的直觉,然后形式化了多目标设置和模型组件,接着构建了替代目标。然后我们分析了MSOO的梯度特性,并在一个实证示例上进行了验证,最后描述了实际的权重选择策略。

    数据集

    标准数据集。我们在广泛采用的基准数据集上评估我们的方法,包括三个标准数据集:20个新闻组(20NG)[39]、AGNews[98]和YahooAnswers[98]。我们遵循[88]的预处理程序来获得词袋表示。所有预处理步骤都是使用TopMost工具实现的。3 结果数据集的统计信息总结在表1中。
    短文本和噪声文本数据集。表2总结了三个短文本数据集的统计信息

    结论

    本文提出了一种优化神经主题模型中多个损失函数的新方法。在这种情况下,直接应用标准的多目标优化(MOO)方法通常由于损失不平衡和架构限制而效果有限。为了解决这些问题,我们提出了多替代目标优化(MSOO),它使用替代损失重新制定了每个目标,将原始信号与总损失结合起来。这种设计既平衡了

    局限性

    尽管MSOO取得了明显的性能提升,但也应注意一些局限性。首先,如第5.7.3节所讨论的,MSOO引入了额外的计算开销,导致训练时间比基线模型更长。此外,由于基于梯度的MOO依赖于每个目标的梯度计算,随着目标/损失组件数量的增加,运行时开销可能会进一步增加;而在现有的神经主题模型基线中,这种情况仍然是可控的

    CRediT作者贡献声明

    Chi Pham Khanh:撰写——原始草稿、可视化、验证、软件、方法论、调查、形式分析。Tue Le:撰写——原始草稿、可视化、验证、软件、方法论、调查、形式分析、概念化。Anh-Cuong Le:撰写——审阅与编辑、可视化、验证、方法论、调查。Linh Ngo Van:撰写——审阅与编辑、验证、监督、项目管理、方法论、调查、资金获取,

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

    致谢

    这项研究是在越南河内国家大学的研究项目QG.24.80“开发LLM的推理技术及其在法律领域的应用”下进行的。
    Chi Pham Khanh是河内科技大学的本科生,也是BKAI中心Foundation Model Lab的研究成员。她的研究兴趣包括自然语言处理、主题模型和知识蒸馏。她的几项工作已被顶级会议和期刊接受发表,包括EACL、ACL、neurocomputing
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号