基于主题引导的无偏对比学习方法在神经主题建模中的应用
《Neurocomputing》:Topic-guided debiased contrastive learning for neural topic modeling
【字体:
大
中
小
】
时间:2026年01月01日
来源:Neurocomputing 6.5
编辑推荐:
本文提出TDCNTM框架,通过主题引导的偏差纠正采样策略和主题锚点解决神经主题建模中的采样偏差与数据噪声问题,结合课程学习机制稳定训练。实验表明其优于现有方法。
刘彦彦|龚志国
澳门大学智慧城市物联网国家重点实验室,中国澳门,999078
摘要
近期,对比学习被引入神经主题模型中以增强潜在主题的连贯性。然而,现有方法在主题提取过程中受到采样偏差的限制,主要源于两个关键挑战:i) 词级采样策略仅关注文档与单词之间的关系,而忽略了主题相关性,常常产生不正确的主题级样本;ii) 语料库噪声和数据稀缺导致使用单个文档作为样本时采样不准确。为了解决这些问题,我们提出了基于对比学习的主题引导去偏对比学习方法(TDCNTM),用于主题建模。具体而言,我们引入了一种在潜在主题空间中运作的主题引导去偏采样策略,整合了文档-主题-单词之间的关系,以生成语义上恰当的正负样本。这确保了样本与原型文档在主题层面保持相关性。此外,为了减轻语料库噪声和数据稀缺问题,我们提出了主题锚点,即语义上相似的文档集合,作为稳健的样本表示。另外,为了稳定采样策略,我们设计了一个平衡的学习计划,在整个训练过程中动态调整对比学习与主题建模之间的相互作用。在六个基准数据集上进行的广泛实验表明,我们提出的模型性能优于各种现有技术方法。
引言
主题模型[1]、[2]为发现文档集合中的潜在主题结构提供了强大的框架。它们的有效性使得它们在多种文本挖掘和自然语言处理应用[3]、[4]、[5]中得到广泛应用。传统方法[1]、[6](如潜在狄利克雷分配(LDA)[1])主要基于概率图模型。这些方法在选择合适的先验和进行高效参数推断时经常面临挑战。最近在神经主题模型[7]、[8]、[9]方面的进展通过用基于神经网络的架构替换了传统的概率计算,解决了这些问题。
最近,随着对比学习[10]、[11]、[12]、[13]的快速发展,一个有前景的研究方向出现了:将对比学习整合到神经主题模型[14]、[15]、[16]、[17]、[18]中,以提高提取主题的可解释性。例如,CLNTM[14]提出了一种策略,通过替换文档中的高频词和低频词来生成负样本和正样本。TSCTM[15]利用向量量化根据短文本对之间的语义相似性来识别正负样本。CLHTM[17]使用对比学习基于PWEs和词袋(BoW)的输入挖掘层次主题。hHTM[18]通过引入对比学习和双曲嵌入提出了一种基于GAN的层次主题模型。GCTM[16]提出了一种新方法,利用文档和单词之间的多跳语义关联和无关性,结合图数据增强来生成正负样本。
尽管带有对比学习的主题模型在提取潜在主题方面表现出显著能力,但仍有两个关键问题尚未得到充分探索。
i) 词级采样策略。对于主题建模,目标是提取每个文档的主题分布。在将对比学习与主题建模结合时,我们旨在识别在主题层面上表现出相似性或差异性的正负样本。然而,大多数先前的工作[14]、[15]、[16]、[17]、[18]仅通过考虑文档和单词之间的关系(例如tf-idf)来区分或生成样本,这无法揭示不同文档之间的真实语义关联。它们主要关注文档中高频或低频的单词。例如,CLNTM[14]通过替换高/低TF-IDF单词来生成样本。GCTM[16]使用图增强将不相关的单词聚合到文档中以生成负样本。然而,它们只考虑了单词关系而忽略了文档的主题分布。CLHTM[17]认为来自同一文档的PWEs和词袋(BoW)的嵌入是正例,其他文档是负例。hHTM[18]通过数据增强对某些单词进行随机掩码来构建正样本。尽管付出了努力,这些方法忽略了文档的主题分布,限制了它们捕捉主题层面语义的能力。
ii) 语料库稀缺和噪声。主题建模旨在提取潜在主题,这是一种无监督学习方法,唯一的监督信号是观察到的文档和单词。因此,提取主题的质量在很大程度上取决于语料库的质量。在现实世界中,语料库总是伴随着噪声(例如新闻语料库中的假新闻、社交媒体数据集中的无关帖子)。现有的基于对比学习的方法难以处理这种噪声,因为它们主要识别与原型文档最相关或不相关的文档来形成文档对。因此,采样过程将受到噪声的严重影响,导致结果不佳。此外,数据稀缺问题在各种语料库中普遍存在,特别是对于缺乏足够信息来准确区分主题层面上真实文档对的短文本。这一限制进一步加剧了生成可靠样本的挑战。
为了解决上述挑战,我们提出了一个主题引导去偏对比学习框架,该框架将文本图学习与神经主题建模相结合。具体来说,为了减轻词级采样策略引起的偏差,我们设计了一种动态识别每个文档原型与其相关主题之间语义对齐的正负样本的方法。这确保了样本在主题语义空间中确实是(不)相关的。此外,为了增强对语料库噪声和数据稀缺的鲁棒性,我们引入了主题锚点,即语义上相似的文档集合。这些锚点作为稳定的表示,保留了主题语义。另外,考虑到早期训练阶段文档-主题-单词关系的不稳定性,我们提出了一种课程学习机制,逐步平衡对比学习目标与主题建模。这种自适应调度稳定了潜在空间的形成,并提高了最终主题的连贯性。总结来说,本文的主要贡献如下:
- •
我们提出了一种结合文本图学习的新型主题引导去偏对比学习框架,用于神经主题建模,以解决主题提取中的采样偏差问题。
- •
我们引入了一种基于样本与原型文档在主题层面关系的采样策略,确保生成准确且语义上有意义的主题级样本。
- •
我们提出生成主题锚点作为样本表示,以解决语料库噪声和稀缺问题,并设计了对比学习和主题建模的学习计划,以保证采样质量。
- •
在六个广泛使用的数据集上进行的广泛实验表明,我们提出的方法优于现有技术方法,展示了其有效性和鲁棒性。
部分摘录
神经主题模型
主题模型[1]、[6]、[8]旨在从文档集合中提取潜在主题。传统主题模型[1]、[6]主要基于概率图模型,其中最著名的主题模型是潜在狄利克雷分配(LDA)[1]。传统方法使用马尔可夫链蒙特卡洛(MCMC)[19](如Gibbs采样[2])或变分推断[20]来推断参数。变分推断复杂且先验设计复杂。
方法论
在本节中,我们介绍了我们提出的TDCNTM框架,其整体架构如图1所示。我们的方法包括三个关键组成部分:首先,我们构建了一个以文档和单词为节点的文本二分图,使用基于图的消息传递过程作为编码器来捕获全局语料库级别的信息。其次,我们提出了一个结合主题-单词关系学习的主题提取框架,以获得潜在主题嵌入并评估它们之间的相互关系
实验
在本节中,我们在几个基准数据集上进行了广泛的实验,以展示我们提出模型的有效性。
局限性
虽然我们的模型具有优势,但也存在某些局限性。我们的模型依赖于固定的主题数量,这是一个必须预先定义的超参数。这个假设可能会限制模型性能,因为不同数据集包含不同的语义结构,最佳主题数量可能取决于特定的语料库。未来,我们旨在设计一种更简单、更灵活的基于神经网络的方法,能够在保持高效推断的同时学习主题数量。
结论
在本文中,我们提出了一种带有主题引导去偏对比学习的新神经主题模型,以解决采样偏差问题。我们设计了由潜在主题空间内的主题引导的去偏采样策略。采样过程与主题建模相结合,允许根据文档-主题-单词关系生成正负样本。因此,这些样本在主题层面上表现出与原型文档的语义相关性(或不相关性)。
CRediT作者贡献声明
刘彦彦:撰写——原始草稿、可视化、验证、软件、方法论、概念化。龚志国:撰写——审阅与编辑、方法论、概念化。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文所述的工作。
刘彦彦获得了湖南大学的计算机科学与技术学士学位。她在澳门大学科学技术学院获得了计算机科学博士学位。她的研究兴趣包括主题模型、数据挖掘和图神经网络。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号