基于大语言模型的多标签文本主题建模与对齐方法研究

《Expert Systems with Applications》:Topic Modeling and Alignment with Large Language Models for Multi-Labeled Text Corpora

【字体: 大 中 小 】 时间:2025年12月30日 来源:Expert Systems with Applications 7.5

编辑推荐:

  本文提出LAMT(Large language model Aligned Multi-label Topic)模型,通过引入"无关"标签和大语言模型(LLM)优化多标签文本的主题对齐,结合知识增强主题挖掘机制提升主题一致性(Coherence)和对齐精度,显著优于现有基线方法。

  
Highlight
LAMT模型创新性地融合大语言模型(LLM)与多标签主题建模,通过引入"无关"标签精准过滤文本片段,结合词嵌入知识增强主题挖掘,实现标签与主题的语义一致性优化。
Ablation Study
我们针对大语言模型、提示策略、词嵌入及"无关"片段进行消融实验,以验证其对提升语义一致性(标签与主题间)和主题质量的关键作用。
LLM Ablation:为评估LLM影响,我们对比Mistral Nemo、GPT-3.5-Turbo、GPT-4等模型在不同提示策略下的表现。
vMF vs. Gaussian Analysis
冯·米塞斯-费希尔分布(vMF)可视为Dz维超球面上的高斯分布,其概率密度由均值向量μ?和浓度参数κ决定,计算公式为:
P(z? | μ?, κ) = VMF(z? ; μ?, κ) = CDz(κ) exp(κ μ??z?) = κDz/2-1/ [(2π)Dz/2IDz/2-1(κ)] exp(κ μ??z?)
其中CDz(κ)为归一化常数,IDz/2-1(κ)是修正贝塞尔函数。该分布通过数据点z?与均值μ?的点积衡量语义相似度,优于高斯分布在高维稀疏文本表征中的几何适应性。
Conclusion
LAMT模型通过LLM驱动的话题对齐与知识增强挖掘,在多标签文本中实现了标签特异性主题的连贯生成与精准片段对齐,为复杂标注场景下的语义建模提供新范式。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号