综述:话语结构分析综述:从深度学习到大语言模型

《Expert Systems with Applications》:A Survey of Discourse Structure Analysis: From Deep Learning to LLM

【字体: 大 中 小 】 时间:2026年08月28日 来源:Expert Systems with Applications 9.4

编辑推荐:

   - 概述了用于话语结构分析的深度学习模型和解码策略。 - 回顾了跨多种技术的低资源话语结构分析。 - 强调了多方对话设置中话语分析的进展。 - 涵盖了以大语言模型(LLM)为驱动的最新进展,并概述了未来研究趋势。 ## 引言 话语结构分析(DSA)长期以来一直被用作理解文

  

- 概述了用于话语结构分析的深度学习模型和解码策略。
- 回顾了跨多种技术的低资源话语结构分析。
- 强调了多方对话设置中话语分析的进展。
- 涵盖了以大语言模型(LLM)为驱动的最新进展,并概述了未来研究趋势。

## 引言

话语结构分析(DSA)长期以来一直被用作理解文本全局组织方式的基本框架,其应用远超人工智能驱动领域。在语言学、教育、法律分析、科学传播和政策研究等领域,DSA通过揭示潜在的层次性、因果性和修辞关系,支持人类对复杂文档的理解、推理和决策。在自然语言处理(NLP)领域也产生了类似需求,随着文本数据的复杂性日益增长,理解信息如何在整个文档层面组织变得越发重要。尽管句子级NLP方法在建模局部语义方面表现出色,但它们在捕捉全局结构和话语层面的依赖关系方面存在局限。DSA通过显式建模文本片段之间的话语关系来弥补这一空白,从而实现文档级理解。实证研究表明,话语感知的建模方法可以惠及多种NLP应用,包括情感识别(Li, Zhu, Mao, & Cambria, 2023c)、信息提取与检索(Gao et al., 2024)、长文本摘要(Liu, Wang, & Demberg, 2023a)以及问答(Du et al., 2023)。在大语言模型时代,话语结构分析仍然不可或缺。尽管LLM擅长局部文本建模,但它们并未显式捕捉文档的全局组织。通过提供话语结构信息,DSA可以与大语言模型互补,用于各种下游任务,如长文本理解、生成和规划(Kim, Ramachandran, Tavazoee, Kim, Rokhlenko, & Kang, 2024; Liu, Demberg, 2024; Liu, Yu, Demberg, Lapata, 2025a)。因此,DSA正日益受到学术界和工业界的关注。

NLP中话语结构分析的目标是自动发现子句、句子和段落之间的内在关系和结构。为实现这一目标,该任务通常被划分为多个子任务,如话语单元分割、话语结构构建和话语关系识别。如图1(a)所示,基于修辞结构理论(RST)(Mann & Thompson, 1988)的DSA首先将给定文本分割为基本话语单元(EDU),然后逐步识别相邻单元之间的语义关系并将其合并为更大的话语单元,最终构建层次化的话语树。相比之下,图1(b)所示的话语依存结构(DDS)(Hirao et al., 2013; Li et al., 2014b)侧重于捕捉基本话语单元之间的直接语义关联,生成话语依存树。与这些基于树的理论不同,图1(c)展示了基于分节话语表示理论(SDRT)(Asher & Lascarides, 2003; Lascarides & Asher, 2007)的DSA,该方法生成文本的话语图,尤其适用于分析多方对话。

早期的DSA方法主要依赖于传统机器学习算法结合精心设计的特征,这些特征通常涉及词汇、句法和共指信息(Afantenos et al., 2015; Feng & Hirst, 2014; Hernault et al., 2010; Joty et al., 2013)。然而,有限的标注语料库和高维离散特征严重制约了其性能。随后,基于深度学习的方法成为DSA的主流,因为它们能够自动学习适合任务的低维分布式表示,从而实现显著的性能提升(Braud et al., 2017; Kobayashi et al., 2020; Perret et al., 2016; Shi & Huang, 2019; Strzyz et al., 2019; Zhang et al., 2020)。特别是,ELMo(Peters et al., 2018)和BERT(Devlin et al., 2019)等预训练语言模型在语义表示学习方面展现了卓越能力,在作为基础编码器使用时进一步推动了DSA的性能(Guz & Carenini, 2020; Kobayashi et al., 2022; Liu et al., 2023b; Zhang et al., 2021a)。然而,基于深度学习的方法的泛化能力仍然不尽如人意,无法满足实际应用需求。例如,在广泛使用的修辞结构理论话语树库(RST-DT)语料库上,完整树解析的F1分数仍低于60%(Maekawa et al., 2024),且在跨领域场景中性能进一步下降(Liu & Zeldes, 2023; Nishida & Matsumoto, 2022)。近年来,大语言模型的成功为DSA带来了新的机遇。例如,Maekawa等人(2024)和Fan、Li和Zhu(2025b)基于大语言模型构建的模型已达到了最先进(SOTA)性能。

已有若干综述对DSA的研究进展进行了回顾和总结。例如,Hou、Zhang和Fei(2020)概述了RST理论、基于传统机器学习和深度学习的方法,以及它们的相关应用场景。Kong、Wang和Zhou(2019)专门聚焦于中文DSA,涵盖了话语理论、语料库构建和计算模型。Song和Liu(2020)介绍了RST风格的DSA、宾州话语树库(PDTB)风格的话语关系识别(Robaldo, 2008)以及话语连贯性任务,并进一步考察了话语感知的表示学习研究。Li、Liu、Qin和Liu(2022)专注于基于深度学习的RST风格、PDTB风格和多方对话DSA方法,同时也简要讨论了它们在下层任务中的应用。Jiang、Fan、Chu、Li和Zhu(2022)回顾了英语和中文的话语结构理论,从文本表示、语义交互和结构构建方法方面对比了基于深度学习的模型,并强调了利用预训练模型进行DSA的最新进展。

现有综述存在两个主要局限。首先,它们对低资源DSA关注较少。Liu和Zeldes(2023)指出,当前模型泛化能力差,这对其实际应用构成了重大障碍。因此,回顾和分析致力于低资源DSA的研究工作是有价值的。其次,所有这些综述均发表于2022年之前,因此对近期进展的覆盖有限,特别是对多方对话和利用大语言模型的研究。基于上述分析,本综述旨在从四个主要视角系统概述截至2025年10月DSA的最新进展,如图2所示:

- **话语结构理论与语料库(第2节)**:根据结构表示形式,话语结构理论大致可分为基于树的(层次型和依存型)结构和基于图的结构。我们简要介绍这两种理论范式及其对应的英语和中文语料库。
- **基于深度学习的话语结构分析(第3节)**:我们回顾了DSA编码器,包括长短期记忆网络(LSTM)(Hochreiter & Schmidhuber, 1997)、图神经网络(GNN)、基于注意力的模型和预训练编码器。我们还考察了图基、转移基、自顶向下和生成式等解码方法,并进一步分析其优势和局限。
- **低资源话语结构分析(第4节)**:我们总结了基于跨语言迁移、多任务学习、远程监督和无监督方法以及数据增强技术的方案。这些方法已被证明能有效提升现有DSA模型的泛化能力。
- **大语言模型时代的话语结构分析(第5节)**:我们讨论了近期利用大语言模型进行DSA的研究,以及将话语结构信息整合到大语言模型中以进一步增强其能力的研究。

## 章节摘要

### 话语结构理论与语料库

话语结构通常被认为是存在于子句、句子、段落乃至整个文档之间的语义关系框架。话语结构理论的主要差异在于话语单元粒度、关系类型和结构表示。按表示形式分,话语结构理论可分为浅层、基于树和基于图的类型。浅层话语结构理论关注话语单元对之间的关系,而不涉及层次化的嵌套结构。

### 基于深度学习的话语结构分析

话语结构分析通常包括多个子任务,如EDU分割、话语结构构建、核心-卫星分类和话语关系识别。EDU分割目前已取得超过95%的F1分数(Lin et al., 2019)。话语关系识别则主要在PDTB等浅层话语语料库上进行了研究(Xiang & Wang, 2023)。因此,大多数DSA模型将重点放在话语结构构建和关系识别上。

### 低资源话语结构分析

得益于预训练语言模型(PLM)与各种解码器的有效整合,基于深度学习的DSA模型取得了显著进展。然而,它们严重依赖高质量的人工标注语料库,而现有语料库在规模和领域多样性方面仍然有限(第2节)。这不仅制约了此类模型的充分发挥,还导致在跨领域和跨语言应用等复杂场景中泛化能力较差(Liu & Zeldes, 2023)。为解决这一问题,研究者探索了多种低资源策略。

### 大语言模型时代的话语结构分析

自2022年以来,ChatGPT等大语言模型在语言理解和生成方面展现了卓越能力,在广泛的NLP任务中实现了强大的零样本和少样本性能。然而,DSA是一项复杂任务,严重依赖深层语义理解,直接应用大语言模型的效果并不理想(Chan et al., 2024; Eichin et al., 2025; Fan et al., 2024)。为此,研究者提出了多种策略来改进大语言模型在DSA任务中的表现。

## 性能比较与评价指标讨论

本节首先展示了近年来若干代表性模型在常用语料库上的性能表现,随后讨论了常用评价指标的局限性。

## 结论与未来方向

基于大语言模型的话语结构分析方法相比传统深度学习方法展现了显著更优的性能。尽管取得了重大进展,DSA仍面临若干横跨理论、数据、建模和实际部署的基本挑战。首先,DSA基于多个话语理论,这些理论具有不同的结构假设和标注原则,这阻碍了统一表示、基准和评估协议的发展。

## CRediT作者贡献声明

Dan Xiong:概念化、方法论、调查研究、初稿撰写。
Heng Wang:方法论、调查研究、初稿撰写。
Changxing Wu:概念化、方法论、审校与编辑、监督。

## 利益冲突声明

作者声明不存在可能影响本文工作的已知竞争性财务利益或个人关系。

Dan Xiong | Heng Wang | Changxing Wu
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号