HIER-TOD:利用隐藏意图进行端到端任务导向对话中的示例检索

《Expert Systems with Applications》:HIER-TOD: Leveraging Hidden Intent for Exemplar Retrieval in End-to-End Task-Oriented Dialogue

【字体: 大 中 小 】 时间:2026年10月21日 来源:Expert Systems with Applications 9.4

编辑推荐:

   •提出一种属性预测器,用于识别防止大语言模型(LLM)过度估计所需的属性。•提出使用黄金响应来确定银属性标签,以训练属性预测器。•设计评分函数以检索与输入对话意图一致的示例。•展示在有用户隐藏意图的任务导向对话上的有效性和性能。引言任务导向对话(TOD)系统旨在通过利用知识库

  
  • •
    提出一种属性预测器,用于识别防止大语言模型(LLM)过度估计所需的属性。
  • •
    提出使用黄金响应来确定银属性标签,以训练属性预测器。
  • •
    设计评分函数以检索与输入对话意图一致的示例。
  • •
    展示在有用户隐藏意图的任务导向对话上的有效性和性能。

引言

任务导向对话(TOD)系统旨在通过利用知识库(KB)中的实体来理解用户需求并实现特定目标。由于与餐厅预订和天气报告等现实世界应用的相关性,这些系统已被广泛研究。TOD系统通常分为两种方法:管道式和端到端式(Gou, Li, Liu, Gao, 2023, Qin, Pan, Chen, Liao, Yu, Zhang, Che, Li, 2023a)。管道式系统由四个模块组成:自然语言理解(NLU)、对话状态跟踪(DST)、对话策略学习(DPL)和自然语言生成(NLG)。然而,每个模块都是独立训练的,并且需要大量标注数据,在领域变化时还需要重新训练。相比之下,端到端TOD系统直接生成响应,使其更具资源效率和可扩展性。然而,准确理解用户请求并选择合适的实体仍然是端到端方法中的关键挑战,特别是在没有中间模块的情况下。因此,最近的研究重点是利用大语言模型(LLM)的推理能力来解决这些挑战。在端到端TOD设置中,LLM的上下文学习被积极采用。上下文学习包括提示中的示例,显著减少了资源需求,并允许在无需额外训练的情况下适应各种领域。现有的基于LLM的TOD模型,如SyncTOD(Saley, Das, Raghu, & Mausam, 2024)和InterfereTOD(Stricker & Paroubek, 2024b),基于对话嵌入相似度检索示例。然而,由于这些方法识别对话中明确提到的用户意图,它们可能无法捕捉隐含的用户意图。如果使用与输入对话的隐含意图不同的示例,LLM可能会生成不满足输入对话中用户意图的响应,因为它倾向于遵循示例。
这个问题在图1中进行了说明。如图1(a)所示,输入对话描述了一个用户将首次见女友父母并希望留下好印象的情况,因此寻找一家高档餐厅。由于高档餐厅通常价格昂贵,输入对话的隐含属性值是'expensive',代表隐藏意图。相比之下,在图1(b)中,检索到的示例对应于用户在工作日与同事组织午餐的情况。由于工作日午餐通常与休闲用餐和预算考虑相关,对廉价餐厅的隐含偏好在对话背景下更自然地得到支持。因此,示例对话将其隐藏意图中的隐含属性值表示为'cheap'。虽然输入和示例对话共享显式属性值'chinese',导致对话嵌入相似度分数很高,但它们的隐藏意图不同。使用隐藏意图不匹配的示例可能导致系统遵循示例的偏好,推荐'cheap'餐厅而不是'expensive'餐厅,从而无法满足输入对话中的用户需求。此外,在生成所需属性的值时,使用具有匹配隐含属性值的示例比使用具有匹配显式属性值的示例更为重要。这是因为LLM不一定根据示例对话的显式值生成响应。例如,使用一个用户正在搜索'turkish'餐厅的示例,并不会导致LLM生成推荐'turkish'餐厅而不是'chinese'餐厅的响应。因此,找到具有匹配隐含值的示例比优先考虑显式值更为合适。
LLM已被广泛应用于各个研究领域,从对话历史中推断各种用户信息。在此基础上,LLM也可以应用于TOD系统中,以推断上述各种用户意图。然而,由于TOD系统需要预定义属性值,利用LLM的强大推理能力来推断用户意图可能会导致过度估计问题。例如,如图2所示,在只应处理必要属性(如pricerange、food)的情况下,可能会考虑不必要的属性(如area)。这种过度估计问题发生在预测并利用用户不重视的无关用户意图时。这可能导致选择不符合用户核心意图的错误实体,或无法识别满足所有必要属性的实体。因此,为了解决过度估计问题,首先需要预测哪些属性是关键,然后仅为这些预测的属性生成值。此外,正如之前讨论的,虽然LLM能够充分考虑对话和示例中揭示的显式意图,但它们可能在评估隐含意图的重要性以及有效地在对话中反映这些意图方面存在困难。为了解决这些挑战,提出了HIER-TOD,通过明确考虑隐含用户意图来改进示例选择,同时防止不必要的属性过度估计。该框架识别满足用户请求所需的属性,推断其对应的值,并检索隐含意图与输入对话一致的示例。通过将隐含意图对齐纳入示例检索,HIER-TOD使基于LLM的TOD系统能够生成更好地反映用户潜在偏好的响应,而无需额外的LLM微调。主要贡献总结如下:
  • •
    明确识别并分析了端到端任务导向对话系统中基于示例的上下文学习的隐含意图不匹配问题,证明基于嵌入的示例检索可能无法捕捉隐藏的用户偏好。
  • •
    提出一种属性感知示例检索框架,以共同解决隐含意图不匹配和由无约束LLM推理引起的过度估计问题。通过识别必要属性并优先考虑隐含意图对齐,所提出的框架实现了更具意图一致性的示例选择。
  • •
    在两个基准数据集上的大量实验,辅以人工评估,证明HIER-TOD在实体F1和任务成功方面达到了最先进的或具有竞争力的性能,同时有效地捕捉了隐含的用户偏好。

章节片段

端到端TOD

端到端任务导向对话(TOD)旨在直接从对话上下文和外部知识生成系统响应,而不依赖于单独优化的中间模块,如对话状态跟踪、对话策略和响应生成。与传统的管道式方法相比,这种形式简化了整体对话系统,并减少了跨中间模块的错误传播可能性。它还减少了对显式的

方法

本节讨论HIER-TOD方法。HIER-TOD模型架构如图3所示。
首先,属性预测器使用对话上下文C预测需要考虑的属性。属性预测器旨在防止生成不必要的属性值。其次,LLM属性值提取器为属性预测器预测的属性生成属性值。通过确保未

实现细节

属性预测器使用BERT-base作为骨干模型实现。它被训练为多标签分类器,以在给定对话上下文的情况下预测每个属性是否应考虑。在验证过程中,属性预测器的准确率为94.9%,证明了对必要属性的可靠识别。
对于银标签生成,选择具有最高实体相关性分数S(Ei)的前K个实体。在所有实验中,K设置为6。这个值是

结论

本文提出了HIER-TOD,以解决现有基于示例的任务导向对话系统因用户意图不匹配而检索到不适当示例的局限性。所提出的框架预测对应用户隐藏意图的隐含属性值,并检索与输入对话意图一致的示例。为了缓解无约束LLM推理引起的过度估计问题,采用了属性预测器,属性值

生成式AI和AI辅助技术在写作过程中的声明

在准备本作品期间,作者使用了ChatGPT进行语法纠正。在使用此工具/服务后,作者根据需要审查和编辑了内容,并对出版物的内容承担全部责任。

未引用的浮动内容

表B.15和B.16。

CRediT作者贡献声明

Chanwoong Jeong:概念化,方法论,软件,撰写-原稿,撰写-审阅与编辑。Seokju Hwang:撰写-审阅与编辑。Yusol Oh:撰写-审阅与编辑。Kyong-Ho Lee:监督,撰写-审阅与编辑。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系,这些关系可能影响本论文中报告的工作。
Chanwoong Jeong|Seokju Hwang|Yusol Oh|Kyong-Ho Lee
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号