利用带掩码的最优传输正则化技术实现持续命名实体识别的抗遗忘功能
《Neurocomputing》:Towards anti-forgetting with masked optimal transport regularization for continual named entity recognition
【字体:
大
中
小
】
时间:2026年03月29日
来源:Neurocomputing 6.5
编辑推荐:
本文提出Masked Optimal Transport Regularization(MOTR)解决持续命名实体识别中的灾难性遗忘问题,通过特征-标签联合分布构建最优传输成本函数,设计实体对齐与分离的双机制,动态平衡知识保留与新增实体识别,在三个基准数据集上验证其有效性。
马志远|顾淼淼|王楠|曹嘉琳
上海科技大学,中国上海中工路580号,200093
摘要
持续命名实体识别(CNER)旨在逐步适应新出现的实体,同时保留先前学到的实体知识。该任务中存在一个常见且主要的问题,称为灾难性遗忘,它源于两个固有问题:1)向后不兼容性,即在先前任务中学习到的实体缺乏注释,因此在新数据中被标记为“O”(非实体);2)“O”标签的语义偏移,即在旧模型下正确分类为非实体的标记在新模型下可能变成新的实体类型。尽管现有方法在一定程度上成功缓解了灾难性遗忘问题,但它们主要通过知识蒸馏来解决这个问题,忽略了一个关键机会,即利用旧模型和新模型之间的特征空间分布差异。为了弥合这一差距,本文提出了掩码最优传输正则化(MOTR)方法,该方法可以测量这些差异,从而提高整体性能。具体来说,MOTR通过特征和标签的联合分布设计了一个成本函数,然后采用双OT机制,包括实体解对齐和对齐子任务。前者最大化旧“O”标签与新实体之间的全局概率距离,以提高对新类别的区分能力;后者最小化一致旧标签/新标签之间的全局概率距离,以巩固先前的知识。通过在三个公开可用的基准测试上进行实验,结果表明MOTR的性能具有竞争力,在Mi-F1指标上提高了2.38%,在Ma-F1指标上提高了4.66%,优于其他基线方法。值得注意的是,MOTR作为一个插件模块,可以与多种CNER框架兼容,以进一步提高性能,从而拓宽了CNER的方法论范围。
引言
命名实体识别(NER)是自然语言处理(NLP)研究中的一个基本组成部分,对许多应用(例如知识图谱和机器翻译)都具有重要意义[1]、[2]、[3]。随着深度学习的快速发展,神经网络方法已成为NER领域的主流[4]、[5]。传统的NER范式采用完全监督训练,要求训练数据中包含所有预定义的实体类别。然而,在实际应用中,实体定义因领域而异,并且新的实体类型在操作场景中动态出现。以电子健康记录为例,“HER2阳性”这样的短语最初在病理报告中被视为非实体描述性文本,后来被定义为“生物标志物状态”的一个关键独立实体(一个全新的类型)。这些特点产生了持续识别新实体的需求——这正是持续命名实体识别(CNER)所要解决的问题,它专注于在保留现有知识的同时逐步学习新的实体类型[6]、[7]、[8]。
为了更好地解释这一挑战,图1展示了CNER中的逐步更新场景。与传统的NER不同,每个训练步骤只标注新实体(例如,在时间t为[misc]),并将其他标记为非实体([O])。这引入了两个关键挑战:1)向后不兼容性,不一致的注释导致监督数据噪声增加,阻碍了更新并降低了先前实体类型的识别能力;2)类别定义的语义漂移,[O]标记现在包括之前未见的类型(如[per]),使得标签边界变得混乱。这些挑战共同导致了灾难性遗忘现象,即学习新信息会损害模型回忆先前学习到的知识的能力。
目前,研究人员采用两种方法来解决CNER问题。大多数方法依赖于知识蒸馏(KD)来处理参数权重信息[6]、[7]、[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]。通常,会在某个层或组件的输出上构建蒸馏损失。例如,张等人[6]使用池化特征蒸馏来保留注意力权重不同维度上的语言知识。尽管基于KD的方法在CNER中表现出竞争力,但它们无法区分改进是由于新实体学习还是旧实体保留。作为另一种方法,一些研究人员专注于记忆一小部分数据,用于维护旧知识。这些方法也称为基于复述的方法,侧重于测量和采样最具信息量的句子。虽然这些方法通常比基于KD的方法表现更好,但随着CNER任务的持续进行,记忆量不断增长,限制了其在实际应用中的使用。此外,由于灾难性遗忘,最具信息量的句子在模型更新后可能会变得不那么重要。
与此同时,最优传输(OT)作为一种用于分析质量或概率分布变换的数学框架,在包括语音识别[16]、[17]、图像分类[18]、[19]和文本挖掘[20]、[21]在内的多种任务中已被证明是有效的。然而,这些技术在NER领域仍然没有得到充分探索,更不用说CNER了。截至本文撰写时,只有有限的研究[22]、[23]将OT应用于CNER。关键的是,这些应用主要集中在静态场景上,如领域适应或少样本学习,这与我们动态的CNER设置根本不同。这一差距凸显了研究OT在解决CNER独特挑战方面的潜力。
基于上述分析,我们提出了掩码最优传输正则化(MOTR),这是一个旨在缓解CNER中灾难性遗忘的插件模块。与主要在权重级别上操作的现有基于KD的方法不同,MOTR直接量化并调节旧模型和新模型之间的特征空间分布差异。本质上,MOTR将CNER重新表述为一个双重最优传输问题,即它对一致预测的标记进行对齐以保留先前的知识,同时将旧的非实体标记与新实体标记分离以提高区分能力。一种自适应加权机制动态平衡了这两个目标。作为即插即用的模块,MOTR可以无缝集成到任何基于KD的CNER框架中。在三个基准测试上的广泛实验表明,MOTR在Macro F1指标上相对于强大的基线方法实现了高达
的提升。总结来说,主要贡献如下:
•本研究提出了一个基于OT的CNER插件模块,利用特征-标签成本函数来测量分布距离。这是OT理论在CNER中的首次应用,建立了一个新的研究范式。
•它引入了双重OT过程,包括一致预测的跨步骤标签对齐,以及新实体与旧非实体之间的差异最大化。进一步包括了一个动态加权机制来平衡这些过程。
•全面的实验展示了最先进的性能,同时为持续学习场景提供了有效的抗遗忘解决方案。
问题定义
如先前研究[6]所述,CNER专注于NER模型的增量在线学习。在每个步骤中,模型逐步学习新的NER标签。最初,一个基础模型在包含初始标签的上进行训练,其中表示输入序列,表示相应的注释。在后续步骤中,训练数据只对新实体进行标注,所有未标注的实体(之前的和未来的类型)默认为非实体类别。这一特性从根本上区分了
相关工作
CNER方法主要分为两类范式:基于KD的方法和基于复述的方法。基于KD的方法通过保留信息权重来缓解灾难性遗忘,而基于复述的方法通过记忆数据或原型来维护实体表示。
方法
与现有的基于KD的方法不同,MOTR通过 align 旧模型和新模型之间的特征分布来解决向后不兼容性和语义偏移问题。此外,MOTR作为现有基于KD方法的补充模块。为了提供MOTR的具体实现,我们选择了一个代表性的基于KD的CNER方法CPFD [6]作为骨干。CPFD是一个简单有效的框架,它依赖于KD和必要的优化技巧,没有过多的组件。
实验设置
为了全面评估MOTR并便于与现有的CNER方法进行公平比较,我们采用了以下实验设置:
数据集。我们在三个广泛使用的基准数据集上评估MOTR,分别是CoNLL2003 [32]、I2B2 [33]和OntoNotes5 [34]。使用[6]中的采样算法对数据进行预处理,并将它们分割成不相交的部分。
实验设置。我们遵循[6]中的相同CNER设置。对于CoNLL2003,我们使用“FG-1-PG-1”和“FG-2-PG-1”设置。
局限性
MOTR的主要贡献是一种新颖的OT机制,它可以缓解CNER中的灾难性遗忘。这项工作是该领域应用OT的开创性和关键的第一步。虽然我们的工作提供了大量的实证证据,并提供了完全开源的代码以便复制,但OT如何缓解基于KD方法中的遗忘的理论基础仍是一个有待探索的领域。然而,在小型数据集上,结合MOTR所带来的改进效果较为有限。
结论
本研究建立了一个解决CNER中灾难性遗忘的新框架。我们确定了两个原因:向后不兼容性(旧实体表示与新实体表示之间的冲突)和语义偏移(标签含义在不同领域之间的漂移)。为了缓解这些问题,我们提出了基于OT理论的模块化CNER插件MOTR。在MOTR中,CNER遵循一个简单的知识蒸馏范式,通过解决双重OT问题来提高抗遗忘能力。具体来说,通过最大化差异
CRediT作者贡献声明
马志远:撰写 – 审稿与编辑,撰写 – 原始草稿,监督,软件,方法论,资金获取,形式分析,数据整理,概念化。顾淼淼:撰写 – 审稿与编辑,可视化,验证,软件,形式分析,数据整理。王楠:撰写 – 审稿与编辑,调查,概念化。曹嘉琳:验证,软件,形式分析,数据整理。
利益冲突声明
作者声明以下可能的财务利益/个人关系,这些可能被视为潜在的利益冲突:
马志远报告称获得了下一代互联网数据处理技术国家地方联合工程实验室的财务支持。如果还有其他作者,他们声明没有已知的财务利益或个人关系可能影响本文报告的工作。
致谢
本项工作得到了下一代互联网数据处理技术国家地方联合工程实验室的资助,项目编号为ZYGX2025K00802。作者还要感谢匿名审稿人的宝贵意见和有益建议。
马志远于2009年在南京大学获得计算机科学学士学位,2019年在中国电子科技大学获得计算机架构博士学位。2019年至2020年间,他在东华科技大学担任博士后。目前,他是上海科技大学的助理教授。他的研究兴趣包括自然语言处理中的信息提取、神经网络和增量
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号