基于双重对抗特征对齐的多源异构领域自适应方法

《Expert Systems with Applications》:Multi-source Heterogeneous Domain Adaptation with Dual-adversarial Feature Alignment

【字体: 大 中 小 】 时间:2026年01月02日 来源:Expert Systems with Applications 7.5

编辑推荐:

  针对多源异构域适应问题,提出双对抗特征对齐框架DAFA,通过域级对抗最小化目标域与多源域的分布差异,类级对抗优化目标域内分布一致性并增强可分性。实验表明DAFA在跨模态和跨语言任务中显著优于现有方法。

  
张云|宋磊|孙海天
广东海洋大学数学与计算机学院,湛江,524088,中国

摘要

异构域适应(HeDA)旨在利用源数据中的知识来学习一个鲁棒的分类器,以适应只有少量标记目标样本的异构目标域。现实世界中的应用经常涉及源数据来自多个异构源域的场景,这被称为多源异构域适应(MHeDA)。许多关于MHeDA的研究集中在最小化每对源域和目标域之间的分布差异上,以提取域不变的特征表示。然而,由于选择偏差导致的标记和未标记目标数据之间的差异被忽视了,从而导致迁移性能不令人满意。此外,目标表示的区分能力没有得到充分加强,这限制了训练模型的泛化能力。在本文中,我们提出了一个双对抗特征对齐(DAFA)框架,用于MHeDA,该框架同时进行域级和类别级的对抗学习以应对这些挑战。具体来说,DAFA通过对抗学习来对齐目标域和多个源域的域级分布。通过交替最小化和最大化目标域的预测不确定性来实现类别级分布适应。与以往的工作相比,DAFA不仅最小化了目标域和多个源域之间的分布差异,还减少了目标域内的差异。在各种文本到文本、图像到图像和图像到文本的异构迁移任务上的实验表明,所提出的DAFA显著优于现有的MHeDA方法。

引言

深度学习在模式识别和机器学习方面取得了显著进展。然而,监督学习在现实世界场景中面临重大挑战。首先,监督学习需要大量的标记训练数据,而这通常由于高昂的注释成本而无法获得。其次,训练数据和测试数据之间的分布偏移严重影响了训练有素模型的泛化性能。域适应(DA)(Zhuang等人,2020年)被开发出来,用于将具有足够标记数据的源域的知识转移到标记数据很少或没有标记数据的目标域,从而实现有效学习。近年来,已经开发了许多DA方法,并成功应用于各种应用中。
域适应通常分为两类:同构域适应(HoDA)和异构域适应(HeDA)(Zhang & Gao,2022年)。大多数现有的DA方法关注同构设置,其中源域和目标域具有相同的特征空间,但数据分布不同。然而,现实世界的应用通常涉及异构场景,其中源数据和目标数据存在于不同的特征空间中。例如,源数据和目标数据可能在模态上不同,如图像和文本。此外,新闻文章可能用不同的语言编写,例如法语和西班牙语。对于文本分类任务,HeDA可以利用法语文章(源域)中的知识来提高西班牙语文章(目标域)的分类性能。因此,异构域适应是一个更现实且更具挑战性的设置,近年来受到了相当多的关注。在HeDA方法中,通常使用半监督设置来连接两个异构域,在训练期间有少量标记的目标数据可用。
大多数现有的HeDA方法假设所有标记数据都来自单一的源域。然而,在实践中,标记数据可能来自具有不同特征分布的多个源域。例如,数据保护法规(如欧洲的通用数据保护条例(GDPR)规定,组织在没有明确用户同意的情况下不得交换个人信息。一个有效的解决方案是使用深度模型提取的特征来替换协作学习任务中的原始数据,从而保护隐私。然而,这些特征通常表现出异质性,因为组织使用不同的神经网络来提取特征。在这种情况下,源数据来自多个异构域,构成了多源HeDA问题(MHeDA)。与从单一异构源域转移知识相比,利用多个异构源域可以在数据层面增强可用信息,从而改善目标学习任务。
到目前为止,MHeDA问题尚未得到广泛研究;它仍然是DA领域的一个具有挑战性的课题。只有少数方法被提出来解决MHeDA问题。其中大多数方法旨在通过最小化它们的分布差异来学习多个特征变换,将目标和多个源映射到域不变的特征空间。例如,多图和低秩嵌入(MGLE)为多个域构建多个图,并使用最大均值差异(MMD)来衡量域差异(Wu & Ng,2022年)。然而,MGLE学习多个线性映射矩阵将原始数据转换为潜在的共同空间,这在最小化域差异方面的能力有限。条件加权对抗网络(CWAN)通过使用对抗性域适应和带线性核的类别条件MMD来对齐跨域的边际和条件分布(Yao, Li, Zhang, & Ye,2021年)。然而,当使用对抗性域适应来最小化跨域的边际分布差异时,特征的可区分性会降低(Dan, Liu, Xie, Yu, Xie, Li, Dong, 2024, Lin, Tsai, Lin, Yu, Liu, 2024)。因此,类别的区分结构在共同特征空间中无法有效保留。当将学习到的模型应用于未标记的目标数据时,高数据密度区域倾向于分布在决策边界附近;这些模糊区域中的样本容易被错误分类(Cui等人,2020年)。此外,最近关于HeDA的研究发现,当标记目标样本的数量较少时存在潜在的选择偏差(Fang, Lu, Liu, & Zhang,2022年)。由于MHeDA关注半监督设置,以前的方法在优化过程中没有考虑目标域内的分布对齐。这意味着标记和未标记目标数据之间的分布差异可能很大,而在标记目标数据上训练的分类器往往无法很好地泛化到未标记的目标数据。
为了解决上述限制,我们提出了一种新颖的双对抗特征对齐(DAFA)方法,用于MHeDA。DAFA与以往MHeDA方法的主要区别如图1所示。在DAFA中,我们为每个域构建了一个非线性特征提取器,并使用L2规范化将提取的特征投影到球形空间中,然后进行域级和类别级的特征对齐,以学习域不变的特征表示。在域级特征对齐中,我们采用Wasserstein距离作为分布度量来对齐目标域和多个源之间的边际分布。具体来说,在域级特征对齐中,我们为每个源域构建判别器来估计每对源域和目标域之间的经验Wasserstein距离。DAFA中的特征提取器和判别器以对抗的方式交替优化。由于这一阶段仅实现了粗粒度匹配,类别的区分结构仍然不完善,我们进行了类别级特征对齐,该对齐在最小化目标域内差异的同时对齐条件分布,以增强域共享共同空间中的区分结构。
为了进行细粒度分布对齐,我们设计了一个多域共享余弦分类器,它通过计算输入特征和权重矩阵之间的余弦相似性来预测特征类别。权重矩阵中的每个权重向量可以被视为其特征空间中相应类别的类别原型。首先通过最小化未标记目标数据上的预测不确定性来更新分类器,使类别原型向目标域移动,同时通过最大化预测不确定性来更新目标特征提取器,以聚类目标数据,减少目标域内的分布差异,并增强目标特征的区分能力。这种极小化-最大化游戏也是通过对抗学习实现的。此外,为了克服优化过程中的预测多样性减少问题,我们在训练期间同时最大化未标记目标数据的预测多样性。本工作的主要贡献包括:
  • •
    我们提出了DAFA,一种通过同时进行域级和类别级对抗学习来解决MHeDA的双对抗特征对齐框架。与以往的工作相比,DAFA不仅对齐了目标域和多个源之间的域间差异,还对齐了目标域内的域内差异,从而有助于学习更具区分性的特征。
  • •
    我们构建了判别器来估计每对源域和目标域之间的经验Wasserstein距离,从而在训练期间实现有效优化。
  • •
    我们引入了一种新颖的类别级对齐策略,通过对抗性地应用极小化-最大化预测不确定性来生成目标域的区分结构。
  • •
    在四个真实世界数据集上的广泛实验表明,DAFA在多源异构迁移任务中的优越性。
  • 相关工作

    相关工作

    在本节中,我们回顾了一些与我们的工作相关的前期工作。首先,我们简要回顾了多源异构域适应方法。接下来,我们介绍了一些考虑增强特征表示的可区分性以提高分类器性能的域适应方法。最后,我们对DAFA和最先进的MHeDA方法之间的相似性和差异进行了比较分析。

    方法论

    在本节中,我们将从问题定义开始,然后介绍所提出的DAFA。因此,我们介绍了该框架的训练过程。

    实验

    在本节中,我们进行了全面的实验,以验证DAFA在几个常用的MHeDA基准数据集上的有效性。第4.1节详细介绍了实验设置,包括基准数据集、迁移任务和基线方法。第4.2节指定了DAFA的实现细节。第4.3节对DAFA与最先进方法进行了实证评估。第4.4节提供了DAFA的详细分析。

    结论

    在本文中,我们提出了一种称为DAFA的新方法,用于解决多源异构域适应(MHeDA)的挑战。DAFA包括两个核心组成部分:域级对抗学习和类别级对抗学习。域级对抗学习通过最小化Wasserstein距离来对齐异构目标域和多个源域的边际分布,从而学习域不变的特征表示。

    CRediT作者贡献声明

    张云:撰写——原始草稿,撰写——审阅与编辑,概念化,调查,方法论,软件,验证。宋磊:数据整理,软件,可视化,项目管理。孙海天:调查,资源,验证。

    利益冲突声明

    作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。
    张云分别于2012年和2015年在中国哈尔滨科技大学计算机科学与技术学院获得了计算机科学与技术学士学位和软件工程硕士学位,并于2023年在中国哈尔滨工程大学计算机科学与技术学院获得了计算机科学与技术博士学位。他目前是数学与计算机学院的讲师,
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号