深度学习在模式识别和机器学习方面取得了显著进展。然而,监督学习在现实世界场景中面临重大挑战。首先,监督学习需要大量的标记训练数据,而这通常由于高昂的注释成本而无法获得。其次,训练数据和测试数据之间的分布偏移严重影响了训练有素模型的泛化性能。域适应(DA)(Zhuang等人,2020年)被开发出来,用于将具有足够标记数据的源域的知识转移到标记数据很少或没有标记数据的目标域,从而实现有效学习。近年来,已经开发了许多DA方法,并成功应用于各种应用中。
域适应通常分为两类:同构域适应(HoDA)和异构域适应(HeDA)(Zhang & Gao,2022年)。大多数现有的DA方法关注同构设置,其中源域和目标域具有相同的特征空间,但数据分布不同。然而,现实世界的应用通常涉及异构场景,其中源数据和目标数据存在于不同的特征空间中。例如,源数据和目标数据可能在模态上不同,如图像和文本。此外,新闻文章可能用不同的语言编写,例如法语和西班牙语。对于文本分类任务,HeDA可以利用法语文章(源域)中的知识来提高西班牙语文章(目标域)的分类性能。因此,异构域适应是一个更现实且更具挑战性的设置,近年来受到了相当多的关注。在HeDA方法中,通常使用半监督设置来连接两个异构域,在训练期间有少量标记的目标数据可用。
大多数现有的HeDA方法假设所有标记数据都来自单一的源域。然而,在实践中,标记数据可能来自具有不同特征分布的多个源域。例如,数据保护法规(如欧洲的通用数据保护条例(GDPR)规定,组织在没有明确用户同意的情况下不得交换个人信息。一个有效的解决方案是使用深度模型提取的特征来替换协作学习任务中的原始数据,从而保护隐私。然而,这些特征通常表现出异质性,因为组织使用不同的神经网络来提取特征。在这种情况下,源数据来自多个异构域,构成了多源HeDA问题(MHeDA)。与从单一异构源域转移知识相比,利用多个异构源域可以在数据层面增强可用信息,从而改善目标学习任务。
到目前为止,MHeDA问题尚未得到广泛研究;它仍然是DA领域的一个具有挑战性的课题。只有少数方法被提出来解决MHeDA问题。其中大多数方法旨在通过最小化它们的分布差异来学习多个特征变换,将目标和多个源映射到域不变的特征空间。例如,多图和低秩嵌入(MGLE)为多个域构建多个图,并使用最大均值差异(MMD)来衡量域差异(Wu & Ng,2022年)。然而,MGLE学习多个线性映射矩阵将原始数据转换为潜在的共同空间,这在最小化域差异方面的能力有限。条件加权对抗网络(CWAN)通过使用对抗性域适应和带线性核的类别条件MMD来对齐跨域的边际和条件分布(Yao, Li, Zhang, & Ye,2021年)。然而,当使用对抗性域适应来最小化跨域的边际分布差异时,特征的可区分性会降低(Dan, Liu, Xie, Yu, Xie, Li, Dong, 2024, Lin, Tsai, Lin, Yu, Liu, 2024)。因此,类别的区分结构在共同特征空间中无法有效保留。当将学习到的模型应用于未标记的目标数据时,高数据密度区域倾向于分布在决策边界附近;这些模糊区域中的样本容易被错误分类(Cui等人,2020年)。此外,最近关于HeDA的研究发现,当标记目标样本的数量较少时存在潜在的选择偏差(Fang, Lu, Liu, & Zhang,2022年)。由于MHeDA关注半监督设置,以前的方法在优化过程中没有考虑目标域内的分布对齐。这意味着标记和未标记目标数据之间的分布差异可能很大,而在标记目标数据上训练的分类器往往无法很好地泛化到未标记的目标数据。
为了解决上述限制,我们提出了一种新颖的双对抗特征对齐(DAFA)方法,用于MHeDA。DAFA与以往MHeDA方法的主要区别如图1所示。在DAFA中,我们为每个域构建了一个非线性特征提取器,并使用L2规范化将提取的特征投影到球形空间中,然后进行域级和类别级的特征对齐,以学习域不变的特征表示。在域级特征对齐中,我们采用Wasserstein距离作为分布度量来对齐目标域和多个源之间的边际分布。具体来说,在域级特征对齐中,我们为每个源域构建判别器来估计每对源域和目标域之间的经验Wasserstein距离。DAFA中的特征提取器和判别器以对抗的方式交替优化。由于这一阶段仅实现了粗粒度匹配,类别的区分结构仍然不完善,我们进行了类别级特征对齐,该对齐在最小化目标域内差异的同时对齐条件分布,以增强域共享共同空间中的区分结构。
为了进行细粒度分布对齐,我们设计了一个多域共享余弦分类器,它通过计算输入特征和权重矩阵之间的余弦相似性来预测特征类别。权重矩阵中的每个权重向量可以被视为其特征空间中相应类别的类别原型。首先通过最小化未标记目标数据上的预测不确定性来更新分类器,使类别原型向目标域移动,同时通过最大化预测不确定性来更新目标特征提取器,以聚类目标数据,减少目标域内的分布差异,并增强目标特征的区分能力。这种极小化-最大化游戏也是通过对抗学习实现的。此外,为了克服优化过程中的预测多样性减少问题,我们在训练期间同时最大化未标记目标数据的预测多样性。本工作的主要贡献包括:
•我们提出了DAFA,一种通过同时进行域级和类别级对抗学习来解决MHeDA的双对抗特征对齐框架。与以往的工作相比,DAFA不仅对齐了目标域和多个源之间的域间差异,还对齐了目标域内的域内差异,从而有助于学习更具区分性的特征。
•我们构建了判别器来估计每对源域和目标域之间的经验Wasserstein距离,从而在训练期间实现有效优化。
•我们引入了一种新颖的类别级对齐策略,通过对抗性地应用极小化-最大化预测不确定性来生成目标域的区分结构。
•在四个真实世界数据集上的广泛实验表明,DAFA在多源异构迁移任务中的优越性。