面向无源通用域自适应的预训练初始化与记忆增强校正
《Expert Systems with Applications》:Pre-trained Initialization and Memory-Enhanced Correction for Source-Free Universal Domain Adaptation
【字体:
大
中
小
】
时间:2026年10月21日
来源:Expert Systems with Applications 9.4
编辑推荐:
• 我们提出了一种用于源无通用域适应(SF-UniDA)的类别信息初始化方法。
• 我们提出了一种新颖的跨域类别校正策略。
• 我们设计了一种流形混合策略,并结合全局对比学习。
• 实验结果表明,PRIME方法表现出色,超越了当前最先进的水平。
引言
无监督域适应(UDA)
• 我们提出了一种用于源无通用域适应(SF-UniDA)的类别信息初始化方法。
• 我们提出了一种新颖的跨域类别校正策略。
• 我们设计了一种流形混合策略,并结合全局对比学习。
• 实验结果表明,PRIME方法表现出色,超越了当前最先进的水平。
引言
无监督域适应(UDA)通过减少跨域分布偏移,将知识从有标签的源域迁移到无标签的目标域。尽管取得了令人瞩目的成果,但大多数UDA方法(Li, Zhang, Wang, Hou, Tu, Zhang, 2024; Zhang, Kang, Lü, 2024)假设源域和目标域之间的标签空间相同,这在涉及多样化目标分布且标签空间部分重叠的实际场景中是不现实的。为了解决标签偏移问题,研究人员提出了一些特定设置,如开放集域适应(OSDA)、部分域适应(PDA)和开放部分域适应(OPDA)(Huang, Ren, 2024; Luo, Ren, 2023; Rombach, Michau, Fink, 2023),但这些方法依赖于源域和目标域标签空间之间关系的先验知识,而这类知识在实际应用中通常未知。通用域适应(UniDA)通过无需此类先验知识即可处理标签偏移,将目标样本分配给源类别或标记为未知类,从而克服了这一问题。然而,大多数UniDA方法(Chen, Du, Lou, He, Bai, Deng, 2022a; Lu, Shen, Ma, Xie, Lai, 2024)在适应过程中需要同时访问源域和目标域数据,这往往因隐私或带宽限制而不可行。虽然源无域适应(SFDA)的研究(Liang, Hu, Feng, 2020; Zhang, Shen, Foo, 2023)消除了对源数据的依赖,但主要解决的是闭集场景。因此,本文聚焦于更具挑战性且更实际的应用场景——源无通用域适应(SF-UniDA),该方法在不了解标签空间间关系、且不访问源域数据的前提下,以统一的方式处理各种标签偏移。
现有的SF-UniDA方法如GLC(Qu等,2023)和LEAD(Qu等,2024)主要通过聚类策略和特征分解取得了令人瞩目的成果。然而,这些方法依赖源域训练模型来为目标域初始化类别信息。由于源域训练模型往往过拟合源域,此类初始化本质上是不准确的。不精确的类别初始化会引发累积偏差,进一步导致持续性的负迁移,这一问题在现有研究中仍未得到解决。图1(a)在OPDA设置下说明了这一问题,类似的问题也出现在OSDA和PDA中。此外,我们观察到当前方法经常遇到类别预测混淆的情况。与闭集域适应中混淆发生在同一标签空间内不同,UniDA通常面临源域私有类别与未知目标类别之间的跨域混淆。图1(b)展示了一种代表性SF-UniDA方法获得的预测结果,可以观察到许多未知类别样本被错误分类为源域私有类别,严重影响了性能。为了解决类别混淆问题,现有的类别校正方法(Zhi, Zhuo, & Wang, 2024)仅适用于闭集场景,导致UniDA中的混淆校正尚未得到探索。
为了解决上述挑战,我们提出了一种预训练初始化与记忆增强校正(PRIME)方法。与之前直接采用源域训练模型的UniDA方法不同,PRIME利用具有强泛化能力的ImageNet预训练模型来提高目标域类别信息的初始化精度。这减少了有偏源域知识的负面影响,并为适应提供了更稳定的基础。为了解决UniDA中的跨域类别混淆问题,我们提出了一种基于类别不确定性的创新记忆增强类别校正策略。该策略消除了对跨域标签空间关系先验知识的依赖,能够以统一的方式处理各种类别偏移。为了进一步提高对未知目标类别的识别能力,我们提出了一种新颖的仅依赖目标域的流形混合方案。与现有UniDA方法中依赖源域特征的流形混合策略不同,我们的方法仅基于目标域特征构建辅助样本,使其非常适合源无设置。此外,我们还提出了全局对比学习,通过挖掘特征空间的内在结构信息来优化伪标签质量,从而增强特征表示的判别能力。
我们的主要贡献如下:
• 我们为SF-UniDA提出了一种基于预训练模型的类别信息初始化方法,缓解了由有偏源域知识引起的目标域类别初始化不准确问题。
• 我们提出了一种新颖的跨域类别校正策略,该策略融入了记忆增强的类别不确定性信息,能够以统一的方式处理各种标签偏移场景下的类别混淆,而无需依赖跨域标签空间关系的先验知识。
• 我们设计了一种仅需目标域即可优化决策空间的流形混合策略,并结合全局对比学习以增强所学习特征表示的判别能力。
• 在UniDA场景下的多个基准数据集上的实验结果证明了PRIME的优越性,其性能与当前最先进的方法相比具有竞争力。特别是在OPDA设置下,PRIME在Office-Home基准数据集上达到了82.4%的H-score,分别比DADA和EGRS高出5.9%和3.8%。
章节片段
无监督域适应
无监督域适应(UDA)将知识从有标签的源域迁移到无标签的目标域。早期方法(Long, Cao, Wang, Jordan, 2015; Peng, Bai, Xia, Huang, Saenko, Wang, 2019)通过最小化域间差异进行特征对齐。受生成对抗网络(GAN)启发,对抗性方法(Ganin, Lempitsky, 2015; Long, Cao, Wang, Jordan, 2018; Tzeng, Hoffman, Saenko, Darrell, 2017)使用域判别器学习域不变特征,以增强……
预备知识
本研究聚焦于源无通用域适应(SF-UniDA)。设Ds={(xs_i, ys_i)},i=1,...,Ns,表示源域中的Ns个有标签数据,其中xs_i∈Xs,ys_i∈Ys。类似地,Dt={xt_i},i=1,...,Nt,表示Nt个无标签目标域数据,其中xt_i∈Xt,且Xs≠Xt。目标标签集记为Yt。在源无设置中,源域数据仅在源域训练阶段使用,之后释放训练好的源模型用于适应。在适应阶段,使用两个冻结的源侧模型和无标签目标域数据。
数据集
为评估我们的方法PRIME的有效性和通用性,我们在三个基准数据集上进行了实验,包括Office-31(Saenko, Kulis, Fritz, & Darrell, 2010)、Office-Home(Venkateswara, Eusebio, Chakraborty, & Panchanathan, 2017)和VisDA(Peng等,2017)。不同场景下各基准数据集的详细类别划分见表1。
• Office-31是一个常用的域适应数据集,包含三个域:Amazon(A)、DSLR(D)和Webcam(W)。它……
结论
在本研究中,我们发现现有的SF-UniDA方法存在初始化不准确和跨域类别混淆的问题。为解决这些问题,我们提出了一种名为预训练模型初始化与记忆增强校正(PRIME)的新方法,该方法利用预训练模型更好地估计目标域类别,并结合记忆增强的类别不确定性进行统一的类别混淆校正。与依赖源数据先验的UniDA方法不同,我们进一步提出了一种……
CRediT作者贡献声明
Jianhui Yuan(袁建辉):概念化、方法论、软件、形式分析、验证、论文撰写——初稿。
Shuai Lü(吕帅):概念化、论文撰写——审阅与编辑、监督、资金获取。
Xinyu Zhang(张心宇):方法论、验证、论文撰写——审阅与编辑。
Shaojie Zhang(张少杰):验证、论文撰写——审阅与编辑。
Wensi Fang(房文思):验证、论文撰写——审阅与编辑。
Jingyao Li(李景尧):概念化、论文撰写——审阅与编辑、监督。
利益冲突声明
作者声明,他们没有已知的可能影响本文所述工作的相互竞争的经济利益或个人关系。
Jianhui Yuan | Shuai Lü | Xinyu Zhang | Shaojie Zhang | Wensi Fang | Jingyao Li