《Neurocomputing》:Optimizing pre-training for multi-label classification via generalized target-aware source data selection
编辑推荐:
尽管预训练模型(pre-trained models),如大型语言模型(large language models),可以在极少微调(fine-tuning)的情况下实现高性能,但用于预训练的源数据集(source datasets)通常包含不相关或冗余的数据
尽管预训练模型(pre-trained models),如大型语言模型(large language models),可以在极少微调(fine-tuning)的情况下实现高性能,但用于预训练的源数据集(source datasets)通常包含不相关或冗余的数据,这可能会降低目标任务(target tasks)的性能。基于域自适应信息增益(Domain Adaptation Information Gain, DAIG)的源数据选择方法,通过基于预先从目标数据中获得的粗略先验知识(rough prior knowledge)选择源数据进行预训练,从而提升性能。然而,DAIG的关键组件——转移矩阵(transition matrix)缺乏灵活性,且仅限于处理单标签分类任务(single-label classification tasks)。为解决这一限制,研究人员提出了广义DAIG(Generalized DAIG, GDAIG)引导的选择过程,这是一个扩展DAIG以支持多标签分类(multi-label classification)的新框架。GDAIG引入了软转移矩阵(soft transition matrix)来捕捉标签间依赖关系(inter-label dependencies),并采用二元交叉熵损失(binary cross-entropy loss)以适应多标签数据。通过利用从目标数据初始训练中获得的“粗略先验知识”,GDAIG主动选择信息丰富且与任务相关的源数据进行预训练。在医学图像和通用目标分类数据集上的实验表明,GDAIG始终优于基线方法(baseline approaches),在源域和目标域之间存在标签不匹配(部分或完全无标签重叠)的场景中尤为显著,而传统迁移学习方法在此类场景中会受到无关源标签引入噪声的影响。这些结果凸显了GDAIG通过战略性源数据选择提升预训练模型有效性,从而优化特定目标任务性能的能力。研究人员的框架超越了仅依赖预训练模型的现有方法,强调了直接利用与任务相关的源数据。此外,GDAIG为标签数据稀缺的领域(如医学图像分析)提供了实用且有效的解决方案。
**论文解读:基于广义目标感知源数据选择优化多标签分类的预训练**
**研究背景及问题**
在机器学习中,训练数据不足常导致模型泛化能力不足。传统策略如正则化、模型结构优化和数据增强部分缓解了此问题,而迁移学习与微调通过利用大规模数据集知识成为有效方法。然而,现有预训练方法通常不加筛选地使用大量源数据,其中包含与目标任务无关的数据,可能损害最终模型性能。例如,在医学图像领域,使用包含动物和车辆标签的ImageNet预训练模型可能无法充分捕获目标任务所需知识。近年来,大量公开数据集可用,使用户能自行预训练定制模型。Miyoshi等人提出的基于域自适应信息增益(DAIG)的目标感知源数据选择方法,通过从目标数据中获取粗略先验知识来选择相关源数据,改进了传统迁移学习。但DAIG仅支持单标签任务,无法处理多标签数据(如医学图像)。因此,本研究旨在扩展DAIG以支持多标签分类,优化预训练过程中的源数据选择。
**研究内容与结论**
研究人员提出了广义域自适应信息增益(GDAIG)引导的选择框架。GDAIG通过引入软转移矩阵捕捉标签间依赖关系,并采用二元交叉熵损失函数,使框架适应多标签数据。在医学图像数据集ChestX-ray14和通用目标分类数据集PASCAL VOC 2007上的实验表明,GDAIG在所有评估场景(包括部分或完全标签不匹配)中均一致优于基线方法(仅目标数据训练和标准全预训练),尤其是在标签不匹配场景中提升显著。该研究强调了通过战略性源数据选择增强预训练模型效果的重要性,并展示了GDAIG在标签数据稀缺领域(如医学图像分析)的实用价值。论文发表在《Neurocomputing》。
**主要关键技术方法**
研究人员提出GDAIG(Generalized Domain Adaptation Information Gain)引导选择过程。关键技术包括:1)构建软转移矩阵(soft transition matrix),利用目标模型输出的完整概率分布,保留标签相关性信息,替代传统硬转移矩阵;2)采用二元交叉熵损失(binary cross-entropy loss)结合sigmoid激活函数,处理多标签数据;3)基于GDAIG得分从源数据中选取最有利于目标任务的样本进行预训练,选择比例作为关键超参数。数据来源:ChestX-ray14(112,120张胸片,15个标签)和PASCAL VOC 2007(9,963张图像,20个类别)作为源和目标数据集。
**研究结果**
**4.2.1 性能比较**:在ChestX-ray14上,GDAIG在所有三个场景(目标标签是源标签子集、部分重叠、无重叠)中AUC均高于目标仅训练基线和全预训练基线。例如场景2(部分重叠)中GDAIG AUC为93.78%,高出基线2约0.78%;场景3(无重叠)中GDAIG AUC为93.59%,高出约0.62%。研究通过比较各模型在最佳epoch的AUC得出此结论。
**4.2.2 收敛分析**:通过绘制每个训练epoch的AUC曲线,发现GDAIG在训练后期(约60-70epoch后)超越全预训练基线,并保持更高且更稳定的AUC,尤其在场景2和3中,基线2的AUC随时间下降,而GDAIG稳定提升。研究通过对比收敛曲线得出此结论。
**5.1 观察所选标签**:在场景2中分析GDAIG所选源数据的标签分布,发现与目标数据重叠的标签(如“Fibrosis”)被选择最多,表明GDAIG有效优先选择与目标任务高度相关的源数据。研究通过统计所选数据标签频次得出此结论。
**5.2 单标签数据性能**:在CIFAR-100→CIFAR-10的单标签设置中,GDAIG准确率(91.46%)比DAIG(91.20%)高0.26%,表明软转移矩阵带来的改进。研究通过对比实验得出此结论。
**5.3 改变目标疾病标签**:当目标疾病改为Hernia、Emphysema和Pneumothorax时,GDAIG在所有场景中AUC仍高于基线,且训练过程中AUC稳步提升,验证了方法对不同标签的适应性。研究通过替换目标标签并重复实验得出此结论。
**6.1 额外多标签数据集评估**:在PASCAL VOC 2007上,GDAIG在三个场景中AUC均最优(场景1:91.63%,场景2:90.59%,场景3:90.91%),且性能提升在标签不匹配场景中更显著,表明GDAIG泛化到不同领域。研究通过在同一数据集上按相同场景设置实验得出此结论。
**6.2 多骨干架构评估**:使用ShuffleNetV2和DenseNet121骨干网络,GDAIG在所有场景中AUC均高于基线,尤其在场景2(部分重叠)中提升最大,表明GDAIG有效性不依赖特定网络架构。研究通过替换ResNet18为其他架构并重复实验得出此结论。
**6.3 选择比例敏感性分析**:在VOC 2007上比较25%、50%、75%选择比例,GDAIG对比例选择相对鲁棒,较小比例(25%-50%)略有更好性能。研究通过固定其他参数改变比例得出此结论。
**讨论总结与结论翻译**
**讨论总结**:GDAIG在所有场景中一致优于基线,尤其在标签不匹配场景(场景2和3)中表现突出。场景1(目标标签是源子集)中改进较小,因基线2已能利用足够相关信息;场景2(部分重叠)中GDAIG通过软转移矩阵精确建模标签依赖,有效选择相关源数据,减少噪声;场景3(无重叠)中GDAIG仍能提取相关特征。不同数据集和骨干网络上的实验证实了GDAIG的普适性。尽管GDAIG因需要额外训练模型而增加计算成本,但性能提升证明了其价值,且转移矩阵构建步骤可并行化。实际应用中,GDAIG在源目标标签组成差异大的场景(如医院私有数据与公共数据集)中尤为有用。
**研究结论**(翻译自9.1节):在本研究中,研究人员将现有DAIG框架扩展,提出名为GDAIG引导选择的新方法,支持多标签分类任务。通过引入考虑标签依赖的软转移矩阵并采用二元交叉熵损失函数,该方法能在多标签环境中实现有效的源数据选择和模型训练。实验表明,GDAIG在源域和目标域之间存在标签不匹配的场景中提供一致性能提升——这些场景中传统迁移学习方法容易受到无关源数据带来的负迁移影响。此外,研究结果强调了公开共享多样化源数据集的重要性。特别是,构建和维护大规模开放数据仓库或数据湖对于促进最优数据选择和高精度模型构建至关重要。这在医疗保健等领域(数据收集常受隐私和伦理限制)尤其相关,但也适用于标签数据难以获取的任何领域(如卫星图像或工业检测)。总体而言,所提出的GDAIG引导选择方法应对了有限目标数据和潜在过拟合的挑战,在广泛的应用场景中提供实用且高价值的解决方案。