CFG-DiffNet:一种基于规范人脸特征的扩散特征生成方法,用于在恶劣条件下实现鲁棒的面部识别

《Expert Systems with Applications》:CFG-DiffNet: Canonical-Face-Guided Diffusion Feature Generation for Robust Facial Recognition under Adverse Conditions

【字体: 大 中 小 】 时间:2025年12月31日 来源:Expert Systems with Applications 7.5

编辑推荐:

  面部识别系统在遮挡、极端姿势、表情变化和光照不均下性能下降,本文提出Canonical-Face-Guided Diffusion Network(CFG-DiffNet),通过条件扩散生成受标准化面部特征(中性表情、正面姿势、均匀光照)指导的鲁棒特征,结合可变噪声增强提升跨域泛化能力,实验表明其显著优于现有方法,在人类和牲畜数据集上均验证了强鲁棒性和身份一致性。

  
陈照黄|施晓虎|张硕伦|赵玉敏|刘海波|马德银
吉林大学计算机科学与技术学院,前进街2699号,长春,130012,吉林,中国

摘要

遮挡、极端姿态、面部表情变化和不均匀的照明经常降低面部识别系统的性能,导致识别准确率显著下降。为了解决这个问题,我们提出了一个新颖的框架:规范面部引导的扩散网络(Canonical-Face–Guided Diffusion Network,简称CFG-DiffNet)。我们的方法在规则化的参考条件下通过扩散过程生成特征。具体来说,它利用规范面部特征(例如中性表情和正面姿态)来指导具有区分性的表示的合成,从而显著提高了部分可见面部的识别性能。此外,该模型采用变分感知扩散机制来捕捉类内变化,同时保持身份一致性。它还引入了条件自适应噪声注入,以提高对各种现实世界扰动的鲁棒性。为了验证所提出方法的有效性,我们在公共面部数据集和精确牲畜面部数据集上进行了实验。结果表明,CFG-DiffNet在识别性能方面显著优于现有方法。这一框架为面部识别引入了一种新的特征生成范式,特别适用于监控系统和精准畜牧业中的面部识别应用,其实验结果证明了其在人类和牲畜数据集上的强大鲁棒性和跨领域泛化能力。我们的数据和代码可以在以下链接获取:https://github.com/B532Orange/SLF 和 https://github.com/B532Orange/CFG-DiffNet。

引言

尽管在受控的实验室环境中面部识别系统能够达到近乎完美的性能,但在实际应用中往往会出现显著的性能下降。这些环境带来了多种挑战,包括部分遮挡(例如口罩、眼镜或刘海)、极端头部姿态(较大的偏航或俯仰角度)、多样的面部表情(从微笑到愤怒)以及复杂的照明条件(例如强背光或低光照环境),所有这些都会对可靠的面部特征提取和准确匹配产生不利影响。
为了解决这些挑战,学术界探索了各种技术方法。基于生成对抗网络(Goodfellow等人,2014年)的方法(Marriott, Romdhani, Chen, 2021年;Peng, Li, Chen, Xu, Xie, Sun, Zhang, 2024年;Xin, Wei, Wang, Li, Gao, 2024年)试图修复被遮挡的区域,但这些方法经常面临训练不稳定的问题,即生成器和判别器在对抗学习过程中无法保持平衡。虽然注意力机制专注于自动识别最具区分性的面部区域,但这些主流方法存在明显局限性:GAN生成的面部特征由于生成器-判别器不平衡(Arjovsky & Bottou, 2017年)而引入了身份扭曲,当判别器过于强大或过于弱时,会产生视觉上合理但身份不一致的结果。此外,这些方法难以泛化到训练数据中未出现的遮挡类型或干扰模式,这一问题因GAN固有的训练不稳定性而加剧,阻碍了鲁棒特征的学习。
近年来,基于扩散的模型(Chen, Cui, Zhao, Nie, 2025年;Ho, Jain, Abbeel, 2020年;Rombach, Blattmann, Lorenz, Esser, Ommer, 2022年;Zhao, Hu, Yang, Dou, Wu, 2025年)作为生成式AI中的强大替代方案出现,在几个关键方面超越了传统的GAN。与GAN相比,扩散模型提供了更稳定的训练动态、更高质量的生成结果和更广泛的数据分布覆盖。值得注意的是,扩散模型中的渐进式去噪机制与人类视觉系统处理模糊信息时的认知过程有惊人的相似之处。然而,这一强大工具在面部识别中的潜力尚未得到充分探索,特别是在有效利用标准面部属性方面——这是一个关键但研究不足的方面。标准面部属性(包括中性表情、正面姿态和均匀照明的面部特征)包含了最基本和最稳定的身份信息。利用这些先验知识可以显著提高面部识别系统在复杂环境中的鲁棒性。
为了克服这些挑战,我们提出了规范面部引导的扩散网络(CFG-DiffNet),如图1所示。与经常遭受训练不稳定、身份不一致和对未见干扰泛化能力差的传统生成对抗方法不同,CFG-DiffNet利用扩散模型的优势,确保特征生成更加稳定和可控。具体来说,我们的方法在渐进式去噪过程中整合了规范面部属性——如中性表情、正面姿态和均匀照明作为条件指导。这种设计有效避免了基于GAN的框架中存在的生成器-判别器不平衡问题,即使在严重遮挡或姿态变化的情况下也能生成高质量、身份一致的面部特征。此外,我们引入了变异性驱动的噪声增强策略,以提高模型对未见扰动的鲁棒性,进一步增强了其在不同环境中的泛化能力。
总结来说,本研究的主要贡献如下:
  • •
    条件扩散过程:CFG-DiffNet将规范面部属性作为条件指导,实现对生成过程的精确控制,以确保身份保持。
  • •
    规范面部参考指导:在训练过程中,规范面部图像作为参考模板,指导网络即使在处理极端姿态或表情时也能保留关键的身份特征。
  • •
    变异性驱动的噪声增强:一种创新的噪声增强策略,提高了模型对未见干扰类型的泛化能力。
本文的其余部分组织如下:第2节介绍相关工作,第3节概述方法论,第4节介绍数据集和实验,第5节提供结论。

相关研究

相关工作

面部识别系统在复杂现实世界场景中面临的核心挑战源于多种环境因素导致的面部特征变化,包括但不限于强背光和低光照等照明变化、口罩、眼镜和刘海等部分遮挡、微笑和愤怒等表情变化,以及包括侧视图和俯仰及偏航角度在内的姿态变化。近年来,研究人员提出了各种

方法

如图2所示,CFG-DiffNet主要由三个关键部分组成:规范面部参考指导、条件扩散特征生成模块和变异性驱动的噪声增强模块。我们预训练了一个条件扩散模型,利用不同条件下的面部图像特征来生成规范面部特征,使模型能够学习面部特征的分布。在训练过程中,面部识别模型使用

实验与结果

在这项研究中,我们提出了一个适用于无约束环境的鲁棒面部识别框架,直接解决了遮挡、姿态变化、表情变化和照明差异等关键挑战。为了全面评估所提出的方法,我们在四个数据集上进行了实验,包括三个公共人类面部基准数据集和两个牲畜面部数据集(牛和鹿)。这种跨领域的实验设置旨在验证该框架的鲁棒性

结论

本文解决了由于遮挡、极端姿态、面部表情变化和不均匀照明导致面部识别系统准确率严重下降的问题。我们提出了一种新颖的规范面部引导的扩散网络(CFG-DiffNet),它引入了三项关键创新:
  • •
    在规则化参考条件下的条件扩散过程,
  • •
    利用理想化的正面姿态和中性表情模板进行去噪的规范面部参考指导,
  • •

未引用参考文献

Kuntalp & Düzyel (2024)

CRediT作者贡献声明

陈照黄:撰写——原始草稿、概念化、形式分析、方法论、软件、验证。 施晓虎:撰写——审阅与编辑、项目管理、调查、方法论、资金获取、资源。 张硕伦:方法论、概念化、调查、可视化、数据整理。 赵玉敏:撰写——审阅与编辑、形式分析、调查、可视化、验证。 刘海波:可视化、验证、方法论、软件、资源。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号