尽管在受控的实验室环境中面部识别系统能够达到近乎完美的性能,但在实际应用中往往会出现显著的性能下降。这些环境带来了多种挑战,包括部分遮挡(例如口罩、眼镜或刘海)、极端头部姿态(较大的偏航或俯仰角度)、多样的面部表情(从微笑到愤怒)以及复杂的照明条件(例如强背光或低光照环境),所有这些都会对可靠的面部特征提取和准确匹配产生不利影响。
为了解决这些挑战,学术界探索了各种技术方法。基于生成对抗网络(Goodfellow等人,2014年)的方法(Marriott, Romdhani, Chen, 2021年;Peng, Li, Chen, Xu, Xie, Sun, Zhang, 2024年;Xin, Wei, Wang, Li, Gao, 2024年)试图修复被遮挡的区域,但这些方法经常面临训练不稳定的问题,即生成器和判别器在对抗学习过程中无法保持平衡。虽然注意力机制专注于自动识别最具区分性的面部区域,但这些主流方法存在明显局限性:GAN生成的面部特征由于生成器-判别器不平衡(Arjovsky & Bottou, 2017年)而引入了身份扭曲,当判别器过于强大或过于弱时,会产生视觉上合理但身份不一致的结果。此外,这些方法难以泛化到训练数据中未出现的遮挡类型或干扰模式,这一问题因GAN固有的训练不稳定性而加剧,阻碍了鲁棒特征的学习。
近年来,基于扩散的模型(Chen, Cui, Zhao, Nie, 2025年;Ho, Jain, Abbeel, 2020年;Rombach, Blattmann, Lorenz, Esser, Ommer, 2022年;Zhao, Hu, Yang, Dou, Wu, 2025年)作为生成式AI中的强大替代方案出现,在几个关键方面超越了传统的GAN。与GAN相比,扩散模型提供了更稳定的训练动态、更高质量的生成结果和更广泛的数据分布覆盖。值得注意的是,扩散模型中的渐进式去噪机制与人类视觉系统处理模糊信息时的认知过程有惊人的相似之处。然而,这一强大工具在面部识别中的潜力尚未得到充分探索,特别是在有效利用标准面部属性方面——这是一个关键但研究不足的方面。标准面部属性(包括中性表情、正面姿态和均匀照明的面部特征)包含了最基本和最稳定的身份信息。利用这些先验知识可以显著提高面部识别系统在复杂环境中的鲁棒性。
为了克服这些挑战,我们提出了规范面部引导的扩散网络(CFG-DiffNet),如图1所示。与经常遭受训练不稳定、身份不一致和对未见干扰泛化能力差的传统生成对抗方法不同,CFG-DiffNet利用扩散模型的优势,确保特征生成更加稳定和可控。具体来说,我们的方法在渐进式去噪过程中整合了规范面部属性——如中性表情、正面姿态和均匀照明作为条件指导。这种设计有效避免了基于GAN的框架中存在的生成器-判别器不平衡问题,即使在严重遮挡或姿态变化的情况下也能生成高质量、身份一致的面部特征。此外,我们引入了变异性驱动的噪声增强策略,以提高模型对未见扰动的鲁棒性,进一步增强了其在不同环境中的泛化能力。
总结来说,本研究的主要贡献如下:
- •
条件扩散过程:CFG-DiffNet将规范面部属性作为条件指导,实现对生成过程的精确控制,以确保身份保持。
- •
规范面部参考指导:在训练过程中,规范面部图像作为参考模板,指导网络即使在处理极端姿态或表情时也能保留关键的身份特征。
- •
变异性驱动的噪声增强:一种创新的噪声增强策略,提高了模型对未见干扰类型的泛化能力。