FCSPSN:用于鲁棒人脸反欺骗的特征一致性与尺度金字塔监督
《Signal Processing: Image Communication》:FCSPSN: Feature consistency and scale-pyramid supervision for robust face anti-spoofing
【字体:
大
中
小
】
时间:2026年09月30日
来源:Signal Processing: Image Communication 3.4
编辑推荐:
- 提出了一种特征一致性框架,以实现鲁棒的人脸防欺骗检测。
- MFFM和MALA增强了多尺度表示和注意力稳定性。
- SPAM通过多尺度深度监督提升了跨域泛化能力。
- FCSPSN仅以169万参数和1.18G FLOPs就达到了强大的准确率。
引言
人脸识别技术已广泛
- 提出了一种特征一致性框架,以实现鲁棒的人脸防欺骗检测。
- MFFM和MALA增强了多尺度表示和注意力稳定性。
- SPAM通过多尺度深度监督提升了跨域泛化能力。
- FCSPSN仅以169万参数和1.18G FLOPs就达到了强大的准确率。
引言
人脸识别技术已广泛应用于各种场景,如智能手机安全、签到系统和门禁控制等,极大地提升了日常生活的便利性。然而,这些系统容易受到演示攻击(PAs)的威胁,例如打印攻击和重放攻击,这带来了严重的安全挑战。因此,人脸防欺骗(FAS)已成为人脸识别中至关重要的一环。然而,FAS模型往往难以应对攻击方法的多样性和部署环境的复杂性。因此,提升模型的鲁棒性和泛化能力已成为FAS研究领域的关键课题。
近年来,大量人脸防欺骗(FAS)方法被开发出来,可大致分为手工设计方法和基于深度学习的方法[1]、[2]。传统的手工设计方法利用人工设计的算法来检测欺骗线索,如LBP[3]、[4]、[5]、SURF[6]、SIFT[7]、HOG[8]和DOG[9]。然而,由于手工特征描述子的表示能力有限,这些方法往往不够充分。相比之下,卷积神经网络(CNNs)的出现凭借其强大的特征表示能力显著提升了模型性能。基于CNN的方法通常分为三类[1]、[10]:基于二值监督的方法、基于像素级监督的方法和基于域迁移的方法。基于二值监督的方法[11]、[12]、[13]使用类别标签1和0来区分真实样本和欺骗样本。然而,这些方法导致模型在某些未见样本上表现不佳,因为模型捕获了不可靠的线索,如屏幕边框,这容易导致对训练数据的过拟合[14]。为增强模型的泛化能力,研究者提出了各种基于像素级监督的方法。这些方法通过引入细粒度的辅助监督信息(如深度图[15]、[16]、[17]和反射图[16]、[17]、[18]),旨在引导模型在训练过程中捕捉准确的欺骗线索。尽管这些方法在提升模型判别性能方面取得了成功,但它们也面临标注成本高和可能引入噪声的限制,这可能限制了模型的可用性和泛化能力[14]。
近年来,基于域迁移的方法[19]、[20]、[21]被提出并显示出降低标注成本和提升模型识别性能的潜力。这些方法通过将源域的知识迁移到目标域来提升模型在人脸防欺骗中的性能,这种策略在目标域标注数据有限或成本较高时尤为有效。
深度图的生成利用了样本固有的物理特性。例如,真实样本具有三维面部轮廓信息,而攻击样本通常通过演示攻击工具(PAIs)呈现扁平信息。此外,生成的深度线索有助于在外观和图像质量发生挑战性变化时保持生物特征识别的准确性[21]。尽管以往的方法[15]、[16]、[17]使用深度图监督显著提升了判别性能,但这些方法仅依赖深度图或其他信号进行监督,所提取的特征并未固有地包含该监督信息。最近,Wang等人[21]提出了一种通过将从RGB域到深度域的输入图像迁移来更好地利用深度图信息的方法[22]。最终,通过利用具有深度信息的特征实现测试集中的样本判别。与像素级监督方法相比,基于域迁移的方法展现了令人信服的性能。
然而,以往模型在从RGB域到深度域学习域特定知识方面存在局限,因为它们通常仅在域迁移过程中考虑单一尺度的信息,缺乏跨不同视角的一致性正则化。这种忽视使得有价值的深度图信息未被充分挖掘,阻碍了模型潜力的充分发挥。此外,当前的基于域迁移方法在域适应过程中捕捉局部细节和全局语义信息方面面临重大挑战。此外,不足的正则化可能导致源域(RGB)和目标域(深度)之间的特征对齐不良,进而造成信息损失并降低判别性能。
近年来,基于视觉Transformer(ViT)的方法被引入人脸防欺骗领域,利用自注意力机制捕捉全局上下文信息[23]、[24]、[25]。这些方法在跨域场景中表现出有竞争力的性能。然而,它们往往面临较高的计算成本,并且可能无法充分利用多尺度深度信息,而这对检测细粒度欺骗伪影至关重要。此外,对大规模预训练的依赖限制了其在资源受限环境中的部署。相比之下,我们提出的基于CNN的框架在计算效率和跨域泛化之间实现了良好的平衡。
为应对上述挑战,我们提出了一种新颖的人脸防欺骗框架,整合了三个关键组件。首先,设计了一个多尺度特征融合模块(MFFM),用于利用RGB域的多尺度信息来捕捉局部结构细节和全局语义依赖,其灵感来自先前的工作[21]、[26]。为进一步增强表示能力,MFFM的输出通过整合幅度感知线性注意力(MALA)机制进行精炼,该机制自适应地平衡注意力分布并将细粒度线索与全局上下文对齐。其次,开发了一个尺度金字塔辅助模块(SPAM),以增强多尺度线索的感知并在域迁移过程中提升泛化能力。第三,引入了一个特征一致性模块(FCM),用于在轻微输入扰动下强制保持判别一致性,其灵感来自先前的工作[27]。这种正则化保留了特征稳定性,缓解了域适应中的信息损失,并增强了模型的整体判别能力。通过结合这些组件,所提出的框架显著提升了鲁棒性,并在人脸防欺骗任务中取得了优异的性能。
本研究的主要贡献可总结如下:
- 针对轻微输入扰动下缺乏判别一致性的问题,我们设计了一个特征一致性模块(FCM),该模块在特征提取过程中稳定模型,强制跨视角特征对齐,并提升鲁棒性和预测准确率。
- 为克服多尺度信息利用不足和传统注意力机制不稳定性的问题,我们引入了多尺度特征融合模块(MFFM)结合幅度感知线性注意力(MALA)机制。MFFM聚合来自多个感受野的层次化特征以增强生成特征图的质量,而MALA自适应地调节注意力幅度以实现局部结构线索和全局语义依赖之间的平衡分布。二者共同为人脸防欺骗提供更具判别力和稳定性的特征表示。
- 为增强跨域泛化能力,我们提出了尺度金字塔辅助模块(SPAM),以促进域迁移过程中的有效学习。通过利用多尺度监督,SPAM提升了模型从源域(RGB)到目标域(深度)的适应能力。
- 我们在公开基准数据集上进行了广泛的实验和可视化分析,结果表明所提出的框架始终优于当前最先进的approach,并在人脸防欺骗任务中实现了卓越的鲁棒性。
本文其余部分组织如下:我们在第2节回顾了FAS的相关工作。第3节详细介绍了所提出的方法,第4节展示了广泛的实验结果。第5节讨论了跨域泛化机制和局限性。最后,我们在第6节进行了总结。
传统手工设计方法
在FAS研究的早期阶段,研究者开发了手工设计的描述子来捕捉活体样本和欺骗样本之间的纹理差异。这些特征随后与传统的分类器结合使用,如支持向量机(SVM)和线性判别分析(LDA)。M??tt?等人[28]率先提出使用多尺度LBP来检测真实面部和平面攻击之间表面特性和光反射的差异。Dalal等人[29]建议概
览
在本文中,我们引入了一种新颖的网络——特征一致性与尺度金字塔辅助网络(FCSPSN),通过充分利用深度图信息来增强人脸防欺骗。如图1所示,所提出的框架由三个主要组件构成:特征一致性模块(FCM)、经幅度感知线性注意力(MALA)机制增强的多尺度特征融合模块(MFFM),以及尺度金字塔辅助模块(SPAM)。
具体而言,FCM强制执
实验
在本节中,我们在多个公开可用的基准数据集上(如CASIA-FASD[43]、OULU-NPU[44]和Replay Attack[4])进行了一系列实验,以展示所提出方法的有效性。此外,我们还进行了消融实验,以评估FCSPSN框架中每个组件对整体性能的贡献。
讨论
跨数据集评估验证了所提出的FCSPSN框架在严重域偏移下具有强大的泛化能力。尺度金字塔辅助模块(SPAM)通过在不同光照条件下保持相对稳定的深度表示提供多尺度结构监督。同时,多尺度特征融合模块(MFFM)在不同分辨率上捕捉层次化的语义和结构表示,有效地缓解了结
结论
在本文中,我们提出了FCSPSN框架,该框架整合了MFFM、MALA、FCM和SPAM,以增强特征对齐、结构表示和跨域泛化,从而实现鲁棒的人脸防欺骗。我们在OULU-NPU、CASIA-FASD、Replay-Attack和MSU-MFSD等基准数据集上进行了广泛的实验,结果表明FCSPSN取得了卓越的性能。该方法在O&C&M → I协议上达到了7.50%的HTER和96.98%的AUC,表明具
作者贡献声明
周 Lifang:审稿与编辑、监督、项目管理、调查、经费获取。
相 Pengjun:原创草稿撰写、可视化、软件、方法论、形式化分析、数据整理。
董 Li:审稿与编辑、软件、方法论、数据整理。
雷 Bangjun:监督、调查。
利益冲突声明
作者声明他们不存在任何可能影响本文工作的已知竞争性财务利益或个人关系。
致谢
本工作部分得到了国家自然科学基金(62276039、62331008和62676061)、贵州大学先进制造技术教育部重点实验室(KY[2022]376)以及水电工程智能视觉监控湖北重点实验室建设项目(2019ZYY D007)的支持。
周 Lifang | 相 Pengjun | 董 Li | 雷 Bangjun
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号