《Pattern Recognition》:DpFedFKP: Dynamic Personalized Federated Learning for Finger Knuckle Print Recognition
编辑推荐:
指纹关节识别中的动态个性化联邦学习框架提出并验证了其在数据异质性和隐私保护下的性能优势。摘要:本文提出动态个性化联邦学习框架DpFedFKP,解决指纹关节识别中的数据异质性和隐私问题,通过动态更新机制平衡全局泛化与本地个性化,实验表明在多个数据集上显著提升准确率和降低等错误率,兼容差分隐私增强隐私保护。
李书毅|胡建建|张波|余善平|吴丽芳
北京工业大学信息科学与技术学院,北京,100124,中国
摘要
指节纹(FKP)识别因其低成本、高安全性和区分性特征而受到广泛关注。然而,现有的数据驱动方法,尤其是深度学习方法,通常需要使用大规模数据集进行集中训练,这带来了严重的隐私风险。此外,独立数据集之间的巨大数据异质性常常导致训练困难和性能下降。为了解决这些问题,我们提出了一种动态个性化联邦学习框架DpFedFKP用于FKP识别。具体来说,每个客户端首先通过分类损失约束进行本地训练以获得本地模型,然后中央服务器通过联邦平均(FedAvg)聚合这些本地模型来生成一个通用的全局模型。随后,每个客户端执行自适应梯度分析,使用特定领域的子数据集计算全局模型和本地模型之间的梯度和参数变化。此外,我们提出了一种新颖的服务器端动态更新机制,用于动态调整客户端特定个性化模型中的本地模型比例,从而实现全局模型和本地模型之间的最佳插值,以获得强大的泛化和个性化能力。在两个广泛使用的FKP数据集上的综合实验表明,所提出的方法在性能上显著优于现有技术。具体而言,我们的方法在Data-fkp数据集上的相对准确率提高了0.03%,在PolyU-fkp数据集上的相对准确率提高了0.52%,并且在PolyU-fkp数据集上的等错误率(EER)相对降低了12.35%。此外,跨客户端实验的相对准确率提高了2.80%,等错误率相对降低了33.48%。值得注意的是,所提出的DpFedFKP与差分隐私技术具有很强的兼容性,从而增强了隐私保护能力。
引言
尽管传统的手部生物特征技术(例如基于接触的指纹和掌纹)已经得到了广泛研究,但它们在卫生要求和环境适应性方面仍存在局限性[1]。虽然非接触式技术解决了卫生问题并提供了更大的环境灵活性,但传统的非接触式掌纹或指纹识别通常需要复杂的成像设备、受控环境和大量的计算资源。在这方面,FKP识别由于其设备要求低(普通相机即可)、特征稳定(抗磨损)和采集方便等优点而受到越来越多的关注[2]。
最近,基于深度学习的FKP识别方法因其强大的区分能力和泛化能力而受到关注。然而,它们的性能受到可用数据数量和质量的限制。因此,要实现高性能的特征提取,需要将大规模数据上传到中央高性能服务器进行训练,这不可避免地在数据传输过程中引入了隐私泄露风险,如图1所示。
由于联邦学习(FL)具有保护隐私的特点,它最近在手部生物特征识别领域引起了相当大的关注,通过交换参数而不是原始数据来实现模型训练[3]。然而,将传统的FL方法应用于手部生物特征识别时会遇到一些挑战,这些挑战源于客户端之间采集设备、光谱和人口统计特征的差异导致的非独立同分布(non-IID)数据分布。这些异质性降低了识别性能和全局特征提取器的泛化能力。为了解决这些障碍,个性化联邦学习(PFL)应运而生,它在保持联邦协作的同时整合了客户端特定的特征。最近的研究提出了有效的解决方案来处理由于客户端之间数据量差异引起的非独立同分布问题[4],通过加权全局和局部组件来定制个性化模型以提升识别性能。不幸的是,现有的PFL方法主要集中在提升本地识别性能上,但往往忽视了提升客户端间全局泛化的能力。此外,这些方法通常对局部和全局模型使用固定的聚合权重,忽略了特征提取器的动态训练过程的适应性,如图1所示。
为了解决上述问题,我们提出了一个用于FKP识别和隐私保护的动态个性化联邦学习框架(DpFedFKP)。图2详细展示了我们提出的DpFedFKP。首先,每个客户端在每次通信轮次之前独立训练其本地模型,然后将模型参数上传到服务器。接下来,服务器使用FedAvg算法生成全局模型并将其分配给每个客户端。之后,每个客户端对其子数据集进行梯度分析,计算梯度和参数变化,然后将这些指标上传到服务器。最后,我们开发了一种动态更新机制(DUM)来动态调整服务器端的客户端特定模型比例。本文的主要贡献如下:
•我们提出了一种名为DpFedFKP的创新FL框架,它在联邦FKP识别中最佳地平衡了泛化和个性化。DpFedFKP采用动态更新机制(DUM),确保个性化模型在本地数据集上表现出色,并在跨客户端数据集上具有优越的泛化能力。
•据我们所知,这是第一个将PFL适应于FKP识别的综合框架,同时解决了FKP生物特征系统中的隐私保护和性能优化挑战。
•在两个FKP数据集和两个掌纹数据集上进行的广泛实验评估表明,DpFedFKP在准确率和EER方面显著优于现有的FKP识别技术和联邦学习方法。
•实验结果表明,将差分隐私集成到DpFedFKP中可以保持甚至提高识别性能,表明其具有很强的兼容性和增强的隐私保护能力。
本文的其余结构如下:第2节简要回顾了FKP识别方法、FL和生物特征识别中的FL的相关工作。第3节详细介绍了所提出的方法。第4节分析了实验结果。第5节总结了这项工作并描述了未来的工作。
部分内容
FKP识别方法
现有的FKP识别方法可以分为基于局部特征的方法、基于全局特征的方法和基于深度学习(DL)的方法。1) 基于局部特征的方法侧重于提取和分析局部纹理、方向或结构信息。近年来,探索了各种基于局部特征的FKP识别方法。早期的努力集中在提取具有区分性的方向特征上,例如方向卷积差分向量
动机
来自不同采集环境和条件的数据异质性会降低模型性能,可能导致其准确率低于仅在单个FKP数据集上训练的模型。尽管现有的FL方法在解决手部生物特征数据集的异质性方面取得了进展,但它们对已知光谱相似性的依赖限制了泛化能力[30]。此外,研究[4]中使用的基于PFL的生物特征方法使用了固定的
实验
为了评估所提出的DpFedFKP的性能,我们首先在两个广泛使用的FKP数据库上进行了FKP识别和验证实验。随后,我们在两个公开可用的掌纹数据库上进行了领域适应实验,并在一个新的FKP数据集上进行了跨数据库实验。之后,我们进行了包括参数分析实验、消融研究、隐私实验、计算成本和通信成本在内的全面评估
结论
本文提出了DpFedFKP用于FKP识别,它同时解决了异构数据下的隐私保护和性能优化两个关键挑战。对于DpFedFKP,我们提出了一种创新的动态更新机制(DUM),该机制根据全局模型梯度和参数变化动态校准局部模型比例。所提出的DpFedFKP生成的个性化模型在泛化和个性化之间实现了最佳平衡
CRediT作者贡献声明
李书毅:撰写 – 审稿与编辑,撰写 – 原稿,监督,项目管理,方法论,资金获取,概念化。胡建建:撰写 – 原稿,可视化,验证,软件,数据管理。张波:方法论,资金获取,概念化。余善平:方法论,形式分析,概念化。吴丽芳:方法论,形式分析,概念化。
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:作者声明以下潜在的利益冲突:Prof. Ajay Kumar(csajaykr@comp.polyu.edu.hk)和相应的作者是香港理工大学的生物特征研究中心的成员。如果有其他作者,他们声明没有已知的财务利益或个人关系
致谢
本工作部分得到了中国国家自然科学基金(项目编号62306021)、北京自然科学基金(项目编号4252002、L233036)、中国国家重点研发计划(项目编号2023YFC3303704)以及中国澳门青年学者计划(项目编号AM2024014)的支持。