《Neurocomputing》:PriFLRC: A secure multi-party computation-based privacy-enhanced federated learning scheme resilient to collusion
编辑推荐:
隐私增强联邦学习框架PriFLRC通过安全多方计算实现抗合谋隐私保护|联邦学习|隐私保护|抗合谋攻击|安全多方计算
作者:Anh-Tu Tran, The-Dung Luong, Van-Nam Huynh
越南河内密码学技术学院
摘要
通过利用基于深度学习的技术,已经有效解决了各个领域中的一系列复杂问题。然而,隐私问题使得传统的集中式训练方法不适合处理敏感数据驱动的场景,例如医疗保健和金融领域。最近,联邦学习受到了广泛关注,因为它允许参与者在不泄露本地数据的情况下共同训练一个共享模型。尽管如此,研究表明,对手仍然可以利用共享参数来破坏应用程序的安全性。为了解决这个问题,我们提出了PriFLRC,这是一种高效且增强隐私的联邦学习方案。与现有的解决方案不同,PriFLRC即使在存在共谋实体的情况下也能防止私人数据泄露,而无需完全信任的第三方。在包括MNIST、CSIC 2010、SMS Spam和CIFAR-10在内的多个数据集上进行的实验评估表明,PriFLRC在准确性和效率方面都表现出色。这些结果为在现实世界场景中实现保护隐私的机器学习应用奠定了基础。
引言
深度学习被广泛应用于各个领域,并能有效地处理图像、文本和语音等复杂和非结构化数据[1]、[2]。然而,训练或微调这些模型需要大量数据,这引发了严重的隐私问题[3]、[4]。多个参与者之间的协作训练可以缓解数据稀缺和过拟合的问题,但由于需要共享数据(这些数据通常包含私人或敏感信息)而带来了挑战[5]。这使得数据收集和共享变得困难,限制了深度学习应用的潜力[6]。
为了解决协作式深度学习中的隐私问题,出现了保护隐私的深度学习概念[7],探索了三种主要方法[8]:输入数据共享、知识转移和联邦学习(FL)。虽然这些方法在隐私、效用和可扩展性之间提供了不同的权衡,但它们各自都有固有的局限性。输入数据共享通常涉及大量的加密开销和效用损失;知识转移需要强大的教师模型,并且可能在复杂的攻击下仍然会泄露信息;而联邦学习虽然不共享原始数据,但可以通过共享模型参数泄露信息。
在本文中,我们提出了PriFLRC,这是一种创新的安全聚合方案,显著增强了联邦学习环境中的隐私性和抗干扰能力。PriFLRC(抗共谋的增强隐私联邦学习方案)利用了一种称为安全多方实数向量求和(SMRVS)的安全多方计算(SMC)协议来计算多个实数向量的总和,从而实现高效的参数共享。我们的方案解决了两个关键挑战:它能够在不需要依赖可信第三方的情况下,在FL中训练深度学习模型,并确保即使在多达个参与者共谋的情况下,参与者之间也能进行稳健的合作。值得注意的是,PriFLRC在保持联邦学习模型高准确性的同时,将通信成本保持在非常低的水平。
本文的主要贡献总结如下:
•我们提出了SMRVS,这是一种开创性的SMC协议,用于安全地求和多个实数向量。据我们所知,这是第一个基于HE(Homomorphic Encryption)的协议,能够在不使用编码或量化方法的情况下准确计算实数向量的总和,而这些方法往往会影响计算精度。该协议建立在椭圆曲线密码学(ECC)的加法同态属性和随机掩码矩阵技术之上。这一进展确保了在应用于FL时的精度保持。
•我们引入了PriFLRC,这是一种开创性的协议,它在保护FL隐私的同时,能够抵抗多达个参与者的共谋。PriFLRC是第一个使用HE实现这种安全级别的协议,无需依赖可信第三方或关于非共谋的假设,为该领域树立了新的标杆。
•我们提供了全面的安全性证明,并通过对MNIST、CSIC2010、SMS Spam和CIFAR-10数据集进行的大量实验,验证了我们提出的协议的计算和通信复杂性。这些实验强调了PriFLRC在现实世界应用中的实际有效性和鲁棒性,突显了其广泛采用的潜力。
本文的其余部分组织如下:第2节回顾了输入数据共享、知识转移和联邦学习的相关工作。第3节正式阐述了问题,并回顾了FL、SMC以及我们依赖的椭圆曲线密码学工具的初步知识。第4节介绍了SMRVS,并分析了其正确性、隐私性、抗共谋能力和计算/通信成本。第5节将SMRVS集成到FL流程(PriFLRC)中,详细介绍了客户端和服务器端的子模块。第6节报告了在MNIST、UCI SMS Spam和CSIC-2010数据集上的实验结果,这些数据集分别属于IID和非IID分布。第7节将PriFLRC与之前的安全聚合方案进行了比较,第8节讨论了实际应用和部署案例。第9节总结了工作并提出了未来的研究方向。
相关工作
相关研究
保护隐私的深度学习主要从三个方向进行研究:(i)使用加密或扰动机制的输入数据共享,(ii)通过教师-学生框架的知识转移,以及(iii)采用增强隐私技术的联邦学习。在本节中,我们回顾了这些研究方向并指出了它们的局限性。
联邦学习
联邦学习(FL)[22]、[52]是一种分布式机器学习范式,涉及个客户端和个聚合器合作构建一个全局模型。在每次训练迭代中,会选择个客户端中的一个子集,并将当前的全局模型发送给它们。与传统的分布式机器学习不同,在传统方法中,梯度在每次训练迭代后共享,而在这里,每个客户端会在多个时期对其本地数据的多个批次进行训练。然后客户端发送他们的本地
实数向量的安全多方求和
如前所述,在联邦学习中实现安全聚合需要计算参数向量的加权平均值总和[22],这转化为安全求和多个私有实数向量的挑战。传统上,实数向量的安全求和是通过基于整数的技术来完成的,这通常会牺牲精度并涉及大量的计算成本[46]、[47]、[51]。作为替代方案,秘密共享方法
具有安全多方求和协议的隐私保护联邦学习
联邦学习[22]、[59]允许多个客户端在保持数据隐私的同时协作训练机器学习模型。尽管局部数据是私有的,但该框架仍然会暴露模型参数,从而带来间接数据泄露的风险[60]、[61]。
为了减轻这种间接泄露,我们将我们的安全多方求和协议集成到集中式联邦学习中,确保每次通信轮次的安全计算。我们将所提出的协议实施到联邦学习中
性能分析
本节评估了我们的框架在IID、非IID和数据不平衡设置下的有效性。我们在MNIST、CSIC 2010、UCI SMS Spam和CIFAR-10数据集上进行了实验。首先描述实验设置,然后展示结果,最后进行整体性能评估。
与以往工作的比较
现有的安全聚合(SA)协议已经实现了保护隐私的联邦学习,但它们仍然存在主要限制——最显著的是抗共谋能力弱和通信开销高。Bonawitz等人的开创性方案[34]使用双重掩码和Shamir的秘密共享来保护更新,但每次迭代都需要多轮通信和广播公钥,导致大量的带宽消耗以及推理和共谋风险。
实际应用和用例
除了对正确性、隐私性和抗共谋能力的正式分析之外,评估所提出的安全聚合协议在现实世界联邦学习部署中的应用方式也至关重要。以下用例展示了我们设计的实际意义。
结论
在这项工作中,我们提出了PriFLRC,这是一种基于安全多方实数向量求和(SMRVS)协议的新型增强隐私的联邦学习框架。该方案解决了联邦学习中的两个关键挑战:(i)即使在服务器与多达个参与者共谋的情况下,也能保护客户端更新;(ii)消除了对可信第三方的需求。这种强大的抗共谋能力使PriFLRC区别于许多现有的安全聚合协议,后者要么依赖
CRediT作者贡献声明
Anh-Tu Tran:撰写——审阅与编辑、撰写——初稿、验证、方法论、调查、形式分析、概念化。The-Dung Luong:撰写——审阅与编辑、监督、方法论、形式分析、概念化。Van-Nam Huynh:撰写——审阅与编辑、撰写——初稿、调查、形式分析、概念化。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
致谢
Anh Tu Tran部分获得了日本先进科学技术研究所(JAIST)的知识科学博士学位奖学金的支持。这项工作还得到了海军研究办公室(ONR)和海军研究全球办公室(ONRG)的资助,资助编号为N62909-23–1-2058。本文中的观点和结论仅代表作者本人,并不应被视为代表美国政府的立场。
Anh-Tu Tran于2013年在越南河内科技大学获得应用数学和信息学学士学位,2016年获得应用数学硕士学位。他目前是越南科学技术研究院研究生大学信息技术与通信学院的计算机科学博士候选人,同时也是日本先进科学技术研究所(JAIST)的访问博士研究生。