雾计算前沿:一种用于工业网络威胁检测与入侵防御的联邦机器学习方法

《Journal of Cybersecurity》:On the fog’s frontline: a federated machine learning approach for industrial network threat detection and intrusion prevention

【字体: 大 中 小 】 时间:2026年01月01日 来源:Journal of Cybersecurity

编辑推荐:

  为解决工业网络在数据隐私、可扩展性及实时威胁检测方面的挑战,研究人员开展了一项基于联邦机器学习(FML)的入侵检测系统(IDS)研究。该研究利用UNSW-NB15数据集,通过随机森林(RF)等算法,在保护数据隐私的同时实现了高达99.98%的检测准确率,为构建安全、可扩展的工业物联网(IIoT)防御机制提供了新范式。

  
在工业4.0时代,工业物联网(IIoT)设备正以前所未有的速度增长,它们如同无数双眼睛和耳朵,遍布工厂车间、能源设施和交通枢纽。然而,这些设备的广泛互联也极大地扩展了网络攻击面,使得传统的入侵检测系统(IDS)面临严峻挑战。一方面,海量设备产生的敏感数据若集中处理,极易引发隐私泄露风险;另一方面,传统的基于签名的检测方法难以应对不断演变的、多态化的网络威胁。面对这一困境,研究人员开始探索一种既能保护数据隐私,又能实现高效、精准威胁检测的新范式。
为了应对上述挑战,南京大学的Dr. Basharat Ali团队在《Journal of Cybersecurity》上发表了一项研究,提出了一种基于联邦机器学习(FML)的工业网络入侵检测框架。该研究旨在通过一种去中心化的学习方式,让边缘设备在本地训练模型,仅将聚合后的模型参数上传至中央服务器,从而在保护数据隐私的同时,构建一个强大且自适应的威胁检测系统。
为了验证这一框架的有效性,研究人员采用了UNSW-NB15这一包含多种真实网络攻击的基准数据集。他们设计了一套包含数据预处理、特征工程、模型训练与评估的完整流程。在模型架构上,研究团队对比了多种机器学习算法,包括随机森林(RF)、支持向量机(SVM)、神经网络等,以寻找最优的检测方案。为了确保模型的可解释性,他们还引入了SHAP分析工具,以揭示模型决策背后的关键特征。最终,通过迭代的联邦训练过程,该模型在保护数据隐私的前提下,展现出了卓越的检测性能。
本研究主要采用了联邦机器学习(FML)框架,利用UNSW-NB15数据集进行模型训练与评估。通过对比随机森林(RF)、支持向量机(SVM)、神经网络等多种算法,结合SHAP分析进行特征重要性解释,并采用差分隐私和模型聚合技术,在保护数据隐私的同时实现了高效的威胁检测。
FML IDS架构
该研究提出了一种FML框架,其核心在于去中心化的隐私增强方法。边缘设备在本地数据上进行训练,仅向中央服务器共享聚合后的模型参数,从而保护了原始数据的隐私。该模型采用了随机森林分类器,并集成了差分隐私和模型聚合技术,旨在实现高精度的威胁检测。
数据收集和预处理
研究采用UNSW-NB15数据集作为数据源,该数据集包含了标记的公开网络流量样本,涵盖了多种网络攻击类型。数据预处理阶段处理了缺失值、进行了特征归一化,并采用独热编码处理分类特征。为了适应FML设置,数据集被分割成多个子集,并分配给不同的边缘设备进行本地训练。
模型架构和训练
模型设计采用了轻量级的入侵检测架构,主要基于决策树和简单神经网络。每个边缘设备使用其本地数据分区训练一个本地模型,通过最小化损失函数来更新模型参数,而无需传输原始数据。训练完成后,设备将模型更新(如梯度或权重)发送至中央服务器。服务器通过安全聚合函数聚合这些更新,并添加噪声以实现差分隐私,从而生成新的全局模型。
迭代联邦训练过程
联邦学习过程在多个轮次中迭代进行。在每一轮中,中央服务器更新全局模型并将其分发给所有边缘设备,设备以此作为初始模型进行进一步的本地训练。这一过程持续进行,直到满足收敛标准,确保模型能够在不泄露隐私的情况下逐步适应网络条件。
解决联邦模型中的过拟合问题
为了缓解过拟合风险,研究采用了L1和L2正则化技术,并应用了数据增强来增加训练数据的多样性,从而增强模型的鲁棒性。
模型可解释性
为了分析特征重要性,研究使用了SHAP分析工具。SHAP值能够解释每个特征对模型预测的贡献,从而提供了模型工作的透明度。
性能评估
研究不仅基于标准准确率指标与基线方法进行比较,还针对九种攻击类型(如DoS、探测和用户到根攻击)评估了模型的实时检测能力。关键指标包括精确率、召回率和F1分数。为了增强评估的鲁棒性,研究采用了k折交叉验证,并评估了检测延迟、误报率、ROC曲线和AUC分数等高级指标。
实验设置和模型训练
实验构建了一个基于工业网络的鲁棒IDS,采用了先进的机器学习和FML模型。该策略涉及系统的方法论,包括基础组件的设置和配置、数据集的预处理、特征工程,以及模型训练和评估,旨在实现高精度的最优性能。
按类型获取攻击
UNSW-NB15数据集中攻击类别的分布揭示了广泛的攻击谱系,其中“通用”和“漏洞利用”攻击的发生率最高,对网络安全构成了巨大威胁。该研究采用分层防御方法,结合ML/DL、IDS和FML来处理数据集中的各种攻击类型。通过应用ML算法定义正常网络流量的基线行为,快速识别“通用”和“漏洞利用”等高频率威胁。深度学习模型提高了对“后门”和“Shellcode”等隐藏、低频但危险攻击的检测灵敏度。IDS组件实时分析流量,分离“模糊测试”和“侦察”攻击的迹象。FML的实施促进了分布式物联网节点之间的协作和安全模型训练,同时通过连接设备组合威胁情报来增强网络边缘。
实时攻击持续时间按类型分析
攻击类别的时态分布表明,网络空间威胁是可变且多样的。正常流量、侦察和DoS攻击通常持续时间较短,反映了快速、自动化的扫描或破坏性尝试。而利用向量(如后门、漏洞利用、分析、模糊测试、蠕虫、Shellcode和通用攻击)的持续时间较长,反映了更蓄意的性质。了解不同攻击类型的发生时间有助于安全团队更好地集中防御力量,并最佳地分配资源以应对这些威胁。
按类别划分的攻击检测率
通过比较不同攻击类别的检测率、误报率以及选择合适的算法,证明了所提模型的有效性和准确性。所有目标类别均表现出持续较高的检测率,均超过99%,证明该模型在区分合法流量和恶意流量方面非常有效。随机森林(RF)在检测DoS和通用攻击方面表现卓越,准确率达到99.9%,且误报率极低。对于侦察攻击,支持向量机(SVM)取得了最佳结果,检测率达到99.8%,误报率为0.2%。模糊测试和木马攻击使用神经网络建模,取得了较高的成功率。XGBoost被发现是Shellcode和蠕虫攻击的最佳模型。分析攻击使用了梯度提升算法。这种分层检测模型通过应用复杂的尖端ML方案,展现出比传统模型更高的鲁棒性、进化灵活性和对新兴威胁的高度及时、准确的响应能力。
性能和评估
该研究的性能和评估部分确立了基于FML的解决方案,结合传统和深度机器学习模型,在提高网络安全性以应对从传统到新兴的各种网络威胁方面的能力。该模型利用随机森林(RF)实现了99.98%的检测准确率,利用支持向量机(SVM)实现了99.97%的检测准确率,能够无可否认地检测UNSW-NB15数据集中存在的一些无监督攻击类型。FML框架的主要特点是允许分布式网络节点训练入侵检测模型,而无需访问其他节点拥有的数据,这是当前网络安全方法中的一个关键因素。通过测量准确率、精确率、召回率和F1分数来评估所提模型的性能,以证明模型在识别良性和恶意网络流量方面的效率。通过比较准确率和训练轮次,证明了与中心化学习技术相比,使用FML在实现模型准确性方面取得了显著改进,表明FML能够在更少的训练轮次中提高模型准确性,从而显著提高了训练中的资源利用率。此外,通信成本与检测性能的比较表明,通信成本的每一次增加都会导致检测准确率的成比例增加,这表明在网络使用和检测准确率之间总是存在权衡。此外,基于攻击类型的准确率分析显示,对DoS、侦察、漏洞利用、模糊测试和蠕虫的检测措施相似,表明IDS对不同攻击的管理是一致的,并且通过最佳攻击建模具有抵抗力。最后,隐私与模型性能分析表明,通过先进的隐私保护技术,模型性能随着隐私级别的提高而直接增加,这确保了数据隐私不会以牺牲模型性能为代价,这是在密切关注隐私问题的联邦设置中的一个关键问题。
算法选择和理由
该研究充分利用了多种机器学习算法,针对特定的攻击类型和数据特征进行匹配。对于占数据集87.35%的“正常”流量,采用监督学习来区分正常网络行为与异常行为。同样,监督学习被证明对“通用”攻击类型有效。在标记数据有限的情况下,如“模糊测试”和“蠕虫”,使用无监督学习技术来发现流量数据中固有模式的异常数据。对于“后门”和“Shellcode”,采用了集成学习策略,利用多个模型的独特优势。随机森林(RF)因其处理高维复杂数据的能力而被用于“分析”流量。K近邻(KNN)被用于“DoS”和“漏洞利用”攻击。朴素贝叶斯用于“漏洞利用”攻击,利用流量数据中特征部分独立的概率优势。神经网络用于检测“侦察”流量,以发现隐秘探测活动的细微模式。
深入探究网络入侵的迷宫:对随机森林混淆矩阵的审视
使用随机森林(RF)、支持向量机(SVM)、神经网络和梯度提升这四种最先进的机器学习分类算法进行的分析表明,所有四种模型在识别网络入侵尝试方面都表现出很高的分类准确率,稳定在99.98%左右。所有混淆矩阵都显示,算法在实际阳性和阴性之间的错误分类数量有限,证明了算法区分真实合法网络流量与异常或恶意流量的能力。在RF和SVM中,将实例错误分类为阴性或反之的情况非常少,因此预测稳定性是立即识别入侵的关键,即使在存在微小不准确性的情况下也是如此。这些算法观察到的更高准确率进一步支持了本工作中进行的实验过程的有效性,在该过程中,执行了数据的分割和预处理,以确保模型对大型数据集的最佳学习。通过这种分层细粒度,我们的研究为动态网络安全模型奠定了基础,该模型具有应对新出现威胁的灵活性,这显著改善了我们对威胁预期的主动方法,这对于维护网络安全和确保适当的网络安全战略至关重要。
解构神经网络分类器行为
详细描述了神经网络模型在100个轮次中的训练和测试损失轨迹。训练损失(实线)以规则的步长下降,并伴有间歇性波动,这表明模型在通过修正权重来减少训练集上的误差方面存在困难。损失水平的降低表明模型学习得到了优化,以提供更好的泛化能力,并代表了训练数据中的复杂模式。图中的虚线对应于测试损失。在大多数情况下,它的下降与训练损失类似,这表明训练进度确实与未见数据的预测准确性相关。然而,测试损失的振荡更强,这表明模型对测试数据变化的敏感性,因此显示了过拟合点以及模型在最优泛化方面存在困难的地方。通过使用高级优化工具和调整超参数,研究成功地将训练和测试损失显著最小化;图上追踪的最小值强调了模型逼近误差下限的能力。训练和测试损失在其最小值附近的轻微收敛表明模型是鲁棒的。这是由于通过正确使用正则化技术以及仔细校准的轮次限制来找到欠拟合和过拟合之间的平衡,从而控制了过拟合。上述观察结果与实验设置相结合,表明了所提模型在无需对未见数据进行大精度折扣的情况下学习复杂模式的程度,从而支持了我们的提议,即使用复杂的神经架构,并通过严格的训练协议来学习和评估数据模式。训练和测试损失之间的差异逐渐收敛,进一步激发了模型的适应性,允许建立一个稳定的预测框架,这对于网络流量中的实时异常检测是必要的,因此提高了我们网络安全研究的弹性和效率。
模型准确率随轮次变化
该表描述了本地模型和聚合模型在各种攻击类型上的性能比较,以预测性能。使用公式准确计算的改进百分比反映了通过联邦聚合过程获得的相对改进。在这种情况下,“本地模型准确率”指的是边缘级别的单个隔离模型进行预测的能力,而“聚合模型准确率”表示联邦化后实现的优化全局性能。该指标强调了聚合分布式智能以应对工业网络安全威胁带来的多方面挑战所带来的变革性影响。该表详细解释了在工业网络安全中应用FML所取得的关键改进。我们的研究详细研究了去中心化的边缘级智能与集成到全局模型中如何提高对各种复杂网络攻击的检测准确率。我们试图解决本地模型在泛化能力和碎片化数据集方面的固有弱点,同时通过联邦框架和跨多个工业节点的分布来保护数据的机密性。表中报告的结果反映了来自不同来源的知识聚合的实际影响。事实上,对于评估的每种攻击类型,从拒绝服务攻击到侦察,甚至是Shellcode和蠕虫的微妙威胁,联邦方法都显示出提高检测准确率的能力,在这种情况下,改进是显著的。这种改进是将不同的本地特征集合成为一个有凝聚力的、鲁棒的全局模型的直接结果,从而使框架能够捕获这些不同攻击向量的细微和复杂模式。使用表格标题中给出的精确数学公式计算的百分比改进,强调了FL在提高预测性能方面的显著附加价值,同时为现代工业生态系统保留了可扩展性和隐私性。该表演示了我们FL框架的一个精心策划的支柱,其中模型准确率的增强按一系列攻击进行了系统分类,这强调了该架构在网络安全中的关键作用。借助联邦结构中优越的聚合技术,OSI上每个本地模型的性能归因于通过利用不同设置中的最佳特征来增强,从而获得更显著的改进。
结论与未来工作
本研究提出采用联邦机器学习(FML)作为增强工业网络安全的新方法,尽管入侵检测系统(IDS)在解决该问题方面已被证明不足。随着工业网络规模的扩大和物联网设备的集成,作为中心化解决方案的IDS在可扩展性和数据隐私方面存在问题,使其更加脆弱。我们提出的FML方法允许边缘设备在本地收集的数据上训练模型,然后仅将平均参数发送到中央服务器以保护隐私。使用UNSW-NB15数据集,所检查的算法产生了不同的结果,随机森林分类器(RF)以99.98%的准确率被证明是最有效的。这种准确率,加上差分隐私和安全聚合的使用,展示了模型在分布式系统中区分可疑和非可疑流量的能力。该框架还表明模型是可扩展的,因为像SHAP这样的可解释性方法识别了工业安全中至关重要的鲁棒检测特征。为了进一步发展这项研究,将采取以下步骤:与其他模型结合以改进所提模型;使用联邦超参数调整来优化现有模型的超参数;并在不同场景下测试所开发的模型,作为使用真实工业应用数据集进行测试的一种方式。此外,提高对抗性攻击的抵抗力,并将可解释人工智能(XAI)应用于改进基于FML的IDS的可解释性,将有助于在应对新兴工业威胁的背景下改进FML作为一种可扩展且保护隐私的解决方案。总之,该研究对未来工业网络安全的未来、安全、可靠和私有保护做出了重大贡献,并为应对现代工业物联网中存在的复杂网络威胁制定了标准。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号