《Connection Science》:Enhancing generalization of cross-domain intrusion detection: a heterogeneous deep stacked ensemble approach
编辑推荐:
本文提出了一种异构深度堆叠集成入侵检测系统(HDSE-IDS),通过整合门控循环单元(GRU)、长短期记忆网络(LSTM)、深度神经网络(DNN)和多层感知器(MLP)等模型,有效提升了跨域泛化能力。研究采用四个标准化NetFlow数据集(NFv2-UNSW-NB15、NFv2-BoT-IoT、NFv2-ToN-IoT、NFv2-CIC-2018)进行验证,结果显示HDSE-IDS平均F1分数达88.77%,较现有方法提升最高达30%。该框架通过冻结基模型保留领域特异性决策边界,结合元学习器动态聚合预测,为异构网络环境下的入侵检测提供了创新解决方案。
引言
随着企业网络、关键基础设施和云环境等网络化系统的快速发展,网络连接性和数据交换能力取得了前所未有的进步。然而这种扩张也导致了攻击面的扩大,使网络面临复杂多变的高级网络威胁。入侵检测系统(IDS)作为关键防御机制,能够识别和缓解此类恶意活动,成为保障网络基础设施安全稳定的第一道防线。
尽管机器学习(ML)和深度学习(DL)的应用显著提高了入侵检测的准确性,但这些模型通常基于单一基准数据集进行开发和评估,导致其在异构环境中的泛化能力存在严重不足。具体而言,在一个数据集上表现良好的IDS模型,当部署到具有不同流量模式和攻击分布的网络环境或数据集时,经常会出现显著的性能下降。这种现象被称为"跨域泛化问题",对实际IDS部署构成了严峻挑战。
该问题的根源在于训练环境和部署环境之间的分布偏移。网络流量特征在不同组织、设备、协议和时间段之间存在显著差异。因此,在一个数据集上训练的模型往往会过拟合其特定特征,而无法识别其他领域的新模式。
方法论
本研究提出了一种结构化方法论来开发和评估HDSE-IDS框架。该方法论分为三个关键阶段:数据操作、模型性能分析和异构深度堆叠集成机制。
数据操作阶段首先确保用于训练和评估的数据集经过预处理和准备,以提升HDSE-IDS的性能。研究采用了四个最近标准化的NetFlow数据集:NFv2-UNSW-NB15、NFv2-CIC-2018、NFv2-ToN-IoT和NFv2-BoT-IoT。这些数据集源自原始格式,并被转换为包含43个标准NetFlow特征的统一格式。这种标准化确保了模型能够在不同数据集间进行一致的训练和评估。
数据预处理阶段应用了多种处理步骤来准备训练和评估数据。研究人员进行特征选择以保留最相关的属性,消除可能降低模型性能的冗余或高度相关特征。采用数据归一化来标准化特征值,确保数据集间的一致性并提高深度模型的学习稳定性。同时将数据集划分为训练和测试子集,并保持正常流量和攻击流量的平衡分布,防止模型学习过程中产生偏差。在必要时应用合成数据增强技术(如过采样)来解决类别不平衡问题,确保模型在更平衡的攻击和良性流量表征上进行训练。
模型性能分析阶段系统评估了单个深度学习模型在集成到堆叠集成之前的性能。该阶段包括三个关键子阶段:基模型选择、基线模型训练和泛化分析。基模型选择重点关注深度学习架构,包括GRU、LSTM、MLP和DNN,这些模型因其能够学习高维网络流量数据中的复杂层次表征和非线性关系而被选中。这些架构的选择基于理论考虑和实证评估,确保了决策边界的多样性。
在基线模型训练子阶段,所有基模型在每个数据集上独立训练以获得基础性能指标。训练过程采用标准深度学习训练程序,包括反向传播和梯度下降优化,确保最优收敛。每个模型都经过超参数优化,以确定在训练集上产生更好性能的配置。
泛化分析子阶段在基线训练后进行广泛的泛化分析,评估模型在域内和跨域设置下的性能。域内评估通过在同一数据集上训练和测试模型来检验其在受控环境下的有效性。跨域评估则评估在一个数据集上训练的模型在不同数据集上的表现,揭示数据异构性的影响。通过分析由此产生的性能下降来评估泛化能力。
异构深度堆叠集成机制
异构深度堆叠集成机制阶段通过将多个深度学习模型组合成堆叠集成来完成HDSE-IDS框架的构建。该阶段包括堆叠架构设计、集成集成和性能评估三个环节。
问题表述部分明确定义了堆叠集成框架。设D={D1, D2, ..., Dn}表示n个网络入侵检测数据集的集合,每个数据集Di来自不同领域,由样本(x,y)∈Xi×Yi组成,其中Xi表示输入特征空间,Yi={0,1}表示二元标签(良性或恶意)。由于流量模式、攻击类型和特征分布的差异,不同领域间的边际和条件分布存在差异。
堆叠架构设计环节定义了堆叠集成架构:基模型生成独立预测,这些预测作为元学习器的输入特征。元学习器是更高级别的模型,负责聚合和优化这些预测,从而提高整体分类性能。
集成集成环节中,元学习器处理由基模型预测生成的堆叠特征向量以产生最终输出。这些预测来自独立训练并冻结的基模型,保留了每个模型从各自训练领域学到的知识。该过程不是重新训练或修改基学习器,而是结合它们的输出来形成元表征,捕捉跨领域的多样化决策边界。
性能评估环节对集成模型进行最终测试。HDSE-IDS框架通过选定的基准数据集进行测试,以确定F1分数性能。评估包括个体模型与现代标准之间的全面比较,确认集成在保持优异泛化潜力的同时有效提高了跨域入侵检测能力。
实施细节
HDSE-IDS的实施遵循结构化流程,从数据预处理开始,然后是基模型训练和评估,最后构建异构深度堆叠集成。每个阶段都包含关键设计选择,如数据集分割比例、模型选择和评估策略,确保鲁棒有效的IDS性能。
数据预处理阶段处理缺失值,根据特征分布采用均值或中位数插补。分类值(如攻击标签)进行标签编码转换为数值形式。对所有数值特征应用最小-最大归一化,将其重新缩放到[0,1]范围。为确保障评估的公平性,排除了源和目标IP地址等数据集特定特征,保留了流量行为、流量量、时序和数据包属性等相关特征。
基模型构建阶段涉及选择、训练和评估多个DL架构。模型设计包括LSTM、GRU、MLP、DNN和CNN的详细架构配置。每个深度学习模型在每个数据集上独立训练,使用64的批次大小,10个训练周期,Adam优化器和二元交叉熵损失。所有五个模型在数据集间遵循一致的架构,并使用80:20的分割进行训练和验证。
异构深度堆叠集成集成阶段通过将每个数据集上表现最佳的模型组合成统一的堆叠集成来完成HDSE-IDS框架。基于优异的域内性能,选择了D1-LSTM、D2-DNN、D3-MLP和D4-GRU。这些独立训练的模型首先被冻结以保留其领域特定表征。系统将它们输出的逻辑值(激活前的原始输出)连接起来,形成统一的元特征向量,捕捉来自每个领域的多样化预测信号。
结果分析
实证评估使用了四个基准NetFlow数据集:NFv2-ToN-IoT、NFv2-BoT-IoT、NFv2-CIC-2018和NFv2-UNSW-NB15。将所有攻击类别合并为单个"攻击"标签,形成"良性"与"攻击"的二元分类设置。在攻击类型中,选择拒绝服务(DoS)攻击作为主要焦点,因为这是所有数据集中唯一一致存在的攻击类别。
域内评估结果显示,每个选定的深度学习模型在相同数据集上训练和测试时,在所有评估指标上都表现出优异的性能。在NFv2-UNSW-NB15数据集上,DNN模型实现了最高整体性能,准确度为0.9983,精确度为0.9964,召回率为1.0000,F1分数为0.9983。在NFv2-BoT-IoT数据集上,MLP模型表现最优,准确度、精确度和F1分数均为0.9990,召回率为0.9991。对于NFv2-ToN-IoT数据集,LSTM成为最佳执行者,准确度为0.9969,精确度为0.9959,召回率为0.9979,F1分数为0.9969。在NFv2-CIC-2018数据集上,GRU展示了最强结果,实现了完美的准确度、召回率和F1分数(1.0000),以及接近完美的精确度(0.9999)。
跨域评估结果显示了显著的性能下降。当在NFv2-UNSW-NB15上训练时,模型在NFv2-BoT-IoT上实现了最佳泛化,准确度为0.8435,精确度为0.8007,召回率为0.9147,F1分数为0.8539。然而,在NFv2-ToN-IoT和NFv2-CIC-2018上性能急剧下降,召回率降至0.12以下,F1分数分别仅为0.1330和0.0714。在NFv2-BoT-IoT上训练的模型显示出较差的泛化能力,虽然所有目标的准确度值都在0.50左右波动,但精确度高度不一致,所有目标数据集上的召回率都降至接近零。
堆叠集成评估表明,HDSE-IDS模型通过堆叠集成设计增强了泛化能力,该设计使用元学习器整合了多样化基模型(LSTM、GRU、MLP和DNN)的输出。集成在NFv2-BoT-IoT数据集上实现了最高性能,准确度达到0.915,精确度为0.955,召回率为0.950,F1分数为0.952。在NFv2-ToN-IoT和NFv2-CIC-2018上,HDSE-IDS保持了高性能,F1分数分别为0.900和0.874。然而,在NFv2-UNSW-NB15上,由于数据集高度不平衡的特性,模型性能显著下降。应用SMOTE(合成少数类过采样技术)重新平衡训练数据后,模型性能大幅提升,准确度增至0.789,精确度达0.900,召回率改善至0.738,F1分数上升至0.810。
讨论与结论
跨域评估结果揭示了所有评估指标相比域内结果的显著性能下降,凸显了在基于机器学习的网络入侵检测系统中实现泛化的持续挑战。性能衰减分析显示,LSTM表现出最高的召回率衰减(96.99%)和F1分数衰减(94.98%),表明其强大的域内性能不能很好地迁移到新领域。GRU模型紧随其后,召回率和F1分数衰减分别为92.99%和89.59%。DNN模型在准确度和精确度方面表现出更稳定的行为(衰减分别为54.65%和70.20%),但F1分数仍衰减了88.75%。有趣的是,MLP在所有指标上表现出最一致的行为,表明其简单性可能赋予其对跨域偏移的某种鲁棒性。
HDSE-IDS性能分析显示,与平均跨域深度学习模型相比,堆叠集成模型实现了全面性能改进。在NFv2-BoT-IoT数据集上改进最为显著,准确度提高42.32%,精确度提高51.05%,召回率提高88.40%,F1分数提高89.76%。NFv2-UNSW-NB15的性能改进最初最小,但在应用SMOTE后变得更为明显,证明平衡技术在减轻学习偏差和增强泛化方面的积极作用。
与相关工作的比较表明,HDSE-IDS在平均跨域指标上实现了强劲平衡,准确度为89.00%,精确度为91.55%,召回率为86.92%,F1分数为88.77%。这些结果证明其能够有效泛化,同时在领域间保持预测可靠性和稳定性。与WEA-DNN和DAE-EFC等方法相比,HDSE-IDS表现出竞争优势,并与DI-NIDS性能相当,同时提供了更完整的度量透明度和更低的部署开销。
HDSE-IDS通过深度堆叠集成架构有效解决了IDS中的异构性和泛化挑战。该框架在域内和跨域评估中一致实现高检测性能,特别是在跨域场景中平均F1分数达到88.77%。应用SMOTE进行类别平衡显著提高了高度不平衡数据集上的检测率,证明其在解决类别不平衡和领域间分布偏移方面的适应性。未来工作将侧重于通过结合联邦学习来增强HDSE-IDS的可扩展性,扩展其对多类入侵检测的支持,并整合可解释AI(XAI)技术以提高系统透明度和可解释性。