面向异构物联网的具有动态类别发现的个性化开放集入侵检测

《Engineering Applications of Artificial Intelligence》:Personalized open-set intrusion detection with dynamic class discovery for heterogeneous Internet of Things

【字体: 大 中 小 】 时间:2026年09月29日 来源:Engineering Applications of Artificial Intelligence 9.0

编辑推荐:

   **摘要** 在物联网(IoT)环境中,大多数入侵检测系统都是在静态封闭集假设下训练的,其中攻击类别是预先定义的,模型部署后缺乏持续适应机制。然而,严重的设备异质性和快速演变的攻击削弱了这一假设,使得单一的全局模型在多样化的客户端分布下不可靠,并限制了现有方法对未知攻击的进

  

**摘要**

在物联网(IoT)环境中,大多数入侵检测系统都是在静态封闭集假设下训练的,其中攻击类别是预先定义的,模型部署后缺乏持续适应机制。然而,严重的设备异质性和快速演变的攻击削弱了这一假设,使得单一的全局模型在多样化的客户端分布下不可靠,并限制了现有方法对未知攻击的进一步分析和整合能力。为了解决这些局限性,我们提出了一种面向物联网环境的个性化开放集入侵检测框架。我们提出了一种类索引的深度k近邻开放集检测器,它在特征空间中执行类条件检索,以识别未知攻击,同时减少已知类别的误拒绝。我们进一步提出了一种新类别发现算法,将作为未知被拒绝的样本进行聚类,以揭示新兴的攻击模式,然后通过增量训练将其逐步整合到已知类别集中,从而扩展已知类别集。为了应对异构的非独立同分布(non-IID)客户端数据和隐私约束,我们采用了一种个性化联邦学习方案,在保持客户端特定决策行为的同时共享全局知识。最后,我们设计了一种面向客户端的评估协议,分别在每个客户端的本地分布上评估已知类别识别和未知拒绝能力。跨多种场景的实验表明,该框架在未知攻击检测、新类别的有效吸收以及稳定的个性化性能方面均有显著提升。在方法上,所提出的类索引开放集检测、新类别发现和增量学习机制支持了对未见攻击的检测和整合。在实践中,它们被纳入个性化联邦框架,用于异构非IId物联网环境中的自适应入侵检测。

**引言**

物联网是连接物理世界与信息空间的重要技术范式。它通过为日常设备提供感知、通信和计算能力,实现了物理空间与信息空间的深度集成(Arisdakessian等人,2023)。然而,这一现代范式面临着严峻的安全挑战。资源受限的物联网设备难以部署传统的复杂认证机制。此外,为普遍连接而设计的开放架构进一步扩大了攻击面,使生态系统暴露于各种安全威胁之下(Gill等人,2024)。随着物联网的不断发展,越来越多的设备被部署在边缘计算环境中。通过利用边缘侧的计算资源,这些设备可以更接近数据源进行数据Processing和决策。这种分布式架构提高了效率,但也使安全防护变得复杂,尤其是在隐私保护、跨域协作和分布式安全管理方面(Ferrag等人,2023)。

入侵检测系统(IDS)是关键的安全机制,可以帮助对抗物联网环境中日益复杂的安全威胁(Zhou等人,2026)。近年来,基于机器学习和深度学习的入侵检测方法(Jamalipour和Murali,2022;Liao等人,2024;Li等人,2022)在识别已知攻击模式方面取得了显著进展。然而,现有的物联网入侵检测系统(IoT-IDS)大多基于封闭集假设构建,在该假设下,测试阶段仅包含训练期间遇到的攻击类别(Mahdavi和Carvalho,2021)。这一假设在真实开放环境中存在根本性局限。在实践中,物联网系统持续面临训练期间未遇到的新颖未知攻击的挑战(J. Wu等人,2024)。当面对分布外(OOD)数据时,传统分类器通常会将其误分类为已知类别,甚至良性类别,从而产生高置信度的错误预测。这种误分类会制造安全盲区,并可能对新颖攻击产生虚假的安全感。因此,开发能够识别未知攻击的开放集入侵检测框架已成为增强物联网系统在真实部署中鲁棒性的关键研究方向(Geng等人,2021)。

如图1(a)所示,传统封闭集分类器受其设计假设的限制,只能处理训练期间观察到的类别。在真实部署中,这些模型缺乏识别分布外数据的机制。因此,训练数据中不存在的新颖攻击样本通常被迫根据最大Softmax概率归入已知类别,导致高置信度误分类和严重的安全风险。相比之下,如图1(b)所示的开放集识别框架解决了这些局限。其关键特征是双决策机制。模型利用封闭集训练学到的特征表示,高精度地分类已知类别。同时,它还通过置信度阈值、概率分布校准或特征空间距离度量等机制,动态评估新样本与已知类别之间的分布一致性。当样本特征与已知类别显著偏离时,系统将其检测为未知攻击,而非强制分类。这一设计使开放集识别系统能够在精确分类已知攻击的同时,有效检测未知攻击。

目前,关于IoT-IDS开放集识别的研究仍处于早期阶段。需要一种能够稳健检测并进一步表征未知攻击的机制。尽管已提出了OpenMax(Bendale和Boult,2016)、EVM(Rudd等人,2018)、CVAE-EVT(Yang等人,2021)、Meta-Recognition(Zhang等人,2024)和OpenDetect(Meng等人,2025)等方法用于未知类别检测,它们仍存在若干局限。基于极值理论(EVT)的方法(Yang等人,2021;Bendale和Boult,2016;Rudd等人,2018)需要拟合特定的尾部分布,这可能限制其在长尾数据分布下的泛化能力,并引入额外的计算开销。具有生成-判别约束的模型(Meng等人,2025)有助于抑制误报,但可能难以维持对未知攻击的高检测率。大多数现有方法主要关注检测未知攻击,而未建立知识演进的闭环机制;因此,未知类别对系统仍然不透明,无法被显式建模或利用。一项近期研究(Yang等人,2025)尝试通过将被检测到的未知类别纳入已知特征库来更新系统。然而,此类方法通常以粗粒度方式聚合未知样本,无法解耦其内部异质性,难以实现对新攻击模式的细粒度识别和显式建模。相比之下,新类别发现(NCD)(Roy等人,2022)通过挖掘未知样本的潜在聚类结构,识别判别性的新类别原型,并通过增量学习(Shu等人,2018)将其纳入模型,提供了一种有前景的替代方案。遗憾的是,这种方法在IoT-IDS领域尚未得到充分探索,限制了现有系统自主识别和适应新颖攻击的能力。

虽然增量学习技术可以有效缓解获取新知识过程中的模型遗忘问题(Wei等人,2025),但其假设与开放集入侵检测场景并不完全兼容。现有的增量学习方法通常假设新类别以预定义批次到达(Fan等人,2024),并主要关注平衡新旧类别的识别。然而,在真实的动态物联网环境中,未知攻击持续且不可预测地出现,其类别边界和到达时间均不确定。这一实际约束揭示了当前研究中的一个关键空白:缺乏对未知攻击的主动感知机制。新类别发现的核心挑战在于从无标签未知样本流中解耦异构的潜在攻击模式(Wang等人,2024)。同时,必须为高置信度的新类别生成可靠的伪标签,并建立一个整合未知检测、新类别发现和动态更新的闭环学习链。如图1(b)和(c)所示,检测到的未知样本可进一步通过NCD算法进行处理,以揭示内在的聚类结构并提取判别性的新类别特征,然后通过增量训练将其纳入已知特征库。这一过程使未知威胁转化为可学习的知识,为建设自进化IDS奠定了基础。

此外,随着物联网设备的不断 proliferation 和隐私法规日益严格,传统集中式安全架构在应对数据分布异质性和数据孤岛方面面临重大挑战(Zhang等人,2025)。联邦学习(FL)通过协调分布式客户端在不共享原始数据的情况下协同训练模型,为开发隐私保护的IoT-IDS提供了一种有前景的范式。然而,传统FL在面对高度异构的真实物联网环境时面临挑战。其对单一全局模型的依赖会在非IID客户端数据下降低收敛性能,从而降低各客户端的本地检测效果(A.Z. Tan等人,2023)。个性化联邦学习(PFL)为单个客户端生成定制模型,在IoT-IDS领域已展现出初步前景(Huang等人,2023;Yan等人,2025)。当前PFL研究主要优化对已知攻击的检测,忽略了客户端级别的开放集识别能力,即检测客户端特定未知攻击类别的能力。由于物联网设备功能差异和部署环境多样,客户端遇到的未知攻击类别往往具有高度客户端特异性。仅使用全局测试集可能会低估客户端特定的威胁检测,并偏倚模型演进方向。因此,构建支持客户端级别未知攻击检测的PFL框架,对于各种场景下的自适应安全防御而言是必要的。

为应对零日攻击检测、动态更新和数据异质性的挑战,亟需一种具有持续演进能力的开放集入侵检测框架。本文提出了一种基于个性化联邦学习的动态开放集入侵检测框架。该系统使用轻量级的MobileNetV4-Small作为特征提取器,在保持已知类别高准确率识别的同时,通过基于距离的k近邻机制实现对未知攻击的高置信度检测。为实现动态更新,我们设计了新类别发现与增量学习的协同机制。自适应递归聚类算法从无标签未知样本中识别潜在的新攻击模式,然后通过增量训练将发现的新类别知识整合到模型中。为应对物联网数据的极度非IID特性,我们采用PFL框架,为每个客户端生成专用模型,缓解异构数据导致的负迁移问题。实验验证表明,所提出的框架优于现有基线方法。总之,本研究的主要贡献如下:

(1)本文提出了一种闭环开放世界物联网入侵检测框架,整合了未知攻击检测、新类别发现和增量更新。与主要停留在未知拒绝的现有开放集方法不同,所提框架进一步将可靠的未知攻击转化为可学习的已知类别知识,实现自进化的入侵检测。

(2)本文提出了一种类别索引的距离校准kNN机制,整合了类内尺度归一化和自适应阈值,以同时增强未知攻击检测并抑制已知类别的误拒绝,从而保持稳定的封闭集识别性能。

(3)本文提出了一种面向开放集动态更新的自适应递归新类别发现框架。首先通过真值辅助的边界分析验证未知攻击的潜在可分性,然后通过自适应聚类、递归细化、质量约束过滤和核心样本选择进行实际的无监督发现。这为增量学习生成了可靠的伪标签,并支持已知攻击库的持续扩展。

(4)本文通过引入个性化联邦学习策略,解决了极度非IID分布导致的负迁移问题。具体而言,模型被解耦为全局共享的特征提取器和本地更新的个性化分类器。此外,本文从多个客户端视角评估未知攻击检测能力,缓解了仅依赖全局测试集造成的评估偏差。

本文其余部分组织如下。第2节综述入侵检测相关研究工作。第3节陈述和研究问题建模及优化目标。第4节介绍我们的方法。第5节对新类别发现算法进行理论分析。第6节讨论评估和实验结果。第7节总结全文。

**基于开放集识别的入侵检测系统**

传统入侵检测系统通常基于封闭集假设构建。然而,动态演变的物联网环境带来了重大挑战,因为零日利用和变种恶意软件等新颖攻击不断涌现。这种持续演进使得封闭集假设不足以应对真实部署。开放集识别通过拒绝分布外样本的同时保持对已知类别的准确性,解决了这些挑战。

**问题陈述**

本文解决开放集入侵检测场景,重点解决以下两个挑战:

(1)未知攻击检测:在训练过程中,模型仅在有限的已知攻击类别集上训练。然而,在测试或实际部署期间,可能出现未包含在训练数据集中的新颖攻击。

现有的机器学习和深度学习方法在闭集识别中取得了优异的性能,即仅涉及已知类别的情况。图2展示了本文提出的开集入侵检测框架,该框架由三个主要组成部分构成:已知攻击分类、未知攻击识别以及新类别发现与动态更新。第一阶段涉及使用专家标注的已知类别样本训练闭集分类器。本文采用MobileNetV4-Small(Qin等人,2024)作为特征提取骨干网络,随后接一个全局平均池化层和一个线性层。在呈现理论分析之前,我们首先明确其主要目的:检验大量未知样本在所学特征空间中是否确实包含类内一致且具有结构可分离性的子聚类。如果这些子聚类在标签辅助评估下表现出高纯度,则表明未知集中包含潜在的新型类别结构,可被进一步发现。据此,标签辅助协议仅作为类似预言机的上界使用。本研究所采用的数据集为两个公开的入侵检测数据集——CIC-IDS2017(Sharafaldin等人,2018)和Edge-IIoTset(Ferrag等人,2022),以全面评估所提方法。CIC-IDS2017数据集基于真实网络环境模拟构建,涵盖14种攻击类型,包括拒绝服务(DoS)、分布式拒绝服务(DDoS)、端口扫描、僵尸网络和Web攻击。Edge-IIoTset数据集聚焦于边缘端和物联网环境的安全问题。本研究解决了物联网入侵检测在实际部署中面临的三个关键挑战。首先,闭集模型在遇到未知攻击时缺乏可靠的拒绝能力,这增加了将未知威胁误分类为已知类别的风险。其次,现有的开集检测方法通常仅停留在将样本拒绝为未知,而未进一步分离潜在的新型类别或将其纳入后续学习,因此系统无法实现自适应更新。作者贡献声明:王振东负责文章审阅与编辑、验证、监督、项目管理、调查研究、基金获取、形式化分析和概念构思;王日宝负责原文撰写、可视化、验证、软件、资源、项目管理、方法论、调查研究和形式化分析、数据管理;杨舒心负责验证、监督、调查研究、形式化分析、数据管理和概念构思;何道京负责监督、方法论和概念构思。利益冲突声明:作者声明不存在可能影响本文工作的已知经济利益冲突或个人关系。致谢:本工作受国家自然科学基金(62062037, 61562037)、江西省自然科学基金(20252BAC240211, 20212BAB202014)以及中国江西省多维智能感知与控制重点实验室(编号:2024SSY03161)资助。作者:王振东 | 王日宝 | 杨舒心 | 何道京 | Sammy Chan
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号