基于KL散度融合与深度生成学习的智能虚拟传感器生成用于智能环境监测

《Sensors》:Intelligent Virtual Sensor Generation Using KL-Divergence- Based Fusion and Deep Generative Learning for Smart Environmental Monitoring

【字体: 大 中 小 】 时间:2026年07月01日 来源:Sensors 4.0

编辑推荐:

  基于传感器的环境监测系统常常受到传感器故障、稀疏部署、校准漂移和通信中断导致的数据缺失、噪声和不可靠测量的影响。为了解决这些挑战,研究人员提出了一种智能虚拟传感器生成框架,该框架整合了基于物理约束的预处理(physical-constraint-based p

  
基于传感器的环境监测系统常常受到传感器故障、稀疏部署、校准漂移和通信中断导致的数据缺失、噪声和不可靠测量的影响。为了解决这些挑战,研究人员提出了一种智能虚拟传感器生成框架,该框架整合了基于物理约束的预处理(physical-constraint-based preprocessing)、统计虚拟传感器建模(statistical virtual sensor modeling)、基于KL散度(Kullback-Leibler divergence, KL divergence)的融合(KL-divergence-based fusion)、深度生成增强(deep generative augmentation)和时间预测(temporal prediction)。原始气象站数据首先经过基于阈值的滤波、物理有效性约束和基于孤立森林(Isolation Forest)的异常值检测进行精炼。为了处理风向的循环特性,在建模过程中使用正弦和余弦分量对角度进行编码,并使用atan2函数进行重构以进行评估。研究人员采用了多种统计方法,包括反距离加权(Inverse Distance Weighting, IDW)、核密度估计(Kernel Density Estimation, KDE)、岭回归(Ridge Regression)和基于Copula的模型(Copula-based modeling)来生成互补的虚拟传感器数据。这些输出根据其与真实传感器数据的分布相似性,使用KL散度进行自适应融合。融合后的数据集进一步使用变分自编码器(Variational Autoencoder, VAE)和条件表格生成对抗网络(Conditional Tabular Generative Adversarial Network, CTGAN)进行增强,然后使用双向长短期记忆网络(Bidirectional Long Short-Term Memory, BiLSTM)和双向门控循环单元(Bidirectional Gated Recurrent Unit, BiGRU)模型以及平均绝对误差(Mean Absolute Error, MAE)、均方误差(Mean Squared Error, MSE)和均方根误差(Root Mean Squared Error, RMSE)指标进行评估。实验结果表明,所提出的框架生成了物理有效且分布一致的虚拟传感器数据。基于融合的方法优于独立方法,而基于VAE的增强通常比CTGAN提供更好的统计保真度和更低的预测误差。使用公共NOAA气象站数据集的额外验证进一步支持了所提出的基于融合的虚拟传感工作流的可转移性。与TimeGAN和基于扩散的时间生成基线的比较,结合Wilcoxon符号秩检验,证实了所提出框架的统计显著性和竞争性能。定量计算分析也证明了该框架在训练时间、推理时间、内存消耗和可扩展性方面的实际可行性。总体而言,所提出的框架为传感器稀疏且易故障的环境监测系统提供了一种可靠且可扩展的虚拟传感解决方案。
**研究背景与问题**
在环境、工业和能源领域,基于传感器的监测系统已生成大规模高频数据流。然而,实际部署中常受传感器故障、稀疏部署、校准漂移和通信中断等影响,导致数据缺失、噪声和不可靠,进而降低下游数据驱动决策的可靠性。虚拟传感器(通过机器学习模型模拟物理传感器行为)可估算丢失或不可靠的测量值,但开发高保真虚拟传感器需要系统化流水线,涵盖预处理、数据生成和验证策略。现有研究多聚焦孤立任务(如预测、插值或合成数据生成),缺乏统一框架,且未充分验证物理约束和时序生成基线的统计显著性。

**研究内容与结论**
研究人员提出一种智能虚拟传感器生成框架,整合了基于物理约束的预处理、统计虚拟传感器建模、KL散度(Kullback-Leibler divergence, KL divergence)融合、深度生成增强和时间预测。实验证明:融合方法优于独立方法,基于变分自编码器(Variational Autoencoder, VAE)的增强在统计保真度和预测误差上优于条件表格生成对抗网络(Conditional Tabular Generative Adversarial Network, CTGAN);该框架在公共NOAA数据集上验证了可迁移性,且与TimeGAN和扩散模型比较后,通过Wilcoxon检验确认了统计显著性。论文发表于《Sensors》。

**主要关键技术方法**(不超过250字)
关键技术包括:①预处理:阈值滤波、物理约束(如温度-40~60°C、湿度0~100%)、孤立森林(Isolation Forest)异常检测,以及对风向进行正弦-余弦编码化解0°/360°不连续性;②统计虚拟传感器生成:反距离加权(IDW)、核密度估计(KDE)、岭回归和Copula建模,从不同角度捕捉变量关系;③数据融合:基于KL散度自适应融合多种统计输出,按与真实数据的分布相似性加权;④深度生成增强:使用VAE和CTGAN学习数据分布并扩充样本;⑤时间预测模型:双向长短期记忆网络(BiLSTM)和双向门控循环单元(BiGRU)评估数据质量。样本来源为韩国多个气象站和公共NOAA LCD数据集。

**研究结果**(保留论文小标题)

**4.1 Comparison**
通过比较BiLSTM/BiGRU的MAE,发现物理传感器数据基线误差最低(如温度MAE约1.45)。在虚拟传感器中,融合Copula–KDE结合VAE增强的变体对温度、风向表现最佳(温度MAE约2.27,风向MAE约0.16),而KL-Ridge–IDW结合VAE对风速最优(MAE约0.59,低于物理基线)。融合方法整体优于独立KDE,VAE增强普遍优于CTGAN。

**4.2 Comparison with Temporal Generative Baselines**
与TimeGAN和扩散基线的比较表明,所提出的KL-Fusion+VAE+BiGRU框架在温度、风向、风速上MAE低于TimeGAN(如温度MAE从4.71降至2.27),与扩散基线竞争力相当,且计算成本更低。

**4.3 Statistical Significance Analysis**
通过Wilcoxon符号秩检验(显著性水平α=0.05)比较预测误差分布,p值均低于0.05,证实所提出框架与基线之间的性能差异具有统计显著性。

**4.4 External Validation on a Public NOAA Weather Dataset**
在公共NOAA LCD数据集上,KL-Ridge–IDW融合数据的温度MAE(0.7746)低于原始数据基线(0.8730),湿度、风向、风速的融合结果与原始基线接近,验证了融合工作流的可迁移性;但VAE增强需针对新数据集调整,以避免误差升高。

**讨论与结论**
讨论部分指出,该框架通过物理约束和风向编码确保了生成数据在物理上有意义;融合增强的改进可归因于互补性结合。VAE更保守地保持分布结构,CTGAN引入多样性但可能带来分布漂移。BiLSTM和BiGRU性能因变量而异。未来工作关注实时部署、不确定性融合、自适应可靠性估计以及更大规模多位置传感器网络验证。**研究结论**(翻译自原文5. Conclusions and Future Work):
本研究提出了一种智能虚拟传感器生成框架,集成了统计虚拟传感器建模、物理约束验证、基于KL散度的融合、深度生成增强和时间预测,用于智能环境监测。该框架应对了由稀疏传感器部署、传感器故障、校准漂移和通信中断引起的缺失、噪声和不可靠测量。物理约束确保生成值保持在有意义范围内,包括湿度在0–100%内、风速≥0 m/s、风向在0°–360°内。此外,风向使用正弦和余弦分量编码并利用atan2重构,降低了0°/360°边界的不连续性。实验结果表明,基于KL散度的融合相比独立生成方法提高了虚拟传感器数据的分布一致性和预测实用性。在增强方法中,VAE通常更有效地保持原始数据结构并提供更低的预测误差,而CTGAN提供更广的样本多样性但可能引入额外的分布偏离。BiLSTM和BiGRU评估进一步证实生成的虚拟传感器数据支持可靠的时间预测,模型性能因变量和生成配置而异。BiGRU在风向相关变量上仍有竞争力,两者在湿度预测上表现稳定。与TimeGAN和基于扩散的时间生成基线的比较展示了所提出的KL融合与VAE框架的竞争性能,特别是在温度、风向和风速方面。Wilcoxon符号秩检验确认了性能差异的统计显著性。为进一步检验可迁移性,使用公共NOAA LCD数据集进行了外部验证,结果显示所提出的KL-Ridge–IDW融合工作流仍适用于公共气象站数据,并提供了与原始数据基线竞争力相当的预测精度。此外,计算复杂性分析表明该框架对中等规模环境传感器数据集具有实际可行性,运行时间和内存需求主要取决于深度生成增强和循环预测阶段。未来工作将聚焦于实时部署、不确定性感知融合、自适应可靠性估计,以及在更大的多位置传感器网络和更多公共环境监测数据集上的验证。还将研究数据集特定的生成模型调优、物理信息学习和基于注意力的时间模型,以提高鲁棒性、可迁移性、可解释性和在智能传感应用中的实际部署能力。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号