《Internet of Things》:SensePoints: A Deep Learning Approach Based on Multi-modal Data Fusion via Multiple Parallel Convolutions to Classify Points in Smart Buildings
编辑推荐:
物联网(IoT)设备在智能建筑中的快速普及,使基于数据驱动的能源与运行分析成为可能。然而,建筑之间缺乏标准化元数据,仍然是此类应用实现可扩展性与互操作性的主要障碍。将成千上万个异构感知与控制点的名称手动映射到诸如Brick之类的统一语义模式,不仅劳动密集、易出
物联网(IoT)设备在智能建筑中的快速普及,使基于数据驱动的能源与运行分析成为可能。然而,建筑之间缺乏标准化元数据,仍然是此类应用实现可扩展性与互操作性的主要障碍。将成千上万个异构感知与控制点的名称手动映射到诸如Brick之类的统一语义模式,不仅劳动密集、易出错,而且从根本上不可扩展。
本文提出SensePoints,这是一种新颖的深度学习框架,通过融合文本元数据与时间序列(TS)数据,实现异构点位的自动分类。SensePoints采用多头卷积神经网络(CNN),其中每种模态均通过独立的卷积分支进行处理,从而在融合之前保留模态特异性特征。文本点位名称使用基于BERT(Bidirectional Encoder Representations from Transformers,双向编码器表示变换器)的语义嵌入进行编码,而时间序列表现则使用互补的统计特征与频域特征进行表示。该框架可同时预测Brick类别标签及其相关特征属性,从而支持构建更丰富的建筑语义模型。
研究人员使用来自150余栋真实建筑、超过11,000个已标注点位的数据对SensePoints进行了评估。该方法在Brick类别标签上的Fscore达到0.75,在关键特征属性上的Fscore最高达到0.88。与此同时,该方法优于具有代表性的基准方法,包括基于自编码器的神经网络、基于树的时间序列分类器、结合注意力机制的循环神经网络,以及一种近期提出的基于视觉Transformer的方法。总体而言,SensePoints相较现有方法最高可实现60%的分类准确率提升。结果表明,面向模态的卷积融合可显著提升跨异构建筑场景下的准确性与泛化能力,从而支持面向智能建筑管理的、可扩展且具互操作性的IoT驱动分析。
该文发表于《Internet of Things》,围绕智能建筑中异构点位元数据难以标准化、跨建筑迁移能力弱、人工映射成本高等问题,提出了一个面向语义建模自动化的多模态深度学习框架SensePoints。研究背景在于,建筑管理系统需要依赖传感器、执行器和设定点等海量点位的语义标签来支撑能耗分析、故障诊断、舒适性优化与净零排放管理,但现实中不同建筑、不同机构乃至同一机构内部由不同供应商部署的设备命名规范高度异质,导致基于规则或纯文本的方法难以泛化,基于纯时间序列(TS)的方式又易受缺失、噪声、采样不一致和行为歧义影响。现有研究多聚焦点位粗粒度分类,且通常仅使用单一模态,或仅做简单特征拼接,较少同时推断点位类别与属性,因而难以形成完整的Brick语义建筑模型。基于此,研究人员开展了面向跨建筑真实场景的点位分类与属性推断研究,构建了能够联合利用文本语义与运行行为信息的统一框架,并证明该框架在类别识别与属性推断上均具有更高精度与更强泛化性。
方法上,研究人员使用澳大利亚Data Clearning House(DCH)中150余栋建筑的真实数据,原始数据共含28,580个点位,经筛选保留291个Brick类别中的11,732个具有时间序列数据的实体。文本侧采用预训练BERT生成768维点位名称嵌入;时间序列侧提取两类特征:反映整体行为的全局统计与频域特征,以及按小时组织的局部统计特征;训练阶段对类别不平衡使用SMOTE过采样;建模阶段采用三路并行多头卷积神经网络,将文本嵌入、小时级TS特征和全局TS特征分别输入独立卷积分支后再融合,并在hold-one-site-out设置下完成跨站点验证。
研究的核心结论是:SensePoints能够在大规模真实异构建筑数据中,同时实现Brick类别及相关属性的有效预测;模态特异性的独立卷积分支优于共享卷积或传统特征拼接;文本与时间序列联合建模明显优于单模态方法;该框架相较既有机器学习与深度学习基线具有显著性能优势。其重要意义在于,该研究为智能建筑中IoT点位元数据自动标准化提供了可扩展、可迁移的数据驱动方案,有助于推动Brick语义模型构建以及跨建筑能源分析应用的互操作部署。
在技术方法方面,研究主要使用了四类关键技术。其一,文本表示采用冻结的预训练BERT模型bert-base-nli-mean-tokens,对点位名称进行WordPiece分词、统一长度处理并生成上下文化语义嵌入。其二,时间序列表示同时提取小时级统计特征与全局时频域特征,包括自相关、偏自相关、自回归系数、线性趋势、复杂度度量及离散傅里叶变换(DFT)频谱特征。其三,针对类别极不平衡问题,在训练集内应用合成少数类过采样技术(SMOTE)。其四,建模采用多头卷积神经网络(CNN)并通过逐步搜索确定卷积层数、滤波器数量、池化方式、dropout与全连接层结构;评估采用留一站点外验证,以检验跨建筑泛化能力。
以下为论文主体结果的概括。
Overall Performance
研究人员首先报告了SensePoints在整体任务上的性能。使用文本与时间序列联合输入时,Brick类别预测的Fscore达到0.75;四类属性预测中,Electrical Phase Count的Fscore为0.73,Electrical Phases为0.71,Power Flow为0.87,Power Complexity为0.88,整体平均Fscore为0.79,标准差为0.07。该结果表明,该框架不仅能进行层级化本体类别识别,还能够较稳定地推断点位的细粒度电气与运行属性。
Classification Accuracy
混淆矩阵分析显示,SensePoints在样本量较大的类别上表现尤为突出,特别是Electrical Power Sensor、Voltage Sensor和Current Sensor等高频类别,合计约82%的实体被正确分类。相对而言,样本稀少类别的识别精度较低,如Thermal Power Sensor仅约50%。论文将这一差异归因于两点:一是长尾类别缺乏足够样本供模型学习稳健模式;二是某些类别在名称文本上高度相似,例如Thermal Power Sensor与Electrical Power Sensor的文本命名接近,若时间序列差异不足,模型容易混淆。
Impact of Multi-Modal Data Fusion
通过消融实验,研究人员比较了仅用TS、仅用Text以及Text+TS三种输入条件。结果显示,仅使用时间序列时Brick类别预测Fscore仅为0.38,说明行为特征本身难以充分表达点位语义身份;仅使用文本时,Brick类别Fscore上升至0.64,属性预测也显著提高,最高接近0.87,验证了点位名称中确实蕴含丰富语义信息;而文本与时间序列联合输入取得最佳表现,说明两种模态具有明显互补性,尤其在文本命名歧义较大时,时间序列可提供区分性行为证据。
Shared vs Independent Convolution
为验证并行独立卷积设计的有效性,论文将SensePoints与共享卷积分支变体进行了比较。共享卷积方案先拼接文本与TS特征,再用同一组卷积核统一提取特征;独立卷积方案则为每个模态设置专门卷积头。结果表明,独立卷积在所有任务上均优于共享卷积,其中Brick类别预测Fscore提升约20%,属性任务提升约4%–8%。该结果说明,文本嵌入与时间序列特征在统计结构和语义特性上差异明显,若强制共享卷积核,会削弱模态专属判别信息的提取;独立卷积更能保留模态特异表示并提升后续融合效果。
Comparison with Machine Learning Baselines
研究进一步将该框架中的预测模型替换为决策树(DT)、随机森林(RF)和支持向量机(SVM),并在相同多模态输入下进行比较。结果显示,采用CNN时,SensePoints在Brick类别分类上相对于这三种传统机器学习模型提高23.30%至53.70%;在各类属性任务上提高18%至36%,且差异经Wilcoxon检验达到统计显著。该部分结果表明,多头CNN在异构多源特征上具有更强的非线性表示学习能力。
Benchmarking Against Existing Approaches
在与文献代表性方法的对比中,基于文本自编码器的Almashor等方法Fscore为0.35,基于TS与XGBoost的Rana等方法为0.30,结合文本与TS并采用RF的Hong等方法为0.43;而SensePoints达到0.75。论文进一步报告,与上述方法相比,SensePoints分别实现约53%、60%和42%的显著提升。与较新的深度学习方法相比,TSViT达到0.71,基于注意力增强LSTM的RNN为0.64,SensePoints仍分别高出约0.04和14%。论文据此指出,Transformer和RNN虽能处理序列依赖,但在采样频率不一致、信号噪声较大、类别样本有限且需跨模态融合的真实建筑IoT数据中,未必能稳定学习到细粒度、模态敏感的判别模式;相比之下,多头CNN通过并行卷积分支与层级局部模式提取,更适于多模态点位分类。
Computational Cost and Robustness
论文还讨论了计算代价与鲁棒性。模型训练在32 GB内存、10核处理器环境下约需3小时,属于离线成本;一旦训练完成,推理阶段仅需单次前向传播,适合大规模部署。由于BERT作为冻结特征提取器使用,不进行微调,训练与推理开销进一步降低。与此同时,研究通过统一时间序列清洗流程、训练集内SMOTE平衡、留一站点外评估和消融实验,证明了该方法在真实异构建筑场景中的稳定性。
讨论部分强调,现有点位分类方法普遍在“语义可解释性”与“行为鲁棒性”之间存在权衡:文本方法具备较强语义信息,但依赖命名规范;时间序列方法跨建筑迁移潜力较大,但受数据质量制约;简单混合方法又难以有效建模跨模态关系。SensePoints通过模态感知的独立卷积融合,在不依赖目标建筑额外配置文件或专家反馈的前提下,同时学习点位名称中的语义线索与时间序列中的行为特征,因而改善了跨建筑泛化和细粒度语义推断能力。论文也明确指出其局限:该方法仍依赖足够的时间序列数据,对稀疏、低质或不规则测量点的分类仍具挑战;目前验证对象主要为暖通空调(HVAC)与电气系统,其在照明、门禁和安防等其他子系统中的适用性尚未验证。
研究结论部分可译为:本文提出了SensePoints,这是一种融合语义数据与时间数据、用于智能建筑中IoT实体自动分类的新型深度学习方法。通过采用多头卷积神经网络架构,SensePoints将基于BERT的实体名称嵌入与丰富的全局和小时级时间序列特征进行集成,从而能够对Brick类别及其相关属性进行准确而细粒度的分类。基于来自150余栋多样化建筑、经人工标注的点位数据所进行的大规模评估表明,该方法具有良好的鲁棒性与泛化能力。总体而言,SensePoints在Brick类别上的Fscore为0.75,在不同特征属性上的Fscore为0.71至0.88,相较当前先进基线方法提升42%–60%。结果证实,通过模态特异性特征提取来结合语义模式与行为模式,能够显著提升分类准确率以及跨异构建筑的可迁移性。与此同时,该框架仍存在若干局限:首先,其性能依赖于足够的时间序列数据,对于测量稀疏、不规则或质量较低的点位,准确分类仍有难度;其次,尽管该框架在跨建筑场景中表现出泛化能力,但当前评估主要集中于HVAC与电气系统,对于照明、门禁或安防等其他建筑领域的适用性尚未得到验证。