面向CPU部署的紧凑神经网络剩余使用寿命预测评估

《Machines》:CPU Deployment-Oriented Evaluation of Compact Neural Networks for Remaining Useful Life Prediction Ali Naderi Bakhtiyari, Vahid Hassani and Mohammad Omidi

【字体: 大 中 小 】 时间:2026年03月29日 来源:Machines 3.0

编辑推荐:

  剩余使用寿命(RUL)预测是现代化工业系统预测与健康管理(PHM)的关键组成部分。虽然深度学习方法显著提高了预测精度,但许多现有方法依赖难以部署在资源受限边缘设备上的大型神经网络。这项研究利用NASA C-MAPSS涡扇发动机基准,对用于RUL预测的紧凑神经网

  
剩余使用寿命(RUL)预测是现代化工业系统预测与健康管理(PHM)的关键组成部分。虽然深度学习方法显著提高了预测精度,但许多现有方法依赖难以部署在资源受限边缘设备上的大型神经网络。这项研究利用NASA C-MAPSS涡扇发动机基准,对用于RUL预测的紧凑神经网络进行了面向部署的评估。研究人员开发了两种轻量级混合架构,即CNN–GRU和CNN–TCN,其参数量约为28k–32k,以代表基于CPU的边缘推理的实用模型。研究人员在全部四个C-MAPSS子集(FD001–FD004)上进行了系统性实验分析,这些子集代表了递增的运行和故障复杂度。除基线性能外,研究人员还评估了两种训练后压缩技术(即全局非结构化幅度剪枝和动态INT8量化)。为了评估真实的部署行为,研究人员在高性能Intel x86工作站和资源受限的ARM平台上测量了推理延迟。结果表明,CNN–GRU通常能获得更高的预测精度,而CNN–TCN由于其纯卷积时间建模,提供了更一致且更低的推理延迟。非结构化剪枝可在预测精度上带来适度改善,提示一种正则化效应,但由于剪枝掩码带来的开销,在标准CPU上它并不能可靠地减少模型大小或延迟。动态量化大幅减小了模型大小(尤其是对CNN–GRU),同时保持了预测精度;然而,由于额外的量化和反量化操作,它增加了运行时延迟。这些发现表明,常用于大模型的压缩技术并不一定能转化为对已经紧凑的RUL架构的部署优势,并强调了在设计边缘预测系统时进行硬件感知评估的重要性。

剩余使用寿命(RUL)预测是预测与健康管理(PHM)领域的核心任务,旨在估计系统在达到失效阈值前还能正常运行的剩余周期。现代工业系统中,基于深度学习的方法在RUL预测精度上取得了显著进展,但大多数现有模型参数量巨大,难以部署在内存、算力和功耗均受限的边缘设备上。针对这一问题,研究人员指出,虽然模型压缩技术(如剪枝和量化)在大规模视觉或语言模型上效果显著,但其在紧凑型PHM架构上的适用性尚不明确,且现有研究多聚焦于准确性而忽视了CPU部署场景下的延迟、模型大小等实际约束。为此,研究人员在NASA C-MAPSS涡扇发动机退化模拟数据集上开展了一项面向CPU部署的系统性评估,论文发表在《Machines》。


研究人员设计了两种紧凑混合架构——CNN–GRU和CNN–TCN,分别包含约28k和32k个参数,使其能够代表 realistic 的CPU边缘推理模型。主要技术方法包括:(1)全局非结构化幅度剪枝,对卷积层和全连接层施加不同稀疏度(0.3–0.9),随后进行5个epoch的微调;(2)动态INT8量化,利用PyTorch的标准eager模式对GRU和全连接层(对CNN–GRU)或仅全连接层(对CNN–TCN)进行训练后量化。实验覆盖C-MAPSS全部四个子集(FD001–FD004),分别代表单运行条件单故障模式、多运行条件单故障模式、单运行条件双故障模式、多运行条件双故障模式,以测试不同退化复杂度下的模型行为。推理延迟在高性能Intel i9 x86工作站和资源受限的AWS ARM(aarch64)平台上测量,确保结果反映真实部署条件。


研究结果部分:


4.1 非结构化幅度剪枝:通过对比不同稀疏度下的预测误差(RMSE和MAE)和推理延迟发现,剪枝能在部分子集上提高准确性(例如CNN–GRU在FD001上RMSE从18.21降至16.70;CNN–TCN在FD003上RMSE从23.23降至20.26),但模型序列化大小因剪枝掩码而增大(CNN–GRU从0.113MB增至0.151MB,CNN–TCN从0.133MB增至0.260MB),且推理延迟在标准CPU上未降低甚至增加(如CNN–GRU在ARM平台FD001上延迟从1.875ms增至2.425ms)。这表明非结构化剪枝主要发挥正则化作用,而非部署加速方法。


4.2 动态量化:评估动态INT8量化对精度和部署效率的影响。结果显示,量化几乎不改变预测精度(CNN–GRU在Intel i9上FD001的RMSE从18.21变为18.29;CNN–TCN在FD003上从23.23变为23.04),并显著减小CNN–GRU模型大小(从0.113MB降至0.0506MB,降低约55%),但推理延迟在两种平台上均增加(CNN–GRU在Intel i9上从约0.70ms增至约1.30ms)。因此,动态量化主要提供内存效率优势,而非延迟优化。


4.3 不同压缩方法的RMSE和延迟对比:综合比较基线FP32、剪枝和动态量化在CNN–GRU上的表现。剪枝在多数子集上实现最低RMSE(如FD001为16.70),动态量化对RMSE影响最小(误差±0.2 cycles)。延迟方面,基线FP32最低(Intel i9约0.69–0.70ms),剪枝略增,动态量化延迟最高(Intel i9约1.30ms)。量化后的延迟增加源于运行时量化和反量化操作。


4.4 边缘部署适用性随退化复杂度的变化:按数据集复杂度总结架构与压缩策略的适用性。在简单场景(FD001)中,CNN–GRU剪枝后精度提升明显;在多运行条件(FD002)中,基线CNN–TCN的精度-延迟权衡更稳定;在多故障模式(FD003)中,剪枝对CNN–TCN精度提升最大;在最复杂场景(FD004)中,两种架构表现相似,适度剪枝增益有限,CNN–TCN基线适合可预测运行。


总结讨论部分:研究人员在结论中指出:CNN–GRU通常实现更高的预测精度,CNN–TCN由于卷积并行性延迟更低;非结构化剪枝可适度提高RMSE,但不能可靠减少延迟或模型大小;动态量化大幅减小CNN–GRU模型大小且保持精度,但增加推理延迟。这些发现强调,模型大小的缩减并不一定转化为通用CPU上的运行时性能提升。对于紧凑型RUL模型,动态量化主要是内存效率优化,非结构化剪枝则主要作为精度导向的规则化机制。同时,延迟增加并非低精度推理的固有局限,通过静态量化或量化感知训练(QAT)可能缓解。未来工作应研究硬件感知的压缩策略,包括静态量化、结构化剪枝、稀疏感知执行和加速器部署,以更好地满足边缘实时约束。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号