《ADVANCED ENGINEERING INFORMATICS》:Sensor-based smoke reconstruction via retrieval-augmented smoke diffusion
编辑推荐:
•面向智慧消防的AI驱动建筑安全管理方案。•提出基于传感器的烟雾重建方法RAS-Diff。•RAG模块减少幻觉现象并提高重建稳定性。•新颖的光学密度表达实现高效烟雾重建。•集成基于物理的渲染方法,实现逼真的火场场景可视化。引言在全球快速城市化的背景下,密集的人口居住区和相互关
- •
面向智慧消防的AI驱动建筑安全管理方案。
- •
提出基于传感器的烟雾重建方法RAS-Diff。
- •
RAG模块减少幻觉现象并提高重建稳定性。
- •
新颖的光学密度表达实现高效烟雾重建。
- •
集成基于物理的渲染方法,实现逼真的火场场景可视化。
引言
在全球快速城市化的背景下,密集的人口居住区和相互关联的建筑环境使城市更容易受到火灾风险的威胁。伦敦格伦费尔塔火灾(2017年)和洛杉矶山火(2025年)等标志性事件已经证明了这一不断升级的危险(见图1)。除了人员伤亡之外,火灾事故的经济影响也十分巨大,全球火灾相关成本约占全球年度GDP的1%[1]。此类事件后的调查显示,应急响应中的缺陷是主要因素之一[2],这是由于缺乏来自火场的实时、可操作且有用的态势信息所致。
为应对这一挑战,传统消防监测方法通常依赖各种现场传感器来获取事故现场的即时信息。常见示例通常包括传感器(例如烟雾[3]、气体[4]、温度[5]等)和监控摄像头[6]。这些设备在现场部署,用于捕获火灾发生和蔓延的早期指标,为第一响应人员提供可靠数据[7]、[8]、[9]。然而,尽管这些传统方法行之有效,但它们存在固有的局限性,严重阻碍了其在复杂火灾场景中的性能。例如,基于视频的系统在低光照或高遮挡的火灾环境中变得无效[10],而点式探测器仅触发局部警报,缺乏对整个建筑浓度梯度或运动趋势的全面信息[11]。另一方面,事故指挥官日益需要的是不仅仅是早期预警,而是可解释的、空间连续的、动态更新的信息,描述烟雾和热量如何实时传播[12]、[13]。因此,迫切需要能够整合多源传感器数据并重建全场地火环境的方法,而不是仅依赖有限的局部测量或摄像头观测。
近年来,人工智能在消防安全科学和消防工程领域得到广泛应用,并成为推动智慧消防发展的关键引擎。最常见的方法是通过训练计算机视觉网络来实现火焰和烟羽的实时定位[14]、[15]、[16]。此外,为了解决其对环境条件的脆弱性,一些研究人员开始探索多源传感器数据与人工智能算法的整合。通过训练深度学习方法处理这些时间序列数据,这些方法还可以预测火灾位置[17]、[18]、[19]或火灾事件[20]、[21],相较于基于视觉的解决方案,由于其稳定性和鲁棒性而更加可靠。更具挑战性的是,一些方法考虑将其与计算流体力学方法相结合,使网络能够超越二元或位置预测,而是根据传感器数据生成场景内的温度或烟雾分布[22]、[23]、[24]。
然而,那些现有的基于传感器数据的生成式AI方法仍然存在一些局限性:(1)生成能力有限。对于关注烟雾扩散生成的研究,它们仅使用简单的神经卷积块来生成烟雾场,这更倾向于无法捕捉烟雾的复杂空间相关性和细节。因此,其对烟雾分布模式的重建往往粗糙且缺乏一些关键信息。(2)生成不稳定。由于缺乏关于传感器相对定位的可靠先验知识,深度学习方法经常在不同时间戳之间产生物理上不合理或不稳定的结果(例如,错误的烟雾发生位置和烟雾浓度不一致),导致幻觉效应。(3)数据表示和可视化过于简化。现有方法仅重建单层烟雾密度,忽略了垂直分层。通常,由于双层现象的存在,单层输出往往无法准确捕捉实际的烟雾扩散,从而限制了其在态势感知和应急决策中的实际应用。
为了解决这些局限性,我们提出了检索增强烟雾扩散(RAS-Diff),这是一种新颖的面向传感器驱动的烟雾场重建生成框架。主要贡献总结如下:
- (1)
基于扩散的烟雾重建:我们率先将Stable Diffusion应用于从稀疏传感器数据生成高保真烟雾分布,克服了传统卷积代理模型的局限性。其潜在去噪机制相比现有方法的简单卷积或循环神经块,能够产生明显更详细和结构一致的烟雾分布。
- (2)
视觉案例检索增强生成:为了解决生成模型在弱传感器条件下的固有幻觉和空间漂移问题,我们创新性地引入了一个专用的检索增强模块,并通过ControlNet无缝集成到扩散流水线中。该模块从预先构建的数据库中检索最相关的模拟烟雾扩散模式,并将其作为视觉先验提供给主干网络,以主动引导扩散过程。
- (3)
烟雾到图像的集成表示:除了仅在单个高度层预测烟雾密度外,我们设计了一种分层聚合表示,在多个间隔处采样光学密度并整合为图像。此外,我们开发了一个专用的可视化接口,该接口基于辐射传输方程构建了基于物理的渲染流水线,将这种集成格式转换为逼真的烟雾视觉效果,用于火场态势感知。
各节摘要
智慧建筑消防
传统消防监测系统主要依赖离子式或光电式烟雾传感器和热探测器等点式探测器来感知早期燃烧并启动基本火灾警报。尽管这些传感器在触发局部警报方面行之有效,但由于缺乏对烟雾浓度梯度或传播方向的提供支持,其效用仍受到限制[11]。这从而使得疏散人员和救援人员在了解正在进行的事件方面信息不完整
总体框架
如图2所示,我们提出的检索增强烟雾扩散(RAS-Diff)框架可分为三个主要部分:
- (1)
视觉案例检索:为生成过程提供可靠的物理先验,通过大量火灾动力学模拟器(FDS)运行构建了一个预建模拟数据库,涵盖各种火灾场景,包括不同的火灾位置、热释放速率和通风条件。数据库中的每个条目将时间序列传感器读数与对应的
模拟数据集
为验证我们所提方法的有效性,我们使用FDS构建了一个烟雾重建数据集。作为全尺寸实验的替代方案,使用FDS构建的数值数据集已被广泛采用,并被证明在对比真实世界实验时能够满足准确性的要求[24]、[64]。遵循这些先前工作中使用的方案,我们的数值数据集考虑以一条走廊加3个额外房间作为案例研究(如图7所示)。其总共有
结论
本研究提出了一种新颖的方法,旨在通过现场传感器数据重建火场中可能的烟雾分布,并提供一种可行的解决方案,同时开发了一个基于物理的可视化界面来渲染重建结果。主要结论如下:
- (1)
一种基于扩散模型构建的生成网络,能够与现有的生成式烟雾重建方法相比,重建出更详细和准确的烟雾重建结果。此外,我们
CRediT作者贡献声明
Ding Saizhe:撰写——原始草稿、方法学、调查研究、数据整理、概念构思。Yuxin Zhang:撰写——审阅与编辑、监督、项目管理。Xiqiang Wu:验证、形式化分析。Weikang Xie:验证、资源获取。Tong Lu:验证、资源获取。Tianyu Fan:方法学、调查研究。Xinyan Huang:撰写——审阅与编辑、监督、资金获取。
利益冲突声明
作者声明他们没有已知的竞争经济利益或个人关系可能会影响本文所报告的工作。
致谢
本研究由国家重点研发计划(SQ2024YFE0200776)资助,以及内地与香港科技合作基金(MHP/018/24)共同资助。
Ding Saizhe | Yuxin Zhang | Xiqiang Wu | Weikang Xie | Tong Lu | Tianyu Fan | Xinyan Huang