基于多帧序列的多尺度配准技术,用于动态流体图像的处理

《Optics and Lasers in Engineering》:Multi-frame sequence-based multi-scale registration for dynamic fluid images

【字体: 大 中 小 】 时间:2026年01月02日 来源:Optics and Lasers in Engineering 3.7

编辑推荐:

  动态流体图像注册中,针对非线性强度失真与非刚性形变问题,提出多尺度联合时空约束的TSM-FIR方法。通过简化Co-occurrence过滤金字塔抑制尺度变化,相位一致性分析保留流体场边缘拓扑,双路径掩码特征提取融合多帧差分相位信息与原始图特征增强稳定性,并构建三维动态描述符TIFT捕捉时变特征。实验表明该方法在火焰动态场景中平均NCM达55.368,RMSE为1.895像素,显著优于基线方法,为燃烧诊断与环境监测提供可靠技术支撑。

  
Fujiang Zeng|Weilin Zhai|Yaman Jing|Rongzhu Zhang
四川大学电子与信息工程学院,成都,610065,中国

摘要

为了解决动态流体图像配准中非线性强度失真(NID)和非刚性形状的挑战,本文提出了一种基于多帧序列的多尺度配准方法(TSM-FIR)。该方法构建了一个简化的共生滤波(CoF)图像金字塔以抵抗尺度变化,并在每个金字塔层引入相位一致性(PC)分析以保持流体场的边缘拓扑结构。设计了一种双路径掩膜特征提取(DMFE)策略,通过时空连续性约束融合多帧差分PC图和原始PC图中的特征点,从而增强特征稳定性。提出了一种三维动态描述符TIFT,通过多帧时空立方体中的点采样模型来捕捉流体场的时间变化信息。对火焰对象的实验验证表明,TSM-FIR在不同流速和异质火焰下表现稳定,平均NCM为55.368,平均RMSE为1.895像素,显著优于其他方法。该方法有效解决了无法固定形态的动态流场配准问题,为多模态流场分析提供了可靠的技术基础。

引言

图像配准是指通过变换像素坐标将不同图像对齐到共同的空间坐标系中的过程。这项技术已广泛应用于医学图像分析[1,2]、智能交通[3]、遥感[4,5]、变化检测[6]和计算机视觉[7]等领域。然而,大多数现有的配准方法都是为具有固定形状的刚性或柔性对象设计的,当处理无定形且动态变化的对象时,这些方法的局限性变得明显。流体图像表现出显著的非刚性特征,对其的图像配准对于燃烧诊断、遥感分析、气候观测等领域具有重要意义。
流体运动伴随着温度和浓度梯度的变化,导致像素强度的分布不均匀。在这种情况下,基于灰度恒定假设的传统算法(如互信息配准[8])无法有效处理流体图像中的非线性强度失真,常常在配准过程中产生伪影。此外,流体图像具有高度的时空无定性,缺乏稳定的边界和几何先验信息。它们的运动模式随时间连续变化,表现出显著的非结构化特征。这使得基于稳定几何特征的主流方法(如SIFT[9]和SURF[10])难以在流体图像中提取稳定且可重复的特征点,从而导致匹配精度下降,无法有效进行配准。
同时,流体图像的动态纹理表现出短期不稳定性,帧间特征持续变化,需要建模时间一致性。然而,大多数传统配准算法都是基于单帧进行匹配的。例如,像PSO-GIFT[11]这样的多模态图像配准方法在其设计中忽略了时间信息。仅依赖静态图像特征往往无法捕捉流体运动的全局趋势,容易引入不匹配并丢失关键的动态细节。
随着人工智能的快速发展,深度学习方法在图像配准领域取得了一定进展。特别是基于Transformer的网络(如LoFTR[12])在刚性对象配准方面取得了显著突破。然而,这些深度学习方法依赖于大规模训练数据,这与流体图像采集的高成本和数据稀缺性相冲突。此外,深度学习方法的“黑箱”特性使得难以解释流体运动的物理规律。总之,目前尚无成熟的算法能够有效配准动态流体目标,相关应用迫切需要解决方案。
为了解决上述挑战,本文提出了一种多尺度动态流体图像配准方案,主要贡献如下:(1) 采用多尺度抗失真机制构建共生滤波金字塔,通过自适应窗口保持流体场的边缘拓扑连续性;(2) 采用时间特征增强策略融合多帧差分信息,通过运动轨迹约束提高特征稳定性并显著增加特征点的重复性;(3) 提出了一种新颖的三维动态描述符,突破二维空间限制,在时空立方体内构建流体运动的可解释描述结构;(4) 开发了一种多帧联合配准方法,有效处理传统方法中时间变化特征的不稳定性,并有效应对流体图像的动态变化复杂性。实验表明,所提出的配准框架为燃烧诊断和环境监测等领域的流体动态分析提供了可靠的图像处理工具,能够获取更多关于火焰和烟雾等典型应用场景的信息。

相关工作

相关工作

图像配准在该领域发展出了多种成熟的技术途径,主要可以分为三类:基于区域的方法、基于特征的方法和基于深度学习的方法[13]。尽管这些方法在刚性或非刚性目标的配准中得到了广泛应用并取得了成功,但在应用于流体图像时,需要克服流体图像的独特特性所带来的特殊挑战。
基于区域的方法依赖于灰度

方法论

为了解决配准问题,本文提出了一种配准方法(TSM-FIR),如图1所示。该框架包括三个模块。首先,SCF-SC构建了一个自适应窗口共生滤波的尺度空间;结合相位一致性(PC),生成了一个多尺度PC金字塔,该金字塔在降采样下保持边界拓扑并抑制边缘模糊。其次,DMFE提取时空一致的关键点:角点响应算子在

实验结果与讨论

为了验证所提方法的有效性,我们设计了四组实验。首先,进行了参数敏感性分析以测试不同参数并确定最佳配置。其次,通过将我们的方法与各种经典算法(如SIFT[9]、SURF[10])和多模态特征匹配算法(如RIFT[18]、CoFSM[33]、GIFT[11])进行定性和定量比较,验证了其正确性和优越性。

结论

本文提出了一种用于动态流体图像的多帧序列多尺度配准方法TSM-FIR。通过构建基于简单共生滤波器的多尺度相位一致性金字塔(SCF-SC),有效缓解了边界模糊问题,并在不同尺度上更好地保持了流场轮廓。引入了双路径掩膜特征提取(DMFE)模块,该模块融合了运动和结构路径,并应用掩膜选择获得一组特征点。

作者声明

我们声明本手稿是原创的,之前未发表过,也没有被其他地方考虑发表。我们确认所有列出的作者都已阅读并批准了该手稿,且没有其他符合作者资格但未包括在内的人。我们进一步确认手稿中列出的作者顺序已得到所有人的批准。我们理解通讯作者是唯一的联系人。

作者贡献声明

Fujiang Zeng:撰写 – 原始草稿、方法论、概念化。Weilin Zhai:可视化、验证。Yaman Jing:监督、调查、资金获取。Rongzhu Zhang:撰写 – 审稿与编辑、项目管理。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。

致谢

本工作得到了CAEP总统基金会(YZJJZQ2022001)的支持。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号