一种经过时间增强处理的任意形状分割模型,用于实现精准且稳健的海岸线分割
《Engineering Applications of Artificial Intelligence》:A temporal-enhanced Segment Anything Model for precise and robust shoreline segmentation
【字体:
大
中
小
】
时间:2026年06月28日
来源:Engineering Applications of Artificial Intelligence 9.0
编辑推荐:
陈国权|唐虎天|王伟军|谢道顺中国厦门市集美区银江路185号集美大学,邮编361021摘要近年来,大型基础模型的快速发展极大地推动了其在计算机视觉等领域的广泛应用。作为代表性的视觉基础模型,Segment Anything Model在静态图像分割任务中展现出强大的泛化能力。然而
陈国权|唐虎天|王伟军|谢道顺
中国厦门市集美区银江路185号集美大学,邮编361021
摘要
近年来,大型基础模型的快速发展极大地推动了其在计算机视觉等领域的广泛应用。作为代表性的视觉基础模型,Segment Anything Model在静态图像分割任务中展现出强大的泛化能力。然而,在处理受物体遮挡、光照变化和潮汐波动等影响的动态环境中的连续图像时,该模型缺乏有效的时间建模能力,难以保持分割结果在空间和时间上的一致性。为解决这一问题,本文提出了一种用于海岸监测的具有时间增强功能的海岸线分割模型。该模型在Segment Anything Model框架中引入了基于卷积长短期记忆的时间适配器,以增强多时相图像中海岸线动态特征的表示能力。在不同场景特征的数据集上的实验结果表明,所提方法在分割精度、边界质量、鲁棒性以及时间一致性方面均取得了优异的整体性能。主要的定量结果是通过基于真实掩码生成的oracle边界框提示获得的。该方法在动态海岸线监测与演化分析方面具有应用潜力及进一步研究价值。
引言
海岸线分割是地理信息系统(GIS)、环境监测以及沿海区域管理中的重要任务(de Oliveira和Barboza,2024)。准确的自动化海岸线提取对于资源管理、沿海动态监测以及气候变化分析等科学研究至关重要,同时在海岸侵蚀评估、栖息地保护、沿海基础设施风险评估、灾害预防与减灾、环境保护以及海洋经济发展等多个领域也具有重要的应用价值(Paul等人,2024)。在可见光图像分析中,传统方法主要依赖于RGB通道、色调和强度值等像素级的光谱信息,并通过阈值技术来区分湿润区域和干燥区域(Boak和Turner,2005;Vos等人,2019)。这些方法在静态场景或光照稳定的图像中表现良好,但对光照变化、海浪以及物体遮挡等动态环境因素极为敏感,会导致其性能显著下降(Ribas等人,2020)。由于现有模型难以在长时间的图像序列中保持分割精度,研究人员往往需要进行大量的人工校正和标注工作以确保准确性。然而,这一过程极其耗时且劳动强度大,严重影响了动态海岸线监测的效率与稳定性,也限制了其在大规模实际应用中的扩展性(Caldareri等人,2025;McAllister等人,2022)。
深度学习技术的快速发展为各领域的有效信息提取带来了新的思路(W. Wang等人,2025)。其中,Kirillov等人(2023)提出的SAM在图像分割领域取得了重大突破,为复杂环境中的海岸线分割带来了新机遇。得益于其出色的零样本泛化能力(Kirillov等人,2023)以及灵活的适配器微调机制(Chen等人,2023),SAM在包括医学成像中的器官与病变分割(J. Ma等人,2024)、航空遥感图像中的物体提取(Osco等人,2023;N. Liu等人,2025)以及高精度农田边界绘制(Huang等人,2024)在内的多种专业分割任务中展现了巨大潜力并取得了优异成果。尽管SAM在静态图像分割任务中具有很强的适应性和泛化能力,但其核心架构主要是为静态图像设计的,缺乏时间建模机制。因此,SAM难以有效捕捉和利用连续图像中的时间关联性与动态变化。在海岸线分割任务中,收集到的图像序列不可避免地会受到光照变化、强光干扰、物体遮挡、水面反射以及潮汐变化的影响,从而导致实际应用中的分割精度和鲁棒性下降。
为解决这些问题,本文提出了一种名为Shoreline-SAM的、针对SAM的时间增强型适配框架,专门用于动态海岸线分割任务。该模型的核心创新在于在SAM框架中引入了基于卷积长短期记忆(ConvLSTM)(SHI等人,2015)的时间适配器,使得模型能够捕捉图像序列中的复杂时间依赖关系。ConvLSTM网络继承了传统长短期记忆(LSTM)网络的记忆单元和门控机制,能够从序列数据中提取长期依赖关系。同时,通过用卷积操作替代LSTM中的全连接操作,ConvLSTM可以直接处理以三维张量形式存在的髙维空间特征图,从而避免了因展平操作造成的空间信息丢失(Hu等人,2020)。这种结构在时空依赖关系建模方面具有显著优势,尤其适合捕捉连续图像之间逐渐变化的边界过渡(Zhihui等人,2020)。通过引入ConvLSTM模块,所提模型提升了海岸线动态的时间建模能力,经大量实验验证,其在动态条件下的鲁棒性和精度均得到了提升。
为了全面评估所提出的海岸线分割方法,本文基于具有不同地貌特征和时空分辨率的多个海岸线数据集,设计了系统的性能测试与对比分析。通过结合ConvLSTM进行时间建模,Shoreline-SAM显著提升了其在图像序列中识别真实海岸线边界的能力。即便海岸线位置因潮汐变化而移动或被物体遮挡,该模型仍能保持较高的分割精度。此外,Shoreline-SAM还能有效抑制由光照变化、水面反射以及云层遮挡引起的视觉伪影,从而减少非地理特征带来的干扰。实验结果表明,适当的时间建模不仅提升了单帧分割的精度(尤其是在精细的海岸线结构与湿地边界识别方面),还大大增强了长期动态分割任务中的时间一致性和鲁棒性。总体而言,Shoreline-SAM大幅减少了人工后期处理和校正的工作量,显著提升了动态海岸线监测的自动化程度与可靠性。
本文的主要贡献总结如下:
- 1.
提出了一种具有时间增强功能的Shoreline-SAM分割框架。
在SAM架构中引入了ConvLSTM适配器,取代原有的MLP模块,从而能够在保留空间结构信息的同时,有效对多时相海岸线图像中的时间动态进行建模。
- 2.
将时间建模与基础模型的高效微调相结合,以此验证时间增强效果的有效性。
通过将时间上下文信息与基础模型的高效微调相结合,所提方法提升了模型在潮汐变化、光照改变以及物体遮挡等动态沿海条件下的分割稳定性。
- 3.
构建了一个用于时间海岸线分析的高分辨率数据集。
该数据集包含多个带有像素级标注的时间序列序列,用于支持具备时间感知能力的海岸线分割模型的训练与评估。
本文的其余部分结构如下:第二部分回顾了有关海岸线分割的相关研究以及现有模型在处理时间数据方面的局限性;第三部分介绍了Shoreline-SAM的整体设计以及ConvLSTM模块在SAM框架中的集成方式;第四部分展示了实验设置与性能评估结果;第五部分则分析了研究结论并提出了未来的研究方向。
章节节选
早期的机器学习方法
海岸线分割是遥感图像解读以及沿海区域动态监测中的基础性任务。早期的研究主要依赖于传统的基于像素的方法,这类方法通常利用光谱特征和颜色阈值来区分水体与陆地区域。例如,Plant和Holman(1997)以及Holland等人(1997)通过分析像素亮度和色调的差异,实现了湿区与干区的自动提取,而Aarninkhof等人(2003)则
所提出的Shoreline-SAM的架构
本节详细描述了所提出的Shoreline-SAM模型的整体架构。该模型基于SAM框架构建,同时引入了时间建模机制,以此提升其表征海岸线动态演变的能力,进而提高分割精度与跨帧的鲁棒性。具体而言,受到SAM-Adapter(Chen等人,2023)的启发,本文将图像编码器中的多层感知器(MLP)适配器替换为
实验部分
本章对所提出的Shoreline-SAM模型进行了全面的实验评估与分析。通过对比实验,系统验证了该模型在沿海分割任务中对时间动态的适应性、精度以及鲁棒性。
结论与未来工作
本研究基于Segment Anything Model(SAM)提出了一种具有时间增强功能的海岸线分割模型——Shoreline-SAM。通过在SAM框架中引入ConvLSTM时间适配器,该模型提升了其对海岸线图像序列中时间关联信息的建模能力。实验结果显示,Shoreline-SAM在自建数据集以及USVInland数据集上均取得了良好的性能。结合定性分析
CRediT作者贡献声明
陈国权:指导工作、项目管理、资金获取。唐虎天:论文撰写——初稿、软件工具、方法论、正式分析、数据整理。王伟军:论文撰写——审阅与编辑、模型验证、资源获取、资金获取、正式分析、数据整理、概念构思。谢道顺:模型验证、数据整理。
利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知利益冲突或个人关系。
致谢
本研究得到了福建省自然科学基金(编号2024J01702)、国家自然科学基金(编号52371369)、国家关键研发计划重点专项(编号2021YFB390150)、厦门市自然科学基金(编号502Z202373038)、福建省自然科学基金(编号2022J01323、2023J01325、2023I0019、2024J08063)、高校自然科学基金(编号ZQ2024096)以及科技计划的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号