LLM4SST:利用时空分布感知优化策略赋能大语言模型,实现结构一致的海表温度预测
《Expert Systems with Applications》:LLM4SST: Harnessing LLMs with Spatiotemporal Distribution-Aware Optimization Strategy for Structurally Consistent Sea Surface Temperature Prediction
【字体:
大
中
小
】
时间:2026年10月01日
来源:Expert Systems with Applications 9.4
编辑推荐:
•LLM4SST 利用预训练的大语言模型进行海表温度预测。
•上下文时间编码器捕捉时间语义和周期性模式。
•自适应空间编码器学习节点间和区域级依赖关系。
•分布感知优化策略确保结构一致性。
•LLM4SST 实现了卓越的稳定性和零样本泛化能力。
引言
海洋在调节全球热量平
•LLM4SST 利用预训练的大语言模型进行海表温度预测。
•上下文时间编码器捕捉时间语义和周期性模式。
•自适应空间编码器学习节点间和区域级依赖关系。
•分布感知优化策略确保结构一致性。
•LLM4SST 实现了卓越的稳定性和零样本泛化能力。
引言
海洋在调节全球热量平衡和碳循环中起着基础性作用。准确的海表温度(SST)预测不仅是科学前沿,还具有重要社会经济价值。可靠的海表温度预报对于理解全球天气模式、维护海洋生态系统健康以及管理航运路线也至关重要。随着深度学习的进步,越来越多的数据驱动方法被开发用于海表温度预测,因其优越的预测性能和高效的数据利用而受到广泛关注。
当前的深度学习海表温度预测方法通常依赖于卷积神经网络(CNN)、图卷积网络(GCN)和循环神经网络(RNN),包括长短期记忆网络(LSTM)和门控循环单元(GRU)网络。卷积长短期记忆网络进一步将卷积操作与递归结构相结合,以同时捕捉时空特征。最近,以自注意力机制闻名的Transformer架构在海洋时空预报中显示出巨大潜力。尽管取得了这些进展,但由于海表温度场固有的复杂时空依赖性,准确的海表温度预报仍然具有挑战性。
近年来,预训练的大语言模型,如GPT和Qwen,在长序列建模、上下文表示学习和迁移学习方面展现了非凡的能力。这些特性使大语言模型在经过有限的任务特定数据微调后,成为时间序列和时空预报任务的潜在骨干网络。然而,直接将大语言模型应用于海表温度预测面临一个基本挑战。大语言模型的核心架构是为一维文本数据设计的,这本质上限制了它们建模海表温度变量二维空间依赖的能力。如果没有明确的空间建模机制,大语言模型捕捉具有物理意义的时空海表温度模式的能力在很大程度上仍未被发掘。
此外,大多数现有的海表温度方法使用传统回归损失进行优化,如均方误差(MSE)和平均绝对误差(MAE)。这些损失函数仅基于点式数值差异来评估预测,隐含地假设空间位置和时间步之间的独立性。因此,模型被鼓励最小化局部错误,却未能捕捉到底层的时空结构,如长程依赖和区域一致性。如图1(a)所示,海表温度时间演变模式在局部区域内往往相似,但这种相似性并非严格由地理距离决定。这意味着一个有效的海表温度预报模型应该保持时空结构一致性,而不仅仅是数值准确性。遗憾的是,如图1(b)所示,两个预测可能实现相同的均方误差,同时表现出截然不同的空间结构,这突显了点式度量的不足。
基于这些观察,我们提出了LLM4SST,一个时空分布感知框架,利用预训练的大语言模型进行结构一致的海表温度预测。为了弥合语言模型和海洋数据之间的差距,我们引入了一个上下文时间编码器和一个自适应空间编码器,将海表温度数据转换为保留关键时空特征的序列,适合大语言模型使用。此外,我们提出了一种带有时空分布感知优化策略的优化目标,使模型能够学习超越点式数值准确性的连贯时间模式和空间结构。这些组件共同发挥了大语言模型固有的长上下文建模能力,从而产生更准确和结构忠实的海表温度预测。
本工作的主要贡献总结如下:
•新颖的基于大语言模型的海表温度预测框架。我们提出了一个基于大语言模型的海表温度预测框架LLM4SST,通过上下文时间编码和自适应空间建模,结合自生成图和区域级特征学习,增强了模型捕捉复杂时空依赖的能力。
•时空分布感知优化。我们设计了一种带有自适应时间打补丁和空间感知门控的时空分布感知优化策略,明确地鼓励预测海表温度场中的时间一致性和空间连贯性。
•大量实验。我们在区域和粗分辨率全球海表温度数据集上进行了大量实验,证明我们的方法在多个预报时间范围内始终优于评估的最先进深度学习方法,同时产生结构一致的预测。
各章节摘录
基于深度学习的海表温度预测
现有的海表温度预测方法大致可分为数值模型和数据驱动模型。虽然传统数值模型和统计方法长期以来一直占据主导地位,但在解决长期依赖和跨尺度耦合机制时,它们难以平衡准确性和计算成本。随着地球观测技术的进步和计算量的指数增长……
问题定义
海表温度预测的任务可以正式定义为学习一个映射函数,根据历史观测值预报未来海表温度值。
设空间观测节点(即网格点)的集合表示为??={??1,??2,…,????},其中N是节点总数。给定历史海表温度序列??={???????+1,???????+2,?,????}∈???×??,其中????∈???表示在时间步τ上所有N个空间节点的海表温度观测值,T是回望窗口长度,我们的目标是……
框架概述
如图2所示,所提出的LLM4SST框架由四个组件组成,即上下文时间编码器、自适应空间编码器、带有预训练大语言模型的预测层以及时空分布感知优化策略。整体设计旨在通过明确增强时间和空间依赖建模以及结构感知优化,利用大语言模型的力量进行海表温度预测。
具体来说,上下文时间编码器将时间戳……
实验
我们在区域和粗分辨率全球海表温度数据集上将LLM4SST与代表性深度学习方法进行比较。CFSv2作为补充的物理参考也被纳入。我们还进行了消融研究、零样本评估和骨干分析,以系统验证每个设计组件的贡献。此外,我们可视化了预测结果并分析了计算效率,以提供模型性能的直观和实际见解。
结论
在本研究中,我们提出了LLM4SST,一个利用预训练大语言模型进行结构一致的海表温度预测的新颖框架。与将海表温度数据视为顺序信号的传统时间序列预报方法不同,LLM4SST明确考虑了海洋观测中固有的时空依赖性。为了弥合顺序语言数据和时空相关海表温度场之间的领域差距,我们引入了两个关键设计组件:一个上下文时间编码器,它……
未引用引用
缺失引用
表5
CRediT作者贡献声明
陈宇伟:概念化、方法论、软件、验证、数据整理、可视化、撰写——初稿、撰写——审阅与编辑。杨汉琛:概念化、方法论、验证、数据整理、可视化、撰写——审阅与编辑。蒋旭东:概念化、方法论、验证、数据整理、撰写——审阅与编辑。葛晓锋:监督、方法论、撰写——审阅与编辑。李文根:概念化、监督、方法论、
利益冲突声明
作者声明以下财务利益/个人关系,这些可能被视作潜在的利益冲突:李文根报告了由国家自然科学基金提供的财务支持。如果还有其他作者,他们声明没有已知的竞争性财务利益或个人关系可能影响本文所报告的工作。
陈宇伟|杨汉琛|蒋旭东|葛晓锋|李文根|程海亮|管继红|张宜超|曹志伟
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号