传感器-specialized JEPA (Joint Embedding Predictive Architecture) 基础模型补充行星尺度嵌入用于智能体水文推理
《Remote Sensing Applications: Society and Environment》:Sensor-specialized JEPA foundation models complement planetary-scale embeddings for agentic hydrologic reasoning
编辑推荐:
摘要:地理空间基础模型将多光谱观测压缩为稠密嵌入(dense embeddings),日益应用于自然语言环境推理系统中。单一行星尺度模型(如Google AlphaEarth)虽擅长广义表征,却可能弱化专用水文信号;此类通用模型通常不可访问、成本高昂且需大规模
摘要:地理空间基础模型将多光谱观测压缩为稠密嵌入(dense embeddings),日益应用于自然语言环境推理系统中。单一行星尺度模型(如Google AlphaEarth)虽擅长广义表征,却可能弱化专用水文信号;此类通用模型通常不可访问、成本高昂且需大规模算力。研究人员提出一组小型传感器专用联合嵌入预测架构(Joint Embedding Predictive Architecture, JEPA)基础模型(称Mini-JEPA),可供路由智能体(agent)咨询以回答专用问题。研究人员预训练了五个参数量22M的Mini-JEPA,共享相同的Vision Transformer骨干、相同JEPA训练方案及64维输出空间,分别使用Sentinel-2光学、Sentinel-1 SAR、MODIS热红外、多时相Sentinel-2物候及地形—土壤堆栈影像预训练。各Mini-JEPA重建与其传感器匹配的环境变量,交叉验证R2最高达:地形—土壤模型高程0.97、热红外模型均温0.97、物候模型降水0.81。五个模型各自最擅长预测的变量均为其传感器物理直接观测的变量。五个流形具有不同几何结构——全局参与比(participation ratio)从8.9(SAR)至20.2(热红外),局部本征维数从2.3至9.0;差异主要由热红外模型驱动,两个Sentinel-2光学模型近乎一致。将地形—土壤与物候模型嵌入与AlphaEarth Foundation Model结合,对土壤湿度、干旱度及降水预测产生微小但一致的增益(ΔR2最高达0.031)。在其传感器直接观测变量上,专家模型在AlphaEarth退化的未见区域仍保持性能。路由大语言模型(LLM, Claude Sonnet/Opus)读取各模态参考卡片并选择适配问题的传感器,90道水文问题配对LLM-as-Judge评估显示,将路由专家模型舰队加入AlphaEarth后,在最有利SAR(穿透云层及植被下水体等光学失效场景)问题上效果提升显著(Cohen's d=0.46, p=0.041)。研究表明小型专用Mini-JEPA可用适度算力构建,补充行星尺度模型,并在其传感器观测变量上与通用模型相当。
论文解读:Sensor-specialized JEPA Foundation Models Complement Planetary-Scale Embeddings for Agentic Hydrologic Reasoning
一、研究背景与意义
当前卫星基础模型(geospatial foundation models)多倾向训练超大规模单一模型融合全源数据生成通用嵌入,用于地表检索、分类及自然语言环境推理。但该范式存在局限:(1)单一嵌入空间须在多物理现象(光学反射、微波后向散射、热发射、季节物候)间折衷分配维度,对特定水文信号(如土壤湿度、冠层下积水)可能被弱化;(2)行星尺度模型(如AlphaEarth)通常闭源、训练昂贵、难以扩展或审计,资源受限机构难以自建或重训。传统水文遥感依赖任务专用监督学习,每任务需独立标注与模型,无法复用。自监督地理空间基础模型虽解决复用问题,但未解决通用嵌入对专用水文物理量表征不足及不可解释性。联合嵌入预测架构(Joint Embedding Predictive Architecture, JEPA)通过在潜空间预测而非像素级重建,免除对各传感器噪声分布的过拟合,适合跨传感器公平比较。本研究由Rahman, M.(Dartmouth College)发表于Remote Sensing Applications: Society and Environment,提出传感器专用Mini-JEPA舰队配合路由智能体(agent)补充行星尺度通用嵌入,开展水文推理。
二、主要关键技术方法
研究人员在美国本土(CONUS)均匀随机采样9704个30 m分辨率128×128像元斑块(3.84 km×3.84 km),排除水体、严重云污染及传感器缺失斑块,同址复用至五类卫星产品:Sentinel-2表面反射率年度中值(10波段,S2-Optical)、Sentinel-1 GRD双极化VV+VH中值(2波段,S1-SAR)、MODIS昼夜地表温度(2波段,MODIS-Thermal)、Sentinel-2四季物候合成(40波段,S2-Phenology)、SRTM地形+SoilGrids表层土属性(6波段,Topo-Soil)。各Mini-JEPA采用相同ViT-S(Vision Transformer-Small,12层、6头注意力、隐维384)骨干,经I-JEPA(图像JEPA)结合VICReg正则项预训练100 epoch(批次64,学习率1.5×10-4),输出64维嵌入匹配AlphaEarth维数。评估沿三轴开展:①维度水平物理可解释性(Spearman相关+随机森林置换重要性,空间分块交叉验证);②流形几何(全局参与比PR、最大似然本征维数、局部n80主成分数);③与AlphaEarth互补性(典型相关分析CCA + 随机森林单/联合特征集R2增益,含留一区域交叉验证)。智能体系统为各Mini-JEPA编写含维度字典、几何轮廓、传感器物理说明及R2表的参考卡片,路由LLM(Claude Sonnet 4.6 / Opus 4.7)依卡片选传感器子集做FAISS k-NN检索,合成LLM整合多模态检索结果作答。90道水文问题分四类(单模态、多模态、SAR有利、AlphaEarth有利),由两独立LLM裁判(Claude Haiku 4.5、GPT-OSS-120B)按五项 rubric1–5分评分。
三、研究结果
3.1. Sensor physics drives per-modality predictive skill(传感器物理驱动各模态预测能力)
通过随机森林回归各Mini-JEPA 64维嵌入对七环境变量预测R2显示:各模型最强预测变量即其传感器物理直接观测量——S2-Optical最擅长干旱度(R2=0.73),S1-SAR最擅长年均降水(R2=0.62),MODIS-Thermal最擅年均温(R2=0.97),S2-Phenology最擅降水(R2=0.81),Topo-Soil最擅高程(R2=0.97);地理空间热力图表明各模型技能集中分布于对应物理现象显著区(如热红外在内陆温度梯度区、地形—土壤在西部地形复杂区、物候在中西部农区)。NLCD土地覆被各类别预测最差,属任务本身局限。
3.2. The five mini-JEPAs produce distinct manifold geometries(五个Mini-JEPA产生不同流形几何)
全局参与比PR:S1-SAR最低(8.9),S2-Optical与Topo-Soil约11–12,S2-Phenology 13.9,MODIS-Thermal最高(20.2)。局部几何相反:MODIS-Thermal局部近一维(平均n80=2.0),S1-SAR局部最复杂(平均n80=6.0,标准差1.8),其余介于均值n80≈4–5。Kruskal-Wallis检验拒绝五模型共享局部几何(p<0.001);MODIS-Thermal与其余模型分离显著(配对Cohen's d=3.3–6.1, p<0.001),两Sentinel-2模型几乎无分离(d=0.09)。差异符合传感器物理:LST沿纬度—海拔主导梯度致局部线性,SAR同时响应粗糙度/湿度/生物量/淹没致局部多维。各模型均使用大部分维度表达局部变异,MODIS-Thermal局部集中于单维为部分例外。
3.3. Mini-JEPAs complement AlphaEarth on hydrologic variables(Mini-JEPA对水文变量补充AlphaEarth)
CCA显示Topo-Soil与S2-Phenology与AlphaEarth冗余度较低。联合特征集较优者R2增益具统计显著性(Bootstrap 95%CI不跨零):Topo-Soil+AlphaEarth对SMAP土壤湿度ΔR2=+0.031(CI [+0.028,+0.034]),S2-Phenology+AlphaEarth对降水ΔR2=+0.018(CI [+0.015,+0.020])、对干旱度ΔR2=+0.015(CI [+0.007,+0.022]),MODIS-Thermal+AlphaEarth对K?ppen气候分类ΔR2=+0.018(CI [+0.012,+0.024])。温、高程因AlphaEarth单独已达R2=0.93/0.94无额外增益。留一区域交叉验证:Topo-Soil在未见区域保高程中位R2=0.92(AlphaEarth降至0.69),MODIS-Thermal保温度R2=0.86(AlphaEarth降至0.38);其余变量AlphaEarth泛化相当或更优,土壤湿度两类均下降。专家模型在其匹配观测变量上可替代通用模型且在域外稳健。
3.4. A router LLM composes the fleet into an agentic retrieval system for hydrologic reasoning(路由LLM将舰队组成智能体水文推理检索系统)
路由LLM读参考卡片后对90题中具预期模态集合之问题100%至少选中一预期传感器。SAR有利问题优先选S1-SAR伴Topo-Soil;多模态问题共选S1-SAR+S2-Optical常加Topo-Soil;AE有利题仍辅以S2-Phenology/S2-Optical+AlphaEarth。三种检索条件(AE only / Fleet only / AE+Fleet)LLM裁判评分:整体均值接近上限差异小(AE+Fleet vs AE-only均值Δ=+0.025,47题改善、33退化、10持平);分类型看SAR有利类AE+Fleet显著优于AE only(Cohen's d=0.46, p=0.041, n=20),其余类效应不显著(单模态d=0.10 p=0.565;多模态d=0.07 p=0.722;AE有利d=0.03 p=0.957)。去除AlphaEarth仅用舰队轻微负偏(Haiku d=-0.12),说明通用模型广域上下文仍有价值。双检索(AE+路由舰队)为推荐配置。
四、讨论与结论翻译
研究人员指出局限:斑块限于CONUS及单年2022,跨区域/年需重训或适配;与AlphaEarth非对称对比(尺度/模态/架构不同),仅作互补参照而非匹配基线;LLM-as-Judge在强模型下评分趋近上限使聚合比较低分辨,类别分解方显效应;每类20–30题仅能检出中等效应;舰队仅沿传感器物理轴构建,未沿水文分区或时间尺度特化;无人专家评估及服务延迟基准测试。未来方向含按水文分区特化、扩展时空域、增强智能体(多尺度检索、科学工具调用)及直接水文决策任务验证。
结论(翻译): 研究人员引入五组Mini-JEPA基础模型,各在相同ViT骨架与JEPA配方下预训练于不同GEE卫星产品。固定架构使模型间差异仅来自所见传感器。各Mini-JEPA沿维度物理可解释性、流形几何及与行星尺度通用嵌入互补性三轴表征,并建立读参考卡路由相应传感器的智能体系统。发现:(1)传感器物理塑造特化——各Mini-JEPA最强预测技能匹配其传感器物理观测变量,对角线模式一致;(2)五Mini-JEPA流形结构不同,全局有效维数与局部几何复杂度差异反映各传感器所见物理;(3)地形—土壤与多时相物候训练的Mini-JEPA携带AlphaEarth未表征信息,尤对土壤湿度、干旱度及降水;(4)路由LLM依物理适配选传感器,光学失效(SAR有利)问题上AlphaEarth加路由舰队检索优于仅用AlphaEarth(中等效应)。去除通用模型损精度,舰队起补充而非替代作用;在其传感器直接观测变量上单Mini-JEPA可匹配通用模型且在地理留出验证中更稳健。该fleet-plus-router设计提示环境科学基础建模之互补路径:可在商用GPU上训练审计扩展小型专家模型并由智能体按需调度,降低壁垒且提升可解释性与可修正性,通用嵌入与专家舰队共存由智能体按问题物理选用。