HydroBlox:一种基于人工智能的可视化编程框架,用于提升水文学研究的可重复性
《Environmental Modelling & Software》:HydroBlox: AI-Assisted Visual Programming Framework for Enhanced Scientific Reproducibility in Hydrology
【字体:
大
中
小
】
时间:2026年07月02日
来源:Environmental Modelling & Software 5.2
编辑推荐:
卡洛斯·埃拉索·拉米雷斯|易卜拉欣·德米尔杜兰大学河海科学与工程系摘要由于数据来源、分析流程的多样性以及日益复杂的可视化需求,水文与环境分析的科学工作流程可重复性一直是个难题。本研究介绍了HydroBlox,这是一种基于客户端的浏览器框架,通过可视化编程界面支持水文工作流程的创建
卡洛斯·埃拉索·拉米雷斯|易卜拉欣·德米尔
杜兰大学河海科学与工程系
摘要
由于数据来源、分析流程的多样性以及日益复杂的可视化需求,水文与环境分析的科学工作流程可重复性一直是个难题。本研究介绍了HydroBlox,这是一种基于客户端的浏览器框架,通过可视化编程界面支持水文工作流程的创建、执行和导出。该平台整合了模块化网络库,可在浏览器中直接实现数据获取、统计分析和可视化功能。文中通过两个案例展示了该平台的实用性:一是爱荷华河流域的降水-径流响应分析,二是利用工作流程生成集合干旱情景的基于SPI的干旱特征分析。实验结果表明,该系统能够助力在各种空间和时间尺度上开展可重复、可移植且可扩展的水文分析。本文还探讨了该系统的架构、实现方式及功能,并分析了其对水文学领域中的协作研究、教育以及低代码科学计算的潜在影响。
引言
科学过程的可重复性是学术进展的重要基础,但在水文建模研究中,由于计算工作流程的复杂性不断增加,这一目标仍面临诸多挑战(Gil等人,2016;Stagge等人,2019)。水文系统具有多样的空间尺度、驱动机制以及陆气相互作用,因此需要灵活且标准化的流程来确保研究结果的透明性和可重复性(Ewing等人,2024)。随着水文科学越来越多地采用计算方法,设计、执行和复现工作流程的能力已成为衡量科学可信度的关键标准(Hutton等人,2016;Hut等人,2022)。然而,计算可重复性常常受到碎片化工具链、专有软件依赖以及未文档化的数据处理步骤的阻碍,这些都给已发表结果的复现带来了很大困难。
Ruiz-Pérez等人(2016)和Essawy等人(2018)指出,缺乏开放、可共享的工作流程会妨碍已发表结果的复现,进而降低人们对分析结果和模型预测的信任度。因此,人们越来越呼吁建立标准化的流程和开源工具,以支持一致的流程执行、元数据保存以及协同扩展。
与此同时,用户界面设计和网络技术的进步为降低环境建模的入门门槛创造了新的机会。诸如教育工具和嵌入式系统中使用的可视化编程语言,能够让用户通过基于块或图表的界面构建逻辑流程,而无需编写代码(Kuhail等人,2021)。在水文学领域,这类技术有望帮助研究人员、教育工作者和从业者无需经过复杂的软件培训即可构建和分享分析成果(Finkenbiner & Semmendinger,2021)。
虽然已有HydroShare等平台在推动元数据保存和标准化发布方面取得了显著进展(Tarboton等人,2022;Maghami等人,2024),但这些系统往往需要复杂的后端基础设施、本地运行环境或较高的脚本编写能力。目前还缺乏能够在去中心化的客户端环境中实现完全可视化工作流程开发与执行的原生浏览器模块化工具。现有的工作流程管理系统,如Apache Airflow、Kepler或Argo Workflows,通常需要复杂的服务器端部署或Docker之类的容器化环境,这可能成为教育用途或现场应用的障碍。为此,本研究提出了HydroBlox,这是一种基于网络的可视化编程框架,旨在填补这一空白,让网页浏览器能够充当高性能的科学运行环境,在充分利用本地计算资源的同时也考虑到浏览器的限制。该框架以一个通用的计算管理器为核心,能够协调四种不同的执行引擎,从而在完全基于客户端的情况下实现接近原生性能的计算密集型任务处理。该方法利用现代网络标准实现浏览器内的模型执行、本地数据存储、离线使用以及非阻塞式并行处理。
该框架还集成了全局数据调度层,能够通过编程方式访问文中后续将介绍的20多个主要机构提供的数百个数据端点。通过自动化处理复杂的Web服务与协议,该应用消除了数据获取过程中通常存在的繁琐操作。此外,HydroBlox还引入了一个以本地优先为原则的AI助手,它结合服务驱动型AI和本地浏览器推理两种方式,确保在构建和调试工作流程时能够保障数据隐私,且无需依赖外部API。这种以网络为基础的设计理念,能够形成完整的研究生命周期,而且该应用可作为独立的、具备离线功能的网页应用立即共享。
章节节选
水文学中的可重复性与开放工作流程
可重复性仍是计算水文学面临的核心挑战。尽管模型和分析流程已被广泛使用,但许多研究仍缺乏可公开共享的工作流程,也没有对数据转换过程进行清晰的记录(Demir & Szczepanek,2017)。Hutton等人(2016)认为,如果没有可重复的方法,计算水文学的科学可信度就会受到威胁。像HydroShare(Essawy等人,2018;Tarboton等人,2022)和HydroBench(Moges等人,2022)这样的工具已经
系统概述
HydroBlox是一款基于客户端的网页应用,具有高度的模块化扩展性,所有操作都在浏览器内部完成。该平台无需后端服务器,依靠开放的网络标准,能够在不同设备上提供响应迅速且便于携带的界面。该应用的主要目的是提供一种可视化编程范式,通过可扩展的框架满足水文学领域及其他领域的用户需求,支持使用多种编程语言和不同功能范围来生成
工作流程的性能
为了在真实使用场景下评估该平台,我们对应用工作流程库中的典型工作流程进行了测试,这些工作流程涵盖水文分析、水质评估、气候与时间序列分析、预测与机器学习,以及基于网格数据集的空间分析。所选的工作流程反映了常见的端到端浏览器原生操作,包括数据获取、浏览器内处理以及交互式可视化,无需依赖服务器端的分析功能
贡献与更广泛的影响
HydroBlox代表了基于浏览器的水文信息学领域的重大进步,它提供了一个可视化环境,让用户无需后端基础设施即可构建可重复的分析流程。该平台基于HydroSuite生态系统设计,将用户界面与底层计算逻辑分离。这种模块化架构允许用户使用标准化的功能模块来组合工作流程,同时确保系统具备良好的扩展性;第三方工具和自定义功能也可被整合进来
结论
本研究提出了HydroBlox,这是一款基于网络的平台,通过可视化编程范式用于构建、执行和共享水文工作流程。该系统完全基于客户端技术,通过结构化的块状界面,支持对数据源、分析函数和可视化组件进行模块化集成。用户可以交互式地定义和修改工作流程,无需依赖服务器基础设施或具备编程专长。
通过其
CRediT作者贡献说明
易卜拉欣·德米尔:写作——审稿与编辑、指导、项目管理、方法论、资金获取、概念构思。卡洛斯·埃拉索·拉米雷斯:写作——初稿撰写、可视化、软件开发、方法论、研究实施、正式分析、数据整理、概念构思
未引用参考文献
Alvioli和Baum,2016;Erazo Ramirez等人,2023;Erazo Ramirez等人,2024;Erazo Ramirez等人,2022;Haas等人,2017;Horsburgh等人,2015;Hutton等人,2020;HydroSuite,2004;Karris,2006;Sen,1968;Tarboton等人,2014;美国地质调查局,2023a;美国地质调查局,2023b。
关于写作过程中生成式AI及AI辅助技术的声明
在撰写本文档的过程中,作者使用了ChatGPT和Claude来开发文中所述的软件,并提升整篇手稿的可读性。在使用这些工具/服务之后,作者对内容进行了必要的审阅和修改,并对最终发表的内容承担全部责任。
利益冲突声明
? 作者声明,他们不存在任何可能影响本文所述工作的已知财务利益或个人关系。
致谢
本研究成果得到了内政部(DOI)——美国地质调查局(USGS)的支持,资助编号为G25AP00137。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号