单注意力大语言模型用于高效多区域电力需求与发电预测

《Energies》:Single-Attention Large Language Model for Efficient Multi-Regional Electricity Demand and Generation Forecasting Muhammad Zulfiqar, Kelum A. A. Gamage and M. B. Rasheed

【字体: 大 中 小 】 时间:2026年03月20日 来源:Energies 3.9

编辑推荐:

  电力预测是维持稳定、可靠和自主电力系统最关键的方面之一。虽然近期开发的基于大语言模型(Large Language Models, LLMs)的预测方法可以进行准确预测,但这些模型仍因其计算复杂性(需要更多计算能力)以及对精心设计提示的依赖而面临困难,这使得它

  
电力预测是维持稳定、可靠和自主电力系统最关键的方面之一。虽然近期开发的基于大语言模型(Large Language Models, LLMs)的预测方法可以进行准确预测,但这些模型仍因其计算复杂性(需要更多计算能力)以及对精心设计提示的依赖而面临困难,这使得它们在实践中变得复杂且更难以使用。为解决此问题,研究人员提出了一种单注意力大语言模型(Single-Attention Large Language Model, SA-LLM),该模型使用统一的注意力机制来理解主变量与附加变量之间的关系,而无需手动创建提示。所提出的框架已在真实的电力供需数据集上进行了测试,这些数据集来自美国主要的电力市场,包括PJM、MISO、NYISO、ISO New England、ERCOT、SPP和CAISO。实验结果表明,所提出的SA-LLM方法在准确性和相关误差方面优于现有的对应方法。具体而言,与传统基于长短期记忆网络(Long Short-Term Memory, LSTM)的模型相比,SA-LLM在平均绝对误差(Mean Absolute Error, MAE)上实现了22.5%的改进,同时相对于近期基于LLM的方法,内存使用量减少了52.1%,训练时间减少了38.4%。此外,SA-LLM表现出强大的零样本泛化能力,在先前未见过的区域上实现了额外18.2%的MAE改进。
### **研究背景与问题**
当前,受城市化、工业化和数字化驱动,全球电力消耗经历了前所未有的增长。能源需求的增加给能源生产者带来了巨大压力,要求其满足可持续性和韧性目标。减少气候变化的紧迫性进一步加剧了减少碳排放和向低碳能源系统转型的努力。然而,仅通过投资可再生能源基础设施无法实现这些目标,它们需要更智能、适应性强、数据驱动并具备实时处理能力的管理系统,以动态优化其功能。在此过程中,智能电网(smart grid)的概念变得日益重要,因为它提供了一种协调和优化分布式能源资源(Distributed Energy Resources, DERs)的有效方式。准确的电力需求和可再生能源发电预测方法对于确保智能电网的效率和稳定性至关重要。实践中,不准确的预测可能导致经济损失和预测误差。传统预测方法(如LSTM、自回归综合移动平均模型(Autoregressive Integrated Moving Average, ARIMA)和支持向量回归(Support Vector Regression, SVR))已被广泛应用并能提供良好结果,但这些模型通常难以捕捉现代电力系统的不确定性和复杂性。现代电力网络受到各种动态和不确定因素(如可再生能源发电、天气变化和市场趋势)的影响,其中许多表现出非线性行为。因此,能源市场已转向使用先进的人工智能模型,特别是能够揭示数据中复杂模式的深度学习(Deep Learning, DL)技术。LLMs因其注意力机制理论上能够捕捉多个数据序列间的长期依赖关系而在此领域展现出潜力。然而,由于在有效跨序列学习方面的挑战以及对手动设计提示的依赖,其在能源建模中的应用受到限制。

### **研究内容与方法概述**
为应对上述挑战,Muhammad Zulfiqar、Kelum A. A. Gamage 和 M. B. Rasheed 在《Energies》期刊上发表了题为“Single-Attention Large Language Model for Efficient Multi-Regional Electricity Demand and Generation Forecasting”的研究。该研究提出了一种新颖的单注意力大语言模型(SA-LLM)框架,旨在实现高效、准确且可泛化的多区域电力需求与发电预测。该框架的核心贡献在于引入了一个统一的单注意力机制,用于联合建模多元时间序列中的时序和跨变量依赖关系,从而无需复杂的提示工程。此外,研究还集成了一个可选的图神经网络(Graph Neural Network, GNN)模块,用于捕获空间和区域间关系,以进一步提高预测精度。

研究人员为开展此项研究,主要采用了以下关键技术方法:首先,构建了一个包含美国七个主要电力市场(PJM、MISO、NYISO、ISO New England、ERCOT、SPP、CAISO)从2018年至2025年每小时电力现货价格、总需求、各类发电(化石燃料、太阳能、风能、生物质、核能、水电)以及天气变量(温度、太阳辐射、湿度、风速)的真实数据集。数据按时间划分为训练集(2018-2021)、验证集(2022-2024)和测试集(2025)。其次,提出了SA-LLM的架构,该架构包含词投影层、单统一注意力模块、冻结的预训练LLM骨干网络、辅助特征提取器、基于注意力的特征融合与全连接细化层以及输出投影层。该架构通过统一的注意力块在LLM推理前处理输入,有效捕获目标变量与辅助特征之间的依赖关系。最后,研究引入了一个可选的时空GNN模块,该模块基于构建的加权无向图(节点代表区域,边权重基于地理或经济距离计算),通过谱图卷积(使用截断切比雪夫多项式近似)和门控循环机制来整合时空动态,并使用包含预测误差、参数正则化和图平滑度的损失函数进行端到端训练。

### **研究结果**
研究人员在多个方面对SA-LLM进行了全面评估,并与一系列基线模型(包括LSTM、DLinear、Informer、Autoformer、iTransformer、TimesNet、TimeLLM和MultiAttLLM)进行了比较。主要研究结果如下:

**1. 预测性能综合比较**
如表4所示,SA-LLM在长期基准评估中取得了最低的MAE(197 MWh)和RMSE(274 MWh),以及最高的R2(0.79)。在短期(24小时回溯,168小时预测)操作指标上,SA-LLM也表现出色,MAE为4.68 MWh,训练时间为0.18小时,峰值内存使用为2.5 GB,在预测精度和计算资源效率之间取得了良好平衡。

**2. 超参数敏感性与模型行为分析**
敏感性分析(图3)表明,SA-LLM在不同模型维度和层数配置下均能取得与MultiAttLLM相当或更低的验证均方误差(Mean Squared Error, MSE),表现出更强的鲁棒性。此外,与依赖复杂提示调整的TimeLLM和MultiAttLLM不同,SA-LLM在不同提示复杂度下均能保持稳定且优越的性能(表1),证明其架构对提示工程不敏感。

**3. 不同预测目标与时间跨度的表现**
如图10所示,SA-LLM在电力需求、可再生能源发电和化石燃料发电三个预测目标上均表现出最低的相对误差。在长达720小时(30天)的不同预测时间跨度评估中(图13),SA-LLM始终保持着最低的MAE、RMSE、平均绝对百分比误差(Mean Absolute Percentage Error, MAPE)和最高的R2,显示出其捕捉长期依赖关系和减少多步预测误差传播的强大能力。

**4. 零样本学习与跨区域泛化能力**
SA-LLM在零样本学习场景中表现出强大的泛化能力。如表5、7、8所示,当模型在一个区域(源域)上训练,并直接用于预测未见过的区域(目标域)时,SA-LLM相较于基线模型(如LSTM、DLinear)能实现高达18.2%的MAE降低。其性能与源域和目标域之间的模式相似度相关,相似度越高,预测误差越低。

**5. 计算效率与资源使用**
如图8和表4所示,与之前的LLM基方法(如MultiAttLLM)相比,SA-LLM将内存使用减少了52.1%,训练时间减少了38.4%。虽然DLinear在计算上最快、内存使用最少,但其预测精度中等。SA-LLM在保持高精度的同时,实现了显著的计算效率提升。

**6. 消融研究**
全面的消融分析(表3)评估了SA-LLM中各个组件的贡献。结果表明,移除谱图传播组件会导致MAE增加30.3%,移除时序门控机制会导致MAE增加22.2%,移除拉普拉斯正则化会导致MAE增加9.2%。这证实了时空GNN模块及其各子组件对于提升预测精度和稳定性的关键作用。

**7. 分类诊断评估**
通过将连续负荷预测结果按历史数据的分位数划分为低、中、高三类,并构建混淆矩阵进行评估(表6,图14),SA-LLM在所有需求区间都实现了最高的分类准确率,并且误分类最少,进一步验证了其捕捉复杂时空模式的能力。

### **讨论与结论**
**讨论部分**总结了本研究的核心发现与意义。SA-LLM框架通过统一的单注意力机制和可选的时空GNN,成功解决了现有LLM基预测方法在计算复杂度、提示依赖和跨区域泛化方面的局限性。实验结果表明,该模型不仅在多个美国主要电力市场上实现了最先进的预测精度,而且在计算效率和零样本泛化能力方面均有显著提升。研究还分析了区域异质性(如需求曲线、气候变异性、可再生能源渗透率和运行实践差异)对预测不确定性的影响,指出区域感知建模的重要性。

**结论部分**翻译如下:SA-LLM是一种新颖的多目标电力预测框架,它集成了单一的统一注意力机制和一个可选的GNN,以捕获美国主要电力市场(包括CAISO、ERCOT、PJM、MISO、NYISO、ISO New England和SPP)的空间相关性。它提供了一种统一的方法,用于实现准确、高效和可泛化的预测。所提出的SA-LLM框架在多个方面展示了显著的改进。在预测准确性方面,与LSTM相比,它将MAE降低了高达8.6%,有效捕获了非线性和对天气敏感的模式,同时对更稳定的化石燃料发电曲线保持了较低误差(~1.3%)。在计算上,SA-LLM效率更高,相对于之前的LLM基方法,内存使用减少了52%,训练时间减少了38%。该模型还表现出强大的零样本泛化能力,在未见过的区域上实现了额外18.2%的MAE降低,并且性能优于DLinear、Informer、Autoformer、iTransformer、TimesNet、TimeLLM和MultiAttLLM等基线模型。在从1到720小时的预测跨度上,SA-LLM始终实现了最低的MAE和RMSE(0–8 MWh)、最低的MAPE(0–25%)和最高的R2,证实了其鲁棒性和可扩展性。总体而言,这些结果确立了SA-LLM作为在动态、非平稳环境中进行大规模电力预测和先进能源管理的准确、高效和可泛化的解决方案。

未来工作方向包括:(i)区域迁移学习,以更好地处理多样化数据集的鲁棒性;(ii)动态构建能够随不同运营约束和环境因素演变的图;(iii)考虑具有风险和不确定性感知建模的概率预测模型;(iv)整合区域政策和市场动态,以更好地改善不同事件下的长期可持续性和韧性。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号