从热异质性到区域供热系统中热负荷的公平分配
《ENERGY CONVERSION AND MANAGEMENT》:From thermal heterogeneity to equitable heating loads allocation in district heating systems
【字体:
大
中
小
】
时间:2026年09月26日
来源:ENERGY CONVERSION AND MANAGEMENT 11.8
编辑推荐:
• STF-MORL将建筑异质性纳入供暖负荷分配之中。• 基于ARX模型推导的经验控制特征为状态和奖励的构建提供了依据。• 在所研究的极端条件下,建筑间温度离散度降低了11.7%–13.8%。• 在所研究条件下,供暖负荷节省率提高了2.7–6.2个百分点。
1. 引言
建
• STF-MORL将建筑异质性纳入供暖负荷分配之中。• 基于ARX模型推导的经验控制特征为状态和奖励的构建提供了依据。• 在所研究的极端条件下,建筑间温度离散度降低了11.7%–13.8%。• 在所研究条件下,供暖负荷节省率提高了2.7–6.2个百分点。
1. 引言
建筑物约占全球能耗的30% [1],其中暖通空调(HVAC)系统为满足室内热舒适度需求而占此能耗的近60% [2],并造成约三分之一的全球温室气体排放 [3]。因此,减少建筑热管理系统的能耗对于实现建筑净零目标、缓解气候变化至关重要 [4]-[5]。区域供热系统(DHS)可高效满足大型建筑群的集中供暖需求 [6]-[7]。其与低碳热源和智能控制的结合进一步提升了能源利用效率、降低了碳排放 [8],相比独立供热系统具有更高的系统效率、更低的运行成本和更小的环境影响 [9]。然而,由于保温性能、围护结构传热特性及人员占用情况的不同,即便在相同气象条件下,各建筑的供暖需求仍存在异质性 [10]。这些需求还随环境条件变化,需要实时进行负荷分配。传统策略往往忽略建筑异质性和围护结构的延迟响应,导致室内热舒适度分布不均。此处所述的热公平性是指在等效热量投入下,为具有不同围护结构性能、朝向或社会经济背景的建筑提供可比的室内热环境。
极端天气加剧了区域供热系统中供暖负荷公平、高效分配的难题 [11]。在极端寒冷天气下,对外部温度更为敏感的建筑散热更快,固定的分配比例将加剧建筑间的温度差异。反之,在异常温暖时段维持传统供热,则可能导致过热和能源浪费。这些局限降低了热舒适度、系统可靠性和能源效率 [12]。因此,需要自适应分配策略来动态响应极端条件,同时平衡热公平性、舒适度约束和能源效率。
为应对上述挑战,大量研究致力于开发先进的区域供热系统供暖负荷分配策略 [13]。现有方法大致可分为三类:基于规则的基线方法 [14]、基于物理的优化控制方法 [15]-[16] 和基于人工智能的数据驱动方法 [17]-[18]。基于规则的基线方法包括等分法 [19]、比例分配法 [20] 和最大-最小公平分配法 [21]。这些方法具有实施简单、计算成本低和逻辑透明等优势。然而,其固有的静态特性限制了它们对环境动态变化及建筑特定热需求的适应能力,从而推动了引入物理建模和预测能力的优化方法及数据驱动方法的发展。
基于优化的控制方法通过分析求解或优化算法确定分配策略,具有较高的物理可解释性,但严重依赖准确的系统参数和模型假设 [22]。Zhang 等 [23] 提出了一种将降阶物理模型与机器学习数据驱动模型相结合的新型模型预测控制(MPC)方法,以联合优化区域供热子站的运行参数。Wang 等 [17] 将 MPC 应用于真实住宅建筑,结果表明与传统规则控制相比,卧室和客厅的制冷能耗分别降低了22.1%和26.8%。尽管基于优化的控制方法已取得显著性能提升,但难以捕捉建筑复杂的动态热特性 [24],这促使了基于人工智能的数据驱动方法的出现——该方法直接从运行数据中学习控制策略。数据驱动方法分析历史运行数据,利用机器学习或深度学习算法预测未来趋势 [25]。Liu 等 [26] 基于长短期记忆(LSTM)循环神经网络开发了短期供暖负荷预测模型,在四个月内无需人工干预即实现了令人满意的连续预测性能。Cui 等 [27] 提出了用于供暖负荷预测的双向长短期记忆(Bi-LSTM)模型,有效捕捉了外部环境条件的动态变化。Yao 等 [28] 引入了一种 CNN-LSTM 混合模型,不仅提高了预测精度,还利用 CNN 的空间特征提取能力。尽管数据驱动方法预测性能强、适应动态条件好,但仍受限于数据质量和数量、物理可解释性弱以及对极端天气等未见场景的外推能力不足。更为重要的是,建筑动态热特性主要用于预测,而建筑特定的热响应特性很少被转化为供暖负荷分配的显式、控制相关的状态信息。
同时,现有的多目标建筑节能和区域供热研究在目标表示方式和决策生成方式上存在显著差异。传统多目标优化(MOO)通过加权求和或基于帕累托的搜索直接计算特定场景的设计或运行方案,不学习顺序控制策略 [29]-[30]。相关建筑性能研究也将机器学习代理模型与多目标算法结合,在当前或未来气候条件下生成帕累托设计备选方案 [31]-[32]。相比之下,传统强化学习(RL)通过反复交互学习状态相关策略,通常优化标量奖励,该奖励可能结合了多项性能指标 [33]-[34]。在多目标强化学习(MORL)中,顺序决策问题被建模为多个(通常为向量形式的)目标或奖励,其产生的权衡关系可通过对向量回报进行标量化处理以适配特定偏好、使策略条件化于不同偏好或学习覆盖集/帕累托策略集来处理 [35]-[36]。在建筑热控制领域,文献 [37] 开发了一种可调权重的 DDPG 控制器,可在无需重新训练的情况下适应能源与舒适度优先级的变化。相比之下,文献 [38] 使用遗传算法优化各分区的能源分配权重,以训练多智能体深度强化学习控制器,从而协调多分区的控制。该方案主要涉及多智能体协调,与多目标策略学习有所区别。公平性感知的热控制也考虑了住户偏好的公平性 [39],但主要在住户或单建筑内部层面而非在热异质建筑之间共享区域供热容量的建筑间分配层面进行。
总体而言,STF-MORL 在最接近的现有方法上沿四个维度有所区别。第一,它显式地将建筑特定的、基于ARX的经验控制特征嵌入控制状态。第二,候选分配方案下的前瞻室内温度轨迹直接进入奖励和约束评估,而非仅作为预测输出使用。第三,公平性在建筑间层面通过异质性加权的目标温度偏差在策略学习中以及在帕累托动作评估中的温度离散度来表征。最后,STF-MORL 利用动态组合的目标特定优势函数更新PPO策略,并采用NSGA-II进行间歇性动作级帕累托精炼,从而生成帕累托候选动作而非已学习策略的帕累托集。
综上所述,现有方法中仍有三个关键研究空白有待解决:
(1)建筑特定的热响应差异尚未充分从表征和预测转化为供暖负荷分配的显式、控制相关的状态特征;
(2)当受限供热容量需在具有异质热响应的建筑之间分配时,建筑间热公平性作为显式控制目标的研究仍相对不足;
(3)在上述最接近的方法中,热响应表征、前瞻性预测、公平性感知控制和多目标顺序决策仅部分集成,尤其是缺乏面向区域供热负荷分配的动作级帕累托精炼。
为弥补上述空白,本研究提出了 STF-MORL——一种异质性感知框架,将区域供热系统中的热响应表征与供暖负荷分配相衔接,以实现自适应且公平的分配决策。主要贡献如下:
(1)利用建筑特定的ARX模型推导经验控制特征,在温度预测之外实现异质性感知的状态表征;
(2)将候选供暖负荷分配下的前瞻室内温度轨迹直接纳入奖励和约束评估,使当前分配决策能够考虑预期的舒适度风险;
(3)通过策略学习中的异质性加权目标温度偏差和帕累托评估中的温度离散度将建筑间公平性纳入考量。PPO策略采用动态加权的目标特定优势函数,并辅以间歇性的基于NSGA-II的动作级帕累托精炼,在所研究条件下平衡建筑间公平性、热舒适度和供暖负荷节省。
2. 方法
本研究提出 STF-MORL(图1)以将区域供热系统中的热异质性与公平的供暖负荷分配相联系。STF-MORL 并非简单组合 ARX、强化学习、NSGA-II 和自适应加权,而是为每个组件赋予统一异质性到控制流程中的特定角色。ARX 模块识别建筑级热响应差异并生成前瞻室内温度轨迹。MORL 模块将这些基于ARX的经验控制特征和预测的舒适度风险嵌入状态和奖励构建中,以学习自适应分配策略。NSGA-II 生成的帕累托解集为策略精炼提供参考权衡方案,而自适应加权机制则在极端运行条件下调整公平性、舒适度和热效率之间的相对优先级。
图1. STF-MORL 框架示意图。
2.1. 时空预测模块
2.1.1. 基于ARX的时空建模
(1)模型构建
建筑热动力特性反映了室内热存储、供暖输入和环境扰动的耦合效应。由于热质量、围护结构保温性能、朝向和建筑材料等方面的差异,各建筑表现出不同的热响应行为。为捕捉这些差异,为每栋建筑独立构建ARX模型,沿用ARX模型在建筑热动力特性数据驱动表征和预测中的既有应用 [40]。对于建筑 i(i = 1, 2, …, 5),时刻 t 的室内温度建模为:
$$T_i(t) = \sum_{j=1}^{n_a} a_{i,j} \cdot T_i(t-j) + \sum_{k=1}^{n_q} b_{i,k} \cdot Q_i(t-k) + \sum_{m=1}^{n_w} c_{i,m} \cdot X_m(t) + \varepsilon_i(t)$$
其中 $T_i(t)$ 为建筑 i 在时刻 t 的室内温度(℃);$a_{i,j}$ 为自回归系数,反映室内温度对其滞后值的依赖关系;$T_i(t-j)$ 为滞后室内温度;$b_{i,k}$ 为与滞后供暖输入相关的系数;$Q_i(t-k)$ 为滞后供暖负荷(kWh/h);$c_{i,m}$ 为与外部气象输入相关的系数;$X_m(t)$ 表示外部变量,包括室外温度($T_{out}(t)$)、湿度($H(t)$)、太阳辐射($I_{sol}(t)$)、风速($w_{wind}(t)$)和风向($w_{dir}(t)$);$\varepsilon_i(t)$ 为预测残差;$n_a$ 和 $n_q$ 分别为室内温度和供暖输入项的滞后阶数;$n_w$ 为外部气象变量数。
该模型将观测到的建筑热动力特性组织为三组经验输入-输出关系:(1)室内温度对其滞后值的依赖关系;(2)室内温度与滞后供暖输入之间的关联;以及(3)室内温度与观测气象变量(包括室外温度和太阳辐射)之间的耦合关系。这些关系支持数据驱动的温度预测和控制特征构建,但不作为物理传热机制的直接分解或RC参数的估计。为表征日周期模式,引入正弦时间特征以在午夜前后连续编码24小时周期,从而改善时间表征和预测泛化能力。其表达式为:
$$f_{sin}(t) = \sin\left(\frac{2\pi \cdot hour(t)}{24}\right)$$
$$f_{cos}(t) = \cos\left(\frac{2\pi \cdot hour(t)}{24}\right)$$
(2)模型训练
为保留建筑热动力特性中固有的时间依赖性并确保模型评估无偏,将完整数据集按时间顺序划分为训练集和测试集。对于建筑 i 在时刻 t,输入特征向量包含四类变量,以全面表征室内温度的时空驱动因素:滞后室内温度 $[T_i(t-1), \cdots, T_i(t-n_a)]$ 表征历史状态依赖和短期温度持续性;滞后供暖负荷 $[Q_i(t-1), \cdots, Q_i(t-n_q)]$ 捕捉由输配延迟、散热器热质量和空气混合引起的响应延迟;外部气象变量 $X_m(t) = [T_{out}(t), H(t), I_{sol}(t), w_{wind}(t), w_{dir}(t)]$ 表示室外温度、湿度、太阳辐射、风速和风向,用于建模环境耦合;正弦时间特征 $f_{time}(t) = [f_{sin}(t), f_{cos}(t)]$ 编码日周期。滞后阶数 $n_a$ 和 $n_q$ 的选择通过初步自相关分析和对系统特征响应时间尺度的物理理解确定,在模型表达力与过拟合风险之间取得平衡。
为防止过拟合并增强模型对未见数据的泛化能力,采用 L2 正则化的岭回归估计 ARX 参数 [41],通过最小化以下正则化损失函数实现:
$$\hat{\theta}_i = \arg\min_{\theta_i} \left\{ \sum_{t=1}^{N_{train}} \left( T_i(t) - \hat{T}_i(t; \theta_i) \right)^2 + \mu \|\theta_i\|_2^2 \right\}$$
其中 $\theta_i = \{a_{i,j}, b_{i,k}, c_{i,m}\}$ 表示建筑 i 的 ARX 系数集合;$N_{train}$ 为训练样本数;$\mu > 0$ 为正则化强度超参数。
(3)模型验证
ARX模型训练完成后,拟合系数用于描述从观测数据中识别的经验输入-输出关系。自回归项刻画室内温度对其滞后值的依赖,供暖输入项描述其与滞后供热量的关联,室外温度和太阳辐射项描述其与观测环境变量的耦合。由于这些关系在三阶ARX模型中分布于多个滞后项,每个输入组内的系数幅值被聚合以构建紧凑的非负特征用于控制状态表征。这种基于幅值的聚合不保留系数符号中的方向信息;完整的带符号系数在ARX预测模型中保持不变。
相应地,通过聚合多个滞后项中对应ARX系数的幅值,推导出四个建筑级基于系数的指标。
为了简洁描述,它们在式(5)至(8)中分别被称为热惯性、热输入响应、室外温度灵敏度和太阳辐射灵敏度;然而,这些量是基于自回归模型(ARX)导出的经验控制特征,而非热惯性、RC时间常数或稳态/动态灵敏度的直接物理估计。
热惯性:
(5) τ_i = Σ_{j=1}^{n_a} |a_{i,j}|
热输入响应:
(6) U_i = Σ_{k=1}^{n_q} |b_{i,k}|
室外温度灵敏度:
(7) α_out,i = |c_{i,T_out(t)}|
太阳辐射灵敏度:
(8) α_sol,i = |c_{i,I_sol(t)}|
其中,式(5)定义的 τ_i 表示由自回归系数幅值构造的经验特征;式(6)定义的 U_i 表示由热输入系数构造的对应特征;式(7)和(8)定义的 α_out,i 和 α_sol,i 分别表示由室外温度系数和太阳辐射系数构造的特征。对于每个特征,数值越高表明在拟合的ARX模型中,对应变量的系数幅值聚合值越大。
**2.1.2 预测温度估计**
预测维度将STF模块从被动状态估计器转变为MORL智能体的主动决策支持工具。在每个决策时刻 t,MORL智能体在不知晓其后果的情况下选择分配策略 a(t) = [a_1(t), a_2(t), ?, a_i(t)]。预测维度通过基于递归多步结构,在候选分配下预测每栋建筑 i 的未来室内温度 T?_i(t+h)(其中 h ≥ 1 为预测步长)来解决这一问题。
对于一步预测(h=1),基于当前状态和候选分配负载,通过ARX模型直接计算室内温度。
(9) T?_i(t+1|a_i(t)) = ARX_i(X_m(t), Q_i(t), T_i(t), T_i(t-1))
(10) T?_i(t+h|a(t:t+h-1)) = ARX_i(X_m(t+h-1), Q_i(t+h-1), T?_i(t+h-1), T?_i(t+h-2))
对于多步预测(h ≥ 2),我们将前一步预测 T?_i(t+h-1) 递归代入。在本研究中,我们采用步长 H = 3 步、采样间隔 Δt = 1 h 的预测步长。
**2.1.3 与MORL的集成**
预测模块与MORL之间的集成是将建筑级热异质性转化为分配策略学习的关键步骤。具体而言,基于ARX导出的经验控制特征被嵌入状态向量中,以提供基于建筑特定系数的响应描述符。同时,在候选供暖负载分配下预测的前瞻室内温度轨迹用于奖励和约束评估中,以便在潜在舒适度违规发生之前对其进行惩罚。
**2.2 MORL框架**
MORL模块负责将异质性感知状态信息转化为自适应供暖负载分配决策。供暖负载分配问题被建模为马尔可夫决策过程(MDP),其中智能体观测状态 s(t),执行分配动作 a(t),接收多目标奖励 r(t),并转移到下一状态 s(t+1)。状态向量 s(t) 通过整合基于ARX导出的经验控制特征向量 β、历史室内温度 T_i(t)、外生环境变量 X_m(t)、时间特征 f_time(t) 和历史分配比例 r_history(t) 来表征DHS的运行状况。通过显式包含 β,状态表示将建筑级热异质性与自适应供暖负载分配决策联系起来。环境状态公式如下:
(11) s(t) = [β, X_m(t), f_time(t), T_i(t), r_history(t)]
策略学习采用近端策略优化(PPO)[42]实现,这是一种通过截断替代目标来约束策略更新幅度的Actor-Critic策略梯度算法。Actor将当前状态 s_t 映射为有界连续供暖负载分配动作 a_t。为保留特定于目标的回报信息,Critic估计与公平性、舒适度和效率相对应的三个目标特定的状态价值函数。这些价值函数从各自的奖励流中独立学习,并为Actor的更新提供特定于目标的基准:
(12) V_π(S_t) = [V_π_fair(S_t), V_π_comf(S_t), V_π_effi(S_t)]
其中,V_π_fair(S_t)、V_π_comf(S_t) 和 V_π_effi(S_t) 分别估计与公平性、舒适度和效率奖励组件相关的预期折扣回报。
权重系数 {w_fair, w_comf, w_effi} 根据极端天气识别模块的分类结果进行动态调整。对于每个目标,使用其对应的价值函数计算广义优势估计。然后,特定于目标的优点被动态组合为 ?_MO_t = w_fair · ?_fair_t + w_comf · ?_comf_t + w_effi · ?_effi_t,其中 ?_fair_t、?_comf_t 和 ?_effi_t 分别表示与公平性、舒适度和效率相关的分别归一化的优势。所得到的多目标优势 ?_MO_t 替代了PPO截断替代目标中的传统标量优势。PPO更新通过截断概率比目标、熵正则化、优势归一化和梯度范数截断来稳定。
在每个决策步骤中,多目标奖励由三个特定于目标的组件表示:公平性奖励 r_fair(t)、舒适度奖励 r_comf(t) 和效率奖励 r_effi(t)。这些组件定义如下:
(13) r_fair(t) = -Σ_{i=1}^{N} w_i · (T_i(t) - T_target)^2
(14) r_comf(t) = -Σ_{i=1}^{N} [V_i(t) + γ · V_prei(t)]
(15) r_effi(t) = -λ_energy · Q_total(t) - λ_smooth · ||r(t) - r(t-1)||_2^2
其中 N 表示建筑数量;T_target 表示室内目标温度;w_i 是建筑特定的异质性权重;V_i(t) 是当前温度违规;V_i(t) 和 V_prei(t) 分别表示当前和预测的温度违规;γ 是折扣因子;λ_energy 和 λ_smooth 是能量和分配平滑度惩罚系数;Q_total(t) 是总供暖负载。
三个特定于目标的奖励组件随后被组织为向量值奖励:
(16) r(t) = [r_fair(t), r_comf(t), r_effi(t)]
奖励组件被分别保留,用于特定于目标的回报、价值和优势估计。权重系数 {w_fair, w_comf, w_effi} 仅应用于在PPO Actor更新中组合分别归一化的优势,而非在Critic学习之前对奖励向量进行标量化。
已被广泛应用于多目标供暖系统优化的非支配排序遗传算法II(NSGA-II)[30],在此被引入作为帕累托动作精炼机制,而非RL策略的独立替代方案。在训练期间,最近访问的状态-上下文对保存在滚动缓冲区中。每隔10个PPO回合,从该缓冲区中均匀无放回地采样三个对进行NSGA-II精炼。对于每个采样的状态,初始种群被均分为PPO引导和全局采样候选者。PPO引导子集包括当前Actor产生的确定性动作,以及围绕该动作使用狄利克雷扰动(集中系数为40)生成的候选者,而剩余子集则从可行分配单纯形中均匀采样。所有候选分配比例均为非负且归一化至总和为一。NSGA-II进化后,优先选择可行的非支配解决方案,并使用条件依赖的目标权重从生成的帕累托集中选择折衷动作。在常规PPO更新之后,所选的折衷动作被用作监督目标,仅通过最小化确定性Actor输出与参考动作之间的均方误差来精炼Actor。在部署期间,当其前瞻评估满足运行约束时,直接应用PPO Actor动作;否则,激活NSGA-II,并将所选的帕累托折衷动作应用于环境。因此,NSGA-II的激活受预定义训练间隔和部署阶段的约束违规条件控制,而非由单独定义的公平性分数控制。这种设计在可行的常规决策中保留了PPO的计算效率,同时在运行约束被违反时提供显式的多目标校正。
要从帕累托集中选择可执行或参考动作,首先将三个目标表示为最小化成本:
(17) g_fair,t = f_1, g_comf,t = f_3, g_effi,t = -f_2
经过非支配排序后,当前帕累托集 P_t 中的可行解决方案被优先保留为可选集 P_sel_t。如果没有可用的可行非支配解决方案,则保留约束违规最小的解决方案。然后,每个目标在 P_sel_t 内进行归一化:
(18) ?_j,t(a) = (g_j,t(a) - min_{a'∈P_sel_t} g_j,t(a')) / (max_{a'∈P_sel_t} g_j,t(a') - min_{a'∈P_sel_t} g_j,t(a') + ε)
折衷动作通过最小化条件依赖加权归一化目标得分来选定:
(19) a_NSGA_t = arg min_{a∈P_sel_t} [Σ_{j∈{fair,comf,effi}} w_j,t · ?_j,t(a)]
权重 w_j,t 与PPO策略更新中使用的条件依赖目标权重相同。在训练期间,a_NSGA_t 被保留作为Actor精炼的参考动作。在部署期间,执行的动作确定如下:
(20) a_t = (1-δ_t) · a_PPO_t + δ_t · a_NSGA_t, δ_t ∈ {0,1}
其中 δ_t 是二元激活指示器,当PPO Actor动作违反运行约束且需要NSGA-II精炼时等于1,否则等于0。
**2.3 极端天气识别与自适应权重机制**
极端天气识别与自适应权重模块根据运行条件调整优化优先级,提供从异质性到分配通路的最后一步。基于气象、供暖负载和室内温度离散度指标,该模块检测系统是否在异常热应力或容量受限条件下运行。所得到的分类用于更新公平性、舒适度和热使用效率的相对目标权重。这样,控制器可以在严重供暖需求下优先处理脆弱建筑,在温暖时期减少不必要的供暖供给,并在高度波动条件下抑制不稳定的分配变化。
基于气象原理、供暖系统运行和建筑热响应时间尺度,定义了四种场景:(1)极端寒冷(EC):室外温度低于当地设计室外温度 T_cold(t);(2)极端炎热(EH):室外温度高于当地供暖参考温度 T_hot(t);(3)高负载(HL):总供暖负载超过额定容量 Q_N 的75%;(4)高波动性(HV):建筑间温度离散度 ΔT_i(t) 超过临界阈值 σ,表明室内温度振荡。当不满足这些标准中的任何一个时,即为正常条件。实时分类遵循:
(21) Scene(t) = {EC, T_out(t) < T_cold(t); EH, T_out(t) > T_hot(t); HL, Q_total(t) > 0.75·Q_N; HV, ΔT_i(t) > σ; Normal, 其他}
其中 T_cold(t) 和 T_hot(t) 取自当地设计标准;Q_N 是系统额定容量(kW);ΔT_i(t) 是不同建筑之间的平均室内温度差(℃);σ 源自历史室内温度离散度统计,定义为归一化因子,表示供暖负载需求最高和最低建筑之间平均室内温度之比。
随后,所识别的运行条件用于更新PPO优势聚合和NSGA-II折衷选择中使用的条件依赖目标权重。在决策步 t 的自适应目标权重向量定义为:
(22) w_j,t = (w_fair,t, w_comf,t, w_effi,t), w_j,t ≥ 0, Σ_j w_j,t = 1
其中 w_fair,t、w_comf,t 和 w_effi,t 分别表示与公平性、舒适度和效率目标相关的条件依赖权重。
在使用式(21)识别运行制度后,式(22)中相应目标权重调整的幅度由该制度的归一化严重程度决定,定义为:
Scene(EC,t) = clip((T_cold(t) - T_out(t)) / ΔT_EC, 0, 1)
(23) Scene(EH,t) = clip((T_out(t) - T_hot(t)) / ΔT_EH, 0, 1)
Scene(HL,t) = clip((Q_total(t) - 0.75·Q_N) / (0.25·Q_N), 0, 1)
Scene(HV,t) = clip((ΔT_i(t) - σ) / ΔT_HV, 0, 1)
其中 Scene(EC,t)、Scene(EH,t)、Scene(HL,t) 和 Scene(HV,t) 分别表示EC、EH、HL和HV的归一化严重程度。
从正常条件基线开始,未归一化的权重更新为:
(24) w?_fair,t = w_N_fair,t + α_EC · Scene(EC,t)
w?_comf,t = w_N_comf,t + β_EC · Scene(EC,t) + β_HL · Scene(HL,t)
w?_effi,t = w_N_effi,t + γ_EH · Scene(EH,t) + γ_HV · Scene(HV,t)
其中 α_EC、β_EC、β_HL、γ_EH 和 γ_HV 是自适应增益。
所得到的目标权重通过以下公式进行归一化:
(25) ?_w_j,t = w?_j,t / (w?_fair,t + w?_comf,t + w?_effi,t), j ∈ {fair, comf, effi}
**3. 案例研究**
**3.1 案例描述**
本研究关注一个服务于中国天津某住宅区的区域供暖系统。该系统由五栋住宅楼组成,总采暖建筑面积为34200 m2,设计供暖负载为1539 kW。建筑的主要热参数总结在表1中,图2提供了二级区域供暖网络的示意图。
**表1 建筑热参数**
| 建筑名称 | 单元数 | 总建筑面积/m2 | 实际供区面积/m2 | 用热户数 | 阀门开启户数 | 设计供暖负载/kW | 户内供暖形式 |
|---------|-------|-------------|--------------|---------|------------|--------------|-----------|
| 1号楼 | 45 | 760 | 3600 | 48 | 30 | 259.2 | 散热器供暖 |
| 2号楼 | 45 | 760 | 4560 | 48 | 38 | 259.2 | 散热器供暖 |
| 3号楼 | 45 | 760 | 4200 | 48 | 35 | 259.2 | 散热器供暖 |
| 4号楼 | 34 | 320 | 3600 | 36 | 30 | 194.4 | 散热器供暖 |
| 5号楼 | 41 | 2,600 | 11,520 | 120 | 102 | 567 | 散热器供暖 |
图2 二级区域供暖网络
数据集涵盖从2018年1月27日至3月12日采集的实测运行数据,总计1063小时。数据按时间顺序分为训练集(70%)和测试集(30%)。每个样本包含室内温度、分配供暖负载和室外气象参数,包括室外温度、相对湿度、太阳辐射、风速和风向。值得注意的是,分配供暖负载在不同建筑之间存在显著差异,且随时间有明显波动,突显了建筑级需求的巨大差异。数据每小时记录一次,由建筑能源管理系统自动采集和存储,如图3所示。
图3 住宅建筑数据集
为了深入分析外部环境因素对建筑供暖负载和室内温度的影响机制,本研究对气象参数与各建筑供暖负载/室内温度之间进行了皮尔逊相关分析(图4)。室外温度与所有建筑的供暖负载呈显著负相关(相关系数范围为-0.54至-0.74),符合供暖系统的基本物理定律。值得注意的是,建筑间相关性强度存在显著差异:5号楼表现出最强的负相关(-0.74),与室外温度波动的观测关联最强,这可能由于其较大的建筑体积、相对较差的保温性能或不利的朝向,导致围护结构热损失更为显著。相比之下,3号楼表现出相对较弱的负相关(-0.54),表明其具有较好的保温性能,对外部温度变化有一定的缓冲能力。就室内温度相关性而言,室外温度与所有建筑的室内温度呈中等至强正相关(0.42至0.71)。其中,5号楼再次表现出最高相关性(0.71),表明其室内温度受外部温度波动影响最为显著,显示出较强的室外温度耦合关系;相比之下,3号楼相关性较低(0.46),显示出相对较弱的观测耦合关系。这些相关性结果为后续基于ARX模型的建筑热行为建模提供了重要的先验知识。
图4 天气因素与供暖负载/室内温度相关性分析
**3.2 STF模块实现**
**3.2.1 ARX模型**
基于前述建立的ARX建模理论框架(式(1)),本节描述研究区域内5栋建筑的具体实施方案。
ARX模型的核心任务是独立地对每栋建筑进行建模,从其历史数据中学习该建筑特有的热动态特性,并推导出基于系数的经验控制特征,以引导MORL智能体的分配决策。模型实现中的关键配置在于滞后阶数的选择,这直接决定了模型捕捉建筑热动态中时间依赖关系的能力。本研究将温度和供暖负荷的滞后阶数均设为3($n_a=3$,$n_q=3$),对应3小时的历史依赖窗口。这一选择基于以下三点依据:(1)物理机制匹配:在区域供热系统中,热水从热源经管网输送至建筑末端通常需要30–60分钟,散热器热质量响应需要20–40分钟,室内空气混合需要30–90分钟,累积响应时间尺度约为2–3小时;因此,3阶滞后能有效捕捉这些延迟效应。(2)数据驱动验证:对训练集的偏自相关函数(PACF)分析表明,温度和负荷的自相关性在3小时滞后后显著降至0.3以下,表明3阶与时间依赖性的建模相一致。(3)泛化性能的权衡:通过比较不同阶数(1阶至5阶)的模型性能(表2),3阶在测试集上实现了最优性能($R^2=0.9743$,MAE$=0.1000$)。虽然将阶数提高至4阶或5阶可略微提升训练集的$R^2$(分别为0.9881和0.9889),但测试集性能反而下降($R^2$分别为0.9721和0.9698),表明存在过拟合现象;将阶数降低至1阶–2阶则导致欠拟合,无法充分捕捉热动态特性。
**表2. 滞后阶数性能对比。**
| 滞后阶数 | 训练$R^2$ | 测试$R^2$ | 训练MAE | 测试MAE |
|:---:|:---:|:---:|:---:|:---:|
| 1 | 0.9523 | 0.9401 | 0.1456 | 0.1823 |
| 2 | 0.9768 | 0.9654 | 0.1024 | 0.1345 |
| 3 | 0.9872 | 0.9743 | 0.0791 | 0.1000 |
| 4 | 0.9881 | 0.9721 | 0.0823 | 0.1034 |
| 5 | 0.9889 | 0.9698 | 0.0867 | 0.1089 |
在上述三阶配置下,时刻$t$建筑$i$的回归量定义为:
$$(26)\ \mathbf{x}_i(t)=[T_i(t-1),T_i(t-2),T_i(t-3),Q_i(t-1),Q_i(t-2),Q_i(t-3),T_{out}(t),RH(t),I_{sol}(t),v_{wind}(t),\sin(2\pi h_t/24),\cos(2\pi h_t/24)]^T\in\mathbb{R}^{12}$$
因此,每个ARX模型使用一个12维回归量,包括三个滞后室内温度、三个滞后供暖输入、五个同期气象变量和两个周期性时间特征。
共训练了五个独立的ARX模型,每栋建筑一个。对于每个模型,观测数据按时间顺序划分为70%的训练集和30%的测试集,不进行随机打乱,从而防止未来观测值进入模型辨识过程。输入特征和目标室内温度分别进行标准化处理,所有缩放统计量仅从训练子集估计,并原样应用于测试子集。模型系数通过岭回归估计,正则化系数$\alpha=1.0$,随机状态为42。每个拟合的ARX模型根据对应的12维回归量生成一步超前的室内温度预测。
虽然所辨识的ARX参数在建筑围护结构和供暖系统保持不变的情况下预期大致稳定,但建议在每个供暖季初或当预测误差持续增加表明参数漂移时进行周期性重新辨识。
### 3.2.2. 基于ARX的经验控制特征
表3总结了从ARX系数中推导出的四个基于系数的经验控制特征。相应的测试结果表明显著,五个ARX模型均实现了$R^2>0.97$,表明在所调查数据集内具有令人满意的预测性能,而非独立验证基于系数的特征的物理意义。这些经验控制特征随后被嵌入到MORL的状态和奖励公式中,以指导考虑异质性的供暖负荷分配。
**表3. 五栋建筑ARX推导的经验控制特征值。**
| 建筑 | $\tau_i$ | $U_i$ | $\alpha_{out,i}$ | $\alpha_{sol,i}$ |
|:---:|:---:|:---:|:---:|:---:|
| 1 | 3.310 | 0.100 | 0.018 | 0.026 |
| 2 | 3.840 | 0.290 | 0.049 | 0.040 |
| 3 | 3.700 | 0.040 | 0.003 | 0.060 |
| 4 | 3.730 | 0.200 | 0.021 | 0.067 |
| 5 | 3.860 | 0.120 | 0.040 | 0.043 |
为检验ARX推导的经验控制特征在同一案例研究数据集内的描述性一致性,考虑了四个对应的观测指标:(a)短期室内温度持续性,(b)累积供暖输入响应,(c)观测到的室外温度耦合,以及(d)观测到的太阳辐射耦合。该比较表征数据集内的关联性,并非旨在作为独立的物理验证。如图5所示,建筑1的两小时室内温度持续性最低(0.848),而建筑5最高(0.932),呈现与各自对应的经验特征值相同的相对排序。建筑2对三个滞后供暖输入项的累积标准化响应最高(0.428),而建筑3最低(0.088),与它们的供暖输入响应特征值的相对排序一致。建筑3还显示出室内和室外温度变化之间相对较弱的关联(0.234),表现出相对较弱的观测室外温度耦合。相比之下,建筑5表现出最强的关联(0.654),与其相对较高的室外温度相关特征值大体对应。建筑4显示出室内温度与太阳辐射变化之间最强的关联(0.770),与其相对较高的太阳辐射相关特征值一致。

### 3.3. STF-MORL框架
供暖负荷分配问题被构建为一个包含三个竞争目标的**多目标优化问题**:(1)温度公平性,由建筑间室内温度离散度量化并予以最小化;(2)供暖负荷节约,由相对于额定系统容量$Q_N$的供暖负荷节约指数量化并予以最大化;(3)热舒适性,由室内温度与目标温度的偏差量化并在规定舒适范围内予以最小化。相应的目标函数和运行约束公式如下:
**目标1:温度公平性(最小化):**
$$(27)\ \min f_1=\sqrt{\frac{1}{N}\sum_{i=1}^{N}\left(T_i(t)-\overline{T}(t)\right)^2},\ t=1,\cdots,N_t$$
**目标2:供暖负荷节约(最大化):**
$$(28)\ \max f_2=1-\frac{\sum_{i=1}^{N}Q_i(t)}{Q_N},\ t=1,\cdots,N_t$$
供暖负荷节约指数以额定系统容量$Q_N$为参考基准,因此仅量化在可比舒适要求下供热负荷的减少量。由于数据不可用,泵电耗、供回水温度差、水力条件和管网热损失等因素被排除在外,因此不应将其解释为等效的系统级节能或?节约。未来工作将通过耦合的供热–舒适性和基于?的指标将这些因素纳入考量。
**目标3:热舒适性(最小化目标温度偏差):**
$$(29)\ \min f_3=\sum_{i=1}^{N}|T_i(t)-T_{target}|,\ t=1,\cdots,N_t$$
**约束条件:**
$$(30)\ 18°C\leq T_i(t)\leq 22°C,\ \forall i\in\{1,\cdots,5\},\ \forall t\in\{1,\cdots,N_t\}$$
舒适带依据《民用建筑供暖通风与空气调节设计规范》(GB 50736–2012)[43],该规范规定住宅建筑主要房间供暖季的室内设计温度为18–24℃。为在天津的运行环境下平衡舒适性和能效,本研究将目标范围进一步缩小至18–22℃。
$$(31)\ \sum_{i=1}^{N}Q_i(t)\leq Q_N$$
在每个小时决策步$t$,目标和约束在所有$N=5$栋建筑上评估,其中$i\in\{1,\cdots,N\}$表示建筑索引,$t\in\{1,\cdots,N_t\}$表示小时决策索引,$\overline{T}(t)$表示时刻$t$所有建筑的室内温度均值。
STF-MORL框架通过协调四个核心模块实现自适应供暖负荷分配:状态表示构建、Actor策略生成、Critic价值评估以及NSGA-II帕累托优化。
供暖负荷分配策略使用共享的Actor-Critic网络实现,采用PPO进行训练。在每个决策步,网络接收公式(11)中定义的22维状态向量,并为每栋建筑生成五个连续供暖负荷分配比率。Actor和Critic共享一个带有层归一化和ReLU激活函数的两层特征提取器。Critic分支从共享状态表示中产生三个针对各自目标的价值输出。Actor产生五对状态相关的分布参数$(\alpha_i, \beta_i)$,每对对应一栋建筑。采用Softplus激活函数和正偏移以确保分布参数有效。采样动作分量随后进行归一化,使五个分配比率之和等于一。Critic使用共享状态表示估计三个针对各自目标的状态价值函数:$V_{\pi}^{fair}(S_t)$、$V_{\pi}^{comf}(S_t)$和$V_{\pi}^{effi}(S_t)$,分别对应公平性、热舒适性和供暖负荷效率。每个价值函数使用与其对应奖励分量相关的回报进行训练。所生成的针对各自目标的优势值使用条件相关的目标权重进行组合,加权优势值用于PPO裁剪Actor更新。
Actor和Critic使用Adam联合优化。策略更新使用广义优势估计(GAE)、PPO裁剪目标、熵正则化、优势值归一化和梯度范数裁剪。完整的PPO网络架构和训练配置总结于表4。
**表4. PPO架构和超参数。**
| 参数 | 值 |
|:---|:---:|
| 状态维度 | 22 |
| 动作维度 | 5 |
| 隐藏层数 | 2 |
| Actor每隐藏层神经元数 | 256 |
| Critic隐藏神经元数 | 128 |
| 优化器 | Adam |
| PPO轮次 | 10 |
| 学习率 | 0.0003 |
| 折扣因子($\gamma$) | 0.99 |
| GAE参数($\lambda$) | 0.95 |
| PPO裁剪系数($\varepsilon$) | 0.20 |
| 熵系数 | 0.01 |
| 价值损失系数 | 0.05 |
| 最大梯度范数 | 0.05 |
在基线PPO策略之后,采用NSGA-II作为帕累托动作优化机制,而非独立替代强化学习策略。每个候选解包含五个有界供暖负荷分配比率,通过最小化建筑间温度离散度、供热负荷和热舒适性违反量进行评估,受总分配量和18–22℃舒适约束。在实施过程中,PPO引导的候选解和随机生成的候选解用于初始化NSGA-II种群,随后进行帕累托优化和平衡解选择以优化当前分配决策。详细的NSGA-II配置总结于表5。
**表5. NSGA-II参数设置。**
| 参数 | 值 |
|:---|:---:|
| 种群规模 | 100 |
| 迭代代数 | 50 |
| SBX概率 | 0.90 |
| SBX指数 | 15 |
| 变异概率 | 0.20 |
| 变异指数 | 20 |
| 随机种子 | 1 |
以100的种群规模和50的迭代代数,每次激活NSGA-II大约涉及5000次候选动作评估。在训练期间,NSGA-II每10个PPO回合调用一次,而在部署期间,仅在Actor生成的动作违反预定义运行约束时激活。因此,常规的可行决策仅需一次PPO Actor前向传播,使得额外的NSGA-II计算开销是间歇性的而非持续性的。
最后,极端天气识别结果用于定量更新PPO优势聚合和NSGA-II折中选择所使用的条件相关的目标权重向量。初始正常条件向量设为:$w_N=(w_N^{fair},w_N^{comf},w_N^{effi})=(0.50,0.30,0.20)$。
自适应增益设为$\alpha_{EC}=0.12$、$\beta_{EC}=0.08$、$\beta_{HL}=0.18$、$\gamma_{EH}=0.30$和$\gamma_{HV}=0.10$。极端低温条件下较大的公平性增益用于补偿不平等的热损失风险,而高负荷条件下的舒适性增益反映了在额定容量附近温度违反概率的增加。极端高温条件下赋予效率最大增益以抑制过热和不必要的供热。在高波动条件下,由于分配稳定性主要由平滑度惩罚控制,效率仅进行适度调整。
仿真使用Python(3.11)和TensorFlow(2.16)实现,并在配备CPU(AMD Ryzen 9 7845HX)和GPU(NVIDIA RTX 4060)的工作站上运行。
### 3.4. 极端天气识别结果
本研究以中国天津为目标区域。根据当地供暖设计标准,天津供暖室外设计温度为$-7.5℃$,供暖参考温度为$12℃$,温度变化率为$0.5℃/\text{h}$。基于第2.3节提出的极端天气场景识别标准,识别结果(图6)清楚表明数据集包含四个代表性极端条件:极低温度、极高温度、高负荷和高波动场景。这些识别出的条件为评估所提出控制策略在恶劣天气条件下的鲁棒性提供了理想环境。

### 4. 结果与讨论
为全面评估STF-MORL,我们比较了七种分配方法:三种基于规则的策略,包括等量分配、比例分配和最大最小公平分配(Max-Min);四种基于控制的方法,包括独立比例–积分–微分(PID)控制、标准模型预测控制(Std-MPC)、滚动时域模型预测控制(RH-MPC)和自适应加权模型预测控制(AW-MPC)。为考虑随机变异性,完整的STF-MORL策略及其消融变体在相同的匹配随机种子集下独立训练和评估了10次,随机配置保持一致。所有比较基线均为确定性方法,在相同测试条件下评估,因此不适用种子匹配。随机配置的主要结果报告为10次运行的均值,附双侧95%置信区间。随机配置之间比较的不确定性从匹配的逐次运行差异计算,而与确定性基线的比较不确定性从STF-MORL逐次运行相对于对应固定基线结果的差异计算。性能从预测准确性、热公平性和舒适性、节能供暖分配以及极端天气下的鲁棒性等方面进行评估。
### 4.1. 预测准确性比较
等量分配、比例分配、Max-Min和PID没有内部预测模块。在此比较中,预测准确性衡量的是使用通用评估模型基于各方法分配所生成的预测与测试集实测温度之间的一致性。所有方法在等效信息、相同约束和运行条件下进行比较,且无法获取未来实测温度。
对于STF-MORL,MAE、RMSE和$R^2$在每次独立运行的完整测试期内计算,随后在10次运行间取平均。结果指标如图7所示,比较了五种建筑上八种方法的温度预测性能。尽管所有方法均实现了$R^2>0.90$,但它们的MAE和RMSE表现出明显的建筑依赖性差异。PID和Max-Min在若干建筑上显示出显著增大的误差,而RH-MPC和AW-MPC产生了更稳定但仍具有建筑依赖性的结果。
STF-MORL 在五座建筑中均实现了最低或接近最低的 MAE 和 RMSE,系统平均 MAE 为 0.04℃,而误差最低的基线方法 AW-MPC 为 0.05℃。STF-MORL 在 B2 和 B5 的 MAE 依然保持较低水平,这两栋建筑分别表现出相对较高的室外温度相关特征值和历史状态依赖特征值,其 MAE 分别达到 0.039℃ 和 0.042℃。这些结果表明,STF-MORL 在具有异质性热响应的建筑间保持了更为一致的预测精度。
下载:下载高分辨率图像(337KB)
下载:下载全尺寸图像
图 7. 预测精度对比
4.2 室内温度差异与舒适度
热公平与舒适度是区域供热系统运行的核心目标,要求在保障住户舒适度的前提下,使各建筑室内温度均衡。对于 STF-MORL,两项指标均从收敛后测试轨迹中计算,并在 10 次独立运行中取平均。图 8 从公平性稳定性、平均温差和舒适度一致性方面对各方法进行了对比。图 8(a) 展示了温度标准差的随时间变化情况,图 8(b) 对比了平均公平性指数。结果显示,STF-MORL 在整个测试期内保持了最为稳定的公平性,温差始终保持在 0.35–0.6℃ 以内。图 8(c) 展示了温度分布箱线图,图 8(d) 展示了约束满足率,二者共同评估了温度控制质量。详细分布揭示出各方法在控制质量上的显著差异:PID 方法的箱体范围最宽,表明温度波动频繁;而 STF-MORL 实现了最紧凑的分布(IQR ≈ 1.5℃),中位温度最接近目标值 20℃,且四分位距最小,体现了预测控制所赋予的高合规性与低波动性优势。更为紧凑的箱线图表明,在室外条件波动的情况下,住户经历的热不适时段更短,从而减少了频繁阀门调节的需求,有助于稳定二次网压力。建筑间离散度的降低反映出,尽管建筑围护结构和朝向存在差异,室内体验仍更具公平性。
下载:下载高分辨率图像(534KB)
下载:下载全尺寸图像
图 8. 室内温度差异与舒适度
4.3 热负荷分配与能效
热负荷分配模式表明控制策略是否将建筑特有的热特性转化为差异化决策。对于 STF-MORL,能效指标从收敛后的测试轨迹中计算,并在 10 次独立运行中取平均。图 9 对比了八种方法在五座建筑上的平均分配情况。
下载:下载高分辨率图像(236KB)
下载:下载全尺寸图像
图 9. 热负荷分配
均分法对所有建筑施加相同的热负荷,完全忽视了热需求和热响应的差异。比例分配法基于历史负荷比例,部分反映了建筑间的需求差异:5 号楼获得最高分配,而 1、3、4 号楼获得较低分配。然而,该方法仍为静态方法,无法适应变化的天气条件或建筑特有的热脆弱性。相比之下,PID 控制因仅对局部温度偏差做出独立响应而缺乏系统级协调,导致严重的不平衡。基于 MPC 的方法逐步提升了热负荷分配的合理性,展现了预测与协调控制在提高公平性和热利用效率方面的优势。
STF-MORL 实现了最具差异化且对异质性响应最佳的分配模式。这一结果支持了所提出的异质性-分配机制,表明控制器能够结合 ARX 导出的经验控制特征与前瞻温度预测,生成差异化的分配决策。因此,图 9 中的分配模式表明,STF-MORL 并非仅仅优化数值奖励,而是将 ARX 导出的经验控制特征转化为具有异质性感知能力的自适应热负荷分配决策。
4.4 极端天气条件下的性能对比
极端天气为评估热负荷分配策略的适应性与鲁棒性提供了严苛的运行条件。为确保涵盖传统方法与强模型方法在内的代表性对比,STF-MORL 分别与比例分配法、RH-MPC 和 AW-MPC 进行了对比评估。比例分配法代表一种传统静态策略,而 RH-MPC 和 AW-MPC 则分别提供了预测性和自适应加权控制的基线。四种方法从预测精度、温度公平性、热舒适度和能效四个方面进行了对比。
(1)预测精度
图 10 对比了四种方法在四种极端天气条件下的 MAE 和 RMSE。STF-MORL 在所有场景下均取得最低误差,MAE 范围为 0.334 至 0.477℃,RMSE 范围为 0.472 至 0.571℃。比例分配法的 MAE 为 0.495 至 0.595℃,RMSE 为 0.591 至 0.710℃,而 RH-MPC 和 AW-MPC 的误差始终更大。尽管 STF-MORL 在极端低温下记录了最高误差,但它仍保持了最佳的预测性能,为后续的公平性、舒适度和效率优化提供了可靠基础。
下载:下载高分辨率图像(271KB)
下载:下载全尺寸图像
图 10. 四种方法在极端天气条件下的预测精度:(a) MAE;(b) RMSE
这一性能也支持了三阶 ARX 模型在观测运行范围内的适用性。其滞后项能够捕捉短期热惯性和延迟供热响应,而气象输入则代表外部扰动。尽管线性模型无法完全描述所有非线性传热机理,但它能为当前的控制任务提供足够的一步预测精度,同时数据需求适中且在线计算成本低。
(2)温度公平性与热舒适度
图 11(a) 对比了四种极端天气条件下的建筑间温度离散度。STF-MORL 在每个场景下均实现了最低的温度标准差,在四类极端天气下分别为 0.504℃、0.456℃、0.472℃ 和 0.474℃。与比例分配法相比,这些值分别降低了 13.8%、12.0%、12.8% 和 11.7%。与 RH-MPC 和 AW-MPC 相比,降幅更大,达 41.0–49.2%。极端低温条件下 STF-MORL 的温度离散度最高,表明当室外温度下降时,建筑间不同的热损失速率使得均衡温度调节更为困难。尽管如此,STF-MORL 在该条件下仍保持了明显优势。RH-MPC 和 AW-MPC 的相对较大离散度进一步表明,当建筑特有的热响应未得到充分表征时,仅靠滚动预测或自适应目标加权并不一定能够确保公平的热环境。
下载:下载高分辨率图像(299KB)
下载:下载全尺寸图像
图 11. 极端天气条件下的热性能:(a) 温度公平性;(b) 温度约束满足率
图 11(b) 中的舒适度合规率对热公平性结果起到了补充作用。STF-MORL 和比例分配法在四种条件下均实现了 100% 合规率,而 RH-MPC 和 AW-MPC 分别为 99.23–99.56% 和 97.30–98.46%。作为基于阈值的指标,合规率表明室内温度是否保持在规定的舒适范围内,但无法反映舒适度在建筑间的分布均匀程度。因此,STF-MORL 和比例分配法相同的合规率并不意味着等效的热公平性,因为它们的建筑间温度标准差存在显著差异。这些结果表明,STF-MORL 在不牺牲热舒适度的前提下改善了建筑间的热公平性。
(3)热负荷节能性能
图 12 对比了四种方法的热负荷节能指数。STF-MORL 在每个条件下均实现了最高值,平均为 27.05%,而比例分配法为 22.95%,AW-MPC 为 21.53%,RH-MPC 为 20.98%。STF-MORL 的最高节能指数出现在极端高温条件下(31.23%),较低的供热需求为减少不必要的热供给提供了更大的空间。尽管 AW-MPC 在极端低温条件下接近 STF-MORL,但其舒适度合规率更低、温度离散度更大。比例分配法虽保持了 100% 合规率,但节能效果较低且热公平性较差。总体而言,STF-MORL 在不牺牲热舒适度或建筑间热公平性的前提下提升了能效。
下载:下载高分辨率图像(145KB)
下载:下载全尺寸图像
图 12. 四种方法在极端天气条件下的热负荷节能指数
表 6 报告了 STF-MORL 在 10 次独立运行中的均值与 95% 置信区间,以及确定性基线的固定结果。对于每种方法,各指标先在四种运行条件下取等权平均。比例分配法、RH-MPC 和 AW-MPC 均为确定性方法,因此随机种子匹配和运行间置信区间不适用于这些基线。在与比例分配法的对比中,每个差值的 uncertainty 由 10 次运行中的 STF-MORL 结果相对于相应固定基线值计算得出。与表现最接近的基线——比例分配法相比,STF-MORL 将目标温度 MAE 降低了 0.126℃(95% CI:0.123–0.129℃),将 RMSE 降低了 0.120℃(95% CI:0.116–0.124℃)。同时,它将建筑间温度标准差降低了 0.069℃(95% CI:0.065–0.073℃),并将热负荷节能指数提高了 4.10 个百分点(95% CI:3.90–4.30 个百分点)。这些改进是在两种方法均保持 100% 舒适度合规的前提下实现的。
表 6. 带 95% 置信区间的性能对比
| 性能指标 | STF-MORL,均值(95% CI) | 比例分配法 | AW-MPC | RH-MPC |
|---|---|---|---|---|
| 目标温度 MAE(℃) | 0.403(0.400–0.406) | 0.529 | 0.796 | 0.782 |
| 目标温度 RMSE(℃) | 0.514(0.510–0.518) | 0.634 | 0.972 | 0.958 |
| 建筑间温度标准差(℃) | 0.476(0.472–0.480) | 0.545 | 0.875 | 0.864 |
| 舒适度合规率(%) | 100.00(100.00–100.00) | 100.00 | 98.21 | 99.46 |
| 热负荷节能指数(%) | 27.05(26.85–27.25) | 22.95 | 21.53 | 20.98 |
以往关于 MPC、RL 和多目标热控制的研究表明,预测性与适应性控制能够改善热调节、能效和热舒适度 [23]、[31]-[37],而公平性相关研究则主要关注住户层面或建筑内区域层面的公平 [38]-[39]。相比之下,本研究表明,在极端运行条件下纳入建筑特有的热响应异质性,可以同时改善建筑间温度公平性、舒适度合规率和热负荷节能。由于已发表研究在气候条件、建筑特征、系统配置、优化目标和评估指标方面存在差异,直接定量比较受到一定限制。
4.5 消融与敏感性分析
为评估异质性感知状态和前瞻性控制组件的贡献,使用各自的修改公式构造了两个有针对性的消融变体,并与完整的 STF-MORL 策略一起在相同测试集上进行评估。ARX 导出的经验控制特征是异质性感知状态表示的核心。通过将这些特征嵌入状态向量,这些信息直接为 MORL 中的热负荷分配决策提供依据。因此,构造了两个有针对性的消融变体:(1) 无前瞻性控制(w/o anticipatory control),即从奖励和约束评估中排除前瞻温度轨迹;(2) 无异质性感知状态(w/o heterogeneity-aware state),即从状态表示中移除建筑特有的热响应信息。
为减少强化学习中随机性的影响,完整的 STF-MORL 策略和两个消融策略均在各自的状态、奖励和约束公式下使用相同的 10 个匹配随机种子从零开始独立训练。所有其他架构、训练和优化设置均保持不变。仅在测试阶段不移除任何组件。独立训练的策略在相同运行条件下于同一测试集上进行评估。性能变化以目标温度偏差、建筑间温度标准差和极端条件温度偏差来量化。消融结果显示,所有评估指标均出现了持续的性能下降。
如图 13 所示,移除前瞻性控制使目标温度偏差、建筑间温度标准差和极端条件温度偏差分别增加了 11.3%、45.1% 和 4.9%。移除异质性感知状态导致了更严重的性能下降,在 10 个匹配种子下的配对均值分别增加了 0.255℃(95% CI:0.198–0.312℃)、0.392℃(95% CI:0.374–0.409℃)和 0.271℃(95% CI:0.221–0.321℃)。这些结果表明,当基于 ARX 的前瞻预测仍可用时,ARX 导出的经验控制特征块提供了额外的控制相关信息,而前瞻性控制的消融反映了将预测轨迹纳入奖励和约束评估的综合贡献。这一证据支持了在测试集所代表的极端条件下使用这些经验特征进行状态构建,但并不意味线性 ARX 模型捕捉了所有非线性建筑动力学。
下载:下载高分辨率图像(185KB)
下载:下载全尺寸图像
图 13. 组件消融的性能影响
敏感性分析使用每个配置的 10 个匹配随机种子进行。预测时域 H(1、3 和 6 小时)和 NSGA-II 调用间隔 K(5、10 和 20 个 PPO 回合)被选中进行敏感性分析。如图 14 所示,H = 3h 相比 H = 1h 减少了建筑间温度离散度,而未增加目标温度偏差;而将时域延长至 6h 则未提供进一步的公平性收益,反而降低了热负荷节能。在测试的 K 值范围内,所有三项性能指标的变化有限,95% 置信区间基本重叠。总体而言,STF-MORL 对两个参数均保持鲁棒,H = 3h 和 K = 10 提供了较为均衡的综合性能。
下载:下载高分辨率图像(381KB)
下载:下载全尺寸图像
图 14. STF-MORL 的敏感性
5. 结论
本研究开发了 STF-MORL,将建筑特有的热响应信息转化为区域供热系统中的自适应热负荷分配决策。该框架将基于 ARX 的热响应辨识与前瞻温度预测同多目标强化学习和基于 Pareto 的动作优化相结合,同时考虑温度公平性、热舒适度和热负荷节能。主要结论如下:
STF-MORL 在预测精度、温度公平性、热舒适度和热负荷节能之间实现了最佳综合平衡。在整个测试期内,它实现了系统平均 MAE 为 0.04℃、平均建筑间温度标准差为 0.521℃,并达到 18–22℃ 舒适范围的 100% 合规率。
在四种极端工况下,其温度标准差分别为0.504℃、0.456℃、0.472℃和0.474℃,相比比例分配分别降低了13.8%、12.0%、12.8%和11.7%。该方案同时保持了100%的舒适度达标率,并实现了最高的平均热负荷节约指数27.05%,而比例分配、AW-MPC和RH-MPC分别为22.95%、21.53%和20.98%。针对所研究的系统和运行范围,这些结果表明STF-MORL在极端工况下改善了温度公平性和热负荷节约,且未损害热舒适度。异质性感知状态表征和前瞻性控制均对性能提升有所贡献。基于ARX的经验控制特征使分配策略能够利用拟合ARX系数所编码的建筑层面差异,而预测温度轨迹则支持了前瞻性分配。移除前瞻性控制后,目标温度偏差、建筑间温度标准差和极端工况温度偏差分别增加了11.3%、45.1%和4.9%。移除异质性感知状态后,三者分别平均增加了0.255℃、0.392℃和0.271℃。这些结果表明,当ARX前瞻预测仍可用时,基于ARX的经验控制特征模块提供了额外的与控制相关的信息,而前瞻性控制的消融实验反映了将预测轨迹纳入奖励和约束评估所产生的综合贡献。上述发现证明了将基于ARX的经验响应信息转化为运行热负荷分配决策的可行路径。将该方案实际推广到更大的区域供热网络,还需要进一步评估决策延迟、状态和动作维度增加时的可扩展性、数据接口兼容性以及与现有控制系统的集成问题。此外,由于现场数据获取有限,当前评估仅涉及天津某区域供热系统中五栋住宅建筑在一个供暖季内的数据。由于缺乏独立的占用人及行为测量数据,未对占用人行为进行显式建模。未来的工作将开展多地点、多季节的验证,涵盖不同气候条件、建筑类型、网络规模和系统配置,同时将占用人日程安排和占用人驱动的控制动作作为额外的外生输入和状态变量纳入。未来的工作还将系统对比线性与非线性热动力学模型。
CRediT作者贡献声明
An Junfan:审阅与编辑、撰写初稿。
Han Zhao:数据管理。
Hu Shifeng:数据管理。
Li Peng:数据管理。
Chao Yuechao:数据管理。
Ma Jiayi:数据管理。
Yuan Jianjuan:验证、监督。
Zhou Zhihua:监督。