《Processes》:Reinforcement Learning-Based Dynamic Optimization Strategy of WAG Flooding with Inter-Well Connectivity for High Water-Cut Reservoirs
编辑推荐:
在高含水油藏中,长期水驱效率因高渗通道加剧非均质性并导致水窜而下降。气驱技术可提高采收率,但受作业条件和成本限制。水-气交替注入(water-alternating-gas, WAG)结合了两种方法的优势,但复杂的储层连通性和强井间干扰阻碍了对驱替路径的精确控
在高含水油藏中,长期水驱效率因高渗通道加剧非均质性并导致水窜而下降。气驱技术可提高采收率,但受作业条件和成本限制。水-气交替注入(water-alternating-gas, WAG)结合了两种方法的优势,但复杂的储层连通性和强井间干扰阻碍了对驱替路径的精确控制,从而降低产油效率并增加成本。研究人员提出一种基于强化学习的动态优化策略,用于求解考虑井间连通性的WAG注入优化问题。具体而言,基于产油量、水或气注入成本、水驱与气驱之间的转换成本以及井间连通性,针对单个时隙建立了净现值(net present value, NPV)模型。进一步,为多注入井和多生产井构建了以NPV最大化为目标的优化问题,以提高采收率。然后,采用Q-learning算法求解所提出的优化问题,以获得最优WAG注入策略;其中状态空间由压力和三相饱和度组成,动作空间包括注入类型和注入速率,奖励函数为总采收收益。最后开展了大量数值模拟。定量结果表明,所提算法收敛的NPV约为830万美元,相比固定速率WAG策略提高3.75%,相比水驱策略提高9.21%,相比气驱策略提高12.16%。此外,所提方法的累计产油量比固定速率WAG提高4.6%,比水驱提高12.8%,比气驱提高18.7%,同时保持具有竞争力的含水率0.734。实验结果表明,所提出的WAG策略能够获得比基准算法更高的NPV。
高含水油藏进入开发中后期后,长期注水冲刷形成高渗透优势通道,加剧储层非均质性并诱发水窜,导致水驱效率下降。气驱虽可提高采收率,但受作业条件和成本限制。水-气交替注入(WAG)结合水驱与气驱优势,能形成稳定驱替前缘并通过Jamin效应提高驱油效率,但储层动态连通性复杂和强井间干扰使驱替路径难以精确控制,易诱发气窜或水窜,降低驱油效率并增加成本。已有研究多局限于单一注入条件,未将注入模式与注入速率在统一框架下联合优化,且多数机器学习模型为黑箱,难以验证策略的物理一致性。为此,研究人员提出一种基于强化学习的考虑井间连通性的WAG注入动态优化策略。
研究人员建立了以净现值(NPV)为目标函数的综合物理模型,基于产油收入、水/气注入成本、水驱与气驱转换成本以及井间连通性构建单时隙NPV模型,并将多注多采条件下的NPV优化问题表述为马尔可夫决策过程(MDP)。采用表格型Q-learning算法对注入类型和注入速率进行联合优化,状态空间由压力和三相饱和度构成,动作空间包括注入类型与注入速率,奖励函数为日贴现净现金流经非线性归一化后的总采收收益。数值实验基于CMG生成的三层非均质油藏模型(20×20×3网格,3口注入井、5口生产井),仿真周期365天。定量结果表明,所提QDOA-IMR-WAGF算法收敛NPV约830万美元,比固定速率WAG策略高3.75%,比水驱策略高9.21%,比气驱策略高12.16%;累计产油量比固定速率WAG提高4.6%,比水驱提高12.8%,比气驱提高18.7%,含水率保持为0.734。这说明联合优化注入模式与注入速率可在控制成本的同时显著提升经济效益。
本研究采用的主要关键技术方法包括:(1)基于Peaceman井指数、达西定律和物质平衡方程建立油藏生产与压力计算模型,采用上游加权格式处理三相井间流动;(2)利用Corey两相经验公式和Stone II三相互插模型动态更新三相相对渗透率;(3)将NPV优化问题离散为MDP,使用表格型Q-learning求解,状态离散化后以ε-greedy策略选择动作,通过时间差分更新Q值。所有实验使用相同随机种子以保证可重复性。
(1)WAG-Q-learning算法可行性:训练曲线显示四种算法累计NPV随训练轮数增加而上升并收敛;所提算法收敛值最高,证明水-气交替与注入模式/速率联合优化可提升经济收益。(2)注入量对比:气驱策略累计注气量最大(1,270,000 MCF),水驱注水量最大(423,000 STB);所提算法注气量和注水量分别为244,000 MCF和118,000 STB,仅为单介质策略的19.2%和27.9%,却获得更高NPV,说明其更注重驱替效率而非注入规模。(3)三相产量对比:产油量排序为所提算法>固定速率WAG>水驱>气驱;所提算法累计产油约1,015,000 STB,比固定速率WAG提高4.6%,比水驱提高12.8%,比气驱提高18.7%。(4)井底流压与井控压力对比:水驱注入井BHP最高(3424.3 psi),气驱最低(2659.2 psi),两种WAG策略居中;所提算法注入BHP为2841.6 psi,生产井压力为1968.5 psi,处于中间水平,表明其避免过度注水能耗,同时维持有效压降。(5)三相饱和度对比:注气井周围含气饱和度在气驱和WAG策略下较稳定,水驱下波动下降;生产井含气饱和度逐步上升。所提算法注入端含油饱和度0.3993,介于水驱(0.3910)和气驱(0.4025)之间,含水饱和度呈先缓升后降趋势,反映其兼顾水驱波及和气驱洗油。(6)三相相对渗透率对比:由于实际含气饱和度低于临界含气饱和度,各算法气相对渗透率均为0。油相相对渗透率变化与含油饱和度一致,所提算法在生产井第一层k
ro为0.1200,第三层为0.1235,高于固定速率WAG和水驱;水相相对渗透率低于水驱和固定速率WAG,表明其能抑制水窜并保持较好油相流动能力。(7)含水率对比:四类算法含水率均经历“先快速升至峰值,后波动下降并趋于稳定”的过程。所提算法稳定含水率约0.734,仅比气驱高0.14%,但累计产油高18.7%、NPV高12.16%;同时比水驱和固定速率WAG的0.735低0.14%,说明其在控水与增油之间取得良好平衡。(8)剩余油分布对比:所提算法驱动范围略小于水驱和气驱,但驱替前缘更均匀,扫油区内平均剩余油饱和度降至0.35,比固定速率WAG的0.38降低7.9%,且剩余油分布更分散,表明其以较小注采量实现较高经济收益。
讨论部分定性分析了关键因素影响:井间连通性增强会提高井间流量和驱替效率,连通性差则扫油范围缩小;注入转换成本较高时会降低WAG循环频率,可能削弱水-气协同效应;Q-learning的学习率、折扣因子和探索率衰减影响收敛速度与稳定性。所提