基于深度学习序列集成优化的有限数据岩性识别

《Engineering Applications of Artificial Intelligence》:Lithology identification with limited data based on deep learning serial ensemble optimization

【字体: 大 中 小 】 时间:2026年04月05日 来源:Engineering Applications of Artificial Intelligence 8

编辑推荐:

  针对小样本数据场景下深度学习模型的过拟合与泛化不足问题,本文提出梯度提升串联集成优化方法(eGB),通过构建局部损失函数与指数交互机制,实现多子网协作学习。实验表明,集成模型在DNN和LSTM基础上,将岩性识别精度提升2.2%,有效利用有限数据并增强非线性映射能力。

  
马宇斌|赵佳豪|侯志宇|曹丹平
中国石油大学(华东)深油深气国家重点实验室,青岛市,266580,中华人民共和国

摘要

以深度学习为代表的人工智能方法已广泛应用于需要大量样本的岩性识别中。在实际勘探和开发的早期阶段,钻探的深水井数量相对有限,可用于训练的样本数量较少,这容易导致深度学习技术在实际应用中出现过拟合和泛化能力不足的问题。本文提出了一种基于深度学习优化的串行集成方法,旨在提高深度学习模型在样本数据有限情况下的学习能力。该方法通过将多个子网络串联起来,并为每个子网络构建局部损失函数,使当前子网络能够更准确地关注前一个子网络预测错误的样本。在此基础上,通过将全局损失函数与多个子网络之间的指数交互机制相结合,成功构建了指数交互序列集成梯度提升(eGB)优化模型。实验结果表明,多个深度学习网络的串行集成能够更有效地利用深度学习的非线性映射能力,并在样本数量有限的情况下提高预测能力。此外,指数交互优化策略大大提高了多个深度学习模型的训练效率,同时保证了预测准确性,进一步促进了深度学习在样本有限条件下的应用。

引言

随着勘探理论和技术的发展,具有复杂岩性且难以开发的储层逐渐受到关注。同时,对岩性识别和储层分类的精度要求也在不断提高。在石油勘探中,准确的岩性识别是储层类型分类和物理参数反演的基础。测井数据包含了丰富的油气储层信息,但这些信息与储层特征参数之间的关系通常是多维的、高噪声的、非线性的(Anifowose等人,2016年)。传统的解释方法严重依赖专家知识和经验,可能会引入偏差和主观性,而传统的经验方法难以有效建立非线性关系。
近年来,人工智能技术被广泛应用于解决石油勘探中的非线性问题。在智能数据解释方面,基于深度学习的储层物理参数预测(侯等人,2021年;罗等人,2024年)、基于神经网络的地震参数反演(苏等人,2023年;Das和Mukerji,2020年)、基于机器学习的岩性识别(朱等人,2023年)以及储层类型判别(赵等人,2021年)在模型构建和真实数据测试中取得了较好的效果。其中,岩性识别和储层类型判别是典型的智能分类问题,其核心在于建立储层与岩性类型及其敏感参数之间的非线性映射关系。以多层感知器(MLP)、人工神经网络、长短期记忆网络(LSTM)等为代表的深度学习方法在储层类型分类和岩性识别中发挥了重要作用(Bressan等人,2020年;江等人,2021年;林等人,2020年)。
尽管深度学习在岩性智能识别方面取得了良好的成果,并开发了大量优化方法(孙等人,2020年),例如通过优化模型参数的搜索方式来避免过拟合和欠拟合现象。然而,测井解释领域经常面临样本数据有限的问题,这限制了传统深度学习模型的直接应用,尤其是那些依赖强特征提取能力的方法。为了解决这个问题,研究人员开发了多种策略,包括数据增强技术、半监督学习(李等人,2019年)和无监督学习(吴等人,2021年),这些方法在一定程度上提高了模型的性能。但是,这些方法生成的样本通常伴随着较大的不确定性,可能影响模型的泛化能力。在算法层面,以支持向量机为代表的传统机器学习方法在处理小样本数据时表现出一定的优势。然而,这些传统算法在计算能力上存在局限性,导致模型在实际应用中经常面临高方差、高偏差和准确性不足的问题(孙等人,2021年;Dietterich,2002年)。集成学习策略最初旨在结合多种传统机器学习的优势以提高模型的整体学习能力,已经开发了许多基于树结构的集成模型,如随机森林(Wang等人,2020年)、XGBoost(Han等人,2021年)、AdaBoost(D. Zhang等人,2022年)等。与浅层模型或传统模型相比,基于深度学习的方法可以在几乎没有先验知识的情况下提取多变量和非线性深度特征,以执行复杂的非线性任务(Lecun等人,2015年)。近年来,人们尝试将集成学习与深度学习相结合(Haralabopoulos等人,2020年;Tasci等人,2021年;Can Malli等人,2016年;Xu等人,2016年)。
集成学习方法最初是一种优化策略,旨在通过策略性地整合多个专家的不同假设并巧妙地组合它们来解决问题。该方法训练多个基础学习器,并结合它们的预测结果,以实现比单个基础学习器更高的性能和更好的泛化能力(Mishra等人,2022年;Martin等人,2010年),目的是充分利用多个学习器的优势。串行集成方法可以被视为一种“分步工作”策略,每个基础学习器都在特定的训练目标下进行训练,如果某个类别训练效果不佳,则会给予更多的关注和资源以改进整体预测。与传统单一学习器相比,集成学习方法允许多个基础学习器实现特征表示的协同演化和相互适应。应用于岩性识别任务时,这种机制自然产生了一种独特的分解学习策略:一些学习器专注于共享不同岩性之间的共同特征模式,而其他学习器则专门捕捉和建模特征差异较小的岩性样本——即使样本数据有限,也能实现罕见岩性的精确识别。
在实际应用中,由于恶劣的环境和高成本,数据稀缺是获取深水和深井勘探操作中足够训练样本的主要瓶颈。面对这一重大挑战,迫切需要开发创新的理论和方法,以提高在小样本量条件下的岩性识别准确性。虽然优化的深度学习方法在岩性识别方面显示出潜力(Zhang等人,2022年、2023年、2025年),但传统的深度神经网络(DNN)和长短期记忆网络(LSTM)在小样本场景下的泛化能力有限。问题的关键在于这些模型的巨大容量与可用数据的有限规模之间的不匹配。为了解决这个问题,本研究提出了一种从使用“单一复杂模型”转向使用“协作序列模型”的范式转变。我们提出的梯度提升级联集成框架是一种适用于少样本问题的自适应优化解决方案。通过整合任务分解、序列决策和焦点强化机制,它最大化了有限数据信息的利用。
在本文中,我们采用串行集成方法连接多个子网络,分别为子网络构建微观损失函数,利用强化学习策略关注之前预测错误的样本,充分发挥深度学习在样本有限情况下的学习能力,并分别使用DNN和LSTM深度学习方法构建梯度提升串行集成优化岩性智能预测模型,以比较单个DNN和LSTM模型的准确性。比较单个DNN和LSTM的预测结果,结果表明集成优化模型的准确性显著提高。针对深度神经网络中数百万到数十亿个超参数导致集成过程耗费大量时间和空间的问题,本文将微观损失和全局损失相结合,进一步优化了深度学习序列集成模型,构建了基于深度学习序列化集成交互的优化模型,既保证了准确性又提高了模型的训练效率。预测结果显示,LSTM-eGB岩性预测的精确度和准确性相比单个LSTM提高了2.2%。

部分摘录

串行集成优化方法

梯度提升串行集成模型(GBM)(Natekin和Knoll,2013年)是一种结合多个学习器以识别难以分类样本的优化策略。如图1所示,集成模型通过使用多个学习器来减少难预测模型的误差。它在每个学习器训练结束时根据残差信息增加错误分类样本的权重,然后将这些加权的“新”样本输入到下一个学习器中

数据准备

从测井数据中识别岩性是勘探研究的重要部分,如储层描述和油气性质评估,也是判断井中油气储层类型的基础。实证结果表明,深度学习序列集成模型在北美Houghton和Panoma油气田的实际测井数据测试中表现出稳健的性能(Hall,2016年)

讨论

为了验证所提出方法的可靠性,选择了另一口井进行NOLAN验证。根据混淆矩阵分析(图15),集成模型(DNN_GB、DNN_eGB、LSTM_GB、LSTM_eGB)在CSIS和PS等核心类别上的分类性能明显优于子网络(DNN、LSTM)。混淆矩阵表明,梯度提升集成模型实现了逐步的性能提升

结论

为了解决深度学习模型在样本数量有限时学习能力有限和预测性能不足的问题,通过整合多个学习器的预测结果来进行有效融合,优化了深度学习模型的性能。当前深度学习模型的损失函数的负梯度信息被用来调整错误分类样本的权重

作者贡献声明

马宇斌:撰写——原始草稿、方法论、形式分析。赵佳豪:调查、数据整理。侯志宇:验证、数据整理。曹丹平:撰写——审稿与编辑、资源获取。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。
致谢
本工作得到了国家自然科学基金(42325403)(通讯作者:曹丹平)和国家重点研发计划(2024ZD1004201)的支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号