预测能力与可解释性:机器学习方法在揭示甘蔗产量影响因素中的应用

《Computers and Electronics in Agriculture》:Predictive power vs interpretability: Machine learning approaches to unravel sugarcane yield drivers

【字体: 大 中 小 】 时间:2025年12月28日 来源:Computers and Electronics in Agriculture 8.9

编辑推荐:

  机器学习模型在甘蔗产量预测中的应用及其可解释性分析。通过决策树、随机森林和XGBoost三种模型对比,结合SHAP和LIME解释方法,揭示产量驱动因素及模型特性差异。研究发现决策树可解释性强但精度较低,XGBoost精度最高(R2=0.94),铝含量和C环境显著负向影响产量,品种RB985476正向影响一致,磷钾等养分存在混合效应。提出混合模型框架以平衡可解释性与预测性能,为精准农业提供可操作建议。

  
马塞洛·陈富伟(Marcelo Chan Fu Wei)| 若泽·保罗·莫林(José Paulo Molin)| 路易斯·朗尚(Louis Longchamps)
巴西圣保罗大学“路易斯·德·凯罗斯”农业学院精准农业实验室,皮拉西卡巴(Piracicaba),圣保罗州(SP)

摘要

机器学习(ML)已成为农业领域的一项变革性工具,但其应用受到预测准确性与可解释性之间固有权衡的阻碍。本研究评估了三种ML模型——决策树(Decision Tree,DT)、随机森林(Random Forest,RF)和极端梯度提升(Extreme Gradient Boosting,XGBoost)——在甘蔗产量预测中的应用,并整合了可解释AI(Explainable AI,XAI)技术(Shapley加性解释-SHAP和局部可解释模型无关解释-LIME)以提高模型透明度。使用来自巴西的约1,600公顷的数据集,评估了各模型的特征重要性,该数据集涵盖了土壤属性、作物特性和产量数据。结果表明,DT具有最高的可解释性,但准确性较低;而XGBoost则实现了最高的预测性能(R2 = 0.94,RMSE = 9.39 Mg ha?1)。值得注意的是,只有一个特征(高产品种RB985476)在所有模型中均被一致地认定为具有积极影响,而铝含量和生产环境C则表现出负面影响。对于磷和钾等营养素,观察到了混合效应,这突显了依赖上下文的相互作用。本研究提倡采用混合方法,将可解释模型(DT)与高精度集成模型(XGBoost或RF或两者结合),以优化精准农业中的决策制定。这一框架可以弥合模型透明度和预测能力之间的差距,通过不同方法得出的趋同结果为可持续甘蔗管理提供可操作的见解。

引言

农业行业正在经历数字化转型,机器学习(ML)作为一种强大的工具出现,旨在优化农场的可持续性,无论是主动还是被动的转型(Zhao等人,2024年)。在其应用中,包括神经网络在内的先进ML模型以及集成方法(例如随机森林-RF、极端梯度提升-XGBoost)已被广泛用于产量预测,这些方法通过组合较弱的模型来提高预测准确性。尽管这些模型在准确性上优于传统的统计模型(例如决策树-DT和线性回归),但它们通常可解释性较低,被视为“黑箱”系统。这反映了预测能力与模型透明度之间的一个众所周知的权衡(Abdullah等人,2021年;Breiman,2001年)。
作物产量是土壤属性、天气动态和管理实践综合效应的结果(Fischer,2015年)。尽管如此,无论采用何种作物建模方法(确定性或经验性),识别产量的关键驱动因素都并非易事。特别是由于从确定性方法(例如DDSAT和APSIM)获得准确结果的复杂性,替代方法侧重于使用ML进行经验建模(Aderele等人,2025年)。ML模型在识别隐藏模式方面表现出色,但缺乏透明度,这使得决策者难以采用,因为可解释性对于获得可操作的见解至关重要,尤其是在农业等高风险领域(Rudin,2019年;Rudin等人,2021年)。为了弥合这一差距,可解释AI(XAI)方法为“黑箱”模型提供了事后的可解释性,而不会牺牲预测能力。像Shapley加性解释(SHAP)和局部可解释模型无关解释(LIME)这样的技术可以量化特征重要性,而决策规则(例如决策树)则提供了直观的逻辑(Rudin等人,2021年)。
农业中的ML模型传统上更重视预测准确性和特征重要性排名。然而,这些指标未能解决可解释性的关键问题——特别是解释方法的可靠性和一致性。虽然基于树的模型中的原生特征重要性度量(例如随机森林的平均杂质减少-MDI和XGBoost的增益)可以提供关于特征贡献的全球性见解,但它们存在一些关键限制:缺乏方向性效应(例如,较高的钾水平是增加还是减少产量);对高基数特征(例如样本ID)存在偏见;这些特征被人为夸大,因为它们为模型提供了更多的分割机会,往往是通过记忆噪声而不是捕捉真实的预测关系;以及对相关变量的处理不当。
像SHAP和LIME这样的XAI技术通过提供与模型无关的、考虑上下文的解释来解决这些问题。SHAP利用博弈论(Rasmusen,2006年)来量化每个特征的重要性,同时揭示方向性关系并公平地考虑依赖性。相比之下,LIME为单个预测生成局部解释(Ribeiro等人,2016年)。与原生方法不同,XAI工具提供了针对具体条件的可操作见解——这对于农业决策至关重要,因为透明度至关重要。然而,仍存在重大不确定性:不同的XAI方法在不同种植系统中是否会产生一致的解释?事后解释如何与MDI或增益等内在度量相一致?解决这些问题将有助于区分普遍的农艺原则和依赖上下文的伪象,从而增强ML在农场管理中的转化价值。
理解农业中的ML预测需要解决五个关键挑战:(i)变量重要性——确定哪些变量真正重要;(ii)交互效应——揭示因素之间的相互作用;(iii)预测因子-响应关联——阐明输入与产量之间的关系;(iv)实例级合理性——解释个别预测;(v)跨算法一致性——确保不同算法之间的一致解释(Ryo,2022年)。尽管有这一框架,理论可解释性与实际、农艺上可行的见解之间仍存在显著差距——这一差距在甘蔗产量建模中尤为明显。
大多数甘蔗产量研究都集中在遥感技术上(Canata等人,2021年;Das等人,2023年),而忽视了模型的可解释性,从而限制了实际影响。少数应用XAI工具的研究仍然依赖于遥感数据,如辐射带、植被指数和农业气候变量(例如温度、降水量和作物水分平衡)(Amaro等人,2025年;Malashin等人,2024年)。尽管这些模型可以达到显著的准确性(例如R2高达0.70),但由于它们使用间接代理变量而非直接、可管理的作物生长因素(如土壤养分水平),因此在提供可操作的农艺见解方面受到限制。由于获取全面土壤和管理数据的难度,这种依赖性往往是必要的,但它为农民生成合理的、可实地应用的解释创造了关键差距。然而,鉴于新可用的产量监测(Maldaner等人,2022年)和土壤数据集,甘蔗系统是验证XAI的理想试验场。通过利用这些数据,研究人员可以弥合理论准确性和可操作见解之间的差距,确保输出合理且与决策相关,从而增强农民对数据驱动建议的信任和采纳。
虽然像SHAP和LIME这样的XAI方法为ML模型提供了事后可解释性,但由于底层架构的差异(例如分割标准(例如MDI与增益优化)和集成加权机制的不同,它们的解释可能在不同算法之间有所不同。这种变异性提出了一个关键问题:尽管存在这些算法差异,是否仍能识别出一致的产量驱动因素?因此,本研究的假设是,尽管由于不同的学习机制(DT、RF和XGBoost),产量驱动因素的排名可能有所不同,但通过原生特征重要性的收敛(例如MDI和增益)、SHAP值和LIME解释识别出的合理驱动因素可以提供可靠的农艺见解。
因此,本研究旨在弥合农业产量模型中高预测准确性和实际可解释性之间的关键差距。平衡这两个方面至关重要,因为高风险的农场管理决策需要可靠的预测和透明的、农艺上可行的解释,以建立信任并促进行动。虽然之前的甘蔗ML研究经常依赖遥感代理或仅将XAI应用于单个模型,但它们难以提供一致、直接的管理见解。为了超越这些限制,我们提出并评估了一个多模型、多方法的可解释性框架。本研究的主要目标是通过解决多个算法和XAI技术之间的解释冲突,识别出稳健且农艺上可行的甘蔗产量驱动因素。具体来说,研究:(1)比较了来自XGBoost(增益)、随机森林(MDI)和决策树(分割重要性)的特征重要性排名;(2)利用SHAP和LIME分析从集成模型预测中提取方向性见解。
这项研究的实际意义重大:通过量化和解决多个ML算法和XAI技术之间的解释冲突,展示了将ML工具更自信地整合到精准农业和数字农业系统中的可能性。与之前主要将SHAP或LIME应用于单个模型或依赖遥感代理的研究不同,这个多方法框架使用直接的土壤和管理变量评估了DT、RF和XGBoost之间的一致性——解决了甘蔗产量建模文献中的一个关键差距。对于农民和农学家来说,这意味着提供了平衡预测准确性和可解释性的可操作建议。例如,我们的方法明确区分了普遍重要的变量(例如作物品种)和依赖上下文的因素(例如硫含量水平)。这一进展代表了朝着缩小农业中AI采用差距迈出的关键一步,同时保持了产量预测模型的科学严谨性,提供了一个可适应其他种植系统的可复制框架。

材料与方法

本研究使用了2021年由巴西一家甘蔗加工集团收集的数据集,该数据集包含分布在圣保罗州西北部的473个田间观测点,代表约1,600公顷的土地。与传统侧重于使用气候数据或植被指数的产量估算研究不同,本研究仅关注土壤属性和作物特性,因为它们与产量之间存在动态交互作用。选择这个数据集是因为它独特地结合了土壤

决策树

每个根节点和内部节点代表一个决策规则,指示驱动产量的最重要因素及其阈值。由此可以识别出九个产量驱动因素(决策规则),这些因素可以总结为品种、分蘖阶段、钾(K)、磷(P)和硫酸盐(S)的含量。决策树揭示了不同的产量模式。对于RB975202和VERTIX2品种,平均产量为50 Mg ha?1。对于CTC9002、RB855453、RB975201、RB975242和RB975952品种,产量范围在59.00至113.00 Mg ha?1之间

讨论

像决策树和线性回归这样的可解释模型因其透明度和阐明方向性效应的能力而仍然具有价值,而像随机森林和XGBoost这样的集成方法则提供了更高的预测准确性(Abdullah等人,2021年)。然而,仅关注可解释性或准确性都是有限的,因为这些属性并非相互包容。本研究通过开发一个综合框架来解决这一二分法,该框架结合了:

结论

三种机器学习模型——决策树、XGBoost和随机森林——为甘蔗产量预测提供了互补的见解。决策树提供了清晰、可操作的规则和具体阈值(例如,当S < 6.2 mg dm?3且K ≥ 1.9 mmol c dm?3时产量下降),使其非常适合用于直接的农场、加工厂和公司层面的决策。同时,XGBoost和随机森林通过它们的集成方法捕捉了更复杂、非线性的关系,而SHAP和LIME

撰写过程中生成式AI和AI辅助技术的声明

在准备这项工作时,作者使用了DeepSeek AI(DeepSeek-R1)来改进手稿的英语语言和逻辑流畅性。使用该工具后,作者根据需要审查和编辑了内容,并对发表文章的内容负全责。

CRediT作者贡献声明

马塞洛·陈富伟(Marcelo Chan Fu Wei):撰写——审阅与编辑,撰写——初稿,方法论,调查,形式分析,数据整理,概念化。若泽·保罗·莫林(José Paulo Molin):撰写——审阅与编辑,撰写——初稿,监督,资源,项目管理,方法论,调查,资金获取。路易斯·朗尚(Louis Longchamps):撰写——审阅与编辑,撰写——初稿,调查,形式分析。

资助

本研究得到了多个巴西机构的支持:高等教育人员培训协调委员会(CAPES,财务代码001);国家科学技术发展委员会(CNPq,项目编号306177/2021–8,带有研究生产力补助金);以及圣保罗研究基金会(FAPESP,补助金编号2019/07665–4)。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文所述的工作。

致谢

作者想要感谢Solinftec公司,特别是Laís Luna Braga和Leonardo Felipe Maldaner,以及Tereos集团,特别是Bruno Williams Santos,在数据获取方面提供的宝贵支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号