《Environmental Impact Assessment Review》:Towards trustworthy LLM-assisted EPD comparability assessment for circular construction materials
编辑推荐:
环境产品声明(EPD)越来越多地被用于支持建筑材料选择,但其可比性取决于系统边界和分配规则如何被解释。尽管大型语言模型(LLM)越来越多地被探索用于可持续性评估,但关于方法论模糊性如何影响LLM推理可靠性和可比性判断的关注有限。本研究调查了LLM如何解读原生和
环境产品声明(EPD)越来越多地被用于支持建筑材料选择,但其可比性取决于系统边界和分配规则如何被解释。尽管大型语言模型(LLM)越来越多地被探索用于可持续性评估,但关于方法论模糊性如何影响LLM推理可靠性和可比性判断的关注有限。本研究调查了LLM如何解读原生和再生建筑材料的EPD中A1–A3碳排放。使用原生骨料和再生混凝土骨料作为案例材料,通过零样本(zero-shot)和规则引导(rule-grounded)提示下的单份EPD解读和成对可比性评估任务,评估了GPT-5.3、Qwen 3.6-Plus和Gemini 3。结果表明,再生材料的A1–A3排放可能不代表与原生材料相同的过程边界,因为与回收相关的负担可以分配到不同的EPD模块。零样本LLM通常产生稳定但保守的可比性判断,当方法论条件难以综合时经常默认不可比。规则引导提示提高了GPT-5.3和Qwen 3.6-Plus的判断准确性和推理质量,但降低了响应稳定性并增加了输出变异性,揭示了准确性-稳定性权衡。这些发现表明,LLM辅助的EPD解读需要超越最终答案准确性的评估。当前的LLM应作为支持性工具而非独立的决策系统,并且需要在EPD内提供更清晰、更协调的方法论表述以改进AI辅助解读。
**论文解读:面向可信赖的LLM辅助EPD可比性评估的循环建筑材料**
**研究背景与问题**
建筑行业正从线性经济向循环经济转型,再生建筑材料(如再生混凝土骨料RCA)的使用日益增加。环境产品声明(EPD, Environmental Product Declaration)作为标准化的生命周期环境影响信息载体,被用于支持建筑材料选择。然而,EPD采用模块化报告结构(如A1–A3生产阶段、C1–C4生命周期结束阶段、D模块),其可比性高度依赖于系统边界定义和分配规则的解释。对于再生材料,由于回收相关负担(如破碎、筛分)可能被分配到不同EPD模块(如A1–A3或C3),导致相同物理过程在不同EPD中呈现不同模块归属,引发方法论模糊性。同时,大型语言模型(LLM, Large Language Model)正被探索用于可持续性评估,但现有研究多关注信息提取准确性,而方法模糊性如何影响LLM推理可靠性和可比性判断尚未得到系统研究。因此,本研究旨在评估LLM在EPD解读和可比性判断中的能力,尤其关注系统边界和分配逻辑的推理质量。
**研究内容与结论**
研究以原生骨料(NA)和再生混凝土骨料(RCA)为案例,选取6个来自EPD Australasia计划的EPD(2个NA,4个RCA),所有EPD均遵守同一产品类别规则(PCR 2019:14)和EN 15804+A2标准。评估三个主流LLM:GPT-5.3、Qwen 3.6-Plus和Gemini 3。通过两个任务:Task1为零样本(zero-shot)单EPD解读,要求模型解释A1–A3碳排放的含义;Task2为零样本与规则引导(rule-grounded)提示下的成对可比性评估(12对EPD对,每组5次重复)。采用多维度评价:技术正确性、响应一致性、输出熵、推理质量。研究发现:再生材料的A1–A3值不一定代表与原生材料相同的过程边界,因为回收相关负担可被分配至不同模块。零样本下LLM常产生稳定但保守的可比性判断(常默认不可比);规则引导提高了GPT-5.3和Qwen 3.6-Plus的判断准确性和推理质量,但降低了响应稳定性并增加了输出变异性,揭示了准确性-稳定性权衡。当前LLM应作为支持性工具而非独立决策系统,且需要在EPD内提供更清晰、更协调的方法论表述以改进AI辅助解读。该论文发表在《Environmental Impact Assessment Review》。
**主要技术方法**
研究采用的关键技术方法包括:(1)EPD数据集构建:基于EPD Australasia计划,选取2个自然骨料(NA)EPD和4个再生混凝土骨料(RCA)EPD,均遵守PCR 2019:14和EN 15804+A2,声明单位均为1吨骨料;(2)LLM评估:通过网页接口测试GPT-5.3、Qwen 3.6-Plus、Gemini 3,关闭对话记忆功能,每个任务使用相同文档和提示;(3)任务设计:Task1为零样本单EPD解读(6个EPD各1次),Task2为零样本与规则引导成对可比性评估(12对EPD对,每对5次重复),规则引导提示明确要求考虑系统边界对齐、回收排放分配、功能单位一致性等条件;(4)多维度评价:技术正确性基于EPD方法论判定,响应一致性通过5次重复是否输出相同结果衡量,输出变异性用二元熵量化,推理质量按是否包含证据且连贯分类。
**研究结果**
**4.1 Baseline interpretation of A1–A3 emissions under zero-shot prompting**
通过Task1零样本单EPD解读发现,GPT-5.3完美识别出再生材料A1–A3不完全代表生产排放(准确率1.00),且能正确解释下游模块(如C模块)的作用。Qwen 3.6-Plus和Gemini 3分别在2个和1个RCA EPD中错误定位回收相关影响,导致准确率分别为0.67和0.83(错误示例显示Qwen将回收负担归入错误生命周期模块)。
**4.2 Reliability of LLM-assisted comparability judgements**
通过Task2成对评估发现,零样本下所有模型一致性高但准确率中等(GPT-5.3为0.58,Qwen为0.52,Gemini为0.57)。规则引导下,GPT-5.3和Qwen准确率提升至0.78和0.75,但一致性分别从0.75降至0.25、从0.92降至0.42,而熵值分别从0.20升至0.62、从0.06升至0.52,揭示了准确性-稳定性权衡。Gemini准确率略降至0.53,一致性从0.92降至0.50。
**4.3 Effects of methodological complexity across pair types**
通过不同比较组(G1: RCA–RCA, G2: RCA–NA, G3: NA–NA)分析发现,跨所有模型,G3(NA–NA)准确率最高,G1(RCA–RCA)最低,反映再生材料方法复杂性的增加。规则引导对GPT-5.3和Qwen在G1和G2组提升显著,但对Gemini的G1组准确率下降。进一步计算精确率与召回率,零样本下所有模型在G1和G2组召回率为0(无正确识别可比对),显示强保守偏差;规则引导下GPT-5.3和Qwen的召回率大幅提升,而Gemini引入假阳性错误(将不可比对误判为可比)。
**4.4 Reasoning risks and uncertainty patterns**
通过定性分析推理过程发现,零样本下推理错误主要源于过度概括(如将模块差异等同于不可比)和方法论指导误读(如将“A1–A3单独使用需谨慎”解读为不可比)。规则引导下,GPT-5.3的基于证据且连贯推理比例从28.3%升至76.7%,但仍有16.7%错误残留(如无法正确识别回收负担在A1–A3中的归属)。推理一致性分析显示,规则引导对GPT-5.3的一致响应比例从16.7%升至41.7%,但仍存在不一致情况。Qwen和Gemini也有类似改进但伴随可变性增加。
**总结讨论与结论翻译**
研究结果表明,规则引导提示改变了LLM推理的性质而非简单提升输出。尽管方法论引导可改善推理质量,但也暴露了EPD中分配规则和系统边界表述的内在模糊性。因此,LLM应作为有领域专业知识的用户的辅助工具,而非独立决策系统。未来需扩展至更广产品类别、EPD计划、提示设计和更多LLM(如Claude),并系统评估提示敏感性。同时,EPD需提供更清晰、更协调的方法论表述以改进人类和AI辅助的可比性评估。
**研究结论部分翻译**
本研究调查了大型语言模型(LLM)如何解读环境产品声明(EPD),特别关注原生和再生建筑材料的EPD中系统边界和分配逻辑的表述。通过受控实验设计比较了三个流行的LLM(GPT-5.3、Qwen 3.6-Plus和Gemini 3),并从技术正确性、决策变异性和多次运行的推理一致性评估了模型性能。结果表明,再生材料的A1–A3值不一定代表与原生材料相同的过程集,因为回收相关负担可能被分配到不同的生命周期模块。因此,如果系统边界和分配规则未被正确解读,直接比较A1–A3排放可能产生误导。研究还发现,LLM的可靠性不能仅通过最终答案准确性评估。在零样本提示下,模型常产生稳定但过于保守的可比性判断,表明响应一致性不一定意味着方法可靠性。规则引导提示通过鼓励更明确地考虑系统边界和分配规则,提高了部分模型(尤其是GPT和Qwen)的判断准确性和推理质量。然而,这一改进伴随着响应稳定性降低和输出变异性增加,揭示了LLM辅助EPD可比性评估中的准确性-稳定性权衡。这些发现应被视为探索性的,且特定于所选骨料EPD。总体而言,研究表明规则引导提示改变了LLM推理的性质而非简单提升输出。虽然方法论引导可改善推理质量,但也可能暴露EPD中分配规则和系统边界表述未解决的模糊性。因此,LLM应作为具有足够领域专业知识的用户的辅助工具,而非独立决策工具。未来研究应将评估扩展到更广的产品类别、EPD计划、提示设计以及其他LLM(如Claude等新兴基础模型)。特别地,未来工作应使用语义等效的提示变体(包括暗示不确定性的措辞,如“可能”)系统评估提示敏感性。本研究中,Task1提示使用了术语“可能”,因为所选RCA EPD并不总是明确将回收或废物处理相关影响分配给单个模块。该措辞旨在鼓励对报告EPD信息的解读,而非假设每种情况下都存在唯一且明确声明的模块。进一步研究还应考察EPD中更清晰、更协调的方法论表述如何改进人类和LLM辅助的可比性评估。由于所选EPD声明遵守相同标准、PCR和验证框架,本研究未将LLM评估为初步合规筛选工具。未来研究可检查LLM是否通过检查报告EPD信息与相关标准和PCR要求的一致性来支持此类筛选,补充而非取代正式第三方验证。