《Sustainability》:LLM-Assisted and Rule-Based Assessment of ESG Disclosure Quality and Its Association with External ESG Ratings: Exploratory Evidence from S&P 500 Energy Firms
编辑推荐:
环境、社会和治理(ESG)披露已成为外部利益相关者的重要信息来源。随着可持续性报告的扩展,区分披露数量与披露质量日益重要。本研究探讨在标准普尔(S&P)500能源部门公司中,可持续性披露质量与外部ESG评估结果之间的关联。研究人员使用大语言模型(LLM)辅助的
环境、社会和治理(ESG)披露已成为外部利益相关者的重要信息来源。随着可持续性报告的扩展,区分披露数量与披露质量日益重要。本研究探讨在标准普尔(S&P)500能源部门公司中,可持续性披露质量与外部ESG评估结果之间的关联。研究人员使用大语言模型(LLM)辅助的结构化内容分析,从可持续性报告中识别并对ESG相关声明进行分类。基于由此产生的语料库,构建了三个披露质量指标:定量证据比率(QER)、目标问责比率(TAR)和报告基础设施得分(RIS)。这些指标被整合为一个复合披露质量指数(DQI),并使用Spearman秩相关检验其与S&P Global ESG得分的关系。结果显示,单个指标的积极关联有限,而复合DQI表现出更明显的正相关关系。同时观察到披露-评级分歧模式,表明相对有利的披露质量位置并不一致对应更高的ESG得分排名。总体而言,研究结果表明可持续性披露质量可能是多维度的,并且当综合考虑披露特征时,其与外部ESG评估结果的关联变得更加明显。然而,由于分析仅限于S&P 500能源部门公司的小样本,研究结果应被视为探索性的特定行业证据,普遍性有限。
**研究背景、问题与意义**
环境、社会和治理(ESG)披露已成为企业与投资者、监管机构、评级机构等外部利益相关方沟通的重要机制,尤其在温室气体排放、甲烷泄漏、运营安全、水资源管理和治理风险均受到高度关注的能源部门。然而,广泛的ESG披露并不必然等同于高质量或高问责性的披露。既有研究表明,企业可能提供大量可持续性叙事,但缺乏可测量、可验证或具有问责导向的披露结构,因此需要区分披露数量与披露质量。外部ESG评级机构之间因范围、方法、权重和信息来源差异导致评估结果不一致,进一步表明可持续性披露质量与外部ESG评价结果虽相关但不应直接等同。为填补这一空白,研究人员针对标准普尔(S&P)500能源部门公司,探究可持续性披露质量如何与外部ESG评价结果相关联,着重于披露的可测量性、目标关联性和结构性特征,而非将ESG得分视为ESG绩效的绝对表征。
**核心研究方法**
本研究采用LLM辅助与基于规则相结合的两阶段分析框架。样本来源于S&P 500能源部门中具有可比独立可持续性报告的公司,最终纳入17家公司。外部基准数据来自S&P Global ESG数据库,包括ESG得分和企业可持续性评估(CSA)得分。技术方法包括:(1)使用Python提取PDF文本并进行句子级预处理;(2)利用GPT-5.2模型(温度设为0)基于预定义编码手册进行ESG声明识别及E/S/G/Mixed分类,并通过200句随机样本的双人编码验证(Cohen’s Kappa = 0.83,LLM与共识标签的ESG识别一致率90.7%,维度分类一致率93.68%);(3)基于正则表达式进行规则化特征提取,构建三个披露质量指标:定量证据比率(QER)、目标问责比率(TAR)和报告基础设施得分(RIS),并等权重聚合为复合披露质量指数(DQI);(4)采用Spearman秩相关、留一法稳健性检验、Kendall’s tau以及披露-评级分歧分析。
**研究结果**
*4.1 可持续性披露数据集概览*
通过描述性统计发现,样本公司在报告规模和ESG披露构成上存在显著差异。环境(E)披露普遍占比最高,社会(S)披露次之,治理(G)披露体积较小但持续存在,混合类别披露也频繁出现,表明ESG讨论常跨越多个维度而非严格分离。
*4.2 ESG披露质量指标分析*
基于规则化特征提取,QER值介于0.194(ExxonMobil)至0.378(Kinder Morgan)之间;TAR值最高为0.252(Occidental Petroleum),最低为0.103(ExxonMobil);RIS值显示9家公司获得1.0(满分),表明报告框架、ESG数据表、鉴证、报告边界和实质性评估等基础设施要素齐全。复合DQI基于标准化z分数计算,Occidental Petroleum(1.308)最高,ExxonMobil(-1.009)最低。结果还显示,一家公司在一个维度上的高分不一定对应所有维度高分,例如ExxonMobil获得RIS=1.0但QER和TAR较低。
*4.3 披露质量指标与外部ESG指标的关系*
Spearman相关分析表明,QER、TAR、RIS与S&P Global ESG得分和CSA得分均呈中等正相关,但均未达统计显著性(ESG得分:RIS ρ=0.330,QER ρ=0.311,TAR ρ=0.300;CSA得分:QER ρ=0.345,TAR ρ=0.319,RIS ρ=0.313)。相比之下,复合DQI与两项指标均呈现显著正相关(ESG得分ρ=0.613,p=0.0089;CSA得分ρ=0.645,p=0.0052)。留一法稳健性检验显示DQI与CSA得分的ρ范围0.574–0.746(p值0.0009–0.0201),与ESG得分的ρ范围0.535–0.711(p值0.0020–0.0328),表明结果不受单一公司驱动。Kendall’s tau进一步支持稳健性(CSA得分τ=0.494,p=0.0057;ESG得分τ=0.442,p=0.0146)。此外,替代加权敏感性分析显示,正相关关系在所有调整方案中均保持显著。披露-评级分歧分析则显示,部分公司(如OXY、EQT、VLO)在DQI上排名高于ESG得分,而另一些公司(如WMB、OKE)则相反,表明披露质量与外部评价之间并非完全对齐。
**讨论与结论**
讨论部分指出,个体披露质量指标与ESG得分仅呈弱正相关,而复合DQI显示更强关联,表明外部ESG评价更可能与披露质量的多维组合特征对齐,而非单一维度。这一发现支持了硬披露与软披露的区分,并提示披露质量应包含可测量性、问责性和结构性。分歧分析进一步说明,披露质量和外部ESG评价应视为相关但不同的构念——DQI反映披露的测量性、目标关联性和报告结构,而外部评价还涵盖绩效、风险暴露、行业相对定位等其他信息源。研究还指出,部分公司依赖表格或浓缩报告格式可能导致句子级分析低估其披露质量。方法上,LLM辅助识别与基于规则的特征提取相结合的设计兼具可扩展性和透明度。研究结论如下:本研究表明,可持续性披露质量与外部ESG评价结果之间存在关联,复合DQI与S&P Global ESG得分和CSA得分的正相关关系强于单个指标。观察到披露-评级分歧模式,表明两者不应互换。对于企业,这意味着ESG沟通质量不仅涉及披露数量,更关乎可测量证据、目标关联性、问责信息和正式报告基础设施的构建。对于研究者和分析师,该框架提供了透明且可扩展的披露质量比较基础。由于分析仅限于S&P 500能源部门中具有可比独立可持续性报告的小样本,结果应视为探索性的特定行业证据,普遍性有限。未来研究可通过表格感知提取、多模态文档分析、时间对齐的基准数据集和跨行业更大样本进行拓展。