《Business Strategy and the Environment》:ESG Disclosure Quality as Organizational Information Processing: Comparing Human Coding, Rule-Based Automation, and LLM Semantic Scoring
编辑推荐:
摘要:本研究考察了不同评分架构在处理同一份ESG(环境、社会与治理)披露文本时如何产生不同的ESG披露质量得分。研究人员使用2020—2021年韩国上市公司发布的可持续发展相关报告,比较三种方法:基于结构化九项披露质量评分细则的人工编码法(Human-ESG)
摘要:本研究考察了不同评分架构在处理同一份ESG(环境、社会与治理)披露文本时如何产生不同的ESG披露质量得分。研究人员使用2020—2021年韩国上市公司发布的可持续发展相关报告,比较三种方法:基于结构化九项披露质量评分细则的人工编码法(Human-ESG)、与评分细则对齐的确定性词典系统规则评分法(Rule-ESG),以及通过已记录API协议进行语义评分的大语言模型(LLM)法(LLM-ESG)。三种方法均应用于相同的选定环境(E)、社会(S)、治理(G)披露片段。研究人员以人工编码得分为披露质量基准、以韩国企业治理院(KCGS, Korea Corporate Governance Service)评级作为含噪声的机构效标(criterion),评估聚合效度(convergent validity)、准则效度(criterion validity)、增量效度(incremental validity)及结构性诊断指标。研究结果表明,与规则基线相比,LLM-ESG与人工编码基准的聚合度更高,与KCGS机构效标的关联也更强,同时产生不同的分布特征。结构性诊断进一步显示规则架构在上端产生更强的压缩效应,而基于LLM的语义评分在若干诊断指标上表现出更大的跨企业区分度。额外稳健性与影响诊断表明主要结果并非由少数强影响观测值驱动。本研究对ESG披露研究的贡献在于揭示ESG评价中的分歧不仅可源于机构赋权差异,也可源于用于解读披露文本的评分架构本身。研究结果进一步提示,自动化ESG披露质量得分应被理解为"受架构形塑的输出",而非从可持续发展报告中直接提取的数值。
论文解读:作为组织信息处理的ESG披露质量评价——人工编码、规则自动化与LLM语义评分的比较研究
一、研究背景与问题提出
ESG报告已成为企业阐释环境、社会与治理议题管理情况的核心载体,投资者、评级机构及监管机构日益依赖披露质量(disclosure quality)而非单纯的披露篇幅来评判企业透明度与责任履行。然而现有研究中,ESG披露质量得分的构建过程常被当作"黑箱"——同一份披露文本经不同评分程序(人工判读、确定性词典匹配、语义语言模型)处理后未必保留相同信息特征,评分架构(scoring architecture)本身的差异可能导致评价分歧。既往ESG评级分歧文献主要关注评级机构间权重与数据覆盖差异(Berg et al., 2022),较少追问"在同一披露输入下,不同文本处理架构是否会系统性地产生不同效度表现"。此外,将自动化ESG评分笼统归为"自动化"而忽视其底层读取文本方式的异质性,亦限制了对测量工具适用性的理解。因此,有必要在控制披露输入一致的前提下,比较人工编码、基于词典的规则系统与大型语言模型(LLM, Large Language Model)语义评分三种架构在聚合效度、准则效度、增量效度及分布结构上的差异,以明确ESG披露质量评分的架构依赖性。本文发表于Business Strategy and the Environment。
二、主要研究方法概述
研究人员选取2020—2021年韩国(Korea)上市公司可持续发展相关报告(含ESG报告、综合报告),经人工审阅筛选E、S、G披露片段作为共同输入文本(N=157个人工编码观测,最终回归样本N=100含KCGS评级及财务控制变量)。分别构建:(1) Human-ESG——两名编码员依九项1–3分锚定评分细则独立编码并共识打分;(2) Rule-ESG——与细则对齐的增强型词典系统,按核心词、细化/流程词、量化表达、目标趋势词、风险整改词计数并映射至1–3分,不做否定窗口解析;(3) LLM-ESG——通过OpenAI Responses API调用gpt-4.1-mini,零样本(zero-shot)、温度(Temperature)=0、JSON模式强制输出九项1–3分,提示语为英文 rubric-guided但输入保留韩语原文。效标采用KCGS ESG评级(视为含噪声的韩国市场机构效标而非真实ESG绩效金标准)。统计分析包括Pearson与Spearman相关(聚合效度)、OLS回归控制规模(size)、杠杆率(LEV)及年度固定效应(准则效度与增量效度)、联合模型嵌套F检验、离散度/四分位距(IQR)/秩恢复/三分位回收诊断(结构性诊断),以及留一法(leave-one-out)、Cook's D、DFBETAS影响诊断与多规格稳健性检验。
三、研究结果
4.1 人工编码信度(Human Coding Reliability)
两名独立编码员对157个公司—年度观测(九项计1413条项目级评分对)的预共识精确一致率为85.8%,相差≤1分的同意率达98.4%,加权kappa与ICC(2,k)均为0.72,表明九项评分细则可由不同编码者稳定应用。环境类项目略低于S、G类,经预设共识程序解决分歧后形成最终Human-ESG基准。
4.2 ESG披露质量得分的分布与描述性统计(Distribution and Descriptive Properties of ESG Disclosure-Quality Scores)
Human-ESG均值2.53(SD=0.364)、LLM-ESG均值2.54(SD=0.401)相近且具相当离散度;Rule-ESG均值偏高(2.86)、中位数达满分3.00且IQR仅0.111,呈明显上端聚集与跨企业区分力不足,提示词典系统在标准化ESG词汇普遍出现时易产生上限压缩(upper-end compression)。
4.3 与人工编码基准的聚合效度(Convergent Validity With the Human-Coded Benchmark)
支持H1:Human-ESG与LLM-ESG的Pearson相关系数为0.347(p<0.001),Spearman为0.265(p=0.008);Human-ESG与Rule-ESG的Pearson为0.239(p=0.017),Spearman不显著(rho=0.127, p=0.207)。LLM语义评分比规则词典评分更贴近人工编码披露的质化判断,但相关属中等程度,非完全替代关系。
4.4 基于KCGS机构效标的准则效度(Criterion Validity Using the KCGS Institutional Criterion)
支持H2:Human-ESG对KCGS回归系数β=1.548(p<0.001, R2adj=0.533);LLM-ESG β=0.487(p=0.019)显著正向关联;Rule-ESG β=0.187(p=0.450)不显著。语义评分较规则基线更能捕捉与韩国本土机构评级对齐的披露信号。
4.5 超越规则基线的增量效度(Incremental Validity Beyond the Rule-Based Baseline)
支持H4:联合模型中Rule-ESG不显著(β=-0.341, p=0.287),LLM-ESG仍显著(β=0.679, p=0.014),嵌套F检验F=6.272(p=0.014),表明LLM-ESG提供超出规则词典系统的机构效标对齐增量信息。
4.6 结构性诊断:离散度与秩恢复(Structural Diagnostics: Dispersion and Rank Recovery)
支持H3:Rule-ESG IQR=0.111远小于LLM-ESG(IQR=0.333)与Human-ESG(IQR=0.556),上位压缩更强。Human–LLM成对排序准确率0.598高于Human–Rule(0.558),高三分位召回率Human–LLM(0.424)>Human–Rule(0.364)。LLM语义评分保留更多跨企业区分信息,但未完美复现人工排序。
4.7 稳健性与影响诊断(Robustness and Influence Diagnostics)
Human-ESG与LLM-ESG在各控制—固定效应规格下系数方向、显著性保持稳定;Rule-ESG始终不显著。影响诊断无异常强杠杆点或符号反转,主结果非由个别观测驱动。扩充规则输入文本片段反而致Rule-ESG全员满分、方差归零,证实词典系统存在词汇饱和与上限压缩倾向。LLM换用另一zero-shot提示重评20例,得分Pearson相关r=0.944,提示一定prompt内稳定性但模型/prompt依赖仍存在。
四、讨论与结论总结
讨论部分指出,ESG披露得分部分取决于"如何读取文本"——三种架构对同一段披露赋予不同权重与区分力:规则系统透明、可扩展但在语境依赖判断上受限;LLM语义评分较规则基线更接近人工判断的部分维度但仍为部分收敛(partial convergence),不能取代人工尤其是模糊性大或需版面布局判断的情形;Human-ESG作为结构化基准仍有不可替代价值。理论贡献在于将ESG评级分歧溯源前移至"评分架构"(scoring architecture)层面,呼应组织信息处理理论(OIPT, Organizational Information Processing Theory)——评分程序处理能力须匹配披露任务模糊性(equivocality)。实践含义包括:评级机构应披露评分架构与输入选择规则;监管应关注AI辅助ESG评价的提示、模型版本与审计轨迹;保证(Assurance)对象应延伸至评分程序本身;企业应注重政策—目标—责任—整改间的实质链接而非堆砌ESG术语。
结论(Conclusion):
同一ESG披露文本因读取架构不同而产生不同得分。对于ESG研究与实务,自动化ESG披露质量得分应被解释为受评分架构形塑之输出(architecture-shaped outputs),而非从可持续发展报告中直接萃取的客观数值;LLM语义评分较规则词典评分在聚合效度、准则效度及跨企业区分上更优,但人工编码基准仍为必要的披露质量参照点。ESG评分架构的差异是ESG评价分歧的一个上游来源(upstream source)。