《Frontiers in Psychology》:Automated scoring of adult ego development from sentence completions: interpretable maturity indicators derived by evolutionary prompt optimization
编辑推荐:
摘要
引言:自我发展理论(Ego Development Theory, EDT)描述了成人在意义建构方式上的系统性变化,但其主要测量工具——句子补全测试(Sentence Completion Test, SCT)需要耗费大量资源的专家评分。方法:研究人员
摘要
引言:自我发展理论(Ego Development Theory, EDT)描述了成人在意义建构方式上的系统性变化,但其主要测量工具——句子补全测试(Sentence Completion Test, SCT)需要耗费大量资源的专家评分。方法:研究人员开发了一种自动化评分方法,其中进化算法派生出一小组可解释的成熟度指标,每个指标由领域微调的语言模型对句子补全反应进行评分;随后,基于所得分数训练的分类器预测发展阶段。性能在从未用于特征发现的专家评分数据集(N = 851)上进行了评估,并与独立训练的评分者(N = 47)进行了完全盲法比较,同时对照外部标准(N = 446)进行了验证。结果:分类器与专家评分在86.1%的案例中完全一致(二次加权κ = 0.93)。相比之下,使用完整评分手册对两个前沿语言模型进行零样本提示仅达到40.1%–44.9%的一致性,表明仅通过提示无法实现与专家相当的评分。分类器的一致性在盲法比较中重复验证为85.1%。在外部验证中,这些指标与人格、一致性和自主性测量呈理论预期的相关模式,并且在专家评定的发展阶段上,除大五人格特质外,还解释了大量的额外方差(ΔR2 = 0.59)。在进一步的分析中,这些指标也与EDT预测的分化与整合在阶段间的交替模式一致。语言复杂性指标与人工评分的整合复杂性(Integrative Complexity)一致(两个语料库中ICC = 0.73和0.77)。在五个非SCT语料库中的探索性分析表明,这些指标可以预测其他文本体裁中与领域相关的行为。讨论:这些结果支持自动化自我发展评分达到与训练有素的评分者相当的一致性水平,并且这些指标为成人发展提供了可解释的候选维度,可用于验证性研究和人群规模研究。
**论文解读:基于进化提示优化的成人自我发展自动化评分——可解释成熟度指标的构建与验证**
**一、研究背景与问题**
自我发展理论(Ego Development Theory, EDT)由Loevinger(1966)提出,后经Cook-Greuter(1999)扩展,描述了个体在意义建构方式上的系统性阶段变化。该理论的核心测量工具是句子补全测试(Sentence Completion Test, SCT),要求被试完成36个句子词干,由专家依据评分手册对每个反应的结构复杂性、概念细微差别和意义建构模式进行评分,最终汇总为总体协议评级(Total Protocol Rating, TPR)。然而,专家评分存在严重瓶颈:培训合格评分者需达到85%的精确一致率,过程耗时且昂贵;持续校准要求高;人工分析处理量有限,严重制约了研究规模化与临床应用。尽管自然语言处理和大型语言模型(LLM)提供了潜在解决方案,但初步研究表明,简单地将评分手册提供给LLM并要求其评分,准确率远低于专家水平(如零样本提示前沿模型仅达40.1%–44.9%),因为EDT评估的是“结构而非内容”,需要捕捉语言中深层次的发展模式。因此,亟需一种可扩展、可解释的自动化评分方法。
**二、研究目标与数据**
本研究旨在开发一种数据驱动的自动化SCT评分方法,利用进化算法发现可解释的“成熟度指标”,使AI评分达到与训练有素的人类评分者相当的一致性水平。研究使用了七个数据集:用于特征发现的Loevinger传统复合语料库(43,933个条目),用于模型评估的Cook-Greuter专家评分语料库(851份协议),用于外部构念验证的Fournier等人(2022)数据集(446名参与者),用于理论模式检验的Pennebaker文章语料库(2,468名参与者),两个整合复杂性(Integrative Complexity, IC)评分语料库(分别含155个专家范例和2,344条自然话语),以及一个独立的盲法复制样本(47份协议)。
**三、关键技术方法**
研究人员采用了一种多阶段方法:(1)使用72B参数的Qwen2.5架构LLM作为基础模型,通过低秩适应(LoRA)进行两阶段微调:先用通用公开指令数据监督微调,再用基于Cook-Greuter评分手册构建的14,264对偏好对进行偏好优化(Odds Ratio Preference Optimization);(2)采用遗传算法(Genetic Algorithm, GA)在冻结的评分模型上进化提示,初始提示由Loevinger的四个领域(性格、人际风格、意识关注点、认知风格)播种,通过LLM执行的变异和交叉操作迭代优化,适应度函数为多分类逻辑回归在Loevinger语料库上的分类准确率;(3)对语言复杂性(Language Complexity, LC)指标,进化算法生成Python函数,捕捉句法复杂度、分化与整合标记等,并在IC评分语料库上校准;(4)最终推断时,每个句子补全独立评分,八个LLM派生的成熟度指标(每个含多个子指标)在1-10量表上打分,所有子指标分数平均后输入多项逻辑分类器预测发展阶段。
**四、研究结果**
**4.1 AI模型在EDT评分上的性能**
在Cook-Greuter语料库的10折分层交叉验证中,模型达到86.1%的精确一致率(二次加权Cohen's κ = 0.927),与人类专家评分者约85%的典型一致率相当。相比之下,零样本提示的GPT-4o和o3仅达到40.1%和44.9%的准确率;词袋模型(35.8%)和嵌入分类器(36.7%)也远低于专家水平。域适应LLM直接评分(无进化指标)仅达到59.2%。混淆矩阵显示绝大多数错误发生在相邻阶段。
**4.2 独立盲法复制**
在47份协议上,模型与独立训练的评分者(由Cook-Greuter & Associates培训)盲法比较,精确一致率为85.1%(40/47),总加权分相关性r = 0.963,与主评估结果一致。
**4.3 发现的特征空间结构**
LDA和UMAP降维显示阶段在特征空间中形成连续的有序区域,且呈曲线轨迹,与Cook-Greuter理论化的发展弧线一致。Calinski-Harabasz指数为121.8,k-Means聚类与专家阶段分配的Rand指数为74.7%。所有八个LLM派生的指标随专家评分的条目阶段单调增加。
**4.4 外部验证**
在Pennebaker语料库(N = 2,468)中,AI预测阶段显示大五人格宜人性和外向性的均值呈锯齿状交替模式,与EDT的分化/整合阶段理论一致(如阶段2/3到3的宜人性显著下降,U = 182,103, p = 0.003)。在Fournier数据集(N = 444)中,九个成熟度指标与宜人性(ρ ≈ 0.14–0.41)、一致性指数(ρ ≈ 0.09–0.40)、自主功能(IAF,ρ ≈ 0.07–0.28)呈理论预期的正相关,与神经质多为非显著或小负相关。层次回归显示,在控制大五特质后,指标对作者一致性(ΔR2 = 0.190)、价值-行为一致性(ΔR2 = 0.048)、行动者一致性(ΔR2 = 0.030)和专家评定的WUSCT阶段(ΔR2 = 0.591,总R2 = 0.757)均有显著增量。
**4.5 语言复杂性指标的验证**
LC指标对两个独立IC语料库的留出数据预测ICC分别为0.771(UBC/Suedfeld专家范例)和0.727(自然话语语料库),超过先前报告的专用自动IC评分系统(α = 0.62)。LC与阶段强相关(ρ = 0.879),控制词汇量后偏相关仍为ρ = 0.560,优势比OR = 27.36(每1 SD),表明复杂度预测力非词数或可读性所致。但仅用LC的分类器准确率为63.2%,表明复杂度必要但不充分。
**五、讨论与结论**
本研究成功开发了首个达到与人类专家评分者相当一致性的自动化SCT评分系统。证据支持三个层级的主张:(i)测量自动化——AI能复制专家评分,直接测试支持;(ii)构念效度——指标与外部标准呈理论预期的关联;(iii)结构发现——指标可能反映发展的潜在组织,但此主张尚待确认。研究结果支持成熟度的多维观点,即成人发展涉及部分独立能力(社会情感、认知、超个人、语言)的协调变化,而非单一潜在轴。模型的可解释指标提供了候选发展维度,可用于纵向和人群规模研究。尽管存在单评分者校准、英语局限、极端阶段样本不足等限制,但盲法复制和跨评分者、跨评分传统的迁移增强了结论的稳健性。未来工作需验证更广泛的评分者、开发多语言版本,并设计纵向研究追踪个体内变化。