《Frontiers in Digital Health》:From free association to free parameters: machine-learning empowers artificial intelligence models to rate the affective-relational aspects of narratives like an expert psychologist
编辑推荐:
背景:叙事评估为心理功能提供独特见解,但资源密集,需要大量专家培训和时间。近期研究表明,人工智能(AI,Artificial Intelligence),包括中等规模、可适应的大语言模型(LLMs,large language models),能够掌握叙事评估
背景:叙事评估为心理功能提供独特见解,但资源密集,需要大量专家培训和时间。近期研究表明,人工智能(AI,Artificial Intelligence),包括中等规模、可适应的大语言模型(LLMs,large language models),能够掌握叙事评估的复杂多步评分规则。本研究探讨了微调(fine-tuning)是否能使AI评分者准确评估叙事。方法:研究人员在两个数据集上微调了五个不同的LLMs(3–70亿参数),一个用于SCORS-G(Social Cognition and Object Relations Scales—Global Rating Method)的情感质量(AFF,Affective Quality of Representations)量表,另一个用于关系情感投入(EIR,Emotional Investment in Relationships)。所有叙事均由专家人类评分者评分。每个数据集被分为训练样本和测试样本,以评估AI与人类的一致性。结果:微调后的模型在AFF和EIR两个维度上与人类专家显示出良好至优秀的可靠性。集成评分(ensemble ratings),即所有五个模型评分的平均值,产生了优秀的单评分者和平均评分者ICC(Intraclass Correlation Coefficient,组内相关系数),且错误率低,其中97%的AFF评分和92%的EIR评分落在可接受的差异范围内。结论:微调有效地将AI模型转化为能够从叙事中可靠评分复杂心理构念的评分者。基于集成的AI评分者可以在研究环境中自动化AFF和EIR评分,并经过进一步验证后,通过人机协作(human-in-the-loop)方法支持临床使用。微调可适应的AI模型为提高研究及临床环境中复杂多方法评估的可行性和可及性提供了巨大潜力。
**论文解读文章**
**研究背景与问题**
叙事评估(narrative assessment)通过系统分析患者对事件的描述、对图片讲述的故事、自传体叙述或治疗话语等,能够提供自我报告难以捕捉的认知-情感功能、人际关系及心理适应方面的独特见解。然而,传统叙事评估高度依赖资源,需要大量专家培训和时间,这限制了其在常规实践中的广泛应用。当前,许多医疗环境依赖超简短筛查工具(如PHQ-2),但单一方法(自我报告)存在显著缺陷。多方法评估(multimethod assessment)被视为心理评估的最佳实践,但因其耗时且需严格训练,使用受限。人工智能(AI)尤其是大语言模型(LLMs)在自然语言处理方面的进步,为自动进行细微文本分析创造了可能性。然而,直接使用公开LLMs(如ChatGPT)进行提示工程(prompt engineering)或零样本(zero-shot)方法存在计算成本高、隐私风险、模型稳定性差等问题。微调(fine-tuning)可适应的开源模型则能提供本地部署、隐私保护、稳定性高的优势,但这类模型通常参数较少(3–70亿),其能否掌握像SCORS-G(Social Cognition and Object Relations Scales—Global Rating Method)这样复杂、多层规则的评分系统尚待验证。本研究旨在检查微调是否能使小型可适应LLMs成为可靠的AI评分者,准确评估叙事中的情感-关系方面(affective-relational aspects),特别是情感质量(AFF)和关系情感投入(EIR)两个维度。
**研究内容与结论**
研究人员选择了五个最新的指令微调(instruction-tuned)LLMs:OpenChat-3.5-1210、Google Gemma-7B-it、Mistral-7B-Instruct-v0.2、Qwen2.5-7B-Instruct-1M和Meta Llama-3.2-3B-Instruct,参数范围约3–70亿。使用参数高效微调(PEFT,Parameter-Efficient Fine-Tuning)结合低秩适应(LoRA,Low-Rank Adaptation)方法,在单个NVIDIA A100 GPU上对每个模型进行微调。训练数据来自三个样本:Sample A(SCORS-G训练材料,包括主题统觉测验[Thematic Apperception Test, TAT]故事和早期记忆)、Sample B(一项针对年轻人的研究,TAT故事)、Sample C(另一机构针对年轻人的研究,TAT故事和一张图片卡)。所有叙事均由专家人类评分者评分,以平均分作为标准。每个量表(AFF和EIR)的数据集按80/20比例分为训练和测试样本。微调后,将AI评分与人类专家标准评分比较,计算组内相关系数(ICC,Intraclass Correlation Coefficient)和绝对差异。
**结论**:微调后的AI评分者与人类专家在AFF和EIR上均表现出良好至优秀的可靠性。集成评分(五个模型平均)的ICC最优:AFF单评分者ICC为0.91,平均评分者ICC为0.95;EIR单评分者ICC为0.84,平均评分者ICC为0.92。绝对差异分析显示,AFF的97%和EIR的92%的评分落在可接受差异范围内(≤1),关键错误极少。微调显著提升了模型性能,与微调前相比,所有模型的绝对差异均显著降低(效应量中等到大)。该研究发表在《Frontiers in Digital Health》。
**关键方法技术**
研究人员采用参数高效微调(PEFT)结合低秩适应(LoRA)技术,对每个模型进行微调。LoRA配置为秩16、缩放因子32,应用于注意力层和前馈网络的线性投影层,仅更新约1.1%的参数(约4190万)。使用4-bit NF4量化(NormalFloat4)和bfloat16精度,以在单个GPU上实现计算可行性。训练超参数包括:AdamW优化器、线性学习率调度(初始学习率1e-4,预热比例0.1)、每设备批次大小1、梯度累积2步(有效批次大小2)、训练3个epoch。数据来源包括:Sample A(来自SCORS-G训练材料,195条AFF叙事,169条EIR叙事,由开发该系统的心理学家评分)、Sample B(来自一项针对年轻人的研究,637条AFF叙事,693条EIR叙事,由两位专家评分)、Sample C(来自另一机构针对年轻人的研究,1134条AFF叙事,1124条EIR叙事,由两位资深临床心理学家评分)。所有叙事均来自美国年轻成人群体,以TAT故事为主。
**研究结果**
**3.1 AI评分者与人类专家标准评分的一致性**
通过计算单评分者和平均评分者ICC(2-way随机效应,绝对一致)评估一致性。对于AFF,五个AI评分者的单评分者ICC范围0.84–0.89(良好),集成评分ICC为0.91(优秀)。平均评分者ICC(2,2)范围0.91–0.94,集成评分达0.95。对于EIR,单评分者ICC范围0.79–0.82,集成评分0.84;平均评分者ICC范围0.88–0.90,集成评分0.92。这些结果表明,集成评分优于单个模型,且与人类专家高度一致。
**3.2 绝对差异与符号差异**
绝对差异分析显示,AFF集成评分的平均绝对差异为0.29(SD=0.37),97%的评分在容忍范围内(差异≤1),无关键错误(差异≥2)。EIR集成评分的平均绝对差异为0.45(SD=0.47),92%在容忍范围内,关键错误仅1%。符号差异检验表明,AI评分者倾向于略低于人类专家(AFF平均符号差异0.06,EIR为0.15),但效应量小(d分别为0.14和0.23)。
**3.3 集成内AI评分者之间的一致性**
仅使用五个AI评分者的评分计算ICC,以评估它们之间的一致性。AFF的单评分者ICC为0.89,平均评分者ICC(2,5)为0.98;EIR的单评分者ICC为0.88,平均评分者ICC为0.97。这表明微调后,不同架构的模型在评分上高度一致。
**3.4 微调前后模型性能比较**
微调前,AFF集成评分的单评分者ICC为0.69(中等),EIR为0.33(差)。微调后,所有模型的绝对差异均显著降低(配对t检验,p<0.001),效应量中等到大(d=0.54–0.95)。例如,AFF集成平均绝对差异从0.66降至0.29,EIR从1.09降至0.15。微调过程显著提升了评分准确性。
**讨论总结与结论翻译**
**讨论总结**:本研究证明,微调可适应的AI模型(3–70亿参数)能够成为可靠的AI评分者,评估叙事中的情感-关系方面。其性能与使用大型公开LLMs的提示工程方法相当,但具有本地部署、隐私保护和稳定性的优势。集成评分优于单个模型,符合先前研究。建议当前在临床环境中采用人机协作方法(人类专家与AI集成共同评分,取平均),在研究环境中可尝试完全自动化,但仍需进一步验证。局限性包括:叙事数据主要来自TAT任务和年轻美国人群,推广性需验证;未监控验证损失以避免过拟合;未探索AI评分者如何进行主题分析。未来研究应关注提高模型可解释性(如链式思维提示)和扩展到其他SCORS-G维度。
**研究结论翻译**:微调有效地将AI模型转化为能够从叙事中可靠评分复杂心理构念的评分者。基于集成的AI评分者可以在研究环境中自动化AFF和EIR评分,并经过进一步验证后,通过人机协作方法支持临床使用。微调可适应的AI模型为提高研究及临床环境中复杂多方法评估的可行性和可及性提供了巨大潜力。