评估基于角色提示的大语言模型在自闭症相关心理理论任务上的回答

《Computers in Human Behavior》:Evaluating role-prompted LLM responses on autism-related Theory-of-Mind tasks

【字体: 大 中 小 】 时间:2026年09月26日 来源:Computers in Human Behavior 12.2

编辑推荐:

   •大语言模型可以部分模拟与自闭症严重程度相对应的心智理论(ToM)模式。•模型规模和推理能力塑造了对自闭症特征描述的保真度。•执行者–评论者方法提高了自闭症人格模拟的真实性。•研究发现揭示了大语言模型在心智理论相关认知方面的局限性。引言心智理论(Theory of Mind,

  

•大语言模型可以部分模拟与自闭症严重程度相对应的心智理论(ToM)模式。•模型规模和推理能力塑造了对自闭症特征描述的保真度。•执行者–评论者方法提高了自闭症人格模拟的真实性。•研究发现揭示了大语言模型在心智理论相关认知方面的局限性。引言心智理论(Theory of Mind, ToM)是指将自己和他人的信念、意图和情感进行归因的能力(Apperly和Butterfill, 2009;Premack和Woodruff, 1978)。它是人类社会认知和交流的基础(Apperly, 2010;Frith和Frith, 2003),而心智理论缺陷是自闭症谱系障碍(ASD)的显著特征之一,也是自闭症个体社交困难的原因之一(Tager-Flusberg, 2007)。自Baron-Cohen等人(1985)以来,对心智理论的建模一直是发展心理学和人工智能(AI)领域的核心目标之一(Frith, 2012)。在人工智能领域,实现类心智理论推理仍然困难重重,但对于需要在多样化认知特征之间运作的系统而言却是至关重要的(Rabinowitz等, 2018)。近年来,大语言模型(LLMs)的进展重新引发了关于这些系统是否具备真正心智理论的争论(Chen等, 2024;Kosinski, 2024)。尽管最先进的(SoTA)模型在某些心智理论基准测试上接近人类表现(Attanasio等, 2024),但其表现不稳定,其底层能力仍存在争议(Riemer等, 2024)。一些研究认为,初步的心智理论可能源于大规模文本训练(Kosinski, 2023),而另一些研究则表明,任务表述的细微变化就会导致性能崩溃,这表明模型依赖的是启发式方法(类似于“聪明的汉斯”式模式利用),而非稳健的心理状态推理(Shapira等, 2024)。因此,构建能够捕捉人类心理状态细微差别、并适应认知多样性谱系的人工智能系统,仍然是一个开放挑战,这也促使了本研究在人工智能与自闭症研究之间建立桥梁。在本研究中,“模拟”指在角色扮演提示下,在多选心智理论题目上生成任务级别的行为输出,包括准确率特征、错误模式和语言特征,而不是对潜在的自闭症认知机制、主观心理状态或临床等效性的建模。我们并未声称大语言模型能够复现自闭症个体的主观体验。心理学研究发现,许多处于1级(需要支持)的个体能够完成结构化心智理论任务,但在需要灵活互动的自发心智化方面存在困难。这一差距在2级和3级更为明显,在这些级别,即使显性推理能力也可能受损(Livingston & Happé, 2017)。我们在本研究中使用DSM-5支持级别仅作为启发式指导标签,用于构建人格描述;这些级别在临床实践中反映了支持需求,而非直接的认知层次或统一的心智理论能力。我们的人格描述是简化的抽象表征,并非对真实自闭症个体的再现。然而,在广泛文本语料上训练的大语言模型,其推理模式默认偏向神经典型性。当被提示扮演自闭症人格时,它们可能产生刻板印象,或无法抑制广泛的已有世界知识,导致输出不符合目标提示约束。近期的推理导向模型,如OpenAI o3、Gemini 2.5 Pro(Comanici等, 2025)和DeepSeek R1(Guo等, 2025),在指令遵循和任务准确率方面有所提升;然而,以有用性、诚实性和无害性为优先的通用对齐目标可能与角色一致性相冲突,从而限制了人格区分度。弥补这一空白对负责任的AI评估具有重要意义。任何未来在从业者培训中的应用都需有专家监督、自闭症社群的参与,并明确声明模拟输出并非真实个体的替代。我们在第5节讨论了相应的安全保障措施。从科学角度而言,我们关注的是大语言模型是否能够被引导在心智理论任务上,跨人格生成可区分、指令一致的输出,而非模型是否真正模拟了自闭症认知。我们的研究追求三个主要目标:(1)基准测试构建,即整理并记录一个包含11类心智理论题目的数据集;(2)人格条件评估,即衡量神经典型性和ASD标记人格在准确率和语言风格分化方面的表现;(3)提示控制分析,即检验执行者–评论者框架是否能提高指令保真度。探索性目标包括规模和对齐方面的比较。基于上述目标,我们提出以下研究问题:•RQ1:在角色提示下,大语言模型能否在不同DSM-5标记人格和神经典型性画像之间产生可区分的心智理论任务表现模式?•RQ2:当在这些人格之间切换时,大语言模型是否会同时调节任务准确率和语言风格(长度、心理状态词汇)?•RQ3:在固定提示条件下,模型规模和通用对齐对人格区分度有何影响?自闭症具有异质性:显性和隐性心智理论、代偿机制和上下文都会影响表现(B?lte, 2025)。受神经多样性观点启发的研究强调“双重同理心问题”,即自闭症人士与非自闭症人士之间的相互误解,而非单向缺陷(Milton, 2012),并呼吁在人工智能系统中采用参与式和基于伦理的表征方式。我们基于缺陷结构的人格描述反映了一种操作性提示选择,并非主张自闭症等同于简短、低准确率或减少心理状态语言的使用;我们将在讨论部分重新审视这一点。由于我们仅评估基于文本的多选输出,且没有来自自闭症或神经典型性参与者的数据,因此研究结果描述的是提示诱导的模型行为,而非对人类认知的验证。图1展示了我们研究方法的概述,涵盖基准测试任务、认知画像、提示设计和评估指标。为此,我们依据Hoogenhout和Malcolm-Smith(2017)的启发,并借鉴既有资源(如ToMBench, Chen等, 2024;HI-TOM, He等, 2023),整理出11种多样化心智理论任务。我们在四个人格条件下评估模型:神经典型性、ASD 1级、2级和3级。即使提供了详细的行为描述,基线角色提示也未能可靠复现我们构建人格所依据的任务表现排序,尤其是在较小规模的模型上。这种可控性限制促使我们引入执行者–评论者框架作为指令执行辅助结构,其目的是提高对指定画像的遵从度。我们的贡献包括:(i)一个带有题目来源记录的ToM基准测试集;(ii)跨模型和规模对人格条件化LLM输出的系统性比较;以及(iii)一种无需微调即可提升提示条件化可控性的执行者–评论者工作流。章节摘要相关工作心智理论研究横跨心理学与人工智能,越来越多的研究关注大语言模型在人设计的社会推理任务上的表现。本节回顾三个领域:心智理论的心理学基础、大语言模型在ToM基准测试上的表现,以及先前通过角色提示激发神经多样性相关行为特征的努力。方法论本研究评估在角色提示下的大语言模型能否在神经典型性与ASD标记人格(使用DSM-5 1–3级作为启发式锚点)之间产生可区分的心智理论任务输出。我们的方法论涵盖数据集构建、心智理论任务定义、人格提示设计、模型选择以及执行者–评论者指令执行方法。基线模型表现我们首先在未引入保真度提升工作流的情况下,评估最先进的开放权重模型和商业大语言模型,以建立基线。我们报告各ToM任务和ASD人格(神经典型性、1–3级)下的准确率,并总结了用于防止多选设置中出现退化行为的提示控制措施。为减少多选题评估中的伪像并稳定人格条件化,我们采用了两项控制措施。首先,我们允许选择选项0(“无法决定/困惑”),这样模型就不必猜测某一选项讨论我们提出了一个评估角色提示下大语言模型在神经典型性和ASD标记人格(以DSM-5 1–3级作为启发式锚点)心智理论任务表现的标准,并引入了执行者–评论者工作流以提高指令保真度。研究得出五项发现:1.基线表现:最先进的商业模型(GPT-4o和Gemini 2.5 Pro)在原始ToM准确率上表现强劲,并在神经典型性与ASD人格之间展现出一定区分度,但仅凭详细的人格描述无法产生稳定的结论本研究表明,在角色提示下,大语言模型在神经典型性与ASD标记人格心智理论任务上产生可区分输出。通过构建有据可查的基准测试,我们发现原始准确率较高,但在原始基线模型组中,仅靠详细人格描述无法产生稳定区分度。我们的执行者–评论者工作流通过外部强制执行人格规则来提升指令保真度。在提示特异性消融实验中,显式画像约束产生了...CRediT作者贡献声明Mohammad Mahdi Salmani-Zarchi:撰写——初稿,可视化,软件,方法论,调查研究,形式分析,数据整理,概念化。Mohammad Javad Dousti:撰写——审阅与编辑,监督,方法论,概念化。Hamed Khademi Khaledi:调查研究。Mohammad Mahdi Mohajeri:验证,数据整理。Abdol Hossein Vahabie:撰写——审阅与编辑,验证,监督,方法论,形式分析,概念化。Heshaam Faili:撰写——作者批准所有作者均已阅读并批准稿件的最终版本,并同意将其提交至《Computers in Human Behavior》。伦理批准与参与同意本研究未涉及人类参与者或动物;因此无需进行机构伦理审查和知情同意。所有程序均符合适用的伦理标准。生成式AI及AI辅助技术在写作过程中的使用说明在本工作准备过程中,作者使用ChatGPT改善语言/语法。在使用该工具后,作者对内容进行了审阅和必要编辑,并对所发表文章的内容承担全部责任。资金本研究未获得任何来自公共、商业或非营利部门机构的专项资助。未引用参考文献Aichhorn等(2009),Amsterlaw和Wellman(2006),Astington等(2002),Bianco等(2025),Bottiroli等(2016),Bulgarelli等(2015),de Villiers和de Villiers(2012),Dore等(2015),Dretske(2000),Dungan等(2016),Ferres(2003),Goldman(2001),Gregory等(2002),Hala等(1991),Hollebrandse等(2014),Lillard(1993),Ma等(2015),Meltzoff(2002),Moore等(1995),Murray等(2017),Nelson等(2003),Perner等(2023),Ratner和利益冲突声明作者声明不存在已知的竞争性经济利益或个人关系,这些利益或关系可能影响本文所报告的工作。Mohammad Mahdi Salmani-Zarchi | Mohammad Javad Dousti | Hamed Khademi Khaledi | Mohammad Mahdi Mohajeri | Abdol Hossein Vahabie | Heshaam Faili
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号