《Journal of Intelligence》:Human-Centered AI Metacognition: Development and Validation of a Scale for Preserving Cognitive Autonomy in Human–AI Collaboration
编辑推荐:
生成式人工智能(generative artificial intelligence, GenAI)的快速发展正在改变人类的认知活动,并日益要求在人类-AI交互中保持认知自主性。尽管近期研究已考察了AI中介环境中的元认知(metacognition),但现有工
生成式人工智能(generative artificial intelligence, GenAI)的快速发展正在改变人类的认知活动,并日益要求在人类-AI交互中保持认知自主性。尽管近期研究已考察了AI中介环境中的元认知(metacognition),但现有工作主要聚焦于改善AI使用和人类-AI协作,较少关注个体如何调节AI在其自身认知活动中的角色与参与程度。为弥补这一空白,本研究提出了以人为中心的AI元认知(Human-Centered AI Metacognition, HC-AIM),将其定义为:识别AI能力与局限、监控AI生成信息、以及在保持认知自主性的同时调节AI参与自身认知活动程度的能力。通过三项研究,研究人员开发了中文版以人为中心的AI元认知量表(HC-AIMS)并进行了初步心理测量学评估。研究1采用探索性因子分析(exploratory factor analysis, EFA)检验量表结构,支持了以单维结构为主且内部一致性良好的结论。研究2采用验证性因子分析(confirmatory factor analysis, CFA)检验该结构,并通过其与一般元认知的关联提供了聚合效度证据。研究3进一步重复验证了量表结构与内部一致性,并考察了其与AI素养(AI literacy)、协作式AI元认知(collaborative AI metacognition)及自主认知卸载(autonomous cognitive offloading)的关系。HC-AIM与上述三个构念均呈正相关。对理论设定因子模型的比较提供了HC-AIM与AI素养及协作式AI元认知之间经验可区分性的初步证据,尽管这些构念之间存在较大相关。HC-AIM还与自主认知卸载呈正相关,为其效度提供了补充性的自我报告效标关联证据。总体而言,研究结果表明,HC-AIM代表了一种情境化的、以人为中心的元认知调节形式,与更广泛的元认知及AI相关能力密切相关,同时特别强调对AI参与人类认知过程的调节。中文版HC-AIMS为研究AI中介环境中的人类认知与认知自主性提供了有理论基础的起点。
论文解读
一、研究背景与问题提出
随着ChatGPT等生成式人工智能(GenAI)的迅猛发展,AI已从单纯的外部工具逐渐演变为主动参与人类认知活动的重要认知资源。AI能够生成文本、解释知识、进行复杂推理、支持决策并辅助创造性任务,这极大地提升了人类思维的效率与范围。然而,AI深度介入认知过程也带来了新的心理挑战:其一,AI生成内容往往具有流畅性、连贯性和表面合理性,个体可能未经充分评估便接受AI提供的信息,从而增加自动化偏差(automation bias)的风险;其二,当个体过度依赖AI完成分析、判断和问题解决任务时,可能将本应由自身执行的认知活动大量转移给外部系统,即认知卸载(cognitive offloading)现象。由此引发一个超越任务绩效的核心问题:个体如何在利用AI的同时,保持自身认知活动中的主动性与自主性?
现有关于AI情境下元认知的研究主要从三个角度展开:GPT辅助学习元认知侧重AI辅助学习环境中的目标设定、理解监控与策略调整;提示词相关元认知关注提示词的设计、修改与优化;协作式AI元认知则强调人机联合执行任务时的规划、监控与结果评估。这些研究分别从"借助AI学习""与AI交互""与AI协作"的视角考察元认知过程,但均较少明确关注一个同等重要的问题:个体如何在保持认知自主性的同时,调节AI对自身认知活动的参与程度。有效使用AI的能力与调节AI在自身认知中角色的能力是相关但不必然等同的,这一区分凸显了考察AI中介认知中更偏自主性取向的元认知调节维度的必要性。
二、研究设计与核心结论
针对上述研究空白,研究人员提出了以人为中心的AI元认知(HC-AIM)这一新构念,将其定义为识别AI能力与局限、监控AI生成信息、以及在保持认知自主性的同时调节AI参与自身认知活动程度的综合能力。该构念包含三个相互关联的调节过程:AI意识(AI awareness)、AI监控(AI monitoring)与AI使用调节(AI use regulation)。三项研究依次完成了量表的编制、结构验证与效度检验。研究1通过探索性因子分析(EFA)确立了以单维结构为主的量表结构;研究2通过验证性因子分析(CFA)在独立样本中验证了该结构,并确认了HC-AIM与一般元认知的正向关联;研究3进一步考察了HC-AIM与AI素养、协作式AI元认知及自主认知卸载的关系,并提供了构念可区分性与效标关联效度的初步证据。综合来看,HC-AIM可被理解为更广泛元认知系统中一种情境化的、以人为中心的调节焦点,而非完全独立的心理能力。
三、关键技术与方法
本研究主要采用以下关键技术方法:第一,量表编制与专家评审法,研究团队基于理论框架生成初始12个条目,经四位心理学与AI领域专家依据理论一致性、内容覆盖度、表述清晰性与概念区分性四项标准进行质性评审,删除3个条目后保留9个条目形成正式量表;第二,探索性因子分析(EFA),采用主轴因子法(PAF)基于皮尔逊相关矩阵,并辅以基于多分格相关(polychoric correlation)的平行分析(parallel analysis)与补充性PAF以检验因子结构的稳健性;第三,验证性因子分析(CFA),在Mplus 8.3中采用最大似然(ML)估计,检验单因子模型及与相关构念的区分效度模型;第四,内部一致性检验,采用Cronbach's α系数评估量表信度;第五,敏感性分析,排除全条目同值作答者后重复主要分析以检验结论稳健性。样本方面,三项研究均通过大学通识课程便利抽样招募,样本量分别为210、400和350名有生成式AI使用经验的大学生。
四、研究结果
研究1:条目开发与探索性因子分析。 研究人员基于HC-AIM的理论操作化定义生成初始条目池,经专家评审后保留9个条目。EFA结果显示,KMO值为0.939,Bartlett球形检验显著,9个条目均在一个共同因子上有较高载荷(0.728-0.865),单因子解解释61.23%的总方差。基于多分格相关的平行分析与补充PAF均支持单因子结构,因子载荷范围为0.781-0.911。量表内部一致性良好(Cronbach's α = 0.933)。敏感性分析排除79名全条目同值作答者后出现统计上可识别的双因子模式,但该模式缺乏清晰的理论解释,故量表被判定为以单维结构为主。
研究2:验证性因子分析与初步效度检验。 在独立样本(N = 400)中,初始单因子模型拟合尚可但RMSEA接近0.10,经修正后(增加A4-A5、A6-A8、A1-A2三对理论可解释的残差协方差)模型拟合显著改善(CFI = 0.974, TLI = 0.960, RMSEA = 0.070)。量表内部一致性良好(α = 0.898)。HC-AIM与一般元认知显著正相关(r = 0.700, p < 0.001),提供聚合效度证据。区分效度比较显示,将HC-AIM与一般元认知区分为相关但独立的因子模型优于合并为单一因子的模型,但两构念间潜在相关较高(r = 0.735-0.756),提示两者密切相关但可初步区分。HC-AIM与工具性AI依赖的负相关(r = -0.133)在排除同值作答者后不再显著,故未被用作主要效标。
研究3:构念区分性与效度再检验。 在第三个独立样本(N = 350)中,单因子模型经修正(增加A1-A2残差协方差)后拟合良好(CFI = 0.956, TLI = 0.939, RMSEA = 0.082),内部一致性良好(α = 0.885)。HC-AIM与AI素养(r = 0.644, p < 0.001)及协作式AI元认知(r = 0.701, p < 0.001)均显著正相关。当显式建模比较构念的多维结构后,区分HC-AIM与AI素养(潜在相关r = 0.779)及协作式AI元认知(潜在相关r = 0.773)的模型均拟合良好,提供初步经验可区分性证据。HC-AIM与自主认知卸载显著正相关(r = 0.380, p < 0.001),提供自我报告效标关联效度证据。敏感性分析排除89名同值作答者后,主要结论基本保持一致。
五、讨论与结论
研究讨论部分指出,HC-AIM应被理解为一般元认知在AI中介环境中的情境化延伸,而非完全独立的心理能力。其与一般元认知的强正相关表明,调节AI参与建立在更广泛的认知调节过程之上;与AI素养及协作式AI元认知的正相关则将其置于AI相关能力的更广泛概念网络中,但因子模型比较提供了初步可区分性证据。HC-AIM与自主认知卸载的正相关表明,以人为中心的AI使用不应被简单理解为减少AI依赖,而在于个体能否在利用AI认知贡献的同时保持对自身认知参与的有效调节。在实践层面,AI素养教育与专业培训应超越技术知识与操作技能,纳入对AI参与的元认知调节训练;AI系统设计也应支持用户对AI生成信息的元认知参与,如传达不确定性、鼓励独立评估重要输出等。研究局限性包括:样本均为大学生且具有AI使用经验,代表性有限;主要依赖自我报告测量,缺乏行为与绩效指标;同值作答比例较高;横断面设计限制因果推断;尚未检验HC-AIM的增量效度;英文翻译版本未经独立心理测量学验证。研究结论指出,HC-AIM是一种情境化的元认知调节形式,聚焦于个体如何在保持认知自主性的同时调节AI对自身认知活动的参与,中文版HC-AIMS为AI中介环境中元认知与认知自主性的未来研究提供了有理论基础的测量工具,但仍需更多样化的样本、行为与绩效指标及增量效度设计加以进一步验证。