LLM生成的心理测量数据中的多样性与粗心反应:对数据质量和信任的影响

《Computers》:Diversity and Carelessness in LLM-Generated Psychometric Data: Implications for Data Quality and Trust

【字体: 大 中 小 】 时间:2026年08月28日 来源:Computers 5.2

编辑推荐:

  大语言模型(LLMs)日益被用于生成合成、类似人类的数据,以支持研究和应用决策,包括对调查问卷等自我报告工具生成合成反应。随着这些合成数据集被纳入用于科学推断和下游决策支持的流程,其可信度成为实际问题。在人类数据中,粗心反应是自我报告测量中一种有充分记录的偏差

  
大语言模型(LLMs)日益被用于生成合成、类似人类的数据,以支持研究和应用决策,包括对调查问卷等自我报告工具生成合成反应。随着这些合成数据集被纳入用于科学推断和下游决策支持的流程,其可信度成为实际问题。在人类数据中,粗心反应是自我报告测量中一种有充分记录的偏差来源,但尚无研究检验LLMs在生成合成反应时是否重现类似的粗心模式。本研究通过将GPT-3.5-Turbo在一份心理健康问卷上生成的大型合成数据集与大型人类数据集进行比较,填补了这一空白,考察了反应多样性和多个粗心指标。GPT生成的量表反应比人类反应变异性更小,表现出对极端反应选项的使用有限、重复性更高,并且相对于人类来源的参考分布,多变量离散度降低。相比之下,伴随合成反应生成的文本解释表现出更大的词汇变异,表明GPT的语言能力并未转化为再现人类心理测量反应行为异质性的能力。合成数据中还观察到类似粗心的模式,尽管传统指标在不同数据集中表现不同,且不能总是被解释为人类式粗心反应的直接证据。这些发现对LLM生成数据在研究和决策应用中的可靠性提出了质疑,并指出在将此类数据信任地用于下游智能系统之前,需要进行质量保证检查。
近年来,大语言模型(LLMs)被广泛应用于生成合成数据,包括模拟人类对心理测量工具的反应。然而,合成数据的质量与可信度直接影响到下游智能系统的决策可靠性。在人类自我报告数据中,粗心反应(careless responding)是一种常见的偏差来源,但此前尚无研究探索LLM在生成合成反应时是否会重现类似模式。为此,研究人员基于De Duro等人构建的PhDGPT数据集,该数据集由GPT-3.5-Turbo-0125在多种人设提示下生成的18,000份DASS(抑郁、焦虑和压力量表)反应组成,并与来自OpenPsychometrics.org的5,008份人类研究生样本反应进行对比,系统评估了反应多样性和多项粗心指标。该研究发表于《Computers》。

研究人员使用了多种量化分析方法。首先,通过反应选项利用率、精确重复案例比例和Spearman等级相关矩阵比较两个数据集的条目反应分布。其次,采用粗心指标:马氏距离(Mahalanobis distance, MD)、个体内反应变异性(Intra-individual response variability, IRV)、长串指数(longstring)、平均串指数(averagestring)和心理同义词指数(psychometric synonym index)。此外,对GPT生成的每条反应附带的文本解释进行词汇多样性(MTLD)和词汇相似性(TF-IDF余弦相似度)分析。所有计算基于公开下载的数据集,人类样本限定为研究生及以上学历。

研究结果如下。

3.1 反应选项利用:人类数据中每个条目每个选项至少被选择3.83%,而合成数据中所有条目均存在至少一个选项选择率低于5%,其中34.52%的选项组合低于5%,特别是最高反应选项(选项4)在所有条目中极少被选择,表明GPT倾向于避免极端负面反应。

3.2 反应多样性:合成数据中25.92%(4,666份)为精确重复反应,人类仅为0.88%(44份),说明GPT生成模式更倾向于重复高概率反应,多样性显著不足。

3.3 条目间相关:合成数据的条目间Spearman相关系数范围为0.09至0.96,其中47对条目存在多重共线性(r>0.8);人类数据相关系数范围为0.25至0.81,仅一对超过0.8。合成数据显示出更不均匀的相关结构,提示模式化反应加剧了条目间关联。

3.4 粗心指标:样本内MD分析显示,合成数据中12.7%的反应被标记为异常,人类为14.68%,比例相似;但当以人类多变量中心为参考时,合成数据的MD值(M=15.41)显著低于人类(M=41.99),表明合成反应更集中于人类中心附近,多变量离散度低。IRV方面,人类平均IRV(M=0.77)显著高于合成数据(M=0.54),且合成数据中5.29%的反应IRV为零,并随问卷进程IRV逐步下降,显示后期反应更趋一致。长串和平均串指数仅在合成数据中计算,平均长串长度为8.67,5.29%的反应出现全条目同选项(长串=42),16.17%被标记为异常。心理同义词指数在合成数据中平均值(M=0.33)显著高于人类(M=0.10),但这可能反映合成反应变异性受限而非更高的关注度,需谨慎解释。

3.5 词汇描述符多样性:MTLD得分范围24.51至53.94,平均40.17,表明GPT生成的文本解释有较高词汇多样性;TF-IDF余弦相似度平均仅0.16(范围0.09-0.28),显示解释之间词汇重叠低。因此,GPT在语言层面表现出多样性,但在固定量表反应上却缺乏变异性。

讨论部分,研究人员指出,合成数据中反应多样性的缺乏可能源于模型训练时对积极或“友好”反应的偏好,或自回归生成对高概率原型的倾向。粗心样模式在LLM数据中存在,但不同指标表现不一致,不能简单视为人类式粗心。建议研究者使用多项互补诊断工具,包括检查反应选项利用、重复率、IRV以及人类参照MD,还应评估量表的测量结构。研究局限性包括:仅使用单一模型(GPT-3.5-Turbo)、单一工具(DASS)、合成样本与人类样本人口学不匹配、样本量差异、以及潜在训练数据污染。未来研究应在更广泛模型和工具中复制这些发现。

研究结论如下:本研究发现,与人类生成的数据相比,GPT生成的合成数据在Likert型反应模式中表现出受限的变异性,尽管这些反应附带的文本解释显示出相当的词汇变化。具体而言,合成数据对负面情绪反应选项的使用减少,个体内变异性较低,且相对于人类反应分布,其多变量离散度降低。这些模式可能源于模型训练的偏差或生成过程倾向于选择更可能或更典型的反应。此外,合成数据中观察到类似粗心的模式,但所分析的指标并非一致表现,不能直接解释为人类式粗心反应的证据。总体而言,这些模式表明合成反应可能无法完全捕捉真实世界数据的心理深度和异质性,从而引发对LLM生成数据在下游智能系统中可信度的质疑。进一步研究应制定策略以减少和处理LLM生成数据集中的粗心反应,以支持更可靠的数据驱动决策。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号