大型语言模型(LLM)与人撰写的COVID-19信息解释之沟通风格与读者偏好:一项案例研究

《BMC Artificial Intelligence》:Communication styles and reader preferences of LLM- and human-authored COVID-19 information explanations: a case study

【字体: 大 中 小 】 时间:2026年06月02日 来源:BMC Artificial Intelligence

编辑推荐:

  : 随着大型语言模型(Large Language Models, LLMs)被广泛用于辅助专业人员创作与分享信息,检验其在沟通风格与价值观上与人类的契合度对于实现传播有效性与可接受性至关重要。研究人员将研究情境设定于经事实核查(fact-checked)的健

  
: 随着大型语言模型(Large Language Models, LLMs)被广泛用于辅助专业人员创作与分享信息,检验其在沟通风格与价值观上与人类的契合度对于实现传播有效性与可接受性至关重要。研究人员将研究情境设定于经事实核查(fact-checked)的健康信息解释,聚焦沟通风格(communication styles),因其影响解释与纠正是否被理解、信任及付诸行动。既往研究探讨了基于LLM的事实核查(fact-checking)潜力,但LLM与人类事实核查者间的沟通风格差异及相关读者感知仍待深入。本研究评估LLM的沟通风格,重点关注其解释在健康传播三大核心要素——信息语言学特征(information linguistic features)、发送者说服策略(sender persuasive strategies)与接收者价值契合(receiver value alignments)——上与人类解释的差异。 研究人员构建含1498条误传主张(misinformation claims)及权威事实核查机构对应解释的数据集,采用零样本(zero-shot)与少样本(few-shot)思维链提示(chain-of-thought prompting)生成LLM对不实健康信息的 fact-checking 回应。基于健康传播理论,研究人员沿语言学、说服性及基于价值的维度划分沟通风格,并测量LLM生成回应与专业解释的吻合度。随后研究人员招募99名不知晓LLM参与的受试者,以随机顺序配对呈现 fact-checking 文章并进行评分。 研究结果显示,LLM生成文章在说服策略、确定性(certainty)表达及社会价值(social values)与道德基础(moral foundations)契合度上得分显著更低。然而人体评价表明受试者强烈偏好LLM内容,超60%的评价在清晰度(clarity)、完整性(completeness)及说服力(persuasiveness)上倾向LLM文章。此偏好由结构化呈现、清晰性与中立语调驱动,可能营造完整感与专业感,即便底层内容可能缺乏细微差别或严谨性。 结论表明,尽管在传统健康传播风格质量指标上得分较低,LLM结构化信息呈现方式或更有效吸引读者。这揭示了在健康传播或 fact-checking 工作流中应用LLM的潜力与局限。
论文解读:LLM与人撰写COVID-19事实核查文章的沟通风格及读者偏好研究
该研究发表于《BMC Artificial Intelligence》,针对大型语言模型(Large Language Model, LLM)辅助健康信息传播中日趋重要的背景展开。尽管已有研究证明LLM可用于生成健康辟谣内容及自动化事实核查(fact-checking),但LLM生成内容与传统专业人工事实核查文章在沟通风格——包括语言学特征、说服策略及受众价值契合——上的差异,以及普通读者对此类差异的真实偏好尚不清楚。健康传播的有效性不仅取决于事实准确性,还受信息呈现方式(如可读性、确定性语气、认知加工线索)、说服策略(证据呈现、影响强调)及与共享道德/社会价值契合度的影响;而误传(misinformation)澄清尤需考虑心理与社会价值阻力。因此,研究人员开展此项案例研究,比较LLM生成与人工撰写之COVID-19健康误传辟谣(事实核查解释)文章在沟通风格三维度上的量化差异,并通过人体实验考察读者偏好,探讨LLM作为健康传播辅助工具的潜力与局限。
为开展研究,研究人员采集了来自FNIR数据集与FakeCovid(FakeNews)数据集的1498条COVID-19误传主张及对应权威事实核查组织(如Poynter、FactCheck)撰写之人工文章(Human组,平均765词);基于新闻评估准则(来源可信度、证据可得性、替代解释考量)构建思维链(Chain-of-Thought, CoT)提示词,分别采用零样本(zero-shot)与少样本(few-shot, 各含一真一假示例)设置,调用GPT-4、Llama-2-70B及Mistral-7B生成LLM辟谣文章(LLM组,平均335词)。沟通风格分析涵盖:(1)信息语言学特征——用Pei & Jurgens模型测确定性(certainty)表达、LIWC词典测认知属性(cognitive attributes)、Automated Readability Index(ARI)与Flesch-Kincaid年级水平测可读性(readability),计数值按长度归一化;(2)发送者说服策略(sender persuasive strategies)——用层次弱监督隐变量模型识别可信性、证据、影响三类策略强度;(3)接收者价值契合(receiver value alignments)——用Schwartz价值观量表测十类社会价值(Schwartz social values),用Mformer测道德基础(Moral Foundations Theory: authority/subversion, fairness/cheating等)。为避免篇幅偏差,Transformer类指标取段落最大值,计数类归一化。人体评价阶段筛选Human与LLM长度匹配的文章对(167对池),招募99名美国Prolific受试者(英语母语成人,完成者99人,IRB批准),每人随机评5对同主张之人工vs LLM文章(顺序随机、不知AI参与),对语言清晰度、信息必要性、说服力三项七级评分并开放阐述偏好原因,用累积链接混合模型(Cumulative Link Mixed Models, CLMM)分析。
研究结果(Results)
Correctness:少样本提示正确率略优于零样本,召回率93.68%,较零样本提升2.95%。
Communication styles:ANOVA显示LLM与Human三组沟通风格维度均有显著差异(p<0.05)。(1)信息语言学特征——LLM文章确定性(certainty)表达显著低于Human;认知加工词汇(cognitive attributes, 如因果、洞察表达)显著更多;可读性(readability)指标(ARI、Flesch-Kincaid)显著更高,即LLM用词偏复杂难读。(2)发送者说服策略(sender persuasive strategies)——LLM文章语言冲击力(language impact)、证据引用(evidence use)均显著低于Human。(3)接收者价值契合(receiver value alignments)——LLM在社会价值中权力(power)、成就(achievement)、传统(tradition)、遵从(conformity)维度显著更低;道德基础(moral foundations)中权威(authority)与公平(fairness)维度亦显著低于Human。
Reader preference:Wilcoxon符号秩检验拒纳无偏好假设,受试者显著偏好LLM文章。语言清晰度:62.23%(308/495)偏好LLM,其中28.08%强偏好;必要信息完整性:62%(307/495)偏好LLM;说服力:61.8%(306/495)偏好LLM。回归显示男性、黑人及白人受试者更倾向选LLM清晰度项;低可读性(易读)LLM文章更易被评为清晰;当LLM较配对Human少用权威表达时被认为更具说服力。定性分析归纳五大LLM偏好动因:聚焦呈现(focused presentation, 条理清晰直奔主题)、客观立场(objective standpoint, 少主观意见)、专业观感(professional vibe, 引述权威来源感)、语言可及性(language accessibility, 日常用语)、非情绪化语调(non-emotional tone, 冷静中立)。
讨论(Discussion)与结论翻译:
尽管LLM生成内容在说服策略(语言冲击、证据)、确定性表达及道德/社会价值契合等传统高质量健康传播指标上逊于人工文章,读者却因结构化、清晰、中立的呈现方式更偏好LLM内容,这种表面呈现可能营造完整感与专业感,即便内容深度或严谨性不足。LLM不应取代人类事实核查员,但可辅助以受众友好方式组织与呈现信息。未来需微调(fine-tune)以增强证据支撑与价值契合,并保持人工监督以确保可靠性与伦理对齐。
Conclusion(原文结论浓缩翻译):
本研究揭示COVID-19健康信息解释中,专家导向的传播基准与大众读者偏好存在脱节。LLM生成fact-checking回应在说服策略、确定性及道德/社会价值契合度上低于传统高质量健康传播标准,却被受试者持续偏好。此偏好由LLM结构化呈现、清晰度与中性语调驱动,可能营造完整与专业印象,即便内容缺乏细微差别或严谨性。结果表明LLM在fact-checking及健康传播工作流中的应用具潜力亦有局限:LLM可增强复杂信息可及性,但其目前在价值敏感沟通上的短板对高风险场景应用提出重要警示。未来研究应聚焦微调LLM以提升健康传播中伦理与沟通标准之契合,并建立LLM与人类专长协同负责的整合框架。
(注:全文依据原文浓缩,未添加推测内容;专业术语首现附英文,保留原文模型名、上下标格式;去除文献标号及图表引用标记。)
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号