《Information》:Examining the Performance of Large Language Models in Health Information Quality Evaluation Tasks: An AI Post-Alignment Perspective
编辑推荐:
将大语言模型(LLMs)应用于健康信息质量评估领域时,确保其输出与人类判断、逻辑及策略偏好保持一致,已成为当前人工智能对齐(AI Alignment)研究的焦点。本研究提出基于人工智能后对齐的健康信息质量评估框架(Health Information Qual
将大语言模型(LLMs)应用于健康信息质量评估领域时,确保其输出与人类判断、逻辑及策略偏好保持一致,已成为当前人工智能对齐(AI Alignment)研究的焦点。本研究提出基于人工智能后对齐的健康信息质量评估框架(Health Information Quality Evaluation Framework based on AI Post-Alignment,HIQE-PA),旨在检验大语言模型在健康信息质量评估任务中是否与专家判断标准保持一致。该框架以专家评估结果为基准,通过结构化任务实施与多维统计指标,评估模型输出的一致性、稳定性及跨源适应性。在实验研究中,研究人员选取ERNIE-3.5与ChatGLM2-6B-32K作为通用模型,并构建相应的ERNIE-3.5 + HIQE-PA模型与ChatGLM2-6B-32K + HIQE-PA模型,以比较不同模型条件下的后对齐表现。在偏差度(Deviation Degree)、可预测性(Predictability)与拟合度(Fitness)三项后对齐性能评估指标下,通过大语言模型在健康信息质量评估任务中的输出,检验其后对齐表现。结果显示,通用大语言模型仅在可读性与完整性维度达到较高后对齐水平,而引入HIQE-PA后的大语言模型在所有维度均有所提升。其中,ERNIE-3.5 + HIQE-PA模型表现尤为突出,其评估输出更接近专家共识,且在不同文本来源间均能保持与专家基准的一致性。本研究表明,后对齐检验可为健康信息领域的模型选择与治理提供实证支持。
本研究旨在探讨大语言模型在健康信息质量评估任务中的后对齐(Post-Alignment)表现,核心目标并非改造模型参数,而是在部署阶段检验模型输出是否与专家判断标准保持一致。研究背景源于当前社交媒体、在线健康社区及智能问答系统的快速发展,公众日益依赖网络文本获取疾病预防、营养健康等信息。大语言模型凭借其自然语言理解、文本生成与语义判断能力,已被广泛应用于健康信息筛选、内容审核与质量评估,为健康信息治理提供了新的技术路径。然而,健康信息属于高风险、高责任领域,若模型在事实准确性、潜在危害识别或伦理责任相关维度上出现误判,其输出不仅影响平台治理,还可能误导公众健康决策。因此,关键问题在于模型评估是否与人类专家的判断逻辑、专业标准及价值偏好一致。
现有研究对人工智能对齐(AI Alignment)的关注主要集中在模型开发阶段的预对齐(Pre-Alignment),如数据优化、指令微调(Instruction Tuning)以及基于人类反馈的强化学习(Reinforcement Learning from Human Feedback,RLHF),旨在使模型行为与一般人类意图和偏好对齐。与之相对,人工智能后对齐(AI Post-Alignment)强调部署后的任务特异性检验,评估模型输出是否仍接近专家基准、在推理条件变化时是否保持稳定、以及在不同文本来源和应用场景中能否维持一致的评估能力。后对齐与人机一致性(Human-AI Agreement)存在区别:后者描述模型与人类判断的一致程度,而后对齐进一步强调以专家基准为参照的部署阶段检验、解释与校准。后对齐也不同于基于基准的评估(Benchmark-based Evaluation),因为基准仅提供参照材料,而后对齐 additionally 要求对偏差、稳定性和跨情境适应性进行系统测量。此外,后对齐亦不等同于大语言模型作为评判者(LLM-as-a-Judge)的范式,后者指模型可作为自动化评估工具,而后对齐关注的是该评判者能否在特定领域任务中可靠模拟并保持与专家判断标准的一致性。
在此背景下,研究人员提出基于人工智能后对齐的健康信息质量评估框架(HIQE-PA),将其定义为部署阶段评估框架,用于检验大语言模型能否在特定健康信息质量评估任务中保持与专家判断标准的一致性。该框架通过定义健康信息治理的任务边界、构建专家评估基准、实施结构化评估任务,并运用偏差度、可预测性和拟合度三项后对齐指标,系统检验模型输出的专家一致性、输出稳定性及跨源适应性。研究围绕三个核心问题展开:如何设计后对齐框架以确保大语言模型满足健康信息质量评估任务的专业与伦理标准;如何通过实验验证大语言模型评估与专家判断在事实和伦理维度上的一致性;以及如何建立多维定量指标体系以测量后对齐表现,并为健康信息治理中的模型选择、优化和应用提供证据。
研究方法层面,研究人员采用实验设计,比较人类专家、通用大语言模型以及HIQE-PA辅助下大语言模型在相同评估任务中的表现。评估对象包括两类健康信息文本:来自社交媒体平台的用户生成内容(User-Generated Content,UGC)和大语言模型生成的AI生成内容(AI-Generated_SUMMONER Content,AIGC)。UGC数据采自"科学辟谣平台",经分层抽样收集680条健康信息文本;基于这些文本的标题和关键词,使用百度ERNIE-3.5模型生成对应680条AIGC文本,形成配对数据集。
评估维度构建基于PSP/IQ信息质量模型和健康信息质量研究,针对社交媒体健康内容特征和大语言模型自动化评估需求,提出四个维度:可读性与完整性(表征质量)、事实性与准确性(内在质量)、安全性与无害性(风险防控)、责任性与伦理性(公共健康责任)。专家小组由五名跨学科专家组成,背景涵盖信息安全、健康传播、整合医学、信息传播和人机协作,对140份样本(UGC与AIGC各70份)进行独立评分,构建专家基准。
技术方法上,研究涉及三个关键部分:其一,结构化提示设计与多轮交互,通过角色设定、任务范围界定、评估工具和情境背景说明,增强模型对评估任务的理解;其二,三项后对齐指标的计算——偏差度采用平均绝对偏差(Mean Absolute Deviation,MAD)和均方误差(Mean Squared Error,MSE)测量模型输出与专家基准的偏离;可预测性通过调整模型温度参数(Temperature)模拟推理扰动,以信息熵量化输出稳定性;拟合度通过比较模型对UGC与AIGC的评分差异和专家对应差异的比值,评估跨源适应性;其三,测量不变性(Measurement Invariance)检验作为稳健性检验,确保跨文本来源比较的可行性。
研究结果部分,专家基准构建与内部效度检验显示,五名专家在四个维度上达到可接受的一致性水平,平均绝对偏差指数(AD_M)均低于0.833参考阈值,Kendall和谐系数W在0.265至0.374之间且均显著,单点同意率在77.7%至80.2%之间。测量不变性结果支持配置不变性和度量不变性,部分标量不变性在释放可读性与完整性截距后可达接受水平,为后续跨源分析提供基础。
描述性统计表明,相比通用大语言模型,HIQE-PA辅助模型在各维度缩小了与专家基准的差距。偏差分析显示,通用模型仅在可读性与完整性维度表现较好,其余维度存在不同程度偏差;ERNIE-3.5 + HIQE-PA在所有维度显著降低偏差,而ChatGLM2-6B-32K + HIQE-PA在安全性和责任性维度偏差增大,揭示潜在的风险放大效应。准则相关效度方面,ERNIE-3.5 + HIQE-PA的平均绝对误差(MAE)降至0.541,低于专家分歧水平,偏倚降至-0.069,单点同意率达82.3%;Bootstrap检验显示ΔMAE = -0.361(p < 0.001),改善显著。天花板效应分析发现,ERNIE-3.5通用模型在安全性与无害性维度全部输出满分,存在严重天花板效应。
可预测性分析揭示,随着温度参数升高,信息熵趋于增大、可预测性下降。ERNIE-3.5系列模型稳定性优于ChatGLM2-6B-32K系列;HIQE-PA使ERNIE-3.5的信息熵略升,表明其受专家标准影响后能更精准判断复杂健康知识,而ChatGLM2-6B-32K + HIQE-PA的信息熵增幅最大,显示其对提示词和输入文本过度敏感。
拟合度与外部效度方面,以1为最优参考值,ERNIE-3.5 + HIQE-PA在可读性与完整性维度拟合度达1.04,近乎重现专家识别的跨源差异;事实性与准确性、安全性与无害性、责任性与伦理性的拟合度分别从通用模型的0.18、0.09、0.18提升至0.86、0.64、0.58。ChatGLM2-6B-32K + HIQE-PA的拟合度虽有提升但仍低于1,表明其低估专家识别的跨源差异。交叉验证显示,ERNIE-3.5 + HIQE-PA在UGC与AIGC上的MAE分别为0.526和0.556,差异不显著(p = 0.365),呈现强跨源稳定性;ChatGLM2-6B-32K + HIQE-PA的跨源差异显著(ΔMAE = -0.245,p < 0.001),稳定性较弱。
讨论部分,研究人员首先阐述后对齐检验的必要性:当前大语言模型在社会伦理、领域专用推理和评估策略方面仍存在与专家的显著偏差,预对齐方法无法完全解决部署阶段的任务特异性问题。测量不变性评估的角色被界定为稳健性检验而非传统心理测量验证,其为跨源比较提供边界条件而非增加方法复杂度。主要发现表明,大语言模型的语言质量评估能力不能自动延伸至事实有效性、潜在危害和伦理责任的可靠判断;后对齐表现应通过多维度而非单一聚合指标评估。HIQE-PA的效果具有模型依赖性:对ERNIE-3.5效果显著,对ChatGLM2-6B-32K则不一致甚至产生负面效应,说明该框架应理解部署阶段评估框架而非普适优化机制。
理论贡献方面,研究将人工智能后对齐引入健康信息质量评估情境,将讨论从开发阶段预对齐拓展至应用阶段后对齐;连接信息质量理论与LLM-as-a-Judge研究流,基于PSP/IQ模型操作化四维评估体系;提出偏差度、可预测性、拟合度三维指标体系,将大语言模型评估表现概念化为多维构念。实践启示与伦理考量强调:语言流畅性不等于事实或伦理判断准确性;平台从业者可利用三项指标及统计阈值识别系统偏差,但不宜直接用于宏观监管;大语言模型评估系统应坚持"人类在环"(Human-in-the-Loop)范式,作为辅助筛查工具而非自主裁决者,最终权威须由合格人类专家掌握。
研究结论指出,针对RQ1,HIQE-PA框架通过定义应用场景、构建专家基准、结构化提示和多轮交互,为高敏感任务中大语言模型的可信使用提供部署阶段检验机制。针对RQ2,实验证明通用模型在可读性与完整性维度接近专家,但在事实性、安全性和责任性维度存在偏差;ERNIE-3.5 + HIQE-PA在多维度改善一致性,ChatGLM2-6B-32K + HIQE-PA则在部分维度偏差增大,显示模型间后对齐响应差异。针对RQ3,三维指标系统从偏差、稳定性和跨情境适应性表征后对齐表现,为模型选择、优化、任务适配和风险识别提供实证依据。研究局限性包括:聚焦中文特定平台矫正性健康信息和两种大语言模型,控制条件虽有利一致比较但限制泛化;专家小组学科构成可能影响基准特征;ERNIE-3.5兼具AIGC生成和评估角色,虽采取措施最小化但无法完全排除自源熟悉偏差。