运动干预Meta分析中效应量计算程序的范围综述:方法异质性、报告缺陷及其对合并效应的影响

《Sports Medicine》:Effect Size Calculation Procedures in Exercise Intervention Meta-Analyses: A Scoping Review

【字体: 大 中 小 】 时间:2026年10月13日 来源:Sports Medicine 11.0

编辑推荐:

  背景 Meta分析(meta-analysis)需要计算所有纳入研究的效应量(effect size)。运动干预(exercise intervention)研究中最常见的实验设计是前后测对照设计(pre-post control design, PPC)。针

  
背景
Meta分析(meta-analysis)需要计算所有纳入研究的效应量(effect size)。运动干预(exercise intervention)研究中最常见的实验设计是前后测对照设计(pre-post control design, PPC)。针对该设计存在多种计算效应量的方法,目前尚不清楚已发表运动科学文献中实际使用了哪些计算方法,以及这可能如何影响结果。
方法
研究人员提取了六种期刊在2年期间发表的所有Meta分析(N = 101),其中原始研究使用前后测对照设计。研究人员重新计算了每项Meta分析中随机选择的原始研究效应量,以确定所用的计算方法,并将其与报告的方法进行比较。使用一个示例案例来说明使用不同计算方法对Meta分析结果的影响。
结果
在n = 91项能够确定计算程序的Meta分析中,研究人员共识别出50种独特的计算方法组合。大多数研究人员使用基于变化分数的标准化均数差(change score-based standardized mean differences, SMD)。这些方法需要对前后测相关系数(pre-post correlation)进行插补,其中大多数作者使用固定基准值,而不是基于证据或既往报告的值。报告通常不完整,研究人员在至少27篇文章的计算中发现了重大问题。研究人员证明,不同计算方法可产生不同的Meta分析结果。
结论
效应量计算程序差异很大,这会影响Meta分析结果并误导其解释。当使用其他合理或校正后的计算方法时,运动科学中相当数量的已发表Meta分析发现可能会有所不同。研究人员就如何为前后测对照设计选择合适的效应量方法提供了建议。研究人员鼓励研究者在进行Meta分析时透明地报告并论证所用程序,并进行敏感性分析(sensitivity analysis)。
1 引言
Meta分析(meta-analysis)已成为运动科学中综合证据的金标准方法,其核心是计算纳入研究的效应量(effect size)并据此得到合并效应。效应量计算程序指从原始或摘要数据推导研究效应量的所有计算步骤,对合并效应及其解释至关重要。运动干预研究最常见实验设计为前后测对照设计(pre-post control design, PPC),即在至少两个组、至少两个时间点测量,通常为干预组和对照组。PPC设计可视为随机对照试验(randomized controlled trial, RCT)的更一般情况,且存在后测分数法、变化分数法和协方差分析(analysis of covariance, ANCOVA)等计算选择。连续结局效应量通常为均数差(mean difference, MD)或标准化均数差(standardized mean difference, SMD)。SMD的分子和分母选择独立,标准化量可为前测、变化分数或后测标准差。变化分数标准差(sd)常未报告,可通过前测-后测相关系数(pre-post correlation)插补,公式为sd=√(spre2+spost2?2·r·spre·spost)。此外,Hedges校正和不同方差估计进一步增加方法多样性。不同计算和插补方法可能导致不同Meta分析结果,但目前尚不清楚运动干预Meta分析中实际常用哪些方法。本研究旨在通过范围综述,提取报告方法并通过重算确定实际使用方法,用示例说明影响并提出建议。
2 方法
2.1 文章检索与筛选
研究预先注册,遵循PRISMA范围综述扩展。研究人员检索六种运动科学期刊2023和2024年标题含“meta-analysis”的文章,这些期刊发表了领域内被引最多的20篇Meta分析。纳入标准为:Meta分析、使用PPC设计、运动干预。先自动筛选题目和摘要,随后两名独立研究者盲法筛选摘要,分歧由第三名研究者解决;全文筛选同样由两名独立研究者进行,第三名解决冲突。数据提取期间,排除未进行显式成对组间比较的文章。
2.2 数据提取
一名研究者提取报告的计算方法信息,包括效应量计算类型、具体方法、前后测相关插补程序及论证。为确定实际使用方法,一名研究者随机选择每项Meta分析首个森林图中的至少一个效应量,重新提取原始研究数据并重算点估计和置信区间。研究人员创建R包实现连续结局的标准计算方法。由于报告常不完整,重算时测试多种插补参数和计算方法。若无法重现,最多重算五个效应量,直到可确定方法。无法重算时联系作者请求数据或澄清。基于重算确定效应量类型、MD或SMD、具体方法和插补程序。质量控制包括对20项Meta分析进行平行提取和重算,其余由第二名研究者验证,分歧通过讨论解决。
2.3 数据合成
研究人员描述性报告使用特定计算程序的研究数量和比例,比例分母依亚组而定,并报告95%置信区间(confidence interval, CI),使用Agresti和Coull方法。报告“完整”定义为报告方法在效应量类型、标准化量、Hedges校正和相关插补参数方面与重算确定的一致。事后分析将问题分为数据提取、效应量计算和报告三类,并标记为轻微或重大。
2.4 示例案例
研究人员重新分析Oliveira等人的Meta分析,因其在纳入研究数和每研究参与者数方面具有代表性。重算使用相同纳入研究和随机效应模型(random-effects model),但变换SMD计算和插补方法,并校正明显错误。为计算ANCOVA效应量,联系原始研究作者请求原始数据;在六项无法获得原始数据时,基于摘要统计模拟伪个体参与者数据,假设多元正态分布。比较不同计算方法下的合并效应量和置信区间。
3 结果
3.1 使用的效应量计算方法
检索到250篇文章,手动筛选209篇,摘要筛选一致性79%,全文筛选一致性81%,纳入106项Meta分析。数据提取时排除5项非成对分析,最终N=101。在91项(90%)中可确定实际计算方法。联系26项研究作者,收到12项积极回应。10项(10%)因个体效应量数据不可得或方法不清而无法确定。变化分数法(n=62, 68%)多于后测分数法(n=29, 32%),ANCOVA为n=0。SMD(n=71, 78%)多于MD(n=20, 22%)。多数使用Hedges校正(n=57, 80%)。SMD常用变化分数或后测标准差标准化,基线标准差较少使用。方差估计公式多样。在91项中识别出50种独特方法组合,不考虑相关插补则为34种。48项(53%)需要前后测相关,最常用r=0.5(n=21, 44%)和r=0.7(n=11, 23%)。重算中常见问题包括个体效应量层面的数据提取错误、样本量错误、标准差与标准误混淆、干预对照方向错误,以及Meta分析层面的计算程序错误和标准误与方差混淆。仅重算少量效应量即在至少27项(共91项)中发现重大问题。
3.2 效应量计算报告
报告详细程度差异大。效应量计算类型在69项(68%)中报告或可推断。Hedges校正报告率50%,插补相关系数37%,方差估计9%。仅少数提供详细计算说明或引用统计来源。61%的文章对选择方法或插补给出理由,但常仅针对部分方面。报告完整者仅23项(25%)。14项(15%)报告与实际使用不符。精确比较仅能在详细报告者中进行,而这属于少数。
3.3 示例
研究人员完全重现Oliveira等的发表结果。重算前校正三个轻微数据提取错误和两个效应量依赖问题。相同输入数据下,不同计算方法导致合并效应差异大:八种方法中合并效应从无显著性小效应(g=0.16 [?0.12; 0.44],后测分数法)到中等显著效应(g=0.53 [0.07, 0.99],变化分数法、变化分数标准化、r=0.9)。ANCOVA合并估计置信区间最窄(标准误0.12),变化分数r=0.9则最宽(标准误0.24)。
4 讨论
4.1 计算方法当前使用情况
主要目的是量化PPC设计运动干预Meta分析中效应量计算法的使用和报告。101项中91项可确定方法。方法差异大且常报告不足,可导致结果差异;至少27项存在重大问题,提示运动科学Meta分析结果可能不如通常假设那样可重复和稳健。变化分数SMD最常见(68%),后测分数法较少(32%),可能因未充分考虑基线。ANCOVA未使用,可能因无法获得个体参与者数据,尽管其通常更精确。多数变化分数法需插补前后测相关,最常用固定基准r=0.5和r=0.7,是某些软件默认值;许多文章引用Rosenthal教科书作为依据,但原书并未推荐0.7。少数使用既往证据,有的用不合理值如r=0。多数使用Hedges校正,鉴于样本小,合理。方差估计多样可能反映软件默认差异,RevMan、CMA、metafor和meta各用不同公式,差异小但系统,可能影响接近显著性阈值的结果。
4.2 最佳方法是什么
没有唯一答案,最佳选择取决于研究背景、数据可用性、结局特征和概念目标。研究人员提出五步工作流程,基于信号问题,非自动算法,鼓励统计思考。进行Meta分析前应考虑定量合并是否合理。MD比SMD简单,不需标准化,但要求同一测量尺度;许多Meta分析即使所有研究同一尺度也用SMD,可能为了可比性或阈值,但SMD多样性使此目标存疑。当结局同尺度且可解释,建议用MD。响应比(response ratio)可作为无量纲替代,但运动干预Meta分析中未见使用。PPC设计中ANCOVA被认为最合适,因随机分配时无偏、稳健且更精确;但需要详细摘要统计或原始数据,数据共享率低。可结合可用原始数据和模拟数据计算ANCOVA,但模拟可能过自信,应仅在大多数研究有IPD时使用并做敏感性分析。鼓励多数PPC Meta分析使用变化分数法而非后测分数法:两者在基线平衡时无偏,但后测分数法在前后测相关大于0.5时统计功效较低;运动干预结局相关可能常大于0.5。变化分数SMD常用变化分数标准差标准化,与用前测标准差标准化的方法概念不同:前测标准化反映效应幅度,变化分数标准化反映效应一致性。后者可能使微小但一致的变化产生大效应量,前测标准化可能更合理,且不受受试者-处理交互影响。选择应基于理论并明确说明。多数作者用固定基准r=0.5或0.7,与使用纳入研究直接值或类似研究插补的建议相悖。固定基准可能不适合研究问题。若原始研究报告相关系数或可重算的摘要值,应使用;否则最好从类似研究的经验分布插补。仅当无分布时用固定值,并伴敏感性分析。但样本中很少报告稳健性检验。
4.3 方法报告
运动Meta分析效应量计算方法报告可改进。多数情况下只有通过重算才能确定程序,报告常不完整甚至不正确。因不同程序可导致不同结果,必须报告确切方法。当前PRISMA要求指定效应测量,但研究人员认为不足;示例中所有都是SMD但合并效应差异大。建议除PRISMA要求外,报告效应测量及其方差的确切计算程序、插补程序(如前后测相关)。PRISMA建议考虑提供选择效应测量的理由,研究人员认为这是关键报告组成部分。样本中许多提供部分理由但不完整;常以测量尺度不同为由选SMD,但未论证为何用变化分数法而非其他。选择应由理论或实证考虑指导,而非便利。当多个方法或插补参数合理时,均应考虑并作为敏感性分析报告。
4.4 Meta分析的可重复性
为确定计算方法,研究人员从原始出版物提取数据并重算随机选择的效应量。虽然可重复性评估非主要目的,但为Meta分析可重复性提供新见解。既往研究报告使用Meta分析提供的原始摘要数据时重复率高,但这些数据常未透明共享且可能错误。研究人员发现数据提取、插补和效应量计算中的额外潜在问题。除常见错误如标准差与标准误互换外,还发现更广泛错误。例如三项Meta分析混淆SMD标准误与SMD方差(标准误平方),导致所有效应量置信区间错误。此类错误不细致复现难以发现。效应量计算问题可能比通常认识更普遍。在30%的Meta分析中发现重大错误;这是下限,因为每项只重算少数效应量,且未包括无法确定非重复原因的情况。理想情况下作者、审稿人和编辑应验证计算效应量,但极其耗时,尤其在报告不完整时。未来可重复性研究应重算个体效应量而非接受报告值。数据共享是改善可重复性和透明度的简单方法。数据表、分析代码和摘要数据可促进重算。许多Meta分析有数据可用性声明,但少数作者回应方法澄清或数据共享请求,与既往低分享率一致。鉴于发现,期刊应考虑强制共享用于效应量计算的原始摘要数据。
4.5 局限性
本研究仅关注PPC设计Meta分析。其他设计如描述性Meta分析可能涉及更简单计算和不同方法学与报告差异。但PPC设计在运动科学最常见,筛选显示58%已发表Meta分析使用此设计。样本来自六种期刊两年,可能不推广至其他期刊或时期,置信区间可能过于自信,尤其存在时间趋势时。但聚焦近期旗舰期刊以确定运动科学Meta分析方法学现状。提取一致性低,但反映报告模糊和重算含错误计算的挑战。若数据可用但无法确定计算程序(5/101),可能表明原发表不确定或错误,也可能是研究人员错误。为缓解风险采取多项措施:总是尝试不同重算方法而非仅报告或暗示的方法;若首个效应量无法重现,继续重算更多;每次提取和重算由另一研究者双重检查,并对子集独立双重提取;联系无法确定计算程序的每项Meta分析作者以提供帮助。用于展示不同计算方法对合并效应影响的重新分析仅作示例。不同特征的Meta分析可能差异更小。其他特征(真实前后测相关、研究间异质性、发表偏倚)对计算方法间效应量变异的影响尚不清楚。但所选示例Meta分析对许多已发表运动干预Meta分析有代表性,能说明不同计算方法如何导致不同合并效应。若干Meta分析在重算中发现错误,被判断对个体效应量有实质性影响;但未评估这些错误对合并效应或结论的影响;此类分析需要完整复现Meta分析,强烈提倡但需大量努力。
5 结论
PPC设计运动干预Meta分析中效应量计算方法高度异质。示例表明不同计算方法可产生不同合并效应和结论。多数研究使用变化分数法,通常需要插补前后测相关;但多数Meta分析使用标准基准而非来自既往证据的参数。重算效应量复杂耗时,因报告常不完整。在调查的Meta分析效应量计算中发现相当多(重大)问题。需要提高报告透明度、改善原始数据共享、增加个体参与者数据和敏感性分析的使用,使运动干预Meta分析更稳健和可重复。效应量计算没有唯一正确方式,但选择应基于理论和实证论据,并透明记录和论证。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号