《British Journal of Developmental Psychology》:Statistical power in UK genetic syndrome research; evidence from studies of Down syndrome, Fragile X syndrome and Williams syndrome as model syndrome groups
编辑推荐:
遗传综合征研究对于我们理解发育如何展开至关重要,但遗传综合征的罕见性可能导致研究采用较小的样本量。小样本量会降低研究产生可靠且可重复结果的统计检验力(statistical power)。在此,研究人员回顾了2013年至2022年间发表的关于三种目标遗传综合征
遗传综合征研究对于我们理解发育如何展开至关重要,但遗传综合征的罕见性可能导致研究采用较小的样本量。小样本量会降低研究产生可靠且可重复结果的统计检验力(statistical power)。在此,研究人员回顾了2013年至2022年间发表的关于三种目标遗传综合征的所有英国期刊文章。共有368篇符合条件的文章。遗传综合征组的中位样本量为N=30,仅有6.5%的文章报告了检验力分析(power analysis)。作为测试案例,研究人员对归类为“认知”研究的123篇文章进行了检验力分析。结果显示,对于中等效应量(medium effect size)和α=0.05,平均检验力仅为54%,远低于推荐的80%检验力阈值。英国遗传综合征研究的低检验力由于II型错误(Type II error)风险和效应量估计精度降低,对该领域的可重复性产生后果,同时也对所服务的人群产生影响。研究人员为研究人员、期刊编辑和资助者提供了提高遗传综合征研究领域可重复性的建议。
**研究背景与问题**
遗传综合征研究为理解发育的多层次动态机制提供了独特视角。遗传、神经、认知和环境层面的约束及其相互作用如何影响发育,有助于理解典型、非典型及补偿性发育轨迹的进展(Bradshaw等,2022;D'Souza和Karmiloff-Smith,2017;Karmiloff-Smith,1998)。已有研究如Scerif等(2011)发现,脆性X综合征(FXS)儿童更强的视觉注意与一年后教师报告的多动行为减少相关,凸显了视觉注意作为课堂行为关键前因的作用。Karmiloff-Smith等(2012)证明,威廉姆斯综合征(WS)和唐氏综合征(DS)儿童早期注意过程差异(WS中的眼跳计划,DS中的持续注意)与后期特定综合征的数字加工损伤相关。Ansari等(2003)则表明,WS儿童使用语言策略解决数字任务,而非典型发育儿童依赖视空间加工。
然而,遗传综合征的低患病率使得单个实验室难以招募足够样本量(Farran和Scerif,2022),小样本量降低统计检验力,影响结果的可靠性和可重复性。可重复性危机(reproducibility crisis)已成为心理学等多个领域的关注焦点(Ioannidis,2005;Open Science Collaboration,2015)。尽管研究人员意识到小样本问题,但遗传综合征研究领域的统计检验力尚未得到系统估计。为此,本研究利用“Shape Research, Change Lives”项目数据库,系统检索2013至2022年间英国发表的关于DS、FXS和WS的同行评审期刊文章,评估该领域的统计检验力状况,并提出改进建议。
**研究方法**
研究人员从Shape Research, Change Lives数据库(https://www.surrey.ac.uk/research-projects/shape-research-change-lives-setting-priorities-genetic-syndrome-research)中提取了604篇2013至2022年间英国发表的关于DS、FXS或WS的同行评审文章。排除干细胞研究、非人类参与者研究、产前或死后组织研究、模拟研究、一般人群研究、案例研究、定性研究及社交媒体分析等后,最终纳入368篇文章。其中336篇(91%)为直接招募参与者的原始数据研究,32篇(9%)为一般人群记录(如英国初级保健电子记录、国家唐氏综合征细胞遗传学登记处数据)的研究。针对认知研究子集,排除定性研究、案例研究和一般人群SNP文章后,共125篇文章,其中123篇可进行检验力计算(2篇需模拟的聚类分析除外)。检验力计算采用R语言的pwr包(Champely,2020)和pwrss包(Bulus,2023),基于每种分析类型的中等效应量基准(主要依据Cohen 1992的惯例),显著性水平设为p≤0.05。对于非参数检验按参数检验处理,ANOVA和ANCOVA简化至最多一个组内和一个组间因素,中介分析简化为回归分析。所有调整均趋向保守方向,即可能高估检验力。
**研究结果**
**所有研究类别数据集**
368篇文章中,来自原始数据收集研究的336篇文章中,遗传综合征组的中位样本量为N=30(范围:4-2172),相当于在α≤0.05下检测中等效应量(d=0.65)需80%检验力的样本量,属于大效应量(Cohen,1992)。不同综合征组的中位样本量变化不大(DS:N=36,范围4-2172;FXS:N=26,范围4-349;WS:N=24,范围8-107)。来自一般人群记录的32篇文章中,遗传综合征组中位样本量为N=1949(范围:6-13650),可高检验力检测小效应量,但全部为DS研究。在所有类别中,仅24篇(6.52%)文章包含检验力分析(先验或后验),196篇(53.3%)文章提供了与检验力相关的文本,多数在讨论部分提及小样本和低检验力限制。
**认知研究类别子集**
认知研究类别的123篇文章显示,检测中等效应量和α=0.05的平均检验力为54%。其中65篇(52.8%)检验力低于50%,30篇(24.4%)达到≥80%的检验力,11篇(8.9%)达到≥95%。时间趋势分析(beta回归)显示,发表年份与检验力之间无显著关联(β=-0.041,SE=0.034,z=-1.19,p=0.233),表明十年间检验力未改善。大多数认知文章(84.6%)采用组间差异检验(t检验、ANOVA、ANCOVA)。仅9篇(7.3%)文章自身报告了检验力计算,其中7篇声称充分检验力,但基于研究人员的计算,仅3篇达到充分检验力,其余6篇实际检验力为34%-60%,差异源于作者使用了较大效应量而非中等效应量。当仅考虑遗传综合征组与典型发育(TD)组比较的29篇文章时,若采用大效应量(可能仅对此类比较合理),其中19篇达到≥80%检验力。
**讨论与结论**
本研究发现英国遗传综合征研究普遍存在低检验力问题。平均54%的检验力远低于推荐的80%阈值,意味着每100项存在真实效应的研究中,仅54项能被检测到,导致高比例的II型错误,并降低效应量估计精度。虽然这一水平高于神经科学(中位检验力31%,Button等,2013)和智力障碍执行功能研究(中位检验力30%,Spaniol和Danielsson,2021),但低于运动科学(中位检验力73%,Mesquida等,2023)。与Hobson(2019)报告的神经发育障碍研究61%的中位检验力相当。
研究人员提出多项改进建议:第一,研究人员应在研究设计阶段计算并报告检验力分析,使用合理且现实的效应量假设。第二,期刊和资助者应强制要求在投稿或申请时报告检验力分析,以促进透明度。第三,研究预注册(pre-registration)可作为透明报告检验力的途径。第四,跨实验室合作可增加地理覆盖和资源,例如IMAGINE ID、COMBINE、WISDOM和Co-IND等多实验室项目。第五,单实验室研究可通过前瞻性数据协调(如采用通用标准化测量)为未来整合做准备。第六,采用更具包容性的研究方法,将“缺失”编码为变量,使用允许缺失的线性混合效应模型,并从研究起始就与社区成员合作,以提高招募和保留率。第七,当小样本不可避免时,应进行敏感性检验力分析,明确报告可检测的效应量。第八,利用一般人群记录和纵向队列数据库(如E-CHILD、UK Longitudinal Linkage Collaboration)进行大规模数据分析,但需注意此类数据的局限性。
研究结论:低检验力研究在遗传综合征研究中是常态。尽管超过50%的研究提及了检验力问题,但领域内未随时间出现显著改善。关键下一步是直接解决低检验力问题,通过计算和报告检验力分析,尽可能开展充分检验力的研究。这需要资助者认识到资源需求,研究人员应寻求跨实验室合作和数据协调,以达到可重复、可靠研究所需的样本量。