《Accountability in Research》:Radical reproducibility, real constraints: An autoethnography of open and transparent research from the inside
编辑推荐:
摘要
背景:本文呈现了一项为期三年的纵向自我民族志研究,研究对象为TIER2项目——一个致力于通过开放研究实践实现“激进可复现性”的国际跨学科联盟。研究人员调查了认知多样性、学科规范与制度文化如何在实践中塑造可复现性。方法/材料:研究采用自我民族志方法。数据
摘要
背景:本文呈现了一项为期三年的纵向自我民族志研究,研究对象为TIER2项目——一个致力于通过开放研究实践实现“激进可复现性”的国际跨学科联盟。研究人员调查了认知多样性、学科规范与制度文化如何在实践中塑造可复现性。方法/材料:研究采用自我民族志方法。数据包括定期的联盟范围调查、五位日记作者撰写的季度可复现性日记,以及全体大会讨论的田野笔记;这些数据均采用归纳法进行编码。结果:研究发现,最初在定义可复现性时存在的学科差异,逐渐演变为对其复杂性的细致理解。参与者发展了开放研究实践的新能力,并在早期规划与协作透明度方面获得了深刻见解。可复现性的促进因素包括开放科学框架(Open Science Framework, OSF)、共同开发的工具、容器化技术、“慢科学”方法、资深研究人员的强示范作用以及改进的文档记录。挑战包括对暴露不完美工作的恐惧、不同职业阶段参与度的不均衡,以及大量的时间与资源需求。在可复现性对定性研究的适用性以及标准化可能削弱多样性方面,出现了认知层面的张力。尽管如此,参与者报告了高度的职业满意度和智识成长。结论:本研究表明,“激进可复现性”不仅仅是一项技术性工程,更是一项文化与认知工程,它促进集体学习、技能发展与创新,并需要系统性和制度性的支持。
**论文解读:激进可复现性的实践与张力——基于TIER2项目的自我民族志研究**
**一、研究背景与问题**
近年来,科学文献的质量与诚信问题引发了广泛关注,涉及可疑研究实践、报告标准缺陷、发表偏倚、方法细节缺失以及数据可获取性挑战等。大规模重复研究显示,相当比例的已发表发现无法被直接复现或复制,这引发了关于多学科证据稳健性的争论。为应对这些挑战,科学界提出了多种促进可复现性的实践,包括预注册、开放数据与代码、工作流文档化、标准化报告指南以及提高透明度的广泛努力。然而,这些实践在不同研究文化与学科间存在显著争议:部分学者认为预注册和标准化模板可能限制探索性或解释性研究,而完全开放定性数据或要求严格计算可复现性也可能引发伦理、认知或实践问题。在国际化、跨学科的协作研究项目中,这些张力尤为突出——联盟成员可能被资助方强烈鼓励甚至要求参与可复现性实践,但在异质性团队中如何实际实施这些实践,以及如何协调对可复现性的认知与文化差异,往往缺乏清晰答案。
**二、研究目的与方法**
基于上述背景,本研究考察了可复现性实践在一个国际跨学科项目联盟——Horizon Europe TIER2项目(通过下一代可复现性增强研究的信任、诚信与效率)中如何被讨论、实施与评估。TIER2项目本身研究可复现性实践,并在不同学科与情境中实施试点干预,承诺“坚持激进的可复现性与透明度”,包括使其定性与定量数据可发现、可获取、可互操作、可重用(FAIR),预注册并发布所有研究与试点活动的完整方案,使用其开发的容器化工作流工具,并使代码、软件和算法开源且可复现。研究采用自我民族志方法,数据来源包括:项目启动会议及两次全体大会(GA)的联盟范围讨论、GA前向所有联盟成员发放的问卷、以及五位日记作者在项目全程撰写的季度可复现性日记。数据经归纳编码分析,初步分析结果在2025年最终GA上呈现并征集反馈。
**三、主要结果**
**学习成果:** 参与TIER2塑造了成员对可复现性的理解。在启动会议上,成员间缺乏一致的可复现性定义,部分定性研究者认为可复现性与自身工作无关。到项目后期,成员认识到可复现性在定义、概念化和操作化上比先前想象的更为复杂,并开始接纳这种复杂性。日记作者报告了开放研究实践理解的扩展,学会了在任务初期创建可复现工作流,并意识到可复现性是一个持续过程而非终点。实践学习包括数据与代码共享、代码结构化、预注册方案等技能。
**积极反思:** 成员对实施可复现性工作表达了热情,认为其是“令人兴奋的技术挑战”。项目全程一致使用开放科学框架(OSF)共享工作流与产出,成员赞赏“慢科学”方法及多利益相关者协作方式。2024年和2025年GA讨论中,成员重视已实施的可复现性实践(如预注册方案)对工作结构与质量的提升,并对项目的贡献感到自豪。
**批判性反思、问题、张力与冲突:** 数据中最大比例的内容呈批判性基调。个人与情感层面,成员对自身实践感到焦虑,担心暴露“不完美”的工作。时间与资源方面,开放定性数据所需的同意流程、去标识化和文档化工作构成重大负担,复制使用AI方法的研究需要“巨大的计算资源”。动机与激励机制上,存在缺乏内在和外在激励的问题,高级研究人员参与不足,早期职业研究者(ECRs)被不成比例地要求实施可复现性实践。方法与技术挑战包括:为定性任务提供充分过程文档的困难,共同创造和概念性工作对可复现性的挑战,以及技术知识缺乏阻碍实践实施。协作层面,跨学科团队内实施可复现性实践存在不一致,联盟层面未充分投入时间共同思考研究目标。概念与认知张力方面,定量与定性认识论之间的差异导致对可复现性适用性的分歧,部分成员认为过度关注复杂性是“把事情搞复杂”,而另一些成员则强调讨论复杂性的必要性。围绕认知多样性在项目中的操作化也存在张力,例如工具开发主要涵盖定量认识论。部分成员质疑在定性研究方面实施开放研究实践的价值,认为可能具有“表演性”。
**促进因素:** 成员指出资深研究人员的榜样作用和指导是关键促进因素。沟通、协调与协作、将研究成果转化给外部利益相关者、开放源码软件、“慢科学”方法、正式培训以及文档化过程的重视均被视为有利条件。技术方面如计算工作流的容器化和改进的定性数据去标识化方法也得到强调。此外,成员呼吁更好的可复现性实践有效性证据和成本效益估计,以及文化变革和激励机制的转变。
**四、讨论与结论**
本研究发现,在TIER2项目中研究和实施最大限度的可复现性对联盟而言是积极且有回报的体验,产生了宝贵的学习成果和技能发展,并产生乘数效应——成员将所学应用于其他项目和资助提案。然而,资源匮乏是关键制约因素,导致“不当负担”落在经济上“更便宜”的ECRs身上。研究强调需要增加可复现性实践的资助和培训,并呼吁转向“慢科学”以创造时间与空间。TIER2项目揭示的可复现性复杂性具有价值,其概念框架(关注“重做”和“使重做成为可能”的实践)有助于简化思考方式,并将不同认识论纳入对话。定性研究人员在相关且可行时积极实施开放研究实践,扩展了TIER2中使用的实践范围。研究结论指出,虽然本自我民族志研究本身因设计原因不可复现,但研究人员拥抱开放研究的透明性,尽力透明地记录方法并共享部分去标识化数据。研究呼吁增加资源和激励以支持可复现研究的实施,并强调需要更多关于干预措施有效性及其成本效益的证据。本研究的发现与现有文献中的障碍和促进因素一致,但增加了对可复现性实践成本效益分析框架应用的呼吁。最终,自我民族志任务有效促进了国际跨学科研究项目中关于可复现性实践的讨论与反思,为集体反思提供了平台,并使成员得以进行通常缺乏时间的反思活动。