大失所望！顶刊CNS发表的重磅癌症研究论文，大半不能被重复

2013年，肿瘤生物学家 Elizabeth Iorns 发起了一项雄心勃勃的计划——癌症生物领域重复性工程（Reproducibility Project：Cancer Biology），旨在验证2010年至2012年间53篇高影响力的癌症生物学相关研究论文的可重复性，并将重复结果在 eLife 期刊发表。之所以发起这个项目，是因为有制药公司报告说，很多已发表的临床前癌症研究结果难以重复，这给制药公司带来了巨大损失。

如今，8年过去了，由于资金问题，以及部分论文在数据、试剂和操作方法上缺乏透明度，最终只完成了其中23篇论文的重复验证试验。

这些论文的重复性如何呢？结果令人失望，这23篇高影响力癌症研究论文中，只有不到一半的试验结果能够被重复。这些结果对临床前癌症生物学研究的可信度构成了挑战。

实际上，这个项目从一开始就困难重重，因为很多论文缺乏对于实验细节的介绍，当工作人员联系论文作者时，只有41%的论文作者提供了积极帮助，而大约三分之一的作者直接拒绝或不作回应。

最终，该项目将原计划的53篇论文（包含193个关键实验）缩减到23篇论文（包含50个关键实验），并完成了这23篇论文中的18篇论文的所有关键实验，以及其余5篇论文的部分实验。每一篇论文的重复结果都在 eLife 期刊作为单独论文发表。整个项目耗资150万美元。

项目团队使用了五个标准来评估这些论文的可重复性，包括实验结果是否与原始论文方向相同且具有统计学意义、重复的效果大小是否在95%可置信区间内等。

在这23篇论文中，关键实验结果完全可以重复的只有5篇（占比21.7%），在112项实验报告中，只有46%的重复性实验可以满足5个可重复标准中的3个及以上。甚至有5篇论文的关键实验在5个可重复标准中完全失败。

从下图统计结果可以看出，有8篇论文的重复结果是积极的（其中5篇完全可重复，3篇论文由于缺少实验细节，只做了其中部分实验）；7篇论文的重复结果好坏参半；5篇论文完全不能重复；3篇论文结果无法判断。

而这些完全无法重复、或部分无法重复的研究论文有着上万的被引用量，这对整个癌症生物学研究的影响显然是巨大的。

这23篇论文包括：5篇Cell、9篇Nature、2篇Science、1篇 Cancer Cell、1篇 Nature Cell Biology、2篇 Nature Medicine、1篇 Science Translational Medicine，以及1篇 Genome Research、1篇PNAS。

需要指出的是，在这一项目中无法被重复的实验也不代表一定无法被重复，例如该项目中无法被重复的论文，在其他研究团队的论文中显示可重复。此外，该项目中两个无法被重复的动物实验结果，产生了有希望的早期临床试验结果。

对于这项重复性工作，美国国立卫生研究院（NIH）的 Michael Lauer 表示，这些发现非常重要，但较低的可重复性也不令人惊讶，因为这个符合所谓的发表偏倚，也就是说最引人注目和积极的结果最有可能被发表，这并不意味着所有的科学研究都不可信。

该项目的负责人 Elizabeth Iorns 表示，科研项目的资助者和学术期刊应当加强对论文作者分享实验方法和材料的要求。详细的实验数据、方案和试剂，显然会加快可重复性验证工作，加快整个领域的研究进度。