话说当地时间2020年1月2日,2018年诺贝尔化学奖得主弗朗西斯·阿诺德(Frances Arnold)因为无法重复论文结果,撤回了自己的一篇于2019年5月发表在《科学》( Science )上的论文 Site-selective enzymatic C‒H amidation for synthesis of diverse lactams。
当然,阿诺德不是第一个因为无法重复结果而撤回论文的科学家都中过招,也不是最后一个。比如2002年诺贝尔经济学获得者丹尼尔·卡内曼 ,2004年诺贝尔生理学或医学奖获得者琳达·巴克,2017年诺贝尔生理学或医学奖获得者迈克尔·罗斯巴这些大神都干过这事。
但事实是,虽然复制论文结果至关重要,但科学家一般很少这样做,应该说上面几位诺贝尔大神是光明磊落的。而这种论文结果不可重现不可以复制的问题,早已不新鲜了。
复制论文结果是科学研究中的一项基本工作。一般来说,研究人员需要在前人研究成果上进行创新,所以应该测试验证前人已有的与自己相关的研究,按照前人研究论文,复制其的方法过程,验证其研究结果是否成立。
测试,验证,再测试,再验证——这都是一些缓慢又无趣且无收益的工作,但又是科研工作必经阶段。但根据美国《VOX》新闻网站在2016年对全世界270名科学家的调查,这种情况并没有像应该发生的那样频繁。科学家们几乎没有什么动力去从事复制已发明论文研究结果的工作。即使他们试图复制一项研究,他们也经常发现自己做不到。这种科研界的怪相越来越多,因为已呈现象级,已有专门的术语称之为“不可复制的危机(Crisis of Irreproducibility)”。
著名科技期刊Br J Psychiatry(英国精神病学杂志)曾在2015年有一篇论文专门研究了10年时间中有关精神病学高被引论文的复制与矛盾问题。论文中统计数据证明了这一“不可复制的危机”的存在。
这篇论文调查了83项被高度引用的研究,这些研究声称有效的精神病治疗。只有16个被成功复制,另外16例与后续尝试相矛盾,11例在第二次试验中被发现有明显较小的影响。与此同时,近一半的研究(40项)根本没有进行过复制。
2015年8月28日,发表在《科学》杂志上有一项里程碑式的研究表明,开放科学合作组织(The Open Science Collaboration,OSC)发现,在顶级心理学期刊上的最新研究论文只有一小部分可以复制。这种情况也发生在其他领域,著名的撤稿观察(RETRACTION WATCH,主要内容是追踪世界科学研究成果)网站创始人之一伊万·奥兰斯基如是说。
What?不可以重复的研究有什么意见?搞科研的人喜欢自己骗自己?让我们看一看Science上这篇有关原始研究有效性与复制研究有效性之间的关系(相关系数)。
上图中的斜线表示复制研究有效性大小等于原始研究;水平虚线上的点表示复制研究有效性为0;虚线以下的点表示复制研究的结果与原始研究声称的结果相反。从图中的数据看,可以说大多数论文的研究结果是不可能复制的,而且重复后的结果还有可能与原论文的研究结果相反。
为什么重复论文记载的研究结果非常重要,而大家又不去做这件事。其实简单说来就是吃力不讨好,性价比太低。
根本原因主要有以下几种。
首先,科学家几乎没有动力去尝试复制。南加州大学凯克医学院(Keck School of Medicine)的社会科学家乔恩•帕特里克•阿勒姆(Jon Patrick Allem)就曾指出,科研资金更倾向于支持寻找新研究的项目,而不是确认旧结果。
而科技期刊也不愿意发表复制型的研究论文,除非“它们与早期的发现或结论相矛盾”,因为这样才有创新性,才有意义,才有价值,才有利益。于是,这种潜规则的最终结果就是不鼓励科学家互相检查研究成果。新的成果胜过炒现饭的证据,这种观念成为很多在职科学家预设的价值观。
以上是主观原因,第二个应该就是客观原因了。
第二个问题是,许多研究按论文描述的方法很难复制。大量论文的方法虽然写得天花乱坠,但仍然过于不透明,写得过于粗略。后来者根据论文中描述的实验方法,根本无法复制实验过程,从而无法得出可复制的结果。其实有时,某项研究的设计很差或者完全错误,但为了能够发表论文,所以在论文的实现方法部分总是藏藏掖掖,语焉不详。
同样,这又回到了激励机制的指挥棒上:当研究人员不得不频繁发表“有创新性”论文并追求积极的正确结果时,用清晰的方法进行高质量验证过去研究的动机就更小了甚至没了。科研人也是会趋利避害的。
目前就是这么一个情况,那么怎么才能扭转这种情况呢?不知道科研工作的基于成果是否能够重复是否有效,只是盲目地默认以前的成果没有问题是有风险的,毕竟在不知是在沙滩还是在基岩上建筑大厦是一件非常危险的事情。
针对以上主观没有动力以及客观无法实验的现实,科研界急需采取一些相应的措施,来解决重复论文结果的问题。比如:
首先,科学人员需要更多的胡萝卜,用来吸引他们能够进行复制已发表论文上的成果。目前的情况是,因为基本都是鼓励研究人员发表新的积极成果,而让消极的研究成果留在笔记本电脑或文件抽屉里。
这就给科学界带来了一个被称为“发表偏见(publication bias)”的问题——并不是所有得出结果的研究都能在期刊上发表,而往往是那些会得出积极而引人注目结论的研究论文更容易被录用。
那么这又回到科研本质的问题上来了。
如果研究机构能够根据研究人员的工作质量而不是成果数量来考核业绩,也许这样可能会鼓励复制论文结果的研究,而不仅仅只对积极的创新性成果的追逐(现在开题、申请基金都会强调这种创新性)。当然这个问题是全球性的。
加拿大顶尖大学之一麦克马斯特大学(McMaster University)前助理教授克里斯托弗·温德(Christopher Wynder)曾说过:“这种情况需要改变的关键是绩效评估。绩效评估会影响再现性,因为确认另一个实验室的研究结果并公布几乎没有价值。”
加州大学河滨分校生物学研究生斯蒂芬妮·瑟蒙德在接受调查时表达这样的观点:应该以某种方式激励复制研究,激励期刊发表“负面”研究。包括没有结果或者验证假设不正确的所有研究都很有意义,而不仅仅是浮华的甚至只是改变几个参数的所谓“创新”结果。
其次,就是要规范论文写的问题了。
为了能够更容易复制研究,研究论文应该能够更有力地分享研究方法,即对研究方法/实验过程描述清晰,读者可以照着论文并不困难地实现论文结果。而弗吉尼亚大学开放科学中心的布莱恩·诺塞克教授(Brian Nosek)曾说过:“如果能有更严格的论文规范,要求作者能够更详细地描述所使用这些方法就太好了。”他还建议科技论文末尾添加必要的补充内容,以帮助任何想要重复实验的人。目前的情况是,研究性论文中能够使其他科研工作者更容易重复的信息太少了,甚至没有。
而斯坦福大学的约翰·伊奥尼迪斯(John Ioannidis)教授说,只有更大程度的透明度和数据共享将使复制成为可能。很多时候,任何试图复制一项研究的人都必须联系最初的研究者,以获得有关实验是如何进行的细节。他认为:“最好是以一种有组织的方式来做这件事,让所有科学领域的主要科研人员都接受调查或者自己上传研究细节,而不是当有人查阅文献时,才以侦探工作的方式联系到论文的主要作者,询问他或她其他方面无法获得的细节、数据和方法。”
研究人员还可以利用互联网工具,比如跟踪每个版本数据集的开源网站,这样他们就可以更容易地共享数据,并在工作流程中增加透明度。
还有学者想出了不少好点子,比如维多利亚大学的社会心理学家约翰·萨卡卢克认为在研究者把研究成果写成论文发表让人们花时间去阅读之前,就应该努力复制自己的发现,以公开发布。
例如,他认为,心理学家可以对少数参与者进行小实验,形成想法并产生假设。但他们需要进行更大规模的实验,让更多的参与者参与,以复制和确认这些假设,然后再将它们发布到世界上。萨卡卢克认为只有这样做,其他研究者就可以更有信心相信前人的研究成果,相信这些是他们可能纳入自己研究的东西。
笔者个人认为以上的观点非常好,如果科学共同体或学术界能够采纳并实现这些意见,可能将对全球的科研环境是一次不小的净化。