同行评审制度弊大于利?如何破解这一难题

越来越多的研究表明,目前的同行评审制度无法有效提高稿件质量,反而减少了研究成果的发表量。如何破解这一难题,本期AJE将深入探讨这一问题。

更新于2023年12月18日

同行评审制度弊大于利?如何破解这一难题

1731 年,爱丁堡皇家学会确立了同行评审程序,作为学术交流过程中的必要步骤。 从那时起,同行评审就被视为学术出版行业毋庸置疑的流程和保障。 然而,学术界出现了一种新的担忧,即传统的同行评审是一个 "黑箱",是一个不透明的过程,其程序不可预测,对科学传播产生了负面影响,而且它 "是基于对其结果的信任,而不是基于其事实"(1, 2)。 越来越多的研究表明,目前的同行评审制度无法有效提高稿件质量,反而减少了研究成果的发表量。

在同行评审之前,编辑会拒绝 30-65% 的投稿(3, 4)。 如果在投稿后进行同行评审,评审过程可能需要数月至数年才能完成,时间从14周到一年不等,有时甚至长达三年(2, 5, 6)。 审稿人和编辑可能会持有不利于论文发表的偏见,其中包括:对统计学意义上不显著和负面结果的研究持有积极结果偏见,而对统计学意义上显著和积极结果的研究持有负面结果偏见(7, 8);对来自声望较低机构和知名度较低的作者持有地位偏见(9, 10);对来自本国的投稿持有地域偏见(11, 12);审稿人对与其理论观点相悖的结果持有证实偏见(confirmatory bias)(7);对测试非常规治疗方法的研究持有干预偏见(13)。

对同行评审过程的研究表明,60-75%的稿件审稿人未能发现的错误,而且该过程也不是发现学术欺诈行为的可靠方法(14-16)。 评审通常是主观的,缺乏结构性,没有准则来规范审稿人如何评估研究并就研究是否应该发表提出建议(2, 17)。 因此,编辑之间的共识及其对单篇学术手稿质量的互评一致性可能很差(18)。 因此,即使同行评审人一致认为稿件足以发表,研究人员也没有信心相信编辑会接受他们的稿件,这就凸显了同行评审过程的不可预测性。 经过同行评审并被期刊接受后,稿件将进行排版,以提高内容的清晰度(19)。 优化稿件的可读性可以说是同行评审过程的一个成果。 然而,这仅是对稿件的一次润色编辑过程,并不能保证同行评审后稿件的科学质量会得到提高(20)。

出版业的代表性人物言论进一步证明了现行同行评审制度的失败。Richard Smith博士是British Medical Journal期刊的资深编辑,也是对现存同行评审流程的批评者(17):

"经过 30 年的同行评审实践和 15 年的实验研究,我对同行评审的价值并不信服。在我看来,它的弊端比它的优点明显得多,我们所掌握的关于同行评审的证据也倾向于支持这种有偏见的观点。然而,同行评审仍然值得尊重,受到科学家的崇拜,是科学发展的核心......同行评审将成为多数人的工作,而不是少数人的工作,我们知道,多数人比少数人更能解决问题......[作者]赞成转向'发表论文,让世界来决定'的体系,最好是采用声誉和文章指标体系"。

同样,BioMed Central、F1000Research、Current Opinions等期刊的创办人、致力于改革同行评审流程的创新者Vitek Tracz也表示(21):"学术出版令人难以置信:

"学术出版令人难以置信、荒唐可笑......科学信息应该延迟一年才提供给想了解它的人......同行评审已经病入膏肓,而生病的原因就是保密......这只会导致滥用。

研究人员也有同感。 例如,一项针对 637 名研究人员的调查显示,61% 的研究人员认为评审程序存在缺陷,应予以修改(5)。 这些数据和观点表明,同行评审最多只能通过提高稿件的可读性为研究人员提供价值。 然而,同行评审缺乏监督功能,其现有结构可能弊大于利。

参与研究过程的各方都会影响发表率。 作者、资助机构、院校、药品和器械制造商以及其他试验赞助团体可能会选择不发表研究成果,尤其是在研究结果不利的情况下(22)。 然而,在竞争激烈的研究环境中,出版物是研究人员的本钱;它们能证明研究人员的专业技能,赋予研究人员声望,并用于促进研究人员的职业发展和获得资助(23)。 根据研究人员发表的论文数量、发表其研究成果的期刊的影响因子,以及他们的论文是否比发表期刊的平均引用率更高,研究人员被认为更有影响力、知名度更高,更有可能成为首席研究员(23-28)。

发表论文是研究人员职业发展的驱动机制,可以证明其影响力,因此,研究人员压制成果是不利的。 因此,还需要考虑其他因素,其中最明显的是同行评审过程及其固有的偏见,这些偏见是发表过程的瓶颈。 如果研究结果在统计学上具有显著性和积极性,且积极结果支持实验假设而非无效假设,那么与统计学上不显著或消极的结果相比,稿件更有可能被接受、发表和引用。 例如,与统计结果不显著或阴性的研究相比,统计结果为阳性或显著的研究更容易被知名期刊接受(29);发表几率高出 2.2-4.7 倍(30);发表速度更快--4-5 个月而不是 6-8 月(32);被引用次数高出 1.6-2.7 倍(33, 34)。

如果发表研究成果的决定是基于研究结果的意义和预期影响,而不是研究方法的质量,那么大量研究成果将永远无法发表。 对已发表与未发表文献数量的比较研究表明,截至 2012 年,在 807 项临床试验中,有52%的研究未发表(35);在 ClinicalTrials. gov中,有58%的研究成果未在相应期刊上发表(36);美国国立卫生研究院资助的试验中,不到一半在研究完成30个月后发表;在中位数51个月后,三分之一的试验未发表(37);在13000项临床试验中,只有38.3%报告了结果(38);在试验完成后以会议摘要形式提交的随机对照临床试验结果中,只有63%随后以正式出版物的形式发布(31)。

同行评审过程本身无法补救,因为它存在于一个更大的出版生态系统中,从开展研究到传播再到获得认可。 要修复同行评审并优化科学的传播和评审方式,就必须重新认识整个出版流程的动态。

“出版 ”一词的含义是出版书籍、期刊、论文等。 前缀(public)的意思是 "在公开的视野中完成、感知或存在",后缀(ation)的意思是 "一种行为或过程"。 因此,"出版 "意味着 "公开的行为或过程",任何公开思想的过程都可以被视为 "出版"。 学术出版过程只是一种程序,它将研究人员与研究手稿中提出的观点和结果联系起来,证明他们在某个时间点进行了研究、发现了结果并与社会分享了资料。 因此,"出版 "一词的重要性就在于它象征着将一个实体公之于众的行动。

在 Web 2.0 数字时代,研究人员可以在向期刊投稿之前或同时,在预印本服务器上在线发表自己的研究成果。 预印本服务器允许在线发表论文草稿,以便尽早与科学界交流和接触。 这些预印本服务器为研究人员提供了一种能力,即通过在预印本上标注永久数字对象标识符(DOI)的日期和时间,证明预印本公开发布的时间和地点,从而证明自己的观点的原创性。 DOI 确立了优先权,保护作品不被盗版,使研究人员能够立即对其内容维护自身权利 (39)。 通过以预印本的形式传播研究成果,研究成果被公之于众,可被视为出版物。

预印本在线发布之前不会进行同行评审,这使得预印本出版成为一种无偏见的成果共享机制。 通过这种出版模式,同行评审程序无法在研究成果公开共享之前对其进行过滤,从而有助于确保全球知识传播的数量不受阻碍。 稿件的预印本状态被声明为 "预印本",表明尚未进行同行评审,在进行评审之前,应谨慎解读研究成果。

与此同时,或在网上发布预印本之后,研究成果可以作为后印本,即经过同行评审的最终稿件版本,提交给期刊考虑发表。在出版流程的这一阶段,同行评审流程将受益于以下改革:

  • 同行评审需要标准化,以便审稿人对研究的客观结构部分进行评估,减少主观性强、带有偏见的意见左右编辑做出拒稿决定的可能性。
  • 同行评审的时限要短,修改和要求补充实验的次数要少,以尽量减少阻碍研究成果作为印后发表的冗长时滞。
  • 评审意见需要向公众公开,以便让审稿人承担道德和科学责任,同时抑制对研究或作者的潜在偏见。 通过公开同行评审,科学界可以阅读审稿人的评价和批评,获得关于研究优势和局限性的重要见解,并激发对研究的公开讨论,从而促进对工作的更深入了解。
  • 手稿应作为预印本接受同行评审和评估。 虽然这似乎只是语义上的细微变化,但 "预印本同行评审"(3PR)清楚地表明,稿件中的内容正在作者和审稿人之间进行讨论,向社会表明稿件内容尚未以出版后的形式定稿。

Research Square,我们建立了这样的预印本平台,帮助改变整个学术出版流程,并采取措施改革同行评审流程。 我们的预印本平台允许研究人员以预印本的形式发表他们的研究成果,同时通过发布一个唯一的 DOI 来证明他们对自己的想法拥有权利。 研究人员可以直接向 Research Square 投稿,也可以选择在我们提供审稿服务的数百家联盟期刊中的一家进行审稿时,将稿件作为预印本发布。  一篇稿件可以上传多个版本,每个版本都有一个新的 DOI,这样就形成了一个活的文档线索,让学术界可以看到稿件的演变过程。 该平台集成了多项互动服务,方便研究人员和公众与稿件内容建立联系,其中包括整理与预印本相关推文的Twitter界面;通过Hypothesis进行注释;用于讨论和评估稿件内容的定制评论应用程序;以及由Research Square博士级编辑人员颁发的编辑徽章,这些徽章标志着稿件在报告方法和统计数据方面的严谨性。

Research Square 提供的平台和服务重新规划了科学出版流程,并对更大的科学生态系统产生了积极影响。 环境影响行为。 出版系统就是一种环境。 研究人员必须在这一环境中工作,受其规则的约束,除非环境发生改变并以新的视角看待,否则他们几乎没有能力或动力去改变自己的习惯。 推动出版流程变革的第一步是帮助研究人员认识到以预印本形式传播研究成果也是一种出版形式。 第二步是创建使预印本出版功能化的系统,同时将同行评审纳入这一新模式。 这些行动将弥补同行评审过程中长期公认的缺陷,因为它将不再成为研究成果传播的瓶颈,也将不再是一种不透明、神秘的运作方式,其投入是不可知的,其结果是不可预测的。 最终,"研究广场 "将为所有研究人员提供公平的竞争环境,让他们分享自己的工作成果,激励他们在新的环境中开展工作,使研究交流变得更快、更公平、更有用。

参考文献:

1. Jefferson T, Alderson P, Wager E, Davidoff F. Effects of editorial peer review: a systematic review. Jama. 2002;287(21):2784-2786.

2. Smith R. Peer review: a flawed process at the heart of science and journals. Journal of the Royal Society of Medicine. 2006;99(4):178-182.

3. Meyer HS, Durning SJ, Sklar DP, Maggio LA. Making the First Cut: An Analysis of Academic Medicine Editors' Reasons for Not Sending Manuscripts Out for External Peer Review. Academic medicine : journal of the Association of American Medical Colleges. 2018;93(3):464-470.

4. 5 ways you can ensure your manuscript avoids the desk reject pile: Looking at your submission through the eyes of a journal editor. Elsevier. https://www.elsevier.com/authors-update/story/publishing-tips/5-ways-you-can-ensure-your-manuscript-avoids-the-desk-reject-pile. Published April 10, 2015. Accessed September 20, 2018.

5. Nguyen VM, Haddaway NR, Gutowsky LF, et al. How long is too long in contemporary peer review? Perspectives from authors publishing in conservation biology journals. PloS one. 2015;10(8):e0132557.

6. Shah A, Sherighar SG, Bhat A. Publication speed and advanced online publication: Are biomedical Indian journals slow? Perspect Clin Res. 2016;7(1):40-44.

7. Mahoney M. Publication prejudices: An experimental study of confirmatory bias in the peer review system. Cognitive Therapy and Research Vol37(5), Oct 2013, pp 996-1003. 1977;1(2):161-175.

8. Emerson GB, Warme WJ, Wolf FM, Heckman JD, Brand RA, Leopold SS. Testing for the presence of positive-outcome bias in peer review: a randomized controlled trial. Archives of internal medicine. 2010;170(21):1934-1939.

9. Peters DP, Ceci SJ. Peer-review practices of psychological journals: The fate of published articles, submitted again. Behavioral and Brain Sciences. 2010;5(2).

10. Tomkins A, Zhang M, Heavlin WD. Reviewer bias in single- versus double-blind peer review. Proceedings of the National Academy of Sciences of the United States of America. 2017;114(48):12708-12713.

11. Link AM. US and non-US submissions: an analysis of reviewer bias. Jama. 1998;280(3):246-247.

12. Nieminen P, Isohanni M. Bias against European journals in medical publication Databases. Lancet. 1999;353(9164):1592.

13. Resch KI, Ernst E, Garrow J. A randomized controlled study of reviewer bias against an unconventional therapy. Journal of the Royal Society of Medicine. 2000;93(4):164-167.

14. Schroter S, Black N, Evans S, Godlee F, Osorio L, Smith R. What errors do peer reviewers detect, and does training improve their ability to detect them? J R Soc Med. 2008;101(10):507-514.

15. Godlee F, Gale CR, Martyn CN. Effect on the quality of peer review of blinding reviewers and asking them to sign their reports: a randomized controlled trial. Jama. 1998;280(3):237-240.

16. Baxt WG, Waeckerle JF, Berlin JA, Callaham ML. Who reviews the reviewers? Feasibility of using a fictitious manuscript to evaluate peer reviewer performance. Annals of emergency medicine. 1998;32(3 Pt 1):310-317.

17. Smith R. In Search Of an Optimal Peer Review System. Journal of Participatory Medicine. 2009;1.

18. Ernst E, Saradeth T, Resch KL. Drawbacks of peer review. Nature. 1993;363(6427):296.

19. Roberts JC, Fletcher RH, Fletcher SW. Effects of peer review and editing on the readability of articles published in Annals of Internal Medicine. Jama. 1994;272(2):119-121.

20. Jefferson T, Rudin M, Brodney Folse S, Davidoff F. Editorial peer review for improving the quality of reports of biomedical studies. The Cochrane database of systematic reviews. 2007(2):Mr000016.

21. Verma H. F1000’s Vitek Tracz: Redefining Scientific Communication. http://reviews.libraryjournal.com/2015/03/reference/f1000s-vitek-tracz-redefining-scientific-communication/. Published 2015. Accessed.

22. Bassler D, Mueller KF, Briel M, et al. Bias in dissemination of clinical research findings: structured OPEN framework of what, who and why, based on literature review and expert consensus. BMJ open. 2016;6(1):e010024.

23. van Dijk D, Manor O, Carey LB. Publication metrics and success on the academic job market. Current biology : CB. 2014;24(11):R516-517.

24. Alberts B. Impact factor distortions. Science. 2013;340(6134):787.

25. Shanta A, Pradhan AS, Sharma SD. Impact factor of a scientific journal: Is it a measure of quality of research? J Med Phys. 2013;38(4):155-157.

26. Sahel JA. Quality versus quantity: assessing individual research performance. Sci Transl Med. 2011;3(84):84cm13.

27. Carpenter CR, Cone DC, Sarli CC. Using publication metrics to highlight academic productivity and research impact. Academic emergency medicine : official journal of the Society for Academic Emergency Medicine. 2014;21(10):1160-1172.

28. Peters D, Ceci S. Peer-review practices of psychological journals: thefate of submitted articles, submitted again. Behavioral and Brain Sciences. 1982;5(2).

29. Murtaugh PA. JOURNAL QUALITY, EFFECT SIZE, AND PUBLICATION BIAS IN META-ANALYSIS. 2002;83(4):1162-1166.

30. Dwan K, Altman DG, Arnaiz JA, et al. Systematic Review of the Empirical Evidence of Study Publication Bias and Outcome Reporting Bias. PloS one. 2008;3(8):e3081.

31. Scherer RW, Langenberg P, von Elm E. Full publication of results initially presented in abstracts. Cochrane Database of Systematic Reviews. 2005(3).

32. Hopewell S, Clarke MJ, Stewart L, Tierney J. Time to publication for results of clinical trials. Cochrane Database of Systematic Reviews. 2005(2).

33. Duyx B, Urlings MJE, Swaen GMH, Bouter LM, Zeegers MP. Scientific citations favor positive results: a systematic review and meta-analysis. Journal of clinical epidemiology. 2017;88:92-101.

34. Jannot AS, Agoritsas T, Gayet-Ageron A, Perneger TV. Citation bias favoring statistically significant studies was present in medical research. Journal of clinical epidemiology. 2013;66(3):296-301.

35. Blumle A, Meerpohl JJ, Schumacher M, von Elm E. Fate of clinical research studies after ethical approval--follow-up of study protocols until publication. PloS one. 2014;9(2):e87184.

36. Riveros C, Dechartres A, Perrodeau E, Haneef R, Boutron I, Ravaud P. Timing and completeness of trial results posted at ClinicalTrials.gov and published in journals. PLoS medicine. 2013;10(12):e1001566; discussion e1001566.

37. Ross JS, Tse T, Zarin DA, Xu H, Zhou L, Krumholz HM. Publication of NIH funded trials registered in ClinicalTrials.gov: cross sectional analysis. Bmj. 2012;344:d7292.

38. Hallinan ZP, Getz KA, Bierer BE. Compliance with results reporting at ClinicalTrials.gov. The New England journal of medicine. 2015;372(24):2370.

39. Desjardins-Proulx P, White EP, Adamson JJ, Ram K, Poisot T, Gravel D. The case for open preprints in biology. PLoS biology. 2013;11(5):e1001563.

撰稿人
标签
同行评审论文评审学术出版Research Square
目录
订阅邮件
订阅我们的邮箱后可提前获得AJE作者资源的文章,享受AJE服务的折扣,以及更多的优惠

查看 "隐私协议"

AJE为您的科研之路每一阶段提供帮助!

AJE为您提供英文论文润色、学术论文翻译、期刊选择、文稿排版等一系列学术服务,我们希望可以帮助您充分发挥您的研究潜力,助力您成功将论文发布在国际期刊上。