什么是有问题的研究实践(QRPs),如何避免它?

什么是QRP?你可能根本不知道就不知道自己是不是有这种行为,特别是在有发表论文压力的情况下。本文AJE将解释什么是 QRP,它们为什么是错误的,以及如何避免 QRP。

更新于2023年10月11日

什么是有问题的研究实践(QRPs),如何避免它?

有问题的研究实践(QRPs)和学术不端行为是指不透明、不道德或不公平的活动,从而威胁到科研诚信和出版过程。然而,由于 QRPs 难以被识别和界定,而且有很大概率会得逞,因此它们是 "有问题的",但不是技术上的违法行为。要想成为一名符合学术道德的科研人员,就应该禁止在所有科研工作中运用 QRP。

学术界普遍存在的 QRP 和学术不当行为造成的严重后果,如实验无法重复问题。与此同时,QRP 也激发了许多解决方案,例如预注册和预印本模式。

但什么是QRP?你可能根本不知道就不知道自己是不是有这种行为,特别是在有发表论文压力的情况下。本文AJE将解释什么是 QRP,它们为什么是错误的,以及如何避免 QRP。

什么是有问题的研究实践(questionable research practice)?

QRP 和学术不端行为是指在研究过程中所做的决定,会让人对你研究工作的严谨性和精确性产生疑问。

简单说: QRP 是指不透明的做法。透明度(和可重复性)一直是你研究工作所要追求的目标。这是为你自己,为你所在领域,也为了科学发展。

QRP 包括一些低级的违规行为,如选择性地引用自己的工作来提高知名度,也可以包括更严重的、影响职业生涯的违规行为,如进行多次分析直到得到重要结果,或者明知研究结果后,再去假设实验结果。参与QRP会导致假阳性结果的上升,最终导致所谓的可重复性危机以及对研究过程的不信任。

QRPs 一词在 John、Loewenstein 和 Prelec 于 2012 年发表的一篇文章中得到普及。这些作者确实区分了学术欺诈(即数据造假)行为和QRPs。虽然学术欺诈不多见,但 QRP 在大多数研究领域都相当普遍。事实上,在过去三年中,估计每两名科研人员中就有一人参与过至少一次 QRP。

为什么有些人要使用QRP方法?

科研人员参与QRP行为是为了应对科研领域的激烈竞争,更快的发表研究成果就是其中之一。这种发表论文的压力源于一种普遍的观念,即你的研究结果是阴性的那么就没什么用,只能发表在统计学上有意义的研究成果。此外,大多数期刊的高拒稿率也进一步加大了研究人员 "不发表就毁灭 "的压力。负面结果被视为无用,不能发表。

这些外部压力迫使研究人员有意无意地选择性使用 QRP 来发表 "重要 "研究成果。这些做法的不一致和选择性使用也使其对学术追求和整个过程造成了危险。

试想以下情景: 你进行数据分析,但没有得到显著的统计学结果。你查看数据集,发现一个异常值,移除后得到了显著结果。然后,你就此在一份期刊上发表了这篇论文。

但是,如果结果一开始就是显著的,你还会做同样的事情吗?

答案很可能是否定的。研究人员参与 QRP行为 主要是为了发表重要成果。这样可以提高研究的可影响力,从而提高被引率。这样就能获得更多的科研经费,而且对学术前景有很大帮助。

然而,凡事都有代价,如果你这么做了,就会破坏科学的严谨性和准确性。更糟的是,有些研究人员可能在不知情的情况下参与了这个过程。

最常见的 QRP 类型,以及如何避免它们

最常见的 QRP 包括:不准确记录研究过程、引用不当、选择性报告、P值黑客(P-hacking)、HARK-ing(知道研究结果后提出假设)、看到结果后收集更多数据、不讨论相反证据以及不共享数据。我们按照研究过程中可能出现的顺序列出了这些问题,并提出了解决方案,以确保你不会出现这些问题。

不准确记录研究过程

研究人员必须认真记录研究过程中的所有步骤和决策。不这样做就属于 QRP,因为它违反了研究中最重要的做法之一——正确记录。

科学研究中的一切都必须尽可能详细地逐一记录。这包括从研究项目的构思到采样计划、所用材料、数据处理和管理、分析、结果和下一步行动的所有步骤。

归根结底,科学记录必须包括为什么要做某事、如何做、谁做的以及为谁做的。记录应该写得足够详细,以便其他人能够理解你为什么要做某件事情,并重复你是如何做的方法。

没有列出研究的所有步骤实际上会导致危险的后果。例如,如果你没有记下给药的确切剂量或时间,可能会对健康造成负面影响。此外,不记录研究过程中的所有步骤会使其他人难以重复你的研究。

避免这种 QRP 的方法之一是在研究项目开始前为研究过程编写详细的规程。并且要写得足够详细,以便任何实验室成员或其他感兴趣的研究人员都能完美地执行,而且最好能在 BMJ Open 或 OSF registries 等开放获取平台上注册。其他人必须能够重复你的研究工作。

此外,实验室主管和导师需要为研究小组的记录保存流程制定明确的标准。这包括将保存记录的工作委托给某些团队成员,提供保存良好的记录范例,提供培训以确保同事掌握保存记录的最佳方法,并确保这些标准得到遵守。

对概念、技术等引用不当(或根本没有引用)

引用不当是另一种有问题的研究实践,即把想法或概念归因于错误的来源或作者。例如,当作者从一篇论文中获取信息并引用该论文而不是概念的来源时,就会出现这种情况。如果研究背景引用工作做得不正确或不彻底,这种情况就很容易发生。

引用参考文献的目的是将正确的信息来源归功于作者。不正确的引用参考文献是很危险的,因为它会将功劳归于错误的来源,使其成为剽窃,无论是否有意为之。这会造成严重后果,比如被停职。正确的引用参考文献也很重要,因为它可以将你自己的想法与其他作者的想法区分开来。

为避免引用不当,你应始终引用原创想法或概念。要做到这一点,你可以找到原始论文或引文,并在文章中引用该论文或引文,而不是引用它的另一篇文章。

避免不当引用的另一种方法是善用 Zotero 或 Mendeley 等文献管理工具。这将帮助你整理参考文献,并确保在文章中保持正确引用。

与不当引用有关的是,不归功于负责研究工作或提出原创想法的人也是一种QRP。这与没有注明对研究或写作过程做出贡献的作者有关,可以通过在文章中使用 CReDiT 作者声明来避免。

选择性报告

选择性报告是指研究人员只报告有意义或与其预测一致的结果、变量、条件甚至研究。这种做法也被称为 "偷梁换柱"。选择性报告还可以指优先讨论有效的研究,而不披露无效的研究,以及不报告其工作中的所有实验条件、变量或数据(即异常值)。

试想一下,你进行了一项研究,其中包括两个实验组和一个对照组。然而,在研究过程中,其中一个实验组的参与者没有按照说明完成任务,影响了数据质量。因此,你决定不将这些数据纳入最终论文,只在方法中提及一个实验组。因此,读者会认为实验 "成功 "了。

这种做法非常容易误导读者,因为它没有介绍实验的所有发现,而且会让实验看起来 "成功",而实际上并不成功。在正常的研究中,所有条件、实验和结果都需要报告、说明和解释。没有成功的原因和负面结果也需要适当报告。报告负面结果非常重要,因为这有助于指导其他研究人员,防止他们走上类似的路线。

这种 QRP 也很危险,因为如果你只包含与你的预测一致的结果或研究,你就会遗漏未包含的分析或研究中的所有信息。这些缺失的信息可能会引发一种新的思考或做事方式,而如果不对其进行充分的介绍和解释,我们永远也不会知道。

避免这种 QRP 的一种方法是创建一个详尽的研究设计,可以容纳你预测的所有变量和交互作用。 然后,你需要进行对研究设计和变量数量具有足够统计能力的研究。 这是因为统计效能低下的研究很可能会失败; 拥有足够的能力会减少失败的研究。

在开始研究之前,应先计算功效分析。 有许多有用的统计软件,例如 Superpower 或 R 中的 pwr package,它们为不同统计测试所需的最小功率提供有用的阈值。 如果提前考虑这些方面,即使一项研究不起作用,你仍然有充分的理由提前进行这项研究。

如果你确实需要从研究中排除某些数据或变量,则避免此 QRP 的另一种方法是创建一组明确定义的排除标准。 需要提前正确概述和解释为什么排除数据或变量的理由,最好是在预注册或表示协议中。 这将帮助你避免随机排除数据,这可能会损害你的结果,并使你的研究过程更加透明。

P值黑客(P-hacking)

P值黑客,或p-hacking,是指进行许多不同的分析以发现统计上显着的结果,而实际上没有效果的情况。 换句话说,*p*-hacking 是对数据集进行统计分析直到获得重大发现的过程。

当你做一些事情,比如在没有事先理由的情况下排除某些参与者,只是为了重新运行你的分析并获得意义,一旦你达到 p < 0.05,你就停止收集数据,或者你在你的研究中包含了许多结果但只报告,你就参与了 p-hacking 论文中的重要内容(类似于选择性报告)。

这种 QRP 会造成误报的增加,或者认为效果存在,但实际上并不存在。 这可能会扭曲元分析结果,并对特定领域或一般问题给出错误的概念。 P-hacking 也值得怀疑,因为研究人员已经决定了数据应该显示什么,而不是实际显示什么,这增加了更多偏见并降低了客观性。

p-hacking 的一种解决方案是预注册,这要求你在开始学习之前创建详细的分析计划。 这将帮助你预先确定统计测试的标准,然后你可以在分析中遵循这些标准。 注册报告也是避免 p-hacking 的好方法,因为无论结果如何,它们基本上都能保证发布。

避免此 QRP 的另一种方法是执行 Bonferroni 校正。 此方法调整 p 值以考虑对数据集执行的多项统计测试。 换句话说,Bonferroni 校正减少了误报的可能性。 然而,当你测试大量假设时,这种方法会变得非常保守,这可能会导致获得更多假阴性结果。

在 OSF 或 Github 等开放获取存储库中共享你的原始数据,或将其放置在 Research Square 等预印本平台上,可以允许其他研究人员执行你的分析并验证你的发现,从而有助于避免 p-hacking。

已知结果后进行假设 (HARK-ing)

HARK-ing是研究人员提出事后假设的过程,就好像它们是先验的一样。 换句话说,你在收集结果后提出了一个假设,就好像从一开始就预测了这一点一样。 当研究人员发现结果与最初的预测不一致并因此进行更改以与现有数据保持一致时,可能会出现这种 QRP。

HARK-ing还需要排除先验假设(如果它们不起作用)。 该 QRP 还可以包括诸如提出事后文献中发现的假设以及将它们呈现为就像从一开始就被预测一样的实践。

HARK-ing 的主要危险在于假设总是被证明而永远不会被证伪,这使得学术界无法找出为什么某些假设是错误的。 HARK-ing 还加剧了许多领域中出现的重复性危机,因为如果假设总是针对特定样本进行定制,那么它们就无法推广或重复。

HARK-ing也会导致许多研究偏见。 这模糊了验证性研究和探索性研究之间的界限。 它还限制了有关相反证据或无效内容的有价值的信息。 如果受到导师的鼓励,这种 QRP 也可能导致向学生传达错误的科学模型。

避免这种 QRP 的最佳方法是鼓励整个研究过程的透明度。

首先,在数据收集或分析之前明确定义并列出所有假设,最好是预注册或注册报告。

其次,确保你拥有适当的设计和统计能力来检验你的假设。 然后,报告所有结果,即使它们与你最初的假设相悖。

最后,如果你的结果产生了新的想法或假设,那么在讨论部分对此保持透明。

查看结果后收集更多数据

看到结果后收集更多数据是指研究人员在分析结果后决定获取更多数据。 通常,他们这样做是因为结果并不显著或者没有朝着他们预期的方向发展。

值得注意的是,在数据收集过程中检查数据通常是安全的。 只有当研究人员不断检查数据并在发现显著性时立即停止收集时,这个 QRP 才会出现问题。 这是危险的,因为它利用了抽样误差,并在实验停止时夸大了反应大小。

与 HARK-ing 一样,在看到结果后收集更多数据是另一个 QRP,其中决策是事后做出的。 这可以通过设置关于数据收集何时应先验结束的停止标准来避免。

这可以通过执行功效分析来确定检测感兴趣的效果所需的最小样本量(假设功效为 80% 或 90%)来完成。 这可以使用 Superpower 等软件来完成。

重要的是,你使用的抽样策略必须在论文中公开讨论。 这将有助于未来的研究人员考虑小样本量带来的任何偏差。

不讨论相反的证据

当研究人员不讨论与他们的结果或假设相悖的证据时,他们的工作就是不完整且无效的。

当这种情况发生时,研究人员只会发表与他们的论文相符的文章,而不会考虑相反的观点或发现。 这描绘了一个过于积极的主题图景。 这可能会阻止读者获得得出有意义的结论所需的全部信息。

这种 QRP 在医疗健康界尤其危险,因为披露药物的任何副作用或药物无效的原因至关重要。 不披露相反的医学证据是不道德的,可能会导致有害的公共卫生结果。

例如,默克公司在 1999 年推出了一种名为 Vioxx 的新型止痛药,声称它可以减少胃肠道问题。 然而,该公司严重淡化了该药物引起的心脏病和中风增加的严重副作用。 隐瞒这种相反的证据给许多人带来了严重后果,最终也给默克公司本身带来了严重后果,默克公司支付了超过 5800 万美元的和解金。

通过在论文引言中首先提出与你的研究问题相关的所有不同观点或理论,可以避免这种 QRP。 这样读者就可以了解最新技术的全部状态。 在工作过程中,像你这样的研究人员必须仔细关注并解释所有结果,即使是那些与你的预测或期望完全矛盾的结果。 然后,在讨论部分,你需要清楚地解释你的结果与之前提出的所有不同观点之间的关系。

不共享你的数据

不共享数据是指研究人员的常见做法,即不在开放访问存储库上共享他们的原始数据、分析和分析脚本。 这种做法是值得怀疑的,因为如果原始数据不可用,实验就无法重复。 此外,其他研究人员也想知道你是如何得到这些结果的。

尽管在过去的几十年里,许多教学者并没有鼓励这种做法,但趋势正在发生转变。 许多开放获取存储库(例如 OSF)和全球倡议,例如英国可重复性网络(UK Reproducibility Network)鼓励开放共享数据和分析代码,以提高可重复性和透明度。

为了避免这种 QRP,请在完成项目后将原始数据、分析代码和脚本上传到开放访问存储库。 然后,当你将论文提交给期刊时,你可以参考论文中数据的位置。

撰稿人
标签
QRP学术不端学术道德
目录
订阅邮件
订阅我们的邮箱后可提前获得AJE作者资源的文章,享受AJE服务的折扣,以及更多的优惠

查看 "隐私协议"

影响因子排名前100的期刊,有65本推荐AJE英文润色!

来自Nature的实验数据表明, 使用AJE的润色服务之后,来自中国的稿件接收率平均由28%提高到了42%。