你会信任AI审稿吗?一项新研究揭示论文作者对AI审稿的态度

最近,一项发表在预印本平台上题为To Trust or Not to Trust: Authors’ Response to AI-based Reviews的调查研究首次系统调查了作者对于AI审稿的真实看法。研究团队在两个计算机科学会议中向作者额外提供了一份由ChatGPT生成的辅助审稿意见,并在评审结束后收集作者反馈。

更新于2026年6月1日

你会信任AI审稿吗?一项新研究揭示论文作者对AI审稿的态度

过去两年,人工智能几乎进入了科研出版流程的每一个环节。从文献检索到语言润色,从研究设计辅助到论文写作建议,大语言模型正在以前所未有的速度改变科研工作方式。与此同时,一个曾经只存在于科幻讨论中的问题,也逐渐成为学术出版界不得不面对的现实:如果未来AI开始参与同行评审,科研人员真的会相信它吗?

围绕这个问题,其实很早大家已经进行了大量讨论。支持者认为,AI能够帮助缓解审稿人短缺问题,提高审稿效率,并及时发现论文中的逻辑漏洞和表达问题。反对者则担心,AI缺乏真正的学术判断力,其生成的反馈可能存在事实错误、逻辑偏差甚至幻觉,最终削弱同行评审体系的可靠性。

然而,在这些讨论中,一个最重要群体的声音长期缺席。那就是作者。

毕竟,无论编辑如何设计流程,无论审稿人给出怎样的评价,最终阅读审稿意见、决定是否修改论文的人始终是作者自己。

最近,一项发表在预印本平台上题为To Trust or Not to Trust: Authors’ Response to AI-based Reviews的调查研究首次系统调查了作者对于AI审稿的真实看法。研究团队在两个计算机科学会议中向作者额外提供了一份由ChatGPT生成的辅助审稿意见,并在评审结束后收集作者反馈。

研究结果既没有出现“AI即将取代审稿人”的乐观图景,也没有出现“作者完全拒绝AI”的极端情况。相反,它呈现出一种更加复杂、也更加现实的状态:作者愿意使用AI的建议,但并不愿意把信任完全交给AI。

而这或许正是未来几年AI同行评审最真实的发展方向。

作者愿意采用AI建议,但并不把它当成真正的审稿人

从表面数据来看,这项研究的结果相当积极。绝大多数受访作者认为AI审稿是有帮助的。很多作者表示,AI提出了一些值得思考的问题,并帮助他们发现了论文中原本没有注意到的不足。更值得关注的是,超过八成作者最终在定稿阶段采用了部分AI建议。

如果只看这些数字,很容易得出一个结论:AI审稿已经接近人类审稿人的水平。但进一步分析作者的回答后会发现,事实并非如此。

研究显示,大多数作者依然认为人类审稿意见更加清晰、更值得信任,也更有助于真正提升论文质量。换句话说,作者虽然愿意参考AI意见,却并没有赋予这些意见与领域专家相同的权威性。

我们经常会向不同的人征求反馈。导师、实验室同事、合作作者、领域同行,甚至并非本领域的朋友,都可能对论文提出建议。我们不会无条件接受所有意见,而是会根据自己的判断进行筛选和取舍。

AI在作者心中的定位似乎也正在变成这样一种角色。它更像是一位愿意随时阅读论文的读者,而不是决定论文命运的审稿人。

作者会认真阅读它的意见,也会从中寻找有价值的信息,但最终决定哪些建议值得采纳,哪些建议应该忽略,仍然需要依赖研究者自身的专业判断。

从这个角度来看,AI并没有真正进入同行评审体系的核心位置,而是在外围扮演一种辅助反馈工具的角色。

AI最大的价值,也许恰恰来自它与人类的不一致

整篇研究中,我认为最有启发性的发现并不是AI有多准确,而是AI与人类审稿意见之间存在明显差异。

超过80%的作者认为,AI指出了一些人类审稿人没有提到的问题。与此同时,大部分作者也承认,人类审稿人发现了许多AI没有注意到的缺陷。

研究团队将这种现象描述为一种“互补关系”。这一发现值得深入思考。

过去几年,关于AI同行评审的大部分讨论都围绕一个问题展开:AI是否能够达到人类审稿人的水平?但现实情况可能是,这个问题本身并不是最重要的。

同行评审从来都不是一个高度一致的过程。不同审稿人关注的问题往往完全不同。有的人关注创新性,有的人关注实验设计,有的人关注统计方法,还有的人会特别在意论文表达和逻辑结构。

很多科研人员都经历过这样的场景:同一篇论文收到三份审稿意见,却仿佛来自三个完全不同的世界。

事实上,这种差异恰恰是同行评审制度的重要价值来源。

如果所有审稿人都从相同角度评价论文,那么额外增加审稿人数并不会带来太多收益。正因为每位审稿人拥有不同背景、不同经验和不同关注点,作者才能从多个维度发现论文中的潜在问题。

从这个角度来看,AI最有价值的地方或许并不是模仿人类审稿人,而是提供一个额外视角。

它可能会发现某些表达不清的问题,也可能会指出方法描述中的遗漏,或者提醒作者补充某些论证过程。即使这些意见最终不会直接影响录用决定,它们仍然能够帮助作者完善论文。

这也是为什么许多作者虽然不完全信任AI,却依然愿意认真阅读其反馈。

因为他们需要的并不是一个永远正确的评判者,而是一个能够帮助自己发现盲点的读者。

这项研究揭示了AI评审最大的弱点

谈到AI同行评审,人们最常担心的问题通常是幻觉。担心模型编造不存在的文献,误解论文内容,或者提出毫无根据的批评。

这些问题确实存在,但这项研究发现,作者最常遇到的挑战其实并不是彻底错误,而是另一种更加隐蔽的问题。简单来说,AI往往不知道应该用什么标准去评价一篇论文。

研究中,多位作者指出,AI提出的批评在表面上看十分合理,但这些意见并不一定适用于具体的会议、具体的研究类型或具体的学科背景。

例如,对于竞赛类论文,AI不断要求作者增加理论创新和额外实验,而这些要求实际上并不符合该类论文的评价标准。还有一些作者发现,AI批评他们缺少某项分析,但相关内容事实上已经出现在论文中。

更严重的是,部分作者报告AI错误理解了论文中的数学公式,并基于这种误解构建出一整套所谓的“重大缺陷”。这些案例让我想到一个经常被忽视的事实。真正优秀的同行评审,从来不仅仅是发现问题。

更重要的是判断哪些问题重要,哪些问题不重要;哪些问题会影响论文结论,哪些问题只是表达层面的改进;哪些要求符合目标期刊定位,哪些要求已经超出了合理范围。

这种判断能力恰恰是资深审稿人最重要的价值所在。

一个经验丰富的审稿人不仅知道论文哪里存在不足,更知道这些不足是否足以影响论文发表。他能够结合领域发展现状、已有研究基础以及目标期刊定位进行综合判断。

而目前的大语言模型虽然已经具备强大的语言分析能力,却仍然缺乏这种深层次的学术判断能力。

这也是为什么许多作者愿意采纳AI建议,却依然更信任人类审稿人的根本原因。

不是准确率,而是知情权

这项研究还有一个特别值得出版界关注的发现。许多作者最在意的问题,并不是AI意见是否准确,而是自己是否有权知道AI正在参与审稿过程。调查显示,绝大多数作者希望提前获知AI将参与评审,并支持作者拥有明确的知情权和选择权。这种态度并不令人意外。

对于科研人员而言,投稿中的论文通常包含尚未公开的研究成果、实验数据以及创新想法。无论这些内容是否已经匿名处理,很多作者仍然希望知道自己的稿件是否会被输入第三方AI系统。

从法律角度、伦理角度以及学术诚信角度来看,这种担忧都具有充分合理性。事实上,这一发现也提醒我们,未来AI是否能够进入同行评审体系,真正的关键可能不仅是技术成熟度。更重要的是透明度。

作者需要知道AI在评审流程中的角色是什么,AI生成的内容如何被使用,以及最终决策是否仍然由人类专家完成。如果这些问题得不到清晰回答,即便AI模型不断进步,科研界对于AI审稿的接受度也可能始终受到限制。

人工同行评审仍然是学术出版最重要的质量保障

读完整篇研究后,我最大的感受并不是AI有多强大,而是人工同行评审的重要性再次得到印证。长期以来,同行评审制度一直存在各种问题。

审稿周期过长、审稿人资源紧张、不同审稿人意见不一致、评审质量参差不齐,这些都是现实存在的挑战。

但即便如此,同行评审依然是目前学术界最可靠的质量控制机制之一。原因很简单。科研成果最终服务的是知识体系本身,而不是语言模型。判断一项研究是否具有创新性、是否能够推动领域发展、是否真正解决重要科学问题,本质上仍然需要来自领域专家的经验积累和专业判断。AI可以帮助发现问题,却无法真正替代这种判断。至少在可预见的未来,同行评审最合理的发展方向并不是“AI取代审稿人”,而是“AI辅助审稿人”。AI负责发现问题,人类负责作出判断。AI负责提高效率,人类负责保证质量。

而对于作者而言,真正值得投入精力的也从来不是如何迎合AI,而是在正式投稿之前,让经验丰富的领域专家提前发现论文中的潜在问题。

很多高水平研究团队实际上一直在这样做。他们会在投稿前主动邀请同行专家阅读论文,提前发现实验设计、研究逻辑和论证过程中的不足,从而避免这些问题在正式审稿阶段被指出。

从这个意义上说,真正有价值的并不是一份自动生成的审稿意见,而是一份来自领域专家的高质量同行评审。

对于希望提高稿件录用概率的科研作者而言,在投稿前接受专业同行评审往往比反复修改语言细节更重要。因为决定论文命运的通常不是语法问题,而是研究设计、论证逻辑、创新性定位以及实验完整性等核心科学问题。

这也是为什么越来越多科研人员开始在投稿前寻求专业的预审服务。通过由相关领域专家提供的独立评审意见,作者能够提前了解潜在审稿人最可能关注的问题,并在正式投稿前完成针对性改进。

AI可以帮助作者发现一些问题,但真正能够模拟期刊审稿过程、从学术价值和研究质量角度提出建议的,仍然是经验丰富的科研同行。

比起AI审稿,作者更需要的是投稿前获得真正的专家意见

如果从作者角度思考,这项研究实际上提出了一个非常现实的问题。既然大多数作者愿意在正式投稿前阅读AI生成的反馈,那么他们真正想获得的是什么?答案或许并不是AI本身。

作者真正想获得的,其实是在正式进入同行评审之前,提前知道审稿人可能会提出哪些问题。

这也是近年来越来越多科研人员开始重视投稿前同行评审的原因。与AI自动生成反馈不同,投稿前同行评审本质上是由具有相关学科背景和审稿经验的专家,从审稿人的视角对论文进行独立评估。评审内容通常不仅涉及语言和表达,还包括研究设计、创新性、统计分析、实验完整性、论文逻辑以及与目标期刊的匹配程度等核心问题。

AJE的投稿前同行评审服务为例,其评审工作由相关领域的专家完成,评审流程参考国际期刊正式同行评审标准进行。作者不仅能够获得详细评审报告,还能够提前了解未来审稿人最可能关注的问题,包括研究设计缺陷、论证逻辑不足、创新性表达不充分以及实验数据支撑力度等关键内容。

对于很多科研人员而言,这种服务最大的价值并不是提高语言质量,而是在正式投稿之前发现那些真正可能导致拒稿的问题。

毕竟,当审稿意见出现在投稿系统里时,修改往往意味着数周甚至数月的额外时间成本;而如果这些问题能够在投稿之前被发现,作者就拥有更充分的空间去完善研究和优化稿件。

撰稿人
标签
同行评审
目录
订阅邮件
订阅我们的邮箱后可提前获得AJE作者资源的文章,享受AJE服务的折扣,以及更多的优惠

查看 "隐私协议"

AJE投稿前同行评审 - 助您获得同行专家反馈建议,投稿更自信  

在投稿前获得结构化、针对目标期刊的反馈建议。强化您的稿件,提前解决潜在的审稿人顾虑,让您的稿件为正式同行评审流程做好充分准备。