研究发现:AI让论文摘要变的更难懂了

南京理工大学和武汉大学的信息管理研究人员对过去十年间arXiv平台上超过82万篇学术论文的摘要文本进行了系统分析,发现AI生成文本偏好的形容词、副词使用频率激增,句法结构变得更简单,但可读性却持续下滑。

更新于2025年6月24日

研究发现:AI让论文摘要变的更难懂了

自ChatGPT发布以来,学术摘要的写作风格出现了结构性变化。南京理工大学和武汉大学的信息管理研究人员对过去十年间arXiv平台上超过82万篇学术论文的摘要文本进行了系统分析,发现AI生成文本偏好的形容词、副词使用频率激增,句法结构变得更简单,但可读性却持续下滑

该研究已以预印本形式在arXiv平台公开发布,指出这些风格变化的时间节点与ChatGPT的发布密切吻合,尤其是在计算机科学领域表现最为明显。

预印本形式在arXiv平台公开发布

高级词汇猛增,句法结构变简

研究团队使用自然语言处理工具对arXiv论文摘要从2014年到2023年的写作风格变化进行追踪,发现在ChatGPT发布后,LLM偏好的形容词与副词使用显著增长。其中包括“intricate(复杂的)”、“valuable(有价值的)”、“exceptional(卓越的)”、“primarily(主要地)”和“particularly(尤其)”等典型AI生成术语。

从语言结构上看,摘要平均词长与词汇密度同步上升,意味着学术作者正在使用更丰富、更具表现力的词汇系统。然而与此同时,平均句长与从句复杂度指标下降,说明摘要结构趋于扁平化。

研究者指出:“这一变化体现出ChatGPT等语言模型在辅助写作时,往往通过引入更高级的词汇来强化文本表达,但也使得句式更简化、更直白。”

可读性下降,连接词减少

更复杂的词汇和更直接的句子并未提升论文摘要的可读性。研究采用两项权威指标——Flesch Reading EaseNew Dale-Chall Index对可读性进行评估,发现2023年论文摘要的可读性明显下降,尤其在LLM使用率较高的计算机科学与物理学领域。

其中,FRE评分平均下降5.6%,而Dale-Chall难度评分上升1.2%。这说明摘要中难词的比例增加,句子结构简化却缺乏逻辑衔接,令读者更难把握文章主旨。

研究还发现,传统连接词(如“however”、“therefore”、“for example”)的使用频率减少,表明语篇之间的逻辑链条变得更薄弱。“LLM在生成文本时,虽然能自动生成衔接语,但往往不依赖于传统的连接词,因此降低了语言的一致性和引导性。”

非母语作者更易受AI影响

语言背景也是影响风格变化的重要因素。研究按国家划分作者英语母语背景,发现非英语母语作者(NNESs)在使用LLM后的语言风格变化更加显著。其中,来自中国、日本等国家的作者,在摘要中使用LLM偏好形容词和副词的频率大幅上升,远高于英美作者。

以“comprehensive”、“innovative”、“particularly”等词为例,2023年中国作者在摘要中使用频率比2022年上升超过13%,而同类趋势在美国作者中增幅仅为7%左右。

“这表明非母语学者更倾向于借助ChatGPT这类工具来改善语言表达和逻辑组织”,研究者写道,“LLM帮助他们提升摘要的客观性和连贯性,但也更容易接受LLM统一化的写作模板,从而削弱个性化表达。”

计算机科学受影响最大,数学最小

在学科层面,LLM的影响也存在显著差异。研究将论文分为计算机科学、物理学和数学三类,发现计算机科学论文的语言风格变化最大,包括词汇数量上升、LLM偏好词使用显著增加、句法简化和可读性下降等。

例如,“gpt-4v”、“controlnet”、“diffusion”成为2023年计算机科学摘要中新增频率最高的新词,而数学领域整体保持稳定。研究解释称,计算机科学更依赖模型描述、实验方法与技术术语,因此更需要使用形容词和副词进行修饰。

相比之下,数学以理论推导为主,语言更趋规范化,研究者指出:“数学领域写作强调严谨与公式化,不依赖夸张词汇或情绪性修饰,因此受LLM风格影响较小。”

语言模型如何重塑学术表达?

尽管AI的广泛应用让科研写作变得更高效,研究者提醒学术界不应忽视其带来的深层次影响。

“我们的研究显示,LLMs虽然提升了文本语言密度,但也削弱了文本之间的逻辑结构,降低了可读性。特别是在缺乏英语母语训练背景的学者群体中,更容易出现语言结构过度标准化的问题。”

不过,该研究也认为LLMs并非洪水猛兽。尤其对非母语作者而言,ChatGPT提供了一种低成本、高效率的语言优化工具,在全球科研合作日益频繁的今天,有助于降低语言门槛,促进学术平等。

“未来的关键在于平衡——既要利用LLM提升写作质量,也要保护学术写作的原创性与风格多样性。”研究团队在文末如此总结。

撰稿人
标签
AIAI写论文AI写作
目录
订阅邮件
订阅我们的邮箱后可提前获得AJE作者资源的文章,享受AJE服务的折扣,以及更多的优惠

查看 "隐私协议"

AJE是顶刊推荐率最高的英文润色机构,深受欢迎!

作为Springer Nature等首选的润色机构,AJE已经服务了800多所中国高校以及相关科研课题组,润色完成了超过一百万篇科研论文。