PaperBanana又升级了!不仅能生成论文插图,还能“听懂”你的修改意见

PaperBanana最新进展来了!本文AJE介绍PaperBanana、PaperVizAgent及PaperBanana-Interact,详解AI如何自动生成论文插图、方法图和统计图,以及多轮交互式修改的新功能。

更新于2026年9月7日

PaperBanana又升级了!不仅能生成论文插图,还能“听懂”你的修改意见

如果你在过去半年关注过 AI 论文插图工具,可能已经看到过 PaperBanana。今年年初,我们曾经介绍过这个项目。当时,PaperBanana 最吸引人的地方,是它试图让 AI 自动完成论文方法图、流程图以及部分统计图表的生成。与普通的 AI 绘图工具相比,它最大的不同,是把“画一张论文图”拆成了一个由多个 AI Agent 协作完成的过程。

但半年过去,这个项目正在发生一个很有意思的变化。现在的研究重点已经不只是:“AI能不能帮我画出一张论文图?”而是进一步变成:“如果我觉得这张图不对,AI能不能真正理解我的修改意见,并且连续改很多轮而不把之前改好的东西弄丢?”

这个问题听起来似乎只是一个交互功能,但实际上,它可能比“第一次生成一张漂亮的图”更加接近科研人员真实的工作流程。最近,PaperBanana 作者团队又发布了 PaperBanana-Interact,专门研究这种多轮、交互式的论文插图修改。因此,如果你之前看过 PaperBanana,那么现在确实值得重新认识一下这个项目。

PaperBanana现在到底是什么?

先说一个容易混淆的变化。PaperBanana 最初的研究论文名为 PaperBanana: Automating Academic Illustration for AI Scientists,论文由 Dawei Zhu、Rui Meng、Yale Song 等作者完成,并于 2026 年 1 月发布在 arXiv。研究的核心目标,是利用视觉语言模型(Vision-Language Model, VLM)和图像生成模型,让 AI 自动生成适合科研论文使用的插图。

不过,目前 Google Research 的官方仓库已经将这一框架重新命名为 PaperVizAgent,并明确说明 PaperVizAgent 就是此前广为人知的 PaperBanana。

github截图

与此同时,作者团队自己的 PaperBanana GitHub 项目仍然在持续更新,并明确表示,希望把它继续发展成一个面向科研人员的开源学术插图项目。项目目前已经支持 Hugging Face Spaces,并增加了模型选择、OpenRouter 等功能。所以,如果你搜索 PaperBanana,会看到几个不同的名字:

  • PaperBanana
  • PaperVizAgent
  • PaperBanana-Interact

它们并不是完全互不相关的三个项目,而是围绕“AI自动生成和修改学术插图”不断向前发展的研究路线。

它和普通AI画图工具最大的区别是什么?

如果只是输入一句话,让 AI 生成一张漂亮的流程图,其实已经不算特别新鲜。现在很多通用的图像生成模型都可以做到这一点。真正困难的是科研插图并不是普通的“图片”。

一张论文方法图通常需要同时满足几个条件:研究流程不能错,模块之间的关系不能错,箭头方向不能错,文字不能遗漏,而且整个图还要能够帮助读者理解论文中的方法。换句话说,科研插图首先是信息表达工具,其次才是视觉作品。

PaperBanana 最初的思路,就是把这个问题拆开处理。它不是让一个模型从输入文字直接跳到最终图片,而是设计了一个多 Agent 协作流程。其中包括 Retriever、Planner、Stylist、Visualizer 和 Critic 等不同角色,分别承担参考图检索、内容规划、视觉风格设计、图像生成以及结果评价等任务。

这样的设计其实很符合论文插图的实际制作过程。研究者通常也是先确定“我要表达什么”,然后考虑“应该怎么组织”,接着确定颜色、布局和视觉风格,最后不断修改。PaperBanana做的事情,是尝试把这个过程交给一组 AI Agent 协同完成。

PaperBanana——它不是凭空画图

PaperBanana 一个非常重要的关键词是 reference-driven generation(参考驱动生成)。也就是说,它并不是完全凭模型自己的“审美”去画。系统会从参考案例中学习学术插图的组织方式和视觉风格,然后结合当前论文的内容进行生成。这也是为什么它和普通的 AI 绘图工具存在明显区别。

对于科研人员来说,“画得漂亮”其实不是最重要的。例如,一张神经网络结构图如果颜色非常漂亮,但把两个模块之间的数据流向画反了,那么这张图依然没有科研价值。

PaperBanana 的原始研究因此设计了 PaperBananaBench,包含来自 NeurIPS 2025 论文的 292 个方法图测试案例,用于从多个维度评价自动生成的论文插图,包括 faithfulness、conciseness、readability 和 aesthetics 等指标。论文报告显示,PaperBanana 在这些维度上整体优于其比较的基线方法。

这一点其实非常值得科研人员注意。AI论文插图真正需要解决的,并不是“把图画得像艺术作品”,而是让图准确、清楚、简洁,并且符合科研表达习惯。

从“一次生成”到“不断修改”

如果你实际做过论文图,就会知道一个现实问题:第一版通常不是最终版。哪怕是自己用 Illustrator、PowerPoint、Figma 或其他软件画图,也很少能够一次完成。你可能会先发现:“这个模块应该放到左边。”然后又发现:“这里应该增加一个箭头。”接下来可能还会要求:“把这三个模块合并一下。”最后又会发现:“颜色太多了,整体需要更简洁。”这就是科研插图最真实的制作过程。

因此,真正让 PaperBanana 在最近半年出现明显变化的,恰恰是它开始研究多轮交互式修改。

2026 年 8 月 31 日,作者团队发布了新的研究 PaperBanana-Interact: Scientific Diagram Refinement with Multi-Turn Human Feedback,研究重点已经从“如何生成第一张图”进一步转向“如何根据用户反馈连续修改一张图”。

为什么“连续修改”反而比第一次生成更难?

乍看之下,这个问题似乎很简单。用户说:“把左边的模块移到右边。”AI修改就好了。但实际情况没有这么简单。第二轮修改可能是:“把右边这个模块也往下移动一点。”第三轮:“刚才那个箭头方向不要改。”第四轮:“保留之前的颜色,但把三个模块合并。”如果 AI 每一次只看当前指令,而不记得前面的要求,就很容易出现一个问题:改好了A,又把B改坏了。

这就是 PaperBanana-Interact 特别关注的两个问题:quality drift(质量漂移) 和 forgetting(遗忘)。

前者指的是随着修改轮次增加,图片整体质量反而越来越差;后者则是模型在满足新要求的时候,把此前已经正确完成的修改又弄丢了。这其实和很多科研人员使用 AI 修改图片时的体验非常相似。

作者这次是怎么解决的?

PaperBanana-Interact 没有简单地让模型“再生成一次”。它采用了一个更加复杂的 critic-and-refine loop(批评—修改循环)。简单理解,可以把它想象成一个 AI 设计团队。用户提出修改要求之后,系统首先检查当前图片:

  • 哪些要求已经完成?
  • 哪些要求还没有完成?
  • 之前的修改有没有被破坏?
  • 图和原始论文内容是否仍然一致?
  • 整体视觉效果有没有下降?

然后 Critic 会根据这些信息提出修改建议,Refiner 和 Visualizer 再完成下一轮调整。

更重要的是,这个系统还加入了一个多目标评价器(multi-objective critic),同时考虑当前用户要求、此前的用户要求、原始论文内容以及最终的视觉呈现质量。为了处理越来越长的交互历史,系统还设计了一个 summarizer,将之前的视觉修改历史压缩成更容易被后续 Agent 使用的文本记忆。

换句话说,它不再只是:Prompt → Image而更接近:Paper → Figure → Feedback → Critique → Refinement → Feedback → Refinement……这可能才是 AI 真正进入科研图表制作流程之后,更现实的工作方式。

研究人员真的会要求继续修改

PaperBanana-Interact 还有一个很值得关注的数据。研究团队进行了一个初步的用户研究,共有 14 名参与者。结果显示,所有参与者在看到第一版图之后都提出了进一步修改的要求,而 86% 的参与者认为修改后的图更加令人满意。这个结果其实并不令人意外。因为很多时候,研究人员只有看到第一版图之后,才真正知道自己想要什么。在脑子里想象:“我要一个简洁的三阶段流程图。”和真正看到一张图之后说:“这里其实应该把两个模块合并,而且箭头应该从下面绕过去。”完全是两回事。

所以,AI绘图未来很可能并不是“帮你一次生成最终答案”,而是通过不断对话,让研究人员逐渐把脑中的视觉表达变得具体。

PaperBanana-Interact的效果怎么样?

目前公布的结果还是比较有意思的。研究团队构建了 MTPaperBananaBench,包含 292 张科学插图以及 3,518 条用户需求标注,专门用于研究多轮论文插图修改。

实验发现,在不同测试设置下,PaperBanana-Interact 相比基线方法能够带来约 11.9–18.6 个点的图表质量提升,同时将 forgetting 降低约 3.7–6.2 个点。

PaperBanana-Interact截图

作者团队还公布了更加直观的结果:在部分设置中,系统可以达到最高约 94% 的用户需求满足率。在人类成对比较实验中,PaperBanana-Interact 的结果也在相当比例的案例中获得了参与者偏好。

当然,这些结果应该被理解为研究论文中的实验结果,而不是意味着它已经可以在所有科研场景中稳定生成“投稿即用”的图片。这一点还是需要保持理性。

现在普通科研人员可以直接使用PaperBanana吗?

相比我们半年前介绍它的时候,现在的答案已经发生了一些变化。PaperBanana 已经不再只是论文里的研究原型。

作者自己的 GitHub 项目目前已经提供了更加完整的交互方式,并且项目已经部署到 Hugging Face Spaces。2026 年 3 月的更新还加入了模型选择以及 OpenRouter 支持,使用户可以选择不同的视觉语言模型和图像生成模型。不过,它距离一个真正成熟的商业化科研绘图软件仍然有区别。

目前官方项目依然强调这是一个开源研究项目,而且作者明确表示目前没有商业化计划。项目 README 同时提醒,核心方法是在作者于 Google 实习期间开发的相关工作基础上形成,Google 已经针对相关工作流申请了专利,这意味着商业应用时需要特别注意相关限制。

所以,如果你只是想体验 AI 如何自动生成论文方法图,可以尝试。但如果你准备把生成结果直接用于正式投稿,仍然建议进行人工核查和后期调整。

论文插图可以交给AI,但科学判断不能

最后还是要提醒一点。无论 PaperBanana、PaperVizAgent,还是其他 AI scientific figure generator,目前都不能替代研究人员对图表内容的最终判断。尤其是涉及实验流程、统计结果、机制模型和数据图表时,视觉上的正确并不等于科学上的正确。一张图可能看起来非常专业,但仍然可能存在模块遗漏、箭头方向错误、变量关系错误、统计数据表达错误等问题。

因此,比较合理的使用方式应该是:让 AI 负责降低绘图成本,让研究人员负责科学内容把关。

对于方法流程图,可以让 AI 完成初稿和多轮视觉优化;对于统计图,应尽可能基于真实数据和可复现代码生成,而不是让图像模型“猜”数据;对于最终投稿版本,还需要根据目标期刊的 Figure guidelines 检查字体、尺寸、分辨率、颜色以及文件格式等要求。

从这个角度来看,PaperBanana真正值得科研人员关注的地方,并不是“以后是不是不用 PowerPoint 画图了”,而是它正在探索一个更有价值的问题:

当AI开始理解论文内容、参考已有图例,并能够根据研究人员的反馈不断修改时,论文插图制作会不会成为科研工作中最早被 Agent 化的环节之一?至少从 PaperBanana 最近半年的发展来看,这个方向已经越来越清晰了。

撰稿人
标签
论文图片
目录
订阅邮件
订阅我们的邮箱后可提前获得AJE作者资源的文章,享受AJE服务的折扣,以及更多的优惠

查看 "隐私协议"

AJE提供一系列科研支持服务,助力论文成功发表!

AJE为您提供英文论文润色、学术论文翻译、期刊选择、文稿排版等一系列学术服务,我们希望可以帮助您充分发挥您的研究潜力,助力您成功将论文发布在国际期刊上。