
科研领域的 AI Skills,正在从“帮你写点代码”向“替你完成一段科研工作流”发展。
但这类工具有一个很容易被忽略的问题:能生成代码,不代表能完成分析;能画出一张漂亮的图,不代表图里的数据正确;能输出一份论文复现报告,更不代表模型真的训练过。
尤其是在科研数据分析和论文实验复现这两个场景中,AI 很容易制造一种“任务已经完成”的错觉。
比如,用户给出一组实验数据,AI 很快生成了配色漂亮、字体规范的柱状图,但仔细检查才发现均值计算错了;让 AI 复现一篇深度学习论文,它可以给出完整的 PyTorch 代码、训练命令和结果分析,实际上却没有真正启动训练。
这次测评就不看工具介绍有多漂亮,而是把测试重点放在两个问题上:
- 科研画图: 给不同 Skills 同一组实验数据,看谁能完成从数据理解到图表输出的全过程。
- 论文复现: 给不同 Skills 同一篇 Attention 论文,要求完成最小切片复现,并且真正训练 20 轮。
我们重点考察的不只是最终产物,还包括数据是否准确、代码能否执行、训练是否真实发生,以及工具有没有诚实记录无法复现的部分。
评价分为五档:

数据分析与科研画图
需要说明的是,下面的分档是针对本次测试任务的实用评价,不是对工具所有功能的全面排名。尤其是代码复现,能否运行还会受到操作系统、Python 版本、依赖环境和计算资源影响。
一、数据分析与科研画图:漂亮只是第一步,数据正确才是硬道理
科研绘图类 Skills 的竞争相当激烈。
目前已经出现了不少专门面向科研工作者的工具,有些强调期刊规范,有些擅长复刻顶会论文风格,还有一些试图把数据分析、图型选择、代码生成和视觉检查整合成完整流程。
从功能设计来看,这些工具已经不只是简单地调用 Matplotlib 或 Seaborn。真正有价值的 Skills,应该知道什么时候该画箱线图、什么时候应该展示原始数据点,以及误差线究竟代表 SD、SEM 还是置信区间。
这次我们采用同题测试:给不同工具提供完全相同的实验数据,要求它们完成数据分析并生成科研论文级图表。
评价时主要看四个方面:数据读取与统计计算是否准确、图型选择是否合理、图表视觉质量如何,以及最终结果能否通过程序和人工核查。
第一档:夯爆了——scientific-agent-skills,科研分析的流程管理能力很强
夯爆了——scientific-agent-skills
项目地址: K-Dense-AI/scientific-agent-skills
177 个科研 Skills · 数据分析、统计、可视化及科研工作流
如果只看这次数据分析和科研绘图任务,我最看重的不是它最终画出了什么样的图,而是它对整个科研流程的理解。
scientific-agent-skills 并不是一个单独的画图 Skill,而是一套科研 Agent 能力库。它把数据分析、统计检验、Matplotlib、Seaborn 和 Scientific Visualization 等能力拆分成不同的 Skills,让 Agent 根据任务调用相应的方法。
其中比较有价值的是三个环节:
第一,数据分析和绘图不是一回事。
它提供 Exploratory Data Analysis、Statistical Analysis 和 Scientific Visualization 等不同能力。也就是说,拿到数据后,并不是直接生成一张图就算完成,而是可以先检查数据结构、缺失值、异常值和统计假设,再进入绘图环节。
第二,对科研数据的处理有明确边界。
它强调保留原始数据、记录数据转换和排除规则,不允许为了让图更漂亮而隐藏或修改数据。对于不支持的数据格式,也要求明确说明边界,而不是假装完成分析。
第三,流程具有可追溯性。
统计结果、图表生成和文件检查都有相应的规范。特别是 Scientific Visualization Skill,不仅关注图表外观,还要求检查不确定性、缺失数据、颜色可访问性和最终导出文件。
从仓库的设计来看,这套工具的优势不是某一种图特别漂亮,而是把科研数据分析中容易遗漏的步骤纳入了工作流程。
GitHub+2
本次测试中,它最值得肯定的也是流程规范性:对于科研任务而言,知道应该检查什么、保留什么证据,往往比快速生成一段代码更重要。
当然,它也有局限:Skills 库的规模和规范程度,并不等于每一种具体分析任务都能自动得到正确结果。最终仍然要看实际执行的代码和数据。
评价: 如果希望给科研 Agent 建立一套相对完整的数据分析与绘图规范,scientific-agent-skills 值得优先考虑。
第二档:顶级——scipilot-figure-skill,懂科研绘图,但方法名也能画错
顶级——scipilot-figure-skill
项目地址: Haojae/scipilot-figure-skill
科研数据可视化顾问 · Matplotlib / Seaborn / Plotly
如果说 scientific-agent-skills 更像一套科研工作规范,那么 scipilot-figure-skill 就更像一位专门负责论文配图的科研绘图顾问。
它有一个比较明确的设计理念:先思考,再绘制(Think first, plot second)。
具体工作流程包括:
- 数据剖析:检查列类型、样本量、数据分布、异常值和相关性。
- 图型选择:结合数据特点和科研论证目标选择图表。
- 规范检查:根据目标期刊和图表类型考虑字体、尺寸、配色和导出格式。
- 图表绘制:使用 Matplotlib、Seaborn 等工具完成绘制。
- 视觉自检:将图表渲染成 PNG,再检查文字裁切、图例遮挡、子图对齐等问题。
它还有一个很实用的特点:会主动拦截不合理的绘图要求。
例如,用户要求对每组只有 5 个样本的数据画均值柱状图,它会提醒这种方式可能掩盖原始数据分布,建议改用箱线图叠加散点图。
对于科研绘图,这种主动纠错能力比单纯的模板调用更有价值。
不过,本次同题实测也暴露了一个不应该忽略的问题:图画得漂亮,不代表图中的科学信息一定正确。
测试过程中曾出现方法名画错的问题。图表的整体风格、布局和视觉效果都不错,但方法名称出现错误。这类问题在普通展示场景中可能不太显眼,放进论文却很严重。
原因并不复杂:AI 能够理解图表的视觉结构,却不一定能正确理解每个标签背后的实验含义。
例如,两个方法名称只有几个字符不同,或者某个缩写在不同论文中有不同含义,模型就可能根据上下文自行补全。
这也是我认为它不能直接拿到最高档的原因。
评价: 科研绘图流程和视觉质量都很强,尤其适合需要期刊级图表的研究者。但方法名称、图例、坐标轴和统计标注必须逐项核对。
第三档:顶级——paper-plot-skills,最有顶会论文的视觉味道
顶级——paper-plot-skills
项目地址: Trae1ounG/paper-plot-skills
顶会论文图表风格复现 · 数据到图表 / 图片到代码
这款工具的定位和前两款不太一样。
它并不打算建立一套完整的科研统计分析流程,而是把重点放在论文图表的视觉风格上。
它从真实论文中提炼出多种图表样式,包括:
- 配对柱状图与增益箭头;
- 分组柱状图与斜线填充;
- 带置信区间的训练曲线;
- 带局部放大的 Loss 曲线;
- t-SNE 聚类散点图;
- 双序列雷达图。
比较有意思的是,它不只是提供一套通用的 Matplotlib 配色,而是把真实论文中的字体、线型、坐标轴、标注和图表布局整理成可重复使用的风格参数。
它支持两种使用方式:一种是把自己的实验数据填入指定风格模板,另一种是上传论文图表截图,让 Agent 分析并尝试复现。
从这次测试的出图效果看,它最突出的优势就是视觉风格。与常见的 AI 默认绘图相比,成图更接近机器学习和人工智能顶会论文中常见的图表设计。
尤其是训练曲线、对比柱状图和雷达图,能够明显减少研究者反复调整字体、线宽、图例和坐标轴的时间。
但它的局限也很明确:视觉风格复现,不等于科学数据分析。
如果输入的数据本身有问题,模板不会自动帮你发现统计错误;如果图表需要展示特殊的实验设计,也不能因为某种风格好看就强行套用。
因此,我更愿意把它看成一套顶会论文图表设计模板库,而不是完整的科研数据分析工具。
评价: 如果目标是让实验结果图更接近顶会论文的视觉风格,它非常值得尝试;但数据计算和统计判断仍然需要独立核查。
这一轮的实测结论
三款工具其实代表了三种不同的科研绘图思路:

这里有一个非常重要的教训:AI 生成图表后,一定要自己核对数据。
建议至少检查以下内容:
- 原始数据与图中数据点是否一致;
- 均值、标准差、标准误和置信区间是否计算正确;
- 样本量 n 是否正确;
- 统计检验方法和显著性标记是否对应;
- 图例、方法名称、坐标轴单位是否准确;
- 是否存在不合理的坐标轴截断、平滑或数据遗漏。
期刊级画图不是把图做得像 Nature 或 NeurIPS 就够了。真正合格的科研图表,必须做到视觉表达和科学数据一致。
二、实验代码与论文复现:真正启动训练,才有资格说复现成功
如果说科研绘图还可以通过肉眼判断一部分质量,那么论文复现就完全是另一回事。
一份看起来完整的复现代码,可能存在很多问题:
- 依赖没有安装,代码根本无法启动;
- 数据集路径不正确,训练脚本无法读取数据;
- 模型结构与论文描述不一致;
- 超参数被 AI 自行修改,却没有记录;
- 训练命令执行了,但实际上没有完成预期轮数;
- 最终给出了一组实验结果,却无法提供对应的训练日志。
这次我们统一选择经典论文 Attention Is All You Need 作为测试对象。
论文: Attention Is All You Need
发表: NeurIPS 2017
原文: arXiv:1706.03762
选择它的原因很简单:Transformer 是当前深度学习领域的重要基础架构,论文的模型结构、注意力机制和训练流程都有明确描述,适合用来测试 Agent 能否理解论文并转化为可执行代码。
当然,我们并不是要求这些工具在有限资源下完整复现原论文的机器翻译实验。
本次采用的是最小切片复现(Minimal Reproduction):保留 Transformer 的核心结构和训练逻辑,适当缩小数据规模与模型配置,要求 Agent 真正完成 20 个训练 Epoch。
重点检查:
- 是否正确理解论文中的核心方法;
- 是否能建立可运行的实验环境;
- 是否真正执行训练,而不是只生成代码;
- 是否能提供 20 轮训练日志和实际结果;
- 如果因为资源、依赖或实现差异无法完全对齐论文,是否如实记录。
这里需要特别区分:最小切片复现可以验证代码和训练流程是否跑通,但不能据此宣称已经复现了原论文的实验结果。
第一档:夯爆了——labrat,真正把复现当成科研工作
夯爆了——labrat
项目地址: fcakyon/labrat
PhD Research Skills · 论文复现、实验设计、训练管理与结果核查
如果让我从这批工具中挑选一个最适合认真做论文复现的,我会把 labrat 放在第一位。
它最有价值的地方,不是帮你写出一份漂亮的 PyTorch 代码,而是把复现任务拆解成一系列需要实际完成、实际检查的科研工作。
它包含多个专门的 Skills:
- reproduce:从论文理解到复现实验;
- experiment-design:实验设计与消融分析;
- launch:训练前检查与实验启动;
- debug:根据证据排查训练问题;
- compare:比较不同实验结果;
- paper-check:核查论文中的数字与代码是否一致。
这种设计很符合真实科研工作的逻辑。
例如,复现模型时不能只关心代码能不能运行,还要核对模型配置、数据处理方式、训练参数和最终结果。训练过程中出现异常,也不能仅凭某个中间指标就贸然终止实验。
labrat 的 README 甚至列出了开发者在真实研究工作中遇到的错误案例,包括没有比较配置就重新启动长时间训练、过早终止实验,以及错误操作文件路径造成数据损失等。
在本次 Attention 最小切片测试中,labrat 最突出的表现是复现流程真正跑通,而且实验过程记录得最完整。
与只提供代码的工具相比,它更关注实验执行过程中的证据:运行了什么配置、训练到了第几轮、日志是否存在、结果能否对应到实际运行。
尤其值得肯定的是,它不会轻易把一个训练任务包装成已经完成的论文复现。
这点非常重要。
科研实验中,训练启动成功和实验结果可靠是两件事。真正负责任的 Agent 应该能够区分这两个状态。
评价: 本轮论文复现首选。它最接近一个认真做实验的研究助理,而不是一个只会写代码的编程助手。
第二档:人上人——paper-reproduction-skill,兼容性方面的黑马
人上人——paper-reproduction-skill
项目地址: YR1926/paper-reproduction-skill
论文获取、环境配置、数据集管理、代码修改与测试
这款工具给我的印象是:没有特别复杂的科研理论包装,但在实际复现流程中解决了不少很现实的问题。
它把论文复现拆成四个主要阶段:
- 获取论文和官方源码;
- 分析依赖并配置运行环境;
- 根据源码要求放置和映射数据集;
- 修改代码、调整参数、补充评估指标并运行测试。
其中,我认为最值得关注的是它的环境兼容性处理。
做过深度学习实验的人都知道,很多时候代码本身没有问题,真正让人头疼的是依赖冲突。
例如,NumPy、Numba、protobuf 和 TensorBoard 之间的版本兼容问题,可能让一个原本正确的项目无法正常启动。
paper-reproduction-skill 专门考虑了这些常见问题,并提供兼容性检查和自动修复思路。同时,它使用 .paper-repro-state.json 保存任务进度,支持中断后继续执行。
这在实际科研工作中很实用。
复现一个项目可能需要多次调整环境、修改路径、测试数据读取方式。如果每次中断后都要重新解释之前做了什么,效率会很低。
这款工具的定位不是最全面的科研 Agent,但它把复现过程中最容易卡住的工程问题处理得比较清楚。
评价: 兼容性处理是亮点,适合需要从论文源码出发搭建实验环境的研究者。它可以作为 labrat 之外的实用选择,但不能仅凭环境配置成功就判断实验复现成功。
第三档:NPC——Agent-Loop-Skills,有循环优化,不等于论文复现
NPC——Agent-Loop-Skills
项目地址: gaasher/Agent-Loop-Skills
Agent 循环优化 · 数据分析、科研写作、代码优化与自动研究
这款工具比较容易让人产生误解。
从项目介绍来看,它的能力覆盖面很广,包括科研写作、数据分析、代码优化和自动化研究。它强调通过反复执行、评估和改进,让 Agent 不断优化任务结果。
例如,它提供 data-analysis、optimize-loop 和 tournament-autoresearch 等工作流,甚至展示了 CIFAR-10 小型模型在固定训练预算下通过多轮竞争优化验证准确率的案例。
所以,它并不是没有实际能力。
问题在于:循环优化和论文复现是两个不同的任务。
前者关注如何让一个结果越来越好,后者关注如何根据论文中的方法和实验条件,重新建立一套可以核查的实验。
例如,Agent-Loop-Skills 可以帮助优化代码或实验结果,但这不意味着它天然具备完整的论文获取、模型结构核对、环境配置、数据集管理和复现记录能力。
它的 scientific-figure 工作流也值得关注。项目展示了通过循环核查数据来源、修正图表问题并迭代评分的案例,说明这种机制确实能帮助科研绘图减少错误。
但如果把它直接当成论文复现工具,就有些名不副实了。
评价: 适合用作 Agent 的循环优化机制,不适合单独承担完整论文复现任务。不要因为项目名称中有科学研究和自动化,就默认它能替你完成真实实验。
其他工具:能写代码,却不一定愿意真正跑实验
这次还需要提醒一个常见问题:有些工具的宣传介绍看起来非常全面,但实际使用时,可能只停留在论文解读、代码生成或实验方案设计阶段。
这些能力本身并没有问题,但不能和真实复现混为一谈。
例如:
- 只输出 Transformer 模型结构和训练代码,没有运行训练脚本;
- 给出一段训练命令,却没有检查进程是否结束;
- 生成了 Loss 曲线,却没有对应的真实训练日志;
- 训练轮数没有达到要求,却直接宣称复现完成;
- 参数与论文不一致,却没有说明修改原因。
这类工具即使能够生成很完整的实验报告,也不应该获得较高的复现评价。
尤其要警惕一种情况:AI 根据预期结果直接生成训练曲线和实验分析,却没有真正运行模型。
没有运行证据的训练结果,只能算生成内容,不能算实验结果。
Attention 复现中,最容易被忽略的三个问题
这次测试让我更加确信,评估论文复现类 Skills,不能只看最终有没有一张 Loss 曲线。
有三个问题值得研究者特别关注。
第一,20 个 Epoch 必须有真实运行证据。
至少应该保留训练命令、运行环境、训练日志、实际 Epoch 计数和模型检查点。
如果工具只生成了 train.py,却没有真正执行,那只能算完成了代码编写。
第二,最小切片不等于原论文复现。
Attention Is All You Need 原论文使用的是机器翻译任务,涉及特定的数据集、模型配置、优化器、学习率调度和训练策略。
如果为了在有限资源下完成 20 轮训练,缩小了模型维度、数据规模或批次大小,这些调整必须明确记录。
尤其是模型维度、注意力头数、层数、Dropout、优化器、学习率和数据预处理方式,不能只写一句“为了适配环境进行了调整”。
第三,参数对不上时,要老实记账。
这是我认为所有复现类 Skills 都应该遵守的底线。
建议让 Agent 输出一份参数差异记录:

具体数值应以真实配置文件和论文为准,不能为了让报告看起来完整而补造。
如果某项参数无法确认,就标记为未知;如果训练未完成,就明确写出失败位置。
这比生成一份看起来完美的复现报告更有科研价值。
三、最终排名:画图和复现,应该分别选谁?
把两轮测试放在一起看,会发现这些 Skills 的能力边界其实非常清楚。
科研数据分析与画图
scientific-agent-skills——夯爆了
流程最规范,适合建立完整的数据分析和科研绘图工作流。
scipilot-figure-skill——顶级
科研绘图质量高,图型选择和视觉自检能力突出,但需要人工核对方法名。
paper-plot-skills——顶级
顶会风格最突出,适合快速生成高质量论文图表。
论文实验复现
labrat——夯爆了
复现流程真正跑通,实验过程记录最完整。
paper-reproduction-skill——人上人
环境配置和兼容性处理是亮点,适合工程化复现。
Agent-Loop-Skills——NPC
循环优化能力有价值,但不能直接替代完整的论文复现工作流。
我的实际使用建议
如果你主要做科研数据分析和期刊级绘图,我建议优先考虑 scientific-agent-skills 和 scipilot-figure-skill。
两者的侧重点不同:前者更适合建立规范的数据处理、统计分析和可视化流程;后者更适合需要反复打磨论文配图的场景。
如果你已经有明确的数据和图表设计方案,只是希望快速得到接近顶会论文风格的图,paper-plot-skills 反而可能更省时间。
如果你的主要任务是复现论文,我会优先推荐 labrat。它的价值在于把实验执行、训练检查和结果核查放进同一套工作流,而不是停留在代码生成阶段。
paper-reproduction-skill 则适合处理源码获取、环境配置和依赖冲突等工程问题。
目前最大的踩坑点:把产物当成证据
这批工具给我的最大感受是,科研 AI Skills 已经能够完成不少以前需要研究者手动操作的工作,但距离真正可靠的科研自动化仍然有距离。
而且,这种距离并不一定体现在模型能力上,很多时候恰恰出现在最后的验证环节。
一张图可以非常漂亮,但统计值可能不对;一份代码可以非常完整,但训练根本没有启动;一份复现报告可以写得头头是道,但模型参数与原论文已经相去甚远。
所以,使用这些工具时,我认为有两条原则不能妥协:
画图之后,自己核数据。 不要只看配色、字体和布局,还要核对原始数据、统计计算、样本量、方法名称和图注。
复现过程中,参数差异必须记账。 不要为了让 AI 显得任务完成度很高,就接受它悄悄修改模型结构、训练参数和数据规模。无法复现的地方应该明确标记,不能用生成的结果填补实验空白。
科研 AI Skills 真正值得期待的方向,不是让 AI 生成更多代码和更漂亮的图,而是让每一个分析结果、每一次模型训练和每一项实验结论都有据可查。
能真正跑通,是能力;能够证明自己跑通了,才是科研工作中更重要的能力。
