
准备开题报告、撰写文献综述,或者开展一项系统综述(Systematic Literature Review),几乎是每个研究生都绕不开的工作。
这类任务看起来非常适合交给 AI:输入一个研究方向,让它搜索论文、整理研究进展、归纳研究空白,最后生成一份结构完整的综述。
但真正用起来,问题往往比想象中多。
有些 AI Skills 能够生成漂亮的研究框架,却找不到足够的真实文献;有些声称支持 PRISMA 流程,实际上只是在报告中放入一张流程图;还有一些工具,GitHub 星数很高,安装之后却需要研究者花大量时间调整配置,甚至连完整案例都没有。
这次我们把测试重点放在文献综述、开题报告和系统综述三个科研场景,比较不同 AI Skills 的实际表现。尤其采用同一个研究主题、让不同工具分别完成综述任务的方式,观察它们在文献检索、数量控制、内容组织和最终交付方面的差异。
这次测试最重要的结论是:能生成综述,不代表真正完成了文献综述;能跑完工作流,也不代表获得了足够可靠的研究证据。
一、文献综述类 AI Skills,为什么看起来都很强,用起来却不一定靠谱?
与普通的 AI 写作工具相比,文献综述类 Skills 的任务链条要长得多。
它不仅需要理解研究主题,还要完成文献检索(Literature Search)、文献筛选(Screening)、全文阅读(Full-text Analysis)、信息提取(Data Extraction)、证据综合(Evidence Synthesis),最后才能进入综述写作。
其中任何一个环节出现问题,都可能影响最终结果。
实际使用中,这类工具有两个特别突出的通病。
第一个问题:文献数量达不到要求,却依然努力交付一篇完整综述。
假设你准备写一篇关于多模态大语言模型在医学影像分析中应用的综述,希望纳入至少40篇相关研究。
正常情况下,AI 应该先检索文献,再根据研究主题、发表时间、研究类型等标准进行筛选。
但部分 Skills 的处理方式并不理想。
检索阶段可能只找到十几篇相关论文,后续却没有明确提醒用户证据数量不足,而是直接开始写作。为了让文章显得完整,AI 可能反复使用少量论文支撑不同观点,甚至出现引用与论述不完全对应的情况。
最终得到的文章结构完整、语言流畅,甚至还有研究趋势和未来展望,但真正能够支撑这些结论的文献并不充分。
这就是典型的「文献数量不达标,文章却按时交付」。
第二个问题:工作流看起来非常规范,实际研究结果却比较注水。
现在不少 AI Skills 都喜欢强调完整工作流。
从研究问题定义,到数据库检索、文献去重、标题摘要筛选,再到全文阅读、质量评价和最终写作,每个环节都有明确的步骤。
看起来非常专业。
但问题在于,流程完整与研究质量可靠是两回事。
例如,一个 Skill 声称按照 PRISMA 规范完成系统综述,却没有保留真实的检索记录,也没有明确报告排除文献的原因。
还有一些工具会自动生成文献筛选数量、研究分类表和 PRISMA 流程图,但这些数字是否来自真实检索和筛选记录,却很难保证。
对于研究生而言,这种结果尤其危险:它可能让你误以为自己已经完成了系统综述,实际上只是得到了一份模仿系统综述格式的 AI 生成报告。
因此,这次测评不单纯看工具能不能生成文章,而是更关注几个实际问题:
- 是否真正执行了文献检索,而不是只根据模型已有知识写作?
- 能否找到足够数量的相关文献?
- 文献数量不足时,是否会明确报告?
- 能否区分方向探索、叙述性综述和系统综述?
- 是否能够保留文献筛选、证据提取等过程记录?
- 最终结果是否具备进一步人工核查和修改的价值?
二、实测分档:哪些 AI Skills 值得优先尝试?
这次不按照 GitHub 星数简单排名,而是按照实际科研用途和工作流表现分档。
S档:专业任务定制型
优先推荐
latex-arxiv-SKILL
面向机器学习(Machine Learning)领域的 arXiv 综述写作,专业定制度最高。
A档:流程执行与研究探索型
值得尝试
agent-research-skills、ResearchPilot-Skills
前者更重视研究流程和结果透明度,后者适合研究方向探索与开题思路梳理。
B档:特定方法学辅助型
按需使用
AI-Powered-Literature-Review-Skills、slr-prisma
更适合有明确研究问题、纳入排除标准和系统综述需求的用户。
C档:高预期、低可用性型
谨慎选择
一些高星数但配置复杂、缺少完整案例,或者实际无法顺利运行的工具。
不建议仅凭 GitHub 热度直接投入正式科研工作。
1. S档:latex-arxiv-SKILL——机器学习综述的专业定制选手
机器学习综述优先推荐
如果你的研究方向属于机器学习、深度学习或人工智能算法,那么 latex-arxiv-SKILL 是值得优先考虑的工具。
它与通用型文献综述 Skill 最大的区别,是目标非常明确:不是简单生成一份研究领域总结,而是围绕能够投稿至 arXiv 的 ML Survey 论文组织工作。
这意味着它更关注机器学习综述本身需要解决的问题。
例如,在整理一个算法研究方向时,普通 AI 工具可能按照论文发表年份罗列研究成果:
2022年有哪些方法,2023年有哪些改进,2024年又出现了哪些新模型。
这样的组织方式虽然容易阅读,却不一定能形成真正有价值的综述。
一篇高质量的 ML Survey 更需要回答:
- 不同算法路线之间有什么本质区别?
- 各类方法解决了什么问题?
- 不同模型使用了哪些数据集和 Benchmark?
- 评价指标是否具有可比性?
- 哪些方法已经形成相对成熟的技术路线?
- 当前研究还存在哪些值得进一步探索的问题?
latex-arxiv-SKILL 的优势就在于专业化程度更高,能够围绕机器学习综述的特点组织研究内容,而不是套用通用学术综述模板。
另一个值得关注的地方是 LaTeX 输出。
对于希望将综述进一步整理为 arXiv 预印本的研究者来说,LaTeX 格式比普通 Word 文档更容易融入已有学术写作流程。
实际评价:
它最大的优势是定制度,而不是适用范围。
如果你研究的是深度学习模型、机器学习算法、Benchmark 或计算机视觉等方向,它的价值比较突出。
但如果你的研究涉及临床医学、公共卫生、护理学等领域,就没有必要为了使用专业工具而强行套用它的工作方式。
它也不能替代研究者对文献真实性、研究贡献和方法学质量的判断。
2. A档:agent-research-skills——宁愿承认文献不足,也不强行凑数
流程透明度值得肯定
文献综述类 AI 最让人头疼的事情之一,就是明明没有找到足够的文献,却依然表现得信心十足。
agent-research-skills 比较值得肯定的一点,是它能够区分「完成了工作流」和「达到了预期研究目标」。
例如,当用户要求围绕某个研究主题检索一定数量的文献时,工具会执行相应的研究流程,但如果最终纳入的文献数量没有达到预设要求,它会明确报告这个问题。
这看起来只是一个小细节,实际上非常重要。
假设你要求系统纳入50篇研究,最终只筛选出27篇符合条件的文献。
比较负责任的处理方式应该是告诉你:
- 实际检索和筛选得到了多少篇文献;
- 哪个环节导致文献数量不足;
- 当前证据能否支撑预期的综述范围;
- 是否需要调整检索词、时间范围或纳入标准。
而不是为了满足用户要求,随意扩大文献范围,甚至用不相关的论文填充参考文献列表。
agent-research-skills 的价值就在于这种结果透明度。
它更适合已经有明确研究问题、希望系统执行文献检索和整理任务的研究者。
不过,需要注意:报告文献不足不等于已经保证了所有检索结果的完整性。研究者仍然需要检查数据库覆盖范围、检索策略和全文获取情况。
实际评价:
它不一定每次都能给你一篇令人满意的综述,但能够明确暴露任务没有完成的部分。
对于科研工作而言,这种诚实有时比一份看起来完美的 AI 报告更有价值。
3. A档:ResearchPilot-Skills——开题前期的研究方向探索助手
开题思路优先推荐
并不是所有研究生使用 AI Skills,都是为了直接生成一篇完整综述。
很多时候,真正的困难发生在开题之前。
导师给了一个比较宽泛的研究方向,例如「人工智能在疾病诊断中的应用」,但具体研究什么疾病、采用什么方法、解决什么问题,还没有明确。
这时候直接让 AI 写综述,往往会得到一份非常宽泛的内容。
ResearchPilot-Skills 更适合用在这个阶段。
它的定位不是单纯替你完成文献综述,而是帮助研究者探索方向、梳理研究思路。
例如,你可以围绕一个宽泛的研究主题,让它协助分析:
- 当前研究领域有哪些主要分支?
- 不同研究方向的核心科学问题是什么?
- 哪些方向已经有较多研究积累?
- 哪些问题仍然存在争议?
- 哪些研究切入点适合进一步发展为硕士或博士课题?
它的价值主要体现在帮助研究者从一个宽泛的主题逐步缩小到一个可操作的研究问题。
对于刚开始准备开题报告的硕士生和博士生,这一步尤其重要。
因为开题报告真正需要回答的,并不是「这个领域有多少研究」,而是:
为什么要研究这个问题?现有研究解决了什么?还有什么没有解决?我的研究准备从哪里切入?
ResearchPilot-Skills 更适合帮助你完成前期思路梳理,而不是直接替代后续的文献证据核查。
实际评价:
如果你还没有确定研究问题,不建议一开始就使用强调完整系统综述流程的工具。
先把研究方向想清楚,再开展有针对性的文献检索,往往更加高效。
4. B档:AI-Powered-Literature-Review-Skills——适合有明确流程要求的系统综述
系统综述辅助
如果你的目标不是普通叙述性综述,而是系统综述,那么就需要更加关注研究流程的规范性。
AI-Powered-Literature-Review-Skills 的主要价值,是将 AI 辅助能力嵌入文献综述的多个阶段。
与直接让模型总结几十篇论文不同,这类工具更强调将文献整理成结构化的研究材料。
例如:
- 确定研究问题和综述范围;
- 制定检索策略;
- 根据纳入与排除标准筛选文献;
- 提取研究设计、样本特征和主要结果;
- 对研究结果进行分类和综合;
- 根据证据组织综述内容。
其中,结构化信息提取尤其值得关注。
假设你正在研究某种干预措施对疾病预后的影响,那么仅仅总结每篇论文的结论是不够的。
你还需要提取研究对象、样本量、干预方式、对照组、随访时间、主要结局指标等信息。
只有这些数据被整理到相对统一的框架中,才有可能进一步比较不同研究之间的差异。
这也是系统综述与普通文献总结的重要区别。
不过,使用 AI-Powered-Literature-Review-Skills 时,不能只看它是否生成了完整的研究报告。需要特别检查它是否保留了实际检索记录、筛选依据和数据提取结果。
实际评价:
更适合研究问题已经明确、需要开展结构化文献整理的用户。
如果你只是准备开题,还没有确定 PICO 等研究框架,建议先不要急着进入完整系统综述流程。
5. B档:slr-prisma——医学系统综述的规范化辅助工具
医学与循证研究场景
在医学、护理学、公共卫生和循证医学领域,系统综述有一套相对成熟的方法学要求。
其中最常见的就是 PRISMA(Preferred Reporting Items for Systematic Reviews and Meta-Analyses)。
PRISMA 2020 提供了系统综述报告清单和文献筛选流程图等规范,帮助研究者清楚交代文献是如何检索、筛选和纳入的。
slr-prisma 的价值在于将 PRISMA 相关要求融入系统综述工作流程。
对于医学研究生来说,这种设计具有一定的实用性。
例如,开展一项关于某种治疗方法有效性的系统综述时,需要明确:
- 数据库检索获得了多少条记录?
- 去重之后还剩多少条?
- 标题和摘要筛选排除了多少篇?
- 有多少篇进入全文评估?
- 全文排除的原因是什么?
- 最终纳入了多少项研究?
这些信息必须有真实的检索和筛选记录作为依据。
不能因为 AI 生成了一张格式规范的 PRISMA 流程图,就认为系统综述已经符合方法学要求。
还需要强调,PRISMA 主要是系统综述的报告规范,并不是一套能够自动保证研究质量的认证标准。
即使工具能够生成 PRISMA 流程图,也不意味着它已经完成了偏倚风险评价(Risk of Bias Assessment),更不意味着可以自动得出可靠的 Meta 分析结果。
实际评价:
如果你正在准备医学系统综述,slr-prisma 值得优先放入候选工具。
但建议把它定位为流程辅助工具,而不是能够独立完成循证研究的自动化研究者。
三、同一个主题,让四家各写一篇综述:真正的差距在哪里?
单独看每个 Skill 的功能介绍,很容易被各种专业术语和工作流吸引。
因此,更有意义的比较方式是让不同工具面对同一个研究主题。
这里选择一个兼具机器学习和医学研究特点的主题:
统一测试主题
多模态大语言模型在医学影像分析中的应用、技术进展与局限
Applications, Technical Advances, and Limitations of Multimodal Large Language Models in Medical Imaging
统一要求:
- 聚焦近年相关研究;
- 检索真实学术论文;
- 整理主要技术路线;
- 分析代表性研究的优缺点;
- 识别尚未解决的研究问题;
- 提供可进一步核查的参考文献。
这个主题比较适合进行横向比较。
因为它既涉及 ML 算法,也涉及医学影像应用,还需要区分技术研究和临床验证,能够比较充分地暴露不同工具的能力边界。
为了避免把工具的功能介绍当成实际成果,下面重点比较四类工具在同题任务中应当接受的交付检验,而不把未经核验的文献数量或性能指标包装成实测数据。

第一组:latex-arxiv-SKILL,技术分析更重要
如果把同一主题交给 latex-arxiv-SKILL,比较合理的评价重点不是它能不能写出医学综述,而是能否把主题中的机器学习技术问题讲清楚。
例如,可以要求它重点分析:
- 医学视觉语言模型(Vision-Language Models)的主要架构;
- 图像编码器与语言模型的连接方式;
- 多模态对齐和指令微调方法;
- 不同医学影像数据集和 Benchmark;
- 模型在跨模态推理中的局限。
这样的综述更接近一篇计算机科学领域的技术 Survey。
它的优势是技术分类和专业写作定制,而不是临床循证研究。
如果最终文章主要讨论算法架构、训练策略和模型性能,它的定位就比较合适。
但如果要回答某种医学干预是否有效,或者某种诊断技术能否改善患者结局,就不能仅凭 ML 领域的论文整理得出结论。
第二组:agent-research-skills,重点看有没有把问题说清楚
同样的主题,如果要求检索一定数量的研究,agent-research-skills 的核心考察点就是实际检索结果与目标之间的差距。
例如,要求纳入50篇符合标准的研究。
如果最终只有30篇符合条件,优秀的工作流应该保留这一结果,而不是将30篇包装成50篇。
对于研究者来说,这种处理方式具有实际意义。
因为医学影像领域的多模态大模型研究可能分散在计算机科学、医学信息学和临床应用等不同领域。
如果检索范围过窄,就可能遗漏重要研究;如果范围过宽,又可能纳入大量与研究问题关系不大的论文。
这时,工具能够不能明确报告检索和筛选的实际情况,比它能不能快速生成一篇长综述更加重要。
第三组:AI-Powered-Literature-Review-Skills,重点看证据组织
这类工具需要重点考察它能否将论文转化为可比较的研究证据。
例如,同样是医学影像多模态模型,不同研究可能使用不同的数据集、影像类型、任务和评价指标。
如果 AI 只是逐篇总结论文,很容易形成一份篇幅很长、但缺乏横向比较的文献清单。
真正有价值的综述应该进一步归纳:
哪些模型主要用于影像报告生成?
哪些模型侧重视觉问答?
哪些研究关注医学图像与临床文本的联合推理?
不同任务使用的评价指标是否一致?
目前的研究结果能否支持临床应用层面的结论?
因此,评价重点应该放在证据提取是否完整、研究分类是否合理,以及不同论文之间是否形成了有意义的综合分析。
第四组:slr-prisma,重点看流程能不能被复核
对于医学系统综述,文章结构只是结果的一部分。
更重要的是能否追溯研究过程。
例如,工具输出了1000条初始检索记录、去重后700条、全文评估100篇,最终纳入30篇研究。
这些数字不能只是出现在报告中的几个统计结果,而应该能够对应实际检索记录、去重文件和筛选结果。
研究者还需要检查:
- 检索式是否完整保存?
- 不同数据库的检索日期是否记录?
- 纳入和排除标准是否提前确定?
- 全文排除原因是否逐项记录?
- 是否对纳入研究开展适当的偏倚风险评价?
如果这些信息无法追溯,即使最终生成的 PRISMA 流程图非常漂亮,也不能视为完成了一项规范的系统综述。
同题比较最值得记住的一点是:四类工具解决的并不是同一个问题。
ML Survey 关注技术体系,结构化研究代理关注流程和证据,开题探索工具关注研究问题,而 PRISMA 工具关注系统综述的方法学规范。
不能简单用一篇文章写得是否流畅来决定谁更优秀。
四、那些星数很高,却不一定值得使用的 AI Skills
文献综述类工具还有一个容易被忽视的问题:GitHub 星数与实际可用性之间并没有必然联系。
有些项目介绍非常完整,甚至提供了几十个功能模块,但真正安装和运行时,却可能遇到以下情况。
1. 星数很高,但配置成本过高
有些 Skills 依赖多个外部工具、API、Python 环境和数据库接口。
单独看每个依赖都不复杂,但组合起来之后,安装成本就会明显增加。
对于不熟悉命令行的研究生而言,可能还没开始检索文献,就已经花了几个小时处理环境问题。
如果一个工具需要大量人工调试才能完成一次基础任务,它的实际科研效率就需要重新评估。
2. 功能介绍很完整,却没有真正可复现的案例
有些工具介绍中列出了检索、筛选、提取、分析和写作等全部功能。
但没有提供完整的案例。
例如,没有明确展示一个研究主题从检索开始,到最终纳入文献、提取数据和生成综述的全过程。
这种情况下,很难判断它到底能够完成什么。
对科研工具而言,一个完整的案例往往比一长串功能描述更有说服力。
3. 能够启动,但无法真正跑通
还有一些工具的问题更直接。
可能能够成功加载 Skill,也能输出一份研究计划,但在进入实际文献检索或全文阅读阶段时就无法继续。
常见原因包括外部数据库访问受限、API 配置不完整、全文无法获取,或者依赖的其他 Skill 没有安装。
这类工具尤其需要谨慎。
因为「成功调用」和「成功完成任务」之间存在明显区别。
我的建议是,不要把 GitHub 星数作为选择科研 AI Skills 的主要依据。
真正值得关注的指标应该是:有没有完整案例、能不能稳定运行、文献能不能核查,以及能否交付可以继续使用的研究材料。
五、研究生应该怎么选?不同科研任务,对应不同工具
如果你已经准备开始使用这些工具,没有必要全部安装一遍。
根据研究阶段和任务类型,选择一两个最合适的工具就够了。
场景一:准备写机器学习领域的综述论文
优先选择 latex-arxiv-SKILL
适合深度学习、计算机视觉、自然语言处理和机器学习算法方向。重点让 AI 帮助你建立技术分类、比较算法路线、整理 Benchmark 和研究趋势。
场景二:准备开展医学系统综述
优先选择 slr-prisma
可以结合 AI-Powered-Literature-Review-Skills 辅助文献筛选和数据提取。重点保留检索式、筛选记录、排除原因和偏倚风险评价结果。
场景三:刚开始准备硕士或博士开题
优先选择 ResearchPilot-Skills
先梳理研究方向、现有研究进展和潜在科学问题,再逐步缩小研究范围,形成可以通过文献和实验验证的研究假设。
场景四:已经有明确主题,需要执行文献检索和整理
优先选择 agent-research-skills
重点关注检索结果、文献数量和任务完成情况。特别适合不希望 AI 为了交付一份完整报告而掩盖证据不足的研究者。
还有一个建议:不要把 AI 生成的综述直接当作开题报告或论文初稿提交。
无论使用哪一种 Skill,都应该保留人工核查环节。
尤其是参考文献,至少需要检查论文标题、作者、DOI、发表年份和原文内容。对于核心结论,还应该回到全文确认研究设计、样本和实际结果。
如果涉及医学系统综述,文献筛选和偏倚风险评价更不能完全交给 AI 自动决定。
六、AI 可以帮你整理文献,但不能替你完成科研判断
文献综述、开题报告和系统综述,看起来都是围绕已有论文展开的工作,但三者的目标并不相同。
开题报告需要找到值得研究的问题;叙述性综述需要建立对一个领域的系统认识;机器学习 Survey 需要梳理技术路线和研究进展;医学系统综述则需要按照明确的方法学要求整合证据。
因此,不存在一个能够在所有场景下都表现最好的 AI Skill。
这次比较中,我更愿意把 latex-arxiv-SKILL 看作专业领域定制工具,把 agent-research-skills 看作强调流程透明度的研究助手,把 ResearchPilot-Skills 看作开题前期的思路整理工具,而把 AI-Powered-Literature-Review-Skills 和 slr-prisma 放在系统综述的辅助工作流中。
真正值得推荐的科研 AI 工具,不是能够在几分钟内生成一篇几十页的综述,而是能够清楚告诉你:
找到了哪些文献,排除了哪些研究,哪些结论有证据支持,还有哪些问题目前无法回答。
对正在准备开题或撰写综述的研究生来说,这些能力远比生成一篇语言漂亮、结构完整的文章更加重要。
