How to Use AI for a PRISMA-Compliant Systematic Review
A practical guide to using AI in systematic reviews without breaking PRISMA compliance. Where AI legitimately helps (screening, extraction), where it shouldn't, the reporting requirements, and a step-by-step workflow.
过去,由三名研究人员组成的团队需要花费六到九个月的时间进行系统审查。瓶颈不是阅读,而是筛选。从 PubMed、Embase、Scopus 和 Cochrane 提取的一万二千份摘要,每份摘要都需要两名独立审稿人根据预先注册的标准来决定包含或排除。那个时代,数学围绕着它推动着职业生涯。
人工智能改变了数学。现代语言模型可以在几秒钟内筛选摘要,在几分钟内从全文 PDF 中提取研究特征,并在几个小时内总结数百篇论文。如果使用得当,人工智能可以将审查的筛选阶段从几个月缩短到几周。如果使用不当,它会产生不可复制、不合规的文档,无法通过同行评审。
本指南介绍了人工智能在 PRISMA 合规审查中合法提供帮助的地方、不应在哪些地方进行工作、人工智能使用带来的报告要求,以及满足 PRISMA 2020 和 PRISMA-trAIce 扩展的分步工作流程。
PRISMA 实际需要什么(快速回顾)
PRISMA 2020 是系统评价的标准报告清单。它控制着你如何描述你所做的事情,而不是你如何做。人工智能使用的相关部分是:
搜索策略报告。 记录搜索的每个数据库、使用的每个搜索字符串以及运行搜索的每个日期。可重复性是标准——其他研究人员应该能够重新运行你的搜索并得到相同的结果。
筛选报告。 记录筛选了多少记录、由多少独立审阅者筛选、如何解决分歧以及每个阶段排除了多少记录。经典的 PRISMA 流程图就在这里。
数据提取报告。 记录提取了哪些数据、由谁提取以及如何解决分歧。
偏倚评估的风险。 记录所使用的工具(Cochrane RoB 2、ROBINS-I 等)以及执行者。
报告任何偏差。 任何不符合预先注册协议的事情都必须报告,并给出理由。
PRISMA-trAIce 扩展(2024 年发布,2025 年更新)在 PRISMA 2020 的基础上添加了特定于 AI 的报告要求。简短版本:在审核中使用 AI 的任何地方,您都可以报告工具、版本、提示以及人工验证的执行方式。
Where AI legitimately helps
在这些用途中,人工智能可以在不改变审查内容的情况下加速工作。
重复检测。 从多个数据库中提取的记录通常会重复。传统的参考文献管理器(Zotero、EndNote、Covidence)可以很好地做到这一点。人工智能在这里已经大材小用了——继续使用标准工具。
**初始标题和摘要筛选。**人工智能可以根据您的纳入标准对每个摘要进行评分,并对它们进行排名或预先分类。仍然需要两名人工审核员做出最终的包含/排除决定,但人工智能预分类大大减少了人工时间。这是大多数评论中价值最高的人工智能用途。
**全文检索和分类。**人工智能可以提取出版物元数据,识别全文是否与摘要的声明匹配(有时不匹配),并标记看似会议摘要、勘误表或不同标题下的重复出版物的论文。
从结构化论文中提取数据。 患者特征、剂量、效果大小的表格 - AI 可以将这些内容从全文 PDF 中提取到结构化数据提取表中,然后由两名人工审核员进行验证。验证时间比完全手动提取要短得多。
综合和写作支持。 起草方法部分的筛选程序描述,起草PRISMA流程图文本,总结纳入研究的特征表——人工智能有助于写作而不改变评论的实质内容。
非英语来源的翻译。 如果您的评论包含非英语论文,人工智能翻译已经变得足够可靠,可以支持包含这些来源。记录方法中使用的工具。
Where AI should NOT do the work
这些用途跨越了人类审阅者必须做出的实质性决策的界限。
最终包含/排除决定。 PRISMA 需要两名独立的人工审核员进行包含/排除。人工智能可以对候选人进行预先分类、排名和筛选,但具有约束力的决定必须由人类做出。这对于合规性来说是没有商量余地的。
偏倚评估风险。 RoB 工具需要对研究设计、盲法、人员流失和报告进行判断。人工智能可以总结论文关于每个领域的内容,但偏见评级本身必须是人类的。
**质量评估和证据等级(GRADE)。**相同的逻辑。 AI总结;人类率。
异质性的解释。 研究结果之间的差异是否反映了临床异质性、方法学异质性或偶然性是需要临床和方法学专业知识的判断。
最终综合和结论。 叙述综合、优势和局限性的讨论、临床意义——这些是审查小组的贡献。人工智能可以起草最初的语言,但实质性的判断是你的。
**检测伪造的或造纸厂的内容。**具有讽刺意味的是,人工智能对伪造研究的检测仍然不可靠。目前的标准是通过人眼观察可疑纸张,再加上“问题纸张筛选器”等工具。
The reporting requirements
如果您在审核中的任何地方使用人工智能,PRISMA-trAIce 要求您报告。满足大多数期刊的结构:
在方法部分中,筛选程序小节:
摘要筛选采用两阶段过程进行。初始
使用[工具名称,版本,通过访问进行分类
API/web 上的日期] 具有以下提示模板:“[精确提示]”。
该分类用于确定摘要的优先顺序以供人工审核。
然后筛选所有摘要,无论初始分类如何
由两名审稿人([作者姓名缩写])独立使用[Covidence /
Rayyan /其他工具],通过讨论或通过解决分歧
当未达成共识时,第三位审稿人([作者姓名缩写])。
在之前对 [number] 个摘要进行的校准练习中
主要筛选,AI分类与人类共识一致
[百分比]% 的案例中作出决定。最终未使用AI
纳入或排除决定。
在方法部分,数据提取小节:
Data extraction was performed using a structured form (Appendix [X]).
Extraction of [specific data types, e.g., patient characteristics,
intervention details, outcome measurements] was supported by [Tool
Name, version], which extracted candidate values from full-text PDFs.
All extracted values were verified against the source PDFs by two
reviewers ([author initials]). Discrepancies between AI-extracted
values and source documents were corrected against the source in
[percentage]% of cases. The verified data informed the final
synthesis.
在专门的“人工智能的使用”小节中(有时单独需要):
The following AI tools were used in this review: [list each tool,
version, date range, and specific role]. No AI tool was used for
risk of bias assessment, quality grading, interpretation of
heterogeneity, or synthesis of conclusions. All AI-supported steps
were verified by [number] human reviewers as described above. The
prompts used are provided in Appendix [Y].
In the limitations section:
承认人工智能相关的局限性:预分类中潜在的系统偏差、对内部工作不透明的人工智能工具的依赖以及跨模型版本完全再现人工智能行为的不可能。
Summarize and Extract — with Verifiable Outputs
Paste a paper or paste an extraction request. Get back content you can verify against the source — fast.
Try the AI SummarizerThe workflow we recommend
满足 PRISMA-trAIce 并利用 AI 优势的序列。
第 1 步:预先注册协议。 在使用任何 AI 之前,注册审查(PROSPERO 用于医学审查;OSF 用于其他)。该方案规定了纳入标准、搜索策略、筛选方法、提取计划和合成方法。在协议中指定人工智能将在何处以及如何使用。事前登记中提及人工智能的效果比事后披露的强度要大得多。
第 2 步:运行校准练习。 从搜索中选择 100-200 个摘要。让两名人工审核员独立筛选它们。根据您计划的提示在同一组上运行人工智能筛查。计算一致性指标(Cohen's kappa,一致性百分比)。如果 AI 与人类共识决策的一致性低于 0.7 kappa 或 80%,请完善提示或重新考虑 AI 的使用。
第 3 步:运行主要的 AI 筛选过程。 使用经过校准的提示,筛选完整的摘要语料库。输出:排名或分类列表。人类评审员会看到这个排名,但会做出自己独立的决定。
第 4 步:两名审稿人独立筛选。 每个摘要仍由两名审稿人进行审稿。 AI 分类是元数据,而不是投票。通过讨论或第三位审稿人解决分歧。
**第5步:在人工智能辅助下进行全文筛选。**人工智能可以在全文阶段标记出明显的排除内容(错误的语言、仅摘要、撤回的论文)。人类做出最终决定。
第6步:利用AI辅助和验证进行数据提取。 AI提取候选值;两名人工审核员对来源进行核实。验证日志本身就成为合规性的证据。
第 7 步:偏见风险 - 仅限人类。 此步骤中没有人工智能。
第 8 步:综合——人类主导、人工智能辅助写作。 人类解释。人工智能有助于总结纳入研究表的研究、起草方法部分和润色散文。实质性解释仍然是人性化的。
第 9 步:全面披露。 方法部分如上所述报告人工智能的使用情况。完整的人工智能使用披露声明 出现在前面的内容或致谢中。使用的完整提示位于附录中。
第 10 步:发布前审核。 在提交之前,第二名团队成员会审核 AI 支持的步骤以确保文档的完整性。缺少提示、缺少版本号或缺少验证百分比是常见的拒绝触发因素。
Common pitfalls
**幻觉的研究特征。**人工智能有时会提取源论文中没有的数据——不存在的置信区间、不匹配的样本量、根据上下文捏造的干预细节。验证来源是唯一的防御措施。如果您的团队没有验证每个提取的值,您将发布错误。
在审核中迅速漂移。 及时完善的中期审核会改变人工智能对已筛选项目的行为。如果更改提示,请记录原因并重新筛选受影响的项目。
**过度依赖人工智能分类。**一些团队将其分类视为权威,从而有效地将纳入决策委托给人工智能。 PRISMA 需要人类的决定。 AI输入没问题;人工智能决策则不然。
忘记记录偏差。 任何与预先注册的方案不同的情况都必须报告。如果人工智能的使用在审查期间发生变化,请记录演变情况。隐藏的流程变更在同行评审时被标记。
工具版本不一致。 AI 模型更新。 1 月份筛选摘要的 DeepSeek V3 与 6 月份提供的版本并不相同。记录所使用的每个人工智能工具的版本和日期范围。
假设翻译准确性,未经验证。 人工智能翻译很好,但并不完美,特别是对于临床或技术内容。如果包含非英语来源,请记录谁验证了翻译。
Summarize papers, extract study characteristics, and draft synthesis text. Free tier includes every feature.
Frequently asked questions
问:我可以在我的 PRISMA 流程图中包含人工智能筛选的摘要吗?
是的,但有具体的归属。标准 PRISMA 2020 流程图包含已识别记录、筛选记录、评估记录资格和包含记录的字段。如果在筛选中使用人工智能,请在图表或其标题中添加注释:“最初的人工智能支持的分类用于对摘要进行排名;所有摘要均接受了两名审稿人的独立人工筛选。”一些期刊现在要求提供更详细的流程图,以区分人工智能支持的步骤和仅人工操作的步骤。 PRISMA-trAIce 扩展为此提供了模板。
问:如何引用系统评价中使用的人工智能工具?
引用模型及其版本和访问日期。标准格式:“[型号名称],版本 [X.Y],通过 [API 端点/Web 界面]访问[日期范围](开发人员:[公司])。URL:[文档链接(如果有)]。”有些期刊需要更详细的引文,包括所使用的确切 API 参数。查看期刊对作者的说明。人工智能工具引用惯例仍在不断发展——如有疑问,请包含更多细节而不是更少。
问:PRISMA 2020 和 PRISMA-trAIce 有什么区别?
PRISMA 2020 是系统评价的标准报告清单,从 2009 年版本更新而来。 PRISMA-trAIce(2024 年发布)是一个扩展,增加了审核过程中人工智能支持的步骤的报告要求。大多数期刊现在都需要:PRISMA 2020 用于一般报告,PRISMA-trAIce 用于任何人工智能支持的步骤。跟踪清单有 12 项,涵盖工具文档、及时报告、校准指标和人工验证程序。如果您在系统评价中的任何地方使用人工智能,请在方法部分中注明PRISMA-trAIce。如需补充本指南的更广泛的工作流程指南,请参阅使用 AI 加快文献综述。
问:在系统评审中使用人工智能会降低我被录取的机会吗?
根据我们的经验,公开和正确记录的人工智能使用不会降低接受率,而且通常会加快审查速度(方法更清晰、更站得住脚)。降低接受度的是未公开的人工智能使用、人工智能使用替代了所需的人类判断,或者未得到承认的与人工智能相关的限制。编辑和审稿人回应的信号是严谨和透明,而不是放弃人工智能。使用人工智能进行筛查、详细报告使用情况、包括校准指标并承认其局限性的系统审查被视为方法论上的现代审查,而不是妥协的审查。

Ema is a senior academic editor at ProofreaderPro.ai with a PhD in Computational Linguistics. She specializes in text analysis technology and language models, and is passionate about making AI-powered tools that truly understand academic writing. When she's not refining proofreading algorithms, she's reviewing papers on NLP and discourse analysis.