How to Use AI for a PRISMA-Compliant Systematic Review

3명의 연구자로 구성된 팀이 체계적 검토를 수행하는 데는 6~9개월이 걸렸습니다. 병목 현상은 읽는 것이 아니라 선별하는 것이었습니다. PubMed, Embase, Scopus 및 Cochrane에서 가져온 12,000개의 초록은 사전 등록된 기준에 포함할지 제외할지 결정하기 위해 각각 두 명의 독립적인 검토자가 필요합니다. 수학이 경력을 주도한 시간입니다.

AI가 그 수학을 바꾸었습니다. 최신 언어 모델은 몇 초 안에 초록을 선별하고, 몇 분 안에 전체 텍스트 PDF에서 연구 특성을 추출하고, 몇 시간 안에 수백 개의 논문을 요약할 수 있습니다. 신중하게 사용하면 AI는 리뷰 심사 단계를 몇 달에서 몇 주로 단축합니다. 부주의하게 사용하면 동료 검토에 실패하는 재현 불가능하고 규정을 준수하지 않는 문서가 생성됩니다.

이 가이드에서는 AI가 PRISMA 준수 검토에서 합법적으로 도움이 되는 부분, 작업을 수행해서는 안 되는 부분, AI 사용에 따른 보고 요구 사항, PRISMA 2020 및 PRISMA-trAIce 확장을 충족하는 단계별 워크플로를 안내합니다.

PRISMA에 실제로 필요한 것(빠른 복습)

PRISMA 2020년은 체계적 검토를 위한 표준 보고 체크리스트입니다. 그것은 당신이 그것을 어떻게 했는지가 아니라 당신이 한 일을 어떻게 설명하는지를 좌우합니다. AI 사용과 관련된 부분은 다음과 같습니다.

검색 전략 보고. 검색된 모든 데이터베이스, 사용된 모든 검색 문자열, 검색이 실행된 모든 날짜를 문서화합니다. 재현성이 표준입니다. 다른 연구자가 검색을 다시 실행하여 동일한 결과를 얻을 수 있어야 합니다.

심사 보고. 심사된 기록 수, 독립 검토자 수, 불일치 해결 방법, 각 단계에서 제외된 기록 수를 문서화합니다. 고전적인 PRISMA 흐름도가 여기에 있습니다.

데이터 추출 보고. 어떤 데이터가 추출되었고, 누가 추출되었으며, 불일치가 어떻게 해결되었는지 문서화합니다.

편향 평가 위험. 사용된 도구(Cochrane RoB 2, ROBINS-I 등)와 이를 수행한 사람을 문서화합니다.

모든 편차를 보고합니다. 사전 등록된 프로토콜에 따라 진행되지 않은 모든 것은 합리적인 근거와 함께 보고되어야 합니다.

PRISMA-trAIce 확장(2024년 게시, 2025년 업데이트)은 PRISMA 2020에 AI 관련 보고 요구 사항을 추가합니다. 짧은 버전: 검토에 AI가 사용된 모든 곳에서 도구, 버전, 프롬프트 및 인간 검증 수행 방법을 보고합니다.

Where AI legitimately helps

AI가 검토 내용을 변경하지 않고 작업을 가속화하는 데 사용됩니다.

중복 감지. 여러 데이터베이스에서 가져온 레코드는 종종 중복됩니다. 전통적인 참조 관리자(Zotero, EndNote, Covidence)는 이 작업을 잘 수행합니다. 여기서 AI는 과잉입니다. 표준 도구를 계속 사용하세요.

초기 제목 및 초록 심사. AI는 포함 기준에 따라 각 초록의 점수를 매기고 순위를 매기거나 사전 분류할 수 있습니다. 두 명의 인간 검토자가 여전히 최종 포함/제외 결정을 내려야 하지만 AI 사전 분류를 통해 인간의 시간이 크게 단축됩니다. 이는 대부분의 리뷰에서 가장 가치가 높은 AI 사용입니다.

전체 텍스트 검색 및 분류. AI는 출판물 메타데이터를 추출하고, 전체 텍스트가 초록의 주장과 일치하는지(때로는 일치하지 않는 경우도 있음)를 식별하고, 컨퍼런스 초록, 정오표 또는 다른 제목의 중복 출판물로 보이는 논문에 플래그를 지정할 수 있습니다.

구조화된 논문에서 데이터 추출. 환자 특성, 복용량, 효과 크기 표 — AI는 전체 텍스트 PDF에서 이를 구조화된 데이터 추출 시트로 추출한 다음 두 명의 인간 검토자가 이를 검증할 수 있습니다. 전체 수동 추출보다 검증 시간이 훨씬 짧습니다.

합성 및 글쓰기 지원. 방법 섹션의 심사 절차 설명 초안 작성, PRISMA 흐름도 텍스트 초안 작성, 포함된 연구의 특성 표 요약 — AI는 리뷰의 내용을 변경하지 않고 작성을 돕습니다.

영어가 아닌 소스의 번역. 귀하의 리뷰에 영어가 아닌 논문이 포함되어 있는 경우 AI 번역은 이러한 소스를 포함할 수 있을 만큼 충분히 신뢰할 수 있습니다. 메소드에 사용된 도구를 문서화하십시오.

Where AI should NOT do the work

이러한 사용은 인간 검토자가 수행해야 하는 실질적인 의사 결정에 선을 넘습니다.

최종 포함/제외 결정. PRISMA에는 포함/제외를 위해 두 명의 독립적인 인간 검토자가 필요합니다. AI는 후보자를 사전 분류하고 순위를 매기고 표면화할 수 있지만 구속력 있는 결정은 인간이 해야 합니다. 이는 규정 준수를 위해 협상할 수 없습니다.

편향 평가 위험. RoB 도구에는 연구 설계, 맹검, 감소 및 보고에 대한 판단이 필요합니다. AI는 각 영역에 대해 논문이 말하는 내용을 요약할 수 있지만 편향 평가 자체는 인간이 해야 합니다.

품질 평가 및 근거 등급(GRADE). 동일한 논리. AI가 요약합니다. 인간의 평가.

이질성의 해석. 연구 결과 간의 차이가 임상적 이질성, 방법론적 이질성 또는 우연을 반영하는지 여부는 임상 및 방법론적 전문 ​​지식이 필요한 판단입니다.

최종 종합 및 결론. 서술적 종합, 강점과 한계에 대한 논의, 임상적 의미 - 이는 검토 팀의 기여입니다. AI는 초기 언어 초안을 작성할 수 있지만 실질적인 판단은 귀하의 몫입니다.

조작된 내용 또는 제지 공장 콘텐츠 감지. 아이러니하게도 조작된 연구에 대한 AI 감지는 여전히 신뢰할 수 없습니다. 의심스러운 서류에 대한 사람의 눈과 문제가 있는 서류 선별기와 같은 도구가 현재 표준입니다.

The reporting requirements

검토 중 어디에서나 AI를 사용하는 경우 PRISMA-trAIce에서는 이를 보고하도록 요구합니다. 대부분의 저널을 만족시키는 구조:

방법 섹션, 선별 절차 하위 섹션:

``텍스트 초록심사는 2단계 과정을 통해 진행되었습니다. 이니셜 분류는 [도구 이름, 버전, 다음을 통해 액세스됨]을 사용하여 수행되었습니다. API/웹 날짜] 프롬프트 템플릿: "[정확한 프롬프트]". 분류는 인적 검토를 위해 초록의 우선순위를 지정하는 데 사용되었습니다. 초기 분류에 관계없이 모든 초록이 선별되었습니다. [Covidence / Rayyan / 기타 도구], 의견 불일치는 토론 또는 합의에 도달하지 못한 경우 세 번째 검토자([저자 이니셜]).

[번호]에서 수행된 교정 연습에서 주요 심사, AI 분류는 인간의 합의에 동의함 [%]%의 사례에서 결정을 내립니다. AI는 최종적으로 사용되지 않았습니다. 포함 또는 제외 결정.

**방법 섹션, 데이터 추출 하위 섹션:**

```text
Data extraction was performed using a structured form (Appendix [X]).
Extraction of [specific data types, e.g., patient characteristics,
intervention details, outcome measurements] was supported by [Tool
Name, version], which extracted candidate values from full-text PDFs.
All extracted values were verified against the source PDFs by two
reviewers ([author initials]). Discrepancies between AI-extracted
values and source documents were corrected against the source in
[percentage]% of cases. The verified data informed the final
synthesis.
```

**전용 "AI 사용" 하위 섹션(때때로 별도로 필요함):**

```text
The following AI tools were used in this review: [list each tool,
version, date range, and specific role]. No AI tool was used for
risk of bias assessment, quality grading, interpretation of
heterogeneity, or synthesis of conclusions. All AI-supported steps
were verified by [number] human reviewers as described above. The
prompts used are provided in Appendix [Y].
```

**In the limitations section:**

AI 관련 제한 사항을 인정합니다. 사전 분류의 잠재적인 체계적 편향, 내부 작업이 투명하지 않은 AI 도구에 대한 의존성, 모델 버전 전반에 걸쳐 AI 동작을 완전히 재현할 수 없음.

<CTABox heading="Summarize and Extract — with Verifiable Outputs" description="Paste a paper or paste an extraction request. Get back content you can verify against the source — fast." buttonText="Try the AI Summarizer" />

## The workflow we recommend

PRISMA-trAIce을 만족하며 AI의 장점을 활용한 시퀀스입니다.

**1단계: 프로토콜을 사전 등록합니다.** AI를 사용하기 전에 리뷰를 등록합니다(의료 리뷰의 경우 PROSPERO, 기타의 경우 OSF). 프로토콜은 포함 기준, 검색 전략, 스크리닝 방법, 추출 계획 및 합성 접근 방식을 지정합니다. AI가 어디에, 어떻게 사용될 것인지 프로토콜에 명시하세요. AI를 언급한 사전등록은 사후 공개보다 훨씬 강력하다.

**2단계: 보정 연습을 실행합니다.** 검색에서 100~200개의 초록을 선택합니다. 두 명의 검토자가 독립적으로 검토하도록 합니다. 계획된 프롬프트로 동일한 세트에서 AI 스크리닝을 실행하세요. 합의 측정항목(Cohen의 카파, 합의율)을 계산합니다. AI 합의가 인간의 합의 결정과 0.7카파 또는 80% 미만인 경우 프롬프트를 개선하거나 AI 사용을 재고하십시오.

**3단계: 기본 AI 스크리닝 패스를 실행합니다.** 보정된 프롬프트를 사용하여 전체 추상 코퍼스를 스크리닝합니다. 출력: 순위가 매겨진 목록 또는 분류된 목록. 인간 검토자는 이 순위를 확인하지만 스스로 독립적인 결정을 내립니다.

**4단계: 2명의 검토자 독립적 심사.** 각 초록에는 여전히 2명의 검토자가 배정됩니다. AI 분류는 투표가 아닌 메타데이터입니다. 불일치는 토론이나 세 번째 검토자를 통해 해결됩니다.

**5단계: AI 지원을 통한 전문 심사.** AI는 전문 단계에서 명백한 제외 항목(잘못된 언어, 초록만, 철회된 논문)에 플래그를 지정할 수 있습니다. 인간은 최종 결정을 내립니다.

**6단계: AI 지원 및 검증을 통한 데이터 추출.** AI가 후보 값을 추출합니다. 두 명의 검토자가 소스를 확인합니다. 확인 로그 자체가 규정 준수의 증거가 됩니다.

**7단계: 편견의 위험 - 사람에게만 해당됩니다.** 이 단계에는 AI가 없습니다.

**8단계: 합성 — 인간 주도, AI 지원 글쓰기.** 인간이 해석합니다. AI는 [포함된 연구 표에 대한 연구 요약](/blog/summarize-research-paper-ai), 방법 섹션 초안 작성 및 산문 다듬기에 도움을 줍니다. 실질적인 해석은 인간적입니다.

**9단계: 포괄적으로 공개합니다.** 방법 섹션에서는 위에서 설명한 대로 AI 사용을 보고합니다. 완전한 [AI 사용 공개 진술](/blog/ai-disclosure-statement-manuscript)이 서문 또는 감사의 글에 표시됩니다. 사용된 전체 프롬프트는 부록에 나와 있습니다.

**10단계: 게시 전 감사.** 제출하기 전에 두 번째 팀원이 AI 지원 단계의 문서 완성도를 감사합니다. 프롬프트 누락, 버전 번호 누락 또는 확인 비율 누락이 일반적인 거부 요인입니다.

## Common pitfalls

**환각적인 연구 특성.** AI는 때때로 원본 논문에 없는 데이터(존재하지 않는 신뢰 구간, 일치하지 않는 표본 크기, 맥락에 따라 조작된 개입 세부 사항)를 추출합니다. 소스에 대한 검증이 유일한 방어책입니다. 팀에서 추출된 모든 값을 확인하지 않으면 오류가 게시됩니다.

**리뷰 전반에 걸쳐 신속한 드리프트.** 즉각적으로 개선된 중간 리뷰는 이미 선별된 항목에 대한 AI의 동작을 변경합니다. 프롬프트를 변경하는 경우 이유를 문서화하고 영향을 받는 항목을 다시 검사하십시오.

**AI 분류에 대한 과도한 의존.** 일부 팀은 분류를 권위 있는 것으로 취급하여 AI에 포함 결정을 효과적으로 위임했습니다. PRISMA에는 인간의 결정이 필요합니다. AI 입력은 괜찮습니다. AI 결정은 그렇지 않습니다.

**문서 편차를 잊어버렸습니다.** 사전 등록된 프로토콜과 다른 모든 사항은 보고되어야 합니다. 검토 중에 AI 사용이 진화한 경우 진화를 문서화합니다. 숨겨진 프로세스 변경 사항은 동료 검토 시 표시됩니다.

**일관되지 않는 도구 버전.** AI 모델이 업데이트됩니다. 1월에 초록을 심사한 DeepSeek V3는 6월에 제공되는 버전과 동일하지 않습니다. 사용된 각 AI 도구의 버전과 날짜 범위를 문서화합니다.

**번역 정확도 가정, 검증되지 않음.** AI 번역은 훌륭하지만 완벽하지는 않습니다. 특히 임상 또는 기술 콘텐츠의 경우 더욱 그렇습니다. 영어가 아닌 출처가 포함된 경우 번역을 확인한 사람을 문서화하세요.

<FeatureCard title="See the Full AI Summarizer" link="/ai-summarizer" description="Summarize papers, extract study characteristics, and draft synthesis text. Free tier includes every feature." />

## Frequently asked questions

**Q: PRISMA 흐름도에 AI 심사 초록을 포함할 수 있나요?**

예, 하지만 특정 귀속이 있습니다. 표준 PRISMA 2020 흐름도에는 식별된 기록, 선별된 기록, 적격성에 대해 평가된 기록 및 포함된 기록에 대한 필드가 있습니다. 심사에 AI가 사용된 경우 다이어그램이나 캡션에 다음과 같은 메모를 추가합니다. "초기 AI 지원 분류는 초록의 순위를 매기는 데 사용되었습니다. 모든 초록은 두 명의 검토자가 독립적인 인간 심사를 받았습니다." 일부 저널에서는 이제 AI 지원 단계와 인간 전용 단계를 구분하는 보다 자세한 흐름도를 요청합니다. PRISMA-trAIce 확장은 이를 위한 템플릿을 제공합니다.

**Q: 체계적 검토에 사용된 AI 도구를 어떻게 인용하나요?**

버전 및 액세스 날짜와 함께 모델을 인용합니다. 표준 형식: "[모델 이름], 버전 [X.Y], [API 엔드포인트/웹 인터페이스]를 통해 [날짜 범위]에 액세스함(개발자: [회사]). URL: [사용 가능한 경우 문서 링크]" 일부 저널에서는 사용된 정확한 API 매개변수를 포함하여 더 자세한 인용을 요구합니다. 저널의 저자 지침을 확인하세요. AI 도구 인용 규칙은 여전히 ​​진화하고 있습니다. 의심스러운 경우에는 더 적은 내용보다는 더 많은 세부 정보를 포함하세요.

**Q: What's the difference between PRISMA 2020 and PRISMA-trAIce?**

PRISMA 2020은 2009 버전에서 업데이트된 체계적 검토를 위한 표준 보고 체크리스트입니다. PRISMA-trAIce(2024년 게시)은 검토 프로세스의 AI 지원 단계에 대한 보고 요구 사항을 추가하는 확장 프로그램입니다. 이제 대부분의 저널에서는 일반 보고의 경우 PRISMA 2020, AI 지원 단계의 경우 PRISMA-trAIce 두 가지를 모두 요구합니다. trAIce 체크리스트에는 도구 문서화, 신속한 보고, 교정 지표 및 사람의 검증 절차를 다루는 12개 항목이 있습니다. 체계적인 검토의 어느 곳에서나 AI를 사용하는 경우 방법 섹션에서 PRISMA-trAIce을 다루십시오. 이를 보완하는 더 광범위한 워크플로 가이드는 [AI를 사용하여 문헌 검토 속도 향상](/blog/ai-literature-review-summarizer)을 참조하세요.

**Q: 체계적 검토에 AI를 사용하면 승인 가능성이 줄어들까요?**

우리의 경험에 따르면, 공개되고 적절하게 문서화된 AI 사용은 승인률을 낮추지 않으며 검토 속도를 높이는 경우가 많습니다(방법이 더 명확하고 방어 가능함). 수용을 감소시키는 것은 공개되지 않은 AI 사용, 필요한 인간 판단을 대체하는 AI 사용 또는 인정되지 않는 AI 관련 제한입니다. 신호 편집자와 검토자는 AI에 대한 기권이 아니라 엄격함과 투명성에 응답합니다. 선별을 위해 AI를 사용하고, 사용을 자세히 보고하고, 보정 지표를 포함하고, 한계를 인정하는 체계적 검토는 타협된 검토가 아닌 방법론적으로 현대적인 검토로 취급됩니다.