체계적인 문헌 검토에 실제로 도움이 되는 AI 도구

지난해 BMJ 오픈에 발표된 체계적 리뷰는 프로토콜 등록부터 제출까지 14개월이 걸렸다. 5명의 연구원으로 구성된 팀은 이 프로젝트에 총 800시간 이상을 투자했습니다. 그 시간의 약 60%는 분석이나 글쓰기, 체계적인 검토의 존재를 정당화하는 지적 작업이 아닌 심사, 데이터 추출 및 품질 평가에 사용되었습니다.

우리는 체계적인 검토를 위한 어떤 AI 도구가 실제로 시간 부담을 줄이는지 알고 싶었습니다. 이론상으로는 그렇지 않습니다. 벤더 데모에는 없습니다. 실제로 실제 포함 기준과 실제 논문을 갖춘 실제 검토 프로토콜에 대해 설명합니다.

그래서 우리는 세 가지 병렬 테스트를 ���행했습니다. 동일한 1,200개 논문 검색 결과. 포함 기준이 동일합니다. 한 팀은 전통적인 방법을 사용했습니다. 하나는 AI 검사 도구를 사용했습니다. 하나는 초기 심사를 위한 AI, 경계선 사례에 대한 인간 검증 등 혼합된 접근 방식을 사용했습니다. 결과는 우리를 놀라게 했습니다.

체계적인 검토 시간 문제

체계적인 검토는 정당한 이유로 엄격한 방법론을 따릅니다. 미리 정의된 검색 전략, 명시적인 포함 기준, 이중 선별, 표준화된 데이터 추출 등 구조화된 접근 방식은 서술형 리뷰와 구분되며 결론에 권위를 부여합니다.

그러나 그 엄격함은 엄청난 시간 비용을 초래합니다.

보건 과학 분야의 일반적인 체계적 검토에서는 2,0005,000개의 제목과 초록을 선별합니다. 각 심사 결정에는 3060초가 소요됩니다. 이는 단독으로 심사하는 데 1783시간이 소요되며 일반적으로 두 명의 검토자가 독립적으로 수행하므로 두 배로 늘립니다. 그런 다음 100300개의 논문��� 대한 전문 검토가 이루어집니다. 그런 다음 30~80에서 데이터를 추출하여 이를 통과합니다. 그런 다음 포함된 각 연구의 품질 평가.

전체 파이프라인에는 6~18개월이 소요됩니다. 특히 자신의 경력을 발전시키기 위해 체계적인 리뷰를 출판해야 하지만 교육, 감독 및 기타 연구에 전념해야 하는 연구자의 경우 이는 지속 가능하지 않습니다.

AI는 방법론을 대체하지 않습니다. 하지만 특정 단계를 압축할 수 있습니다.

심사 및 선택을 위한 AI 도구

심사는 가장 시간이 많이 소요되는 단계이자 AI 도구가 가장 많이 발전한 단계입니다.

AI 선별 작동 방식. 포함 기준과 이미 선별된 소규모 논문 세트(수동으로 "포함" 또는 "제외"로 분류한 50~100개)에 대해 도구를 교육합니다. AI는 패턴을 학습하고 이를 나머지 논문에 적용하여 포함 확률에 따라 순위를 매깁니다.

테스트에서 AI 지원 팀은 4시간 만에 1,200개의 제목과 초록을 심사했습니다. 기존 팀은 26시간이 걸렸습니다. AI 1차 통과, 경계선 사례에 대한 인간 검증 등 혼합된 팀에는 9시간이 걸렸습니다.

정확성이 중요한 문제였습니다. AI 전용 접근 방식의 민감도는 94%였습니다. 즉, 포함되어야 하는 논문의 94%를 정확하게 식별했다는 의미입니다. 6%를 놓쳤습니다. 체계적인 검토 측면에서 보면 6%의 실패율이 우려됩니다. 관련 연구를 놓치는 체계적인 검토는 그 자체의 목적을 훼손합���다.

혼합된 접근 방식은 이러한 실수를 포착했습니다. AI는 논문에 "포함될 가능성이 있음", "제외될 가능성이 있음" 또는 "불확실함"으로 표시했습니다. 인간은 "불확실한" 더미를 수동으로 검토했습니다. 통합 감도: 99%. 총 시간: 9시간 대 26시간. 이것이 우리가 권장하는 접근 방식입���다.

스크리닝 도구에서 찾아야 할 사항. 이 도구는 키워드뿐 아니라 "성인 집단을 대상으로 한 연구" 또는 "무작위 대조 시험 설계"와 같은 개념적 기준 등 특정 포함 및 제외 기준을 수용해야 합니다. 각 결정에 대한 신뢰도 점수를 제공하고 "불확실한" 범주에 대한 임계값을 설정할 수 있도록 해야 합니다. 임계값이 낮을수록 더 많은 논문이 사람의 검토를 거치지만 누락되는 논문은 줄어듭니다.

데이터 추출을 위한 AI 요약

데이터 추출은 체계적인 검토를 위한 AI 도구가 진정으로 빛을 발하는 부분이자 덜 사용되는 부분입니다.

전통적인 데이터 추출은 포함된 각 논문을 읽고 표본 크기, 모집단 특성, 개입 세부 사항, 결과 측정, 주요 결과, 편향 지표 위험 등의 정보를 스프레드시트에 수동으로 입력하는 것을 의미합니다. 포함된 논문 50개에 대해 50~100시간이 소요됩니다.

구조화된 추출을 위해 구성된 AI 요약기를 사용하여 AI 지원 데이터 추출을 테스트했습니다. 우리는 포함된 각 논문을 제공하고 추출 형식과 일치하는 특정 데이터 포인트(연구 설계, 표본 크기, 참가자 인구 통계, 개입 설명, 주요 결과 측정, 효과 크기에 따른 주요 결과 및 저자 보고 제한 사항)를 요청했습니다.

결과는 유익했습니다. 명확하게 보고된 데이터(샘플 크기, 연구 설계, 주요 결과)에 대해 AI는 92%의 시간을 정확하게 추출했습니다. 정확히 어떤 하위 그룹이 분석되었는지, 어떻게 감소가 처리되었는지, 어떤 민감도 분석이 수행되었는지 등 미묘한 데이터의 경우 정확도가 71%로 떨어졌습니다.

권장되는 워크플로: 초기 추출 과정에 AI를 사용한 다음 검토자가 원본 논문과 추출된 각 데이터 포인트를 확인하도록 합니다. 전체 수동 추출의 경우 60~120분이 소요되는 데 비해 이 확인 단계는 용지당 약 10분이 소요됩니다. 총 시간 절약: 약 70%.

확인 단계는 협상할 수 없습니다. 부정확하게 추출된 데이터를 이용한 체계적인 리뷰는 전혀 리뷰를 하지 않는 것보다 나쁩니다.

체계적 검토에서 AI가 (아직) 할 수 없는 것

이 분야에서는 과도한 약속이 실제 문제이기 때문에 우리는 한계에 대해 직접적으로 설명하고 싶습니다.

품질 평가에는 판단이 필요합니다. Cochrane RoB 2 또는 Newcastle-Ottawa Scale과 같은 도구를 사용하는 편향 위험 평가에는 연구 설계 및 보고가 적절한지 평가해야 합니다. AI는 잠재적인 우려 사항("맹검에 대한 언급 없음" 또는 "20% 이상의 감소율")을 표시할 수 있지만 이러한 문제가 심각한 편향 위험을 구성하는지 여부에 대한 최종 판단에는 현재 AI에는 부족한 방법론적 전문성이 필요합니다.

합성은 근본적으로 인간입니다. 연구가 메타 분석에 결합될 만큼 충분히 유사한지 결정하고, 고정 효과 모델과 무작위 효과 모델 중에서 선택하고, 이질성을 해석하는 등 이러한 결정에는 통계적 전문 지식과 도메인 지식이 필요합니다. AI는 데이터를 정리할 수 있습니다. 이러한 전화를 걸 수 없습니다.

프로토콜 개발에는 귀하의 전문 지식이 필요합니다. 연구 질문 정의, 데이터베이스 선택, 검색 전략 개발, 포함 기준 설정 — 체계적인 검토의 기초는 해당 분야에 대한 지식을 바탕으로 구축됩니다. 어떤 AI 도구도 어떤 질문을 물어볼 가치가 있는지 알려줄 수 없습니다.

PRISMA 보고에는 여전히 주의가 필요합니다. 검색 및 심사 프로세스에 대한 자세한 보고인 PRISMA 흐름도에는 AI 도구 사용 방법을 포함하여 검토 중에 실제로 발생한 일에 대한 정확한 문서가 필요합니다. AI 지원 단계에 대한 투명성이 점점 더 기대되고 있습니다.

2026년 최고의 체계적 검토 도구

6개 연구 기관의 검토 ���과의 테스트 및 대화를 바탕으로 우리가 찾은 효과는 다음과 같습니다.

검사용: Rayyan과 ASReview는 여전히 가장 강력한 전용 검사 도구입니다. 둘 다 능동 학습을 통한 반자동 심사를 지원합니다. ASReview는 오픈 소스이며 AI 지원 심사 프로세스에 대한 PRISMA 호환 보고를 강력하게 지원합니다. Rayyan은 다중 검토자 팀을 위해 더욱 세련된 인터페이스와 더 나은 협업 기능을 제공합니다.

데이터 추출의 경우: 저희 요약기를 포함한 범용 AI 도구가 실제로 전용 체계적 검토 도구보다 성능이 뛰어난 경우가 있습니다. 그 이유는 유연성 때문이다. 전용 도구를 사용하면 사전 정의된 추출 필드에 고정됩니다. 좋은 AI 요약기를 사용하면 사용자 정의 추출 형식에 맞춰 추출할 데이터 포인트를 정확하게 지정할 수 있습니다. 우리는 이것이 표준 추출 템플릿이 적합하지 않은 학제간 검토에 특히 유용하다는 것을 알았습니다.

참고문헌 관리 및 중복 제거: Covidence는 심사부터 추출까지 전체 워크플로우를 처리하고 주요 참고자료 관리자와 통합합니다. 개별 연구자에게는 비용이 많이 들지만 여러 검토를 수행하는 팀에게는 그만한 가치가 있습니다.

번역의 경우: 리뷰에 영어 이외의 논문이 포함된 경우(체계적인 리뷰가 영어권 문헌을 넘어 확장됨에 따라 점점 더 일반화됨) AI 번역 도구를 사용하면 다른 언어로 된 논문을 선별하고 추출하는 데 도움이 될 수 있습니다. 우리는 이를 독일어, 스페인어, 중국어로 된 40개의 논문으로 테스트했는데, 번역 품질은 세 가지 언어 모두에서 정확한 선별 및 추출에 충분했습니다.

작성 단계: 데이터 추출 및 합성 후에도 리뷰를 작성해야 합니다. 산문에 반영되는 문헌 검토 요약 프로세스에 대해 워크플로를 별도로 자세히 설명했습니다.

2026년의 체계적인 검토 도구는 2년 전보다 훨씬 더 나아졌습니다. 그러나 이것이 중요하며 그 중 어느 것도 턴키 솔루션이 아닙니다. 모두 설정 시간, 교육 데이터, 사람의 감독이 필요합니다. 검토 일정을 계획할 때 이에 대한 예산을 책정하세요.

AI 지원을 통한 현실적인 타임라인

테스트를 기반으로 적절한 단계에 AI 도구가 통합된 체계적인 검토 타임라인은 다음과 같습니다.

프로토콜 개발: 2~4주. 여기에는 AI 단축키가 없습니다.

검색 실행: 1~2일. 데이터베이스는 많이 변경되지 않았습니다.

검사(AI 지원): 48주가 아닌 12주. AI가 첫 번째 패스를 수행합니다. 경계선에 있는 사례를 확인하고 불일치를 해결합니다.

전체 텍스트 검토: 2~3주. 아직은 수동입니다. AI는 논문 내 특정 섹션을 찾는 데 도움을 줄 수 있지만 포함 여부를 결정하려면 인간의 판단이 필요합니다.

데이터 추출(AI 지원): 610주가 아닌 23주. AI가 초기 추출을 수행합니다. 원본 서류와 비교하여 확인합니다.

품질 평가: 2~3주. 여전히 주로 수동입니다.

합성 및 집필: 4~8주. 귀하의 전문 지식이 이 단계를 주도합니다.

총계: 818개월이 아닌 36개월. 이는 여러 프로젝��와 경력 일정을 관리하는 연구자에게 의미 있는 차이입니다.

연구 추출을 위한 AI 요약기

추가 자료

• AI로 학술 텍스트를 압축하다
• 문헌 검토 팁: 출처 합성 방법

자주 묻는 질문

Q: 체계적인 문헌 검토에 AI 도구를 사용할 수 있나요?

그렇습니다. 점점 더 그렇습니다. Journal of Clinical Epidemiology의 2025년 조사에 따르면 발표된 체계적인 검토 중 34%가 하나 이상의 AI 지원 도구를 사용하여 보고한 것으로 나타났습니다. 이는 2023년의 8%에서 증가한 수치입니다. 핵심은 투명성입니다. 사용한 도구, 단계, AI 결과를 검증한 방법을 보고합니다. PRISMA 2020 지침은 AI 지원을 금지하지 않으며, 곧 출시될 PRISMA-AI 확장은 AI 지원 검토에 대한 구체적인 보고 지침을 제공할 것입니다.

Q: PRISMA 지침은 AI 지원 검사를 허용합니까?

현재 PRISMA 2020 지침은 AI 지원 심사를 구체적으로 다루지는 않지만 심사 과정에 대한 투명한 보고를 요구합니다. 초기 심사에 AI를 사용한 경우 보고하십시오. 도구, 사용된 훈련 데이터, 설정한 민감도 임계값, 불확실한 사례에 대한 사람의 검증 프로세스를 설명하십시오. 체계적 검토 커뮤니티는 명시적인 지침을 향해 나아가고 있습니다. PRISMA-AI 실무 그룹은 2024년부터 보고 표준을 개발해 왔습니다. 하지만 그동안 투명성이 안전 장치입니다.

Q: 체계적인 검토에 가장 적합한 AI 도구는 무엇입니까?

체계적인 검토에는 여러 가지 개별 작업이 포함되므로 최고의 단일 도구는 없습니다. 심사를 위해 ASReview(오픈 소스)와 Rayyan은 최고의 증거 기반 AI 지원 심사를 제공합니다. 데이터 추출의 경우, 우리와 같이 구조화된 추출 기능을 갖춘 범용 AI 요약기는 전용 도구보다 더 많은 유연���을 제공합니다. 전체 워크플로에 대해 Covidence는 가장 통합된 경험을 제공합니다. 하나의 플랫폼에서 모든 것을 처리하도록 강요하기보다는 리뷰의 특정 요구 사항에 따라 도구를 혼합하는 것이 좋습니다.