How to Use AI for a PRISMA-Compliant Systematic Review

Một cuộc đánh giá có hệ thống thường được một nhóm gồm ba nhà nghiên cứu thực hiện từ sáu đến chín tháng. Nút thắt cổ chai không phải ở việc đọc - mà là ở khâu sàng lọc. Mười hai nghìn bản tóm tắt được lấy từ PubMed, Embase, Scopus và Cochrane, mỗi bản cần có hai người đánh giá độc lập để quyết định đưa vào hoặc loại trừ theo các tiêu chí đã đăng ký trước. Thời gian toán học đã thúc đẩy sự nghiệp xung quanh nó.

AI đã thay đổi phép toán đó. Các mô hình ngôn ngữ hiện đại có thể sàng lọc các bản tóm tắt trong vài giây, trích xuất các đặc điểm nghiên cứu từ các tệp PDF toàn văn trong vài phút và tóm tắt hàng trăm bài báo trong vài giờ. Được sử dụng một cách cẩn thận, AI sẽ cắt giảm giai đoạn sàng lọc đánh giá từ nhiều tháng xuống còn vài tuần. Nếu sử dụng một cách bất cẩn, nó sẽ tạo ra một tài liệu không thể tái tạo, không tuân thủ và không được bình duyệt.

Hướng dẫn này trình bày về nơi AI trợ giúp một cách hợp pháp trong quá trình đánh giá tuân thủ PRISMA, nơi AI không nên thực hiện công việc, các yêu cầu báo cáo đi kèm với việc sử dụng AI và quy trình làm việc từng bước đáp ứng PRISMA 2020 và tiện ích mở rộng PRISMA-trAIce.

Những gì PRISMA thực sự yêu cầu (bồi dưỡng nhanh)

PRISMA 2020 là danh sách kiểm tra báo cáo tiêu chuẩn để đánh giá có hệ thống. Nó chi phối cách bạn mô tả những gì bạn đã làm chứ không phải cách bạn làm điều đó. Các phần có liên quan để sử dụng AI là:

Báo cáo chiến lược tìm kiếm. Ghi lại mọi cơ sở dữ liệu được tìm kiếm, mọi chuỗi tìm kiếm được sử dụng, mọi ngày tìm kiếm được thực hiện. Khả năng tái tạo là tiêu chuẩn - một nhà nghiên cứu khác sẽ có thể thực hiện lại tìm kiếm của bạn và nhận được kết quả tương tự.

Báo cáo sàng lọc. Ghi lại số lượng hồ sơ đã được sàng lọc, số lượng người đánh giá độc lập, cách giải quyết các bất đồng và số lượng hồ sơ bị loại trừ ở mỗi giai đoạn. Sơ đồ luồng PRISMA cổ điển tồn tại ở đây.

Báo cáo trích xuất dữ liệu. Ghi lại dữ liệu nào được trích xuất, ai trích xuất và cách giải quyết những bất đồng.

Rủi ro đánh giá sai lệch. Ghi lại công cụ được sử dụng (Cochrane RoB 2, ROBINS-I, v.v.) và người thực hiện nó.

Báo cáo bất kỳ sai lệch nào. Bất cứ điều gì không tuân theo quy trình đã đăng ký trước đều phải được báo cáo kèm theo lý do.

Tiện ích mở rộng PRISMA-trAIce (xuất bản năm 2024, cập nhật năm 2025) bổ sung các yêu cầu báo cáo dành riêng cho AI ngoài PRISMA năm 2020. Phiên bản ngắn: bất cứ khi nào AI được sử dụng trong đánh giá, bạn sẽ báo cáo công cụ, phiên bản, lời nhắc và cách thực hiện xác minh của con người.

Where AI legitimately helps

Đây là những cách sử dụng mà AI tăng tốc công việc mà không thay đổi nội dung đánh giá.

Phát hiện trùng lặp. Các bản ghi được lấy từ nhiều cơ sở dữ liệu thường trùng lặp. Các trình quản lý tham chiếu truyền thống (Zotero, EndNote, Covidence) làm tốt điều này. AI ở đây quá mức cần thiết - hãy tiếp tục sử dụng các công cụ tiêu chuẩn.

Sàng lọc tiêu đề ban đầu và tóm tắt. AI có thể chấm điểm từng bản tóm tắt theo tiêu chí đưa vào của bạn và xếp hạng hoặc phân loại trước chúng. Hai người đánh giá vẫn cần đưa ra quyết định bao gồm/loại trừ cuối cùng, nhưng việc phân loại trước bằng AI giúp giảm đáng kể thời gian của con người. Đây là cách sử dụng AI có giá trị cao nhất trong hầu hết các bài đánh giá.

Truy xuất và phân loại toàn văn bản. AI có thể trích xuất siêu dữ liệu xuất bản, xác định xem toàn bộ văn bản có khớp với tuyên bố của bản tóm tắt hay không (đôi khi không như vậy) và gắn cờ các bài báo có vẻ là tóm tắt hội nghị, lỗi in hoặc ấn phẩm trùng lặp dưới các tiêu đề khác nhau.

Trích xuất dữ liệu từ các giấy tờ có cấu trúc. Các bảng về đặc điểm của bệnh nhân, liều lượng, mức độ tác động - AI có thể trích xuất những thông tin này từ các tệp PDF toàn văn thành một bảng trích xuất dữ liệu có cấu trúc, sau đó hai người đánh giá sẽ xác minh. Thời gian xác minh thấp hơn nhiều so với việc trích xuất thủ công hoàn toàn.

Hỗ trợ tổng hợp và viết. Soạn thảo mô tả quy trình sàng lọc của phần phương pháp, soạn thảo văn bản sơ đồ quy trình PRISMA, tóm tắt bảng đặc điểm của các nghiên cứu được đưa vào — AI giúp viết mà không làm thay đổi nội dung của bài đánh giá.

Bản dịch của các nguồn không phải tiếng Anh. Nếu bài đánh giá của bạn bao gồm các bài viết không phải tiếng Anh thì bản dịch AI đã trở nên đủ tin cậy để hỗ trợ việc đưa các nguồn này vào. Ghi lại công cụ được sử dụng trong các phương pháp.

Where AI should NOT do the work

Những mục đích sử dụng này vượt quá giới hạn để đưa ra quyết định thực chất mà người đánh giá phải thực hiện.

Quyết định bao gồm/loại trừ cuối cùng. PRISMA yêu cầu hai người đánh giá độc lập để đưa vào/loại trừ. AI có thể phân loại trước, xếp hạng và đưa ra các ứng cử viên - nhưng quyết định ràng buộc phải thuộc về con người. Điều này là không thể thương lượng để tuân thủ.

Rủi ro đánh giá sai lệch. Các công cụ RoB yêu cầu đánh giá về thiết kế nghiên cứu, làm mù, tiêu hao và báo cáo. AI có thể tóm tắt những gì bài báo nói về từng lĩnh vực, nhưng bản thân việc đánh giá thiên vị phải thuộc về con người.

Đánh giá chất lượng và cấp độ bằng chứng (LỚP). Logic tương tự. AI tóm tắt; con người đánh giá.

Giải thích về tính không đồng nhất. Liệu sự khác biệt giữa các kết quả nghiên cứu có phản ánh tính không đồng nhất về mặt lâm sàng, tính không đồng nhất về phương pháp hay cơ hội hay không là một yêu cầu phán đoán đòi hỏi chuyên môn về lâm sàng và phương pháp luận.

Tổng hợp và kết luận cuối cùng. Phần tổng hợp tường thuật, thảo luận về điểm mạnh và hạn chế, ý nghĩa lâm sàng - đây là những đóng góp của nhóm đánh giá. AI có thể soạn thảo ngôn ngữ ban đầu, nhưng những đánh giá thực chất là của bạn.

Phát hiện nội dung bịa đặt hoặc nội dung nhà máy giấy. Trớ trêu thay, việc AI phát hiện các nghiên cứu bịa đặt vẫn không đáng tin cậy. Con người có thể quan sát các giấy tờ đáng ngờ, cùng với các công cụ như Trình sàng lọc giấy tờ có vấn đề, là tiêu chuẩn hiện nay.

The reporting requirements

Nếu bạn sử dụng AI ở bất kỳ đâu trong quá trình đánh giá, PRISMA-trAIce sẽ yêu cầu bạn báo cáo việc đó. Cấu trúc đáp ứng hầu hết các tạp chí:

Trong phần phương pháp, tiểu mục quy trình sàng lọc:

Sàng lọc tóm tắt được thực hiện bằng quy trình hai giai đoạn. ban đầu
việc phân loại được thực hiện bằng cách sử dụng [Tên công cụ, phiên bản, được truy cập qua
API/web vào ngày] với mẫu lời nhắc sau: "[lời nhắc chính xác]".
Việc phân loại được sử dụng để ưu tiên các bản tóm tắt để con người xem xét.
Tất cả các bản tóm tắt, bất kể phân loại ban đầu, sau đó đều được sàng lọc
độc lập bởi hai người đánh giá ([tên viết tắt của tác giả]) bằng cách sử dụng [Covidence /
Rayyan / công cụ khác], với những bất đồng được giải quyết bằng thảo luận hoặc bằng
người đánh giá thứ ba ([tên viết tắt của tác giả]) khi không đạt được sự đồng thuận.

Trong một bài tập hiệu chỉnh được thực hiện trên [số] bản tóm tắt trước khi
sàng lọc chính, phân loại AI đã thống nhất với sự đồng thuận của con người
quyết định trong [phần trăm]% trường hợp. AI không được sử dụng cho trận chung kết
quyết định bao gồm hoặc loại trừ.

Trong phần phương pháp, tiểu mục trích xuất dữ liệu:

Data extraction was performed using a structured form (Appendix [X]).
Extraction of [specific data types, e.g., patient characteristics,
intervention details, outcome measurements] was supported by [Tool
Name, version], which extracted candidate values from full-text PDFs.
All extracted values were verified against the source PDFs by two
reviewers ([author initials]). Discrepancies between AI-extracted
values and source documents were corrected against the source in
[percentage]% of cases. The verified data informed the final
synthesis.

Trong tiểu mục "Sử dụng AI" chuyên dụng (đôi khi được yêu cầu riêng):

The following AI tools were used in this review: [list each tool,
version, date range, and specific role]. No AI tool was used for
risk of bias assessment, quality grading, interpretation of
heterogeneity, or synthesis of conclusions. All AI-supported steps
were verified by [number] human reviewers as described above. The
prompts used are provided in Appendix [Y].

In the limitations section:

Thừa nhận những hạn chế liên quan đến AI: sai lệch hệ thống tiềm ẩn trong quá trình phân loại trước, sự phụ thuộc vào các công cụ AI có hoạt động nội bộ không minh bạch và không thể tái tạo đầy đủ hành vi AI trên các phiên bản mô hình.

The workflow we recommend

Một chuỗi thỏa mãn PRISMA-trAIce và sử dụng điểm mạnh của AI.

Bước 1: Đăng ký trước giao thức. Trước khi sử dụng AI, hãy đăng ký đánh giá (PROSPERO dành cho đánh giá y tế; OSF dành cho người khác). Giao thức chỉ định tiêu chí đưa vào, chiến lược tìm kiếm, phương pháp sàng lọc, kế hoạch trích xuất và phương pháp tổng hợp. Chỉ định trong giao thức nơi AI sẽ được sử dụng và cách thức sử dụng. Đăng ký trước đề cập đến AI mạnh hơn nhiều so với tiết lộ sau.

Bước 2: Chạy bài tập hiệu chỉnh. Chọn 100-200 bài tóm tắt từ tìm kiếm của bạn. Yêu cầu hai người đánh giá sàng lọc chúng một cách độc lập. Chạy sàng lọc AI trên cùng một bộ với lời nhắc theo kế hoạch của bạn. Tính toán số liệu thỏa thuận (Cohen's kappa, phần trăm thỏa thuận). Nếu thỏa thuận AI dưới 0,7 kappa hoặc 80% với quyết định đồng thuận của con người, hãy tinh chỉnh lời nhắc hoặc xem xét lại việc sử dụng AI.

Bước 3: Chạy thẻ sàng lọc AI chính. Với lời nhắc đã hiệu chỉnh, hãy sàng lọc toàn bộ kho văn bản tóm tắt. Đầu ra: một danh sách được xếp hạng hoặc phân loại. Người đánh giá nhìn thấy thứ hạng này nhưng đưa ra quyết định độc lập của riêng họ.

Bước 4: Sàng lọc độc lập từ hai người đánh giá. Mỗi bản tóm tắt vẫn có hai người đánh giá. Việc phân loại AI là siêu dữ liệu, không phải là phiếu bầu. Những bất đồng được giải quyết bằng thảo luận hoặc người đánh giá thứ ba.

Bước 5: Sàng lọc toàn văn với sự hỗ trợ của AI. AI có thể gắn cờ các loại trừ rõ ràng ở giai đoạn toàn văn (sai ngôn ngữ, chỉ tóm tắt, bài viết bị rút lại). Con người đưa ra quyết định cuối cùng.

Bước 6: Trích xuất dữ liệu với sự hỗ trợ và xác minh của AI. AI trích xuất các giá trị ứng cử viên; hai người đánh giá xác minh nguồn. Bản thân nhật ký xác minh sẽ trở thành bằng chứng về sự tuân thủ.

Bước 7: Rủi ro sai lệch — chỉ dành cho con người. Không có AI trong bước này.

Bước 8: Tổng hợp — bài viết do con người điều khiển, có sự hỗ trợ của AI. Con người diễn giải. AI giúp tóm tắt các nghiên cứu cho bảng các nghiên cứu đi kèm, soạn thảo phần phương pháp và trau chuốt phần văn xuôi. Sự giải thích thực chất vẫn là con người.

Bước 9: Tiết lộ toàn diện. Phần phương pháp báo cáo việc sử dụng AI như mô tả ở trên. Tuyên bố tiết lộ việc sử dụng AI hoàn chỉnh xuất hiện trong phần đầu hoặc trong phần xác nhận. Các lời nhắc đầy đủ được sử dụng có trong phần phụ lục.

Bước 10: Kiểm tra trước khi xuất bản. Trước khi gửi, thành viên nhóm thứ hai sẽ kiểm tra các bước được AI hỗ trợ để đảm bảo tính đầy đủ của tài liệu. Thiếu lời nhắc, thiếu số phiên bản hoặc thiếu phần trăm xác minh là những nguyên nhân gây từ chối phổ biến.

Common pitfalls

Đặc điểm nghiên cứu ảo giác. AI đôi khi trích xuất dữ liệu không có trong tài liệu nguồn — khoảng tin cậy không tồn tại, cỡ mẫu không khớp, chi tiết can thiệp được tạo ra từ ngữ cảnh. Xác minh dựa trên nguồn là cách bảo vệ duy nhất. Nếu nhóm của bạn không xác minh mọi giá trị được trích xuất thì bạn sẽ xuất bản lỗi.

Trôi nhanh trong quá trình đánh giá. Quá trình đánh giá giữa kỳ được tinh chỉnh nhanh chóng sẽ thay đổi hành vi của AI đối với các mục đã được sàng lọc. Nếu bạn thay đổi lời nhắc, hãy ghi lại lý do và sàng lọc lại các mục bị ảnh hưởng.

Phụ thuộc quá nhiều vào phân loại AI. Một số nhóm đã ủy quyền một cách hiệu quả các quyết định đưa vào AI bằng cách coi phân loại của nó là có thẩm quyền. PRISMA yêu cầu quyết định của con người. Đầu vào AI vẫn ổn; Các quyết định của AI thì không.

Quên ghi lại những sai lệch. Bất kỳ điều gì khác với quy trình đã đăng ký trước đều phải được báo cáo. Nếu việc sử dụng AI đã phát triển trong quá trình đánh giá, hãy ghi lại quá trình phát triển đó. Những thay đổi quy trình ẩn được gắn cờ khi đánh giá ngang hàng.

Phiên bản công cụ không nhất quán. Cập nhật mô hình AI. DeepSeek V3 trình chiếu bản tóm tắt vào tháng 1 không giống với phiên bản có sẵn vào tháng 6. Ghi lại phiên bản và phạm vi ngày của từng công cụ AI được sử dụng.

Giả định độ chính xác của bản dịch, chưa được xác minh. Bản dịch AI tốt nhưng không hoàn hảo, đặc biệt đối với nội dung lâm sàng hoặc kỹ thuật. Nếu bao gồm các nguồn không phải tiếng Anh, hãy ghi rõ người đã xác minh bản dịch.

See the Full AI Summarizer

Summarize papers, extract study characteristics, and draft synthesis text. Free tier includes every feature.

Frequently asked questions

Hỏi: Tôi có thể đưa các bản tóm tắt được sàng lọc bằng AI vào sơ đồ quy trình PRISMA của mình không?

Có, nhưng với sự ghi công cụ thể. Sơ đồ quy trình PRISMA 2020 tiêu chuẩn có các trường dành cho hồ sơ được xác định, hồ sơ được sàng lọc, hồ sơ được đánh giá về tính đủ điều kiện và bao gồm các hồ sơ. Nếu AI được sử dụng trong quá trình sàng lọc, hãy thêm ghi chú vào sơ đồ hoặc chú thích của nó: "Phân loại ban đầu được AI hỗ trợ đã được sử dụng để xếp hạng các bản tóm tắt; tất cả các bản tóm tắt đều được hai người đánh giá sàng lọc độc lập." Một số tạp chí hiện yêu cầu một sơ đồ quy trình chi tiết hơn để phân chia các bước chỉ được hỗ trợ bởi AI và con người. Tiện ích mở rộng PRISMA-trAIce cung cấp các mẫu cho việc này.

Hỏi: Làm cách nào để trích dẫn các công cụ AI được sử dụng trong bài đánh giá có hệ thống của tôi?

Trích dẫn mô hình với phiên bản của nó và ngày truy cập. Định dạng chuẩn: "[Tên mẫu], phiên bản [X.Y], được truy cập [phạm vi ngày] qua [điểm cuối API / giao diện web] (nhà phát triển: [Công ty]). URL: [liên kết đến tài liệu nếu có]." Một số tạp chí yêu cầu trích dẫn chi tiết hơn bao gồm các thông số API chính xác được sử dụng. Kiểm tra hướng dẫn của tạp chí dành cho tác giả. Các quy ước trích dẫn công cụ AI vẫn đang phát triển - khi nghi ngờ, hãy bao gồm nhiều chi tiết hơn thay vì ít hơn.

Q: What's the difference between PRISMA 2020 and PRISMA-trAIce?

PRISMA 2020 là danh sách kiểm tra báo cáo tiêu chuẩn để đánh giá có hệ thống, được cập nhật từ phiên bản 2009. PRISMA-trAIce (xuất bản năm 2024) là tiện ích bổ sung các yêu cầu báo cáo cho các bước được AI hỗ trợ trong quy trình xem xét. Hầu hết các tạp chí hiện nay yêu cầu cả hai: PRISMA 2020 cho báo cáo chung, PRISMA-trAIce cho bất kỳ bước nào được AI hỗ trợ. Danh sách kiểm tra dấu vết có 12 mục bao gồm tài liệu về công cụ, báo cáo kịp thời, số liệu hiệu chuẩn và quy trình xác minh của con người. Nếu bạn sử dụng AI ở bất kỳ đâu trong quá trình đánh giá có hệ thống, hãy đề cập đến PRISMA-trAIce trong phần phương pháp của bạn. Để có hướng dẫn quy trình làm việc rộng hơn bổ sung cho hướng dẫn này, hãy xem Sử dụng AI để tăng tốc độ đánh giá tài liệu của bạn.

Hỏi: Việc sử dụng AI trong quá trình đánh giá có hệ thống của tôi có làm giảm cơ hội được chấp nhận của tôi không?

Theo kinh nghiệm của chúng tôi, việc sử dụng AI được tiết lộ và ghi chép đúng cách không làm giảm tỷ lệ chấp nhận và thường tăng tốc độ xem xét (các phương pháp rõ ràng hơn và dễ bảo vệ hơn). Điều làm giảm sự chấp nhận là việc sử dụng AI không được tiết lộ, việc sử dụng AI thay thế cho phán đoán bắt buộc của con người hoặc các hạn chế liên quan đến AI không được thừa nhận. Những người biên tập và đánh giá tín hiệu phản hồi là sự chặt chẽ và minh bạch, không kiêng nể AI. Đánh giá có hệ thống sử dụng AI để sàng lọc, báo cáo việc sử dụng chi tiết, bao gồm các số liệu hiệu chỉnh và thừa nhận các hạn chế được coi là đánh giá hiện đại về mặt phương pháp - không phải là đánh giá bị xâm phạm.