How to Use AI for a PRISMA-Compliant Systematic Review

Przegląd systematyczny zajmował zespołowi składającemu się z trzech badaczy od sześciu do dziewięciu miesięcy. Wąskim gardłem nie było czytanie – tylko sprawdzanie. Dwanaście tysięcy abstraktów pobranych z PubMed, Embase, Scopus i Cochrane, z których każdy potrzebował dwóch niezależnych recenzentów, aby zdecydować o włączeniu lub wykluczeniu na podstawie wcześniej zarejestrowanych kryteriów. Matematyka czasu napędzała kariery wokół niej.

AI zmieniła tę matematykę. Nowoczesne modele językowe mogą przeglądać streszczenia w ciągu kilku sekund, wyodrębniać charakterystykę badań z pełnotekstowych plików PDF w ciągu kilku minut i podsumowywać setki artykułów w ciągu godzin. Ostrożnie zastosowana sztuczna inteligencja skraca fazę sprawdzania recenzji z miesięcy do tygodni. Używany nieostrożnie, tworzy niemożliwy do odtworzenia, niezgodny dokument, który nie przechodzi recenzji.

W tym przewodniku opisano, gdzie sztuczna inteligencja legalnie pomaga w przeglądzie zgodnym z PRISMA, gdzie nie powinna wykonywać tej pracy, jakie są wymagania dotyczące raportowania związane z wykorzystaniem sztucznej inteligencji oraz szczegółowo opisano przepływ pracy zgodny z normą PRISMA 2020 i rozszerzeniem PRISMA-trAIce.

Czego właściwie wymaga PRISMA (szybkie przypomnienie)

PRISMA 2020 to standardowa lista kontrolna raportowania dla przeglądów systematycznych. Reguluje sposób, w jaki opisujesz to, co zrobiłeś, a nie sposób, w jaki to robisz. Odpowiednie elementy do wykorzystania AI to:

Raportowanie strategii wyszukiwania. Dokumentuj każdą przeszukaną bazę danych, każdy użyty ciąg wyszukiwania, każdą datę przeprowadzenia wyszukiwania. Powtarzalność jest standardem — inny badacz powinien być w stanie powtórzyć wyszukiwanie i uzyskać takie same wyniki.

Raporty z przeglądu. Udokumentuj, ile rekordów zostało sprawdzonych, przez ilu niezależnych recenzentów, w jaki sposób rozwiązano spory i ile zostało wykluczonych na każdym etapie. Tutaj znajduje się klasyczny diagram przepływu PRISMA.

Raporty dotyczące ekstrakcji danych. Dokumentuj, jakie dane zostały pobrane, przez kogo i w jaki sposób rozwiązano spory.

Ryzyko oceny błędu systematycznego. Udokumentuj zastosowane narzędzie (Cochrane RoB 2, ROBINS-I itp.) i osobę, która je wykonała.

Zgłaszanie wszelkich odchyleń. Wszystko, co nie poszło zgodnie z wcześniej zarejestrowanym protokołem, należy zgłosić, wraz z uzasadnieniem.

Rozszerzenie PRISMA-trAIce (opublikowane w 2024 r., zaktualizowane w 2025 r.) dodaje wymagania dotyczące raportowania specyficzne dla sztucznej inteligencji oprócz PRISMA 2020 r. Krótka wersja: wszędzie tam, gdzie w recenzji wykorzystano sztuczną inteligencję, zgłaszasz narzędzie, wersję, monity i sposób przeprowadzenia weryfikacji przez człowieka.

Where AI legitimately helps

To zastosowania, w których sztuczna inteligencja przyspiesza pracę, nie zmieniając treści recenzji.

Wykrywanie duplikatów. Rekordy pobierane z wielu baz danych często się duplikują. Tradycyjne menedżery referencji (Zotero, EndNote, Covidence) radzą sobie dobrze. Sztuczna inteligencja jest tutaj przesadą — używaj dalej standardowych narzędzi.

Wstępna selekcja tytułów i abstraktów. Sztuczna inteligencja może ocenić każde streszczenie pod kątem kryteriów włączenia i uszeregować je lub wstępnie sklasyfikować. Ostateczną decyzję o włączeniu/wykluczeniu musi podjąć jeszcze dwóch weryfikatorów, ale wstępna klasyfikacja AI znacznie skraca czas ludzki. W większości recenzji jest to najbardziej wartościowe wykorzystanie sztucznej inteligencji.

Wyszukiwanie i segregacja pełnego tekstu. Sztuczna inteligencja może wyodrębniać metadane publikacji, sprawdzać, czy pełny tekst odpowiada twierdzeniom streszczenia (czasami nie jest to prawdą), a także oznaczać artykuły, które wyglądają na streszczenia konferencji, erraty lub zduplikowane publikacje pod różnymi tytułami.

Ekstrakcja danych z dokumentów o określonej strukturze. Tabele charakterystyki pacjentów, dawek i wielkości efektów – sztuczna inteligencja może wyodrębnić je z pełnotekstowych plików PDF do ustrukturyzowanego arkusza ekstrakcji danych, który następnie zostaje zweryfikowany przez dwóch weryfikatorów. Czas weryfikacji jest znacznie krótszy niż w przypadku pełnej ekstrakcji ręcznej.

Wsparcie w syntezie i pisaniu. Opracowanie opisu procedury przesiewowej sekcji dotyczącej metod, sporządzenie tekstu diagramu blokowego PRISMA, podsumowanie tabeli charakterystyki uwzględnionych badań — sztuczna inteligencja pomaga w pisaniu bez zmiany treści recenzji.

Tłumaczenie źródeł innych niż angielski. Jeśli Twoja recenzja obejmuje artykuły w języku innym niż angielski, tłumaczenie AI stało się na tyle wiarygodne, że można uwzględnić te źródła. Udokumentuj narzędzie używane w metodach.

Where AI should NOT do the work

Zastosowania te przekraczają granicę podejmowania merytorycznych decyzji, które muszą podejmować weryfikatorzy.

Ostateczne decyzje o włączeniu/wykluczeniu. PRISMA wymaga dwóch niezależnych weryfikatorów w celu włączenia/wyłączenia. Sztuczna inteligencja może wstępnie klasyfikować, oceniać i ujawniać kandydatów, ale wiążącą decyzję musi podejmować człowiek. Nie podlega to negocjacjom ze względu na zgodność.

Ryzyko oceny błędu systematycznego. Narzędzia RoB wymagają oceny projektu badania, zaślepienia, utraty danych i raportowania. Sztuczna inteligencja może podsumować to, co artykuł mówi na temat każdej domeny, ale sama ocena stronniczości musi być dziełem człowieka.

Ocena jakości i stopień dowodów (GRADE). Ta sama logika. AI podsumowuje; stawka ludzi.

Interpretacja heterogeniczności. To, czy różnice między wynikami badań odzwierciedlają heterogeniczność kliniczną, heterogeniczność metodologiczną czy przypadek, jest kwestią oceny wymagającej wiedzy klinicznej i metodologicznej.

Ostateczna synteza i wnioski. Synteza narracji, omówienie mocnych i ograniczeń, implikacje kliniczne – oto wkład zespołu recenzującego. Sztuczna inteligencja może opracować początkowy język, ale merytoryczne oceny należą do Ciebie.

Wykrywanie materiałów sfabrykowanych lub pochodzących z papierni. Jak na ironię, wykrywanie sfabrykowanych badań przez sztuczną inteligencję pozostaje zawodne. Obecny standard to ludzkie spojrzenie na podejrzane dokumenty oraz narzędzia takie jak narzędzie do sprawdzania problematycznych dokumentów.

The reporting requirements

Jeśli w którymkolwiek miejscu recenzji wykorzystasz sztuczną inteligencję, PRISMA-trAIce wymaga zgłoszenia tego faktu. Struktura odpowiadająca większości czasopism:

W części poświęconej metodom podsekcja dotycząca procedury przesiewowej:

Przegląd abstraktów przeprowadzono w procesie dwuetapowym. Początkowe
Klasyfikacja została przeprowadzona przy użyciu [Nazwa narzędzia, wersja, dostęp poprzez
API/sieć w datach] z następującym szablonem podpowiedzi: „[dokładny monit]”.
Klasyfikacja została wykorzystana do ustalenia priorytetów abstraktów do przeglądu ręcznego.
Wszystkie streszczenia, niezależnie od wstępnej klasyfikacji, zostały następnie poddane selekcji
niezależnie przez dwóch recenzentów ([inicjały autora]) przy użyciu [Covidence /
Rayyan / inne narzędzie], a spory rozstrzygane są w drodze dyskusji lub poprzez
trzeciego recenzenta ([inicjały autora]), gdy nie osiągnięto konsensusu.

W badaniu kalibracyjnym przeprowadzonym na [liczbie] abstraktów przed
główny przegląd, klasyfikacja AI zgodziła się z konsensusem ludzkim
decyzja w [procent]% przypadków. W finale nie wykorzystano sztucznej inteligencji
decyzje o włączeniu lub wykluczeniu.

In the methods section, data extraction subsection:

Data extraction was performed using a structured form (Appendix [X]).
Extraction of [specific data types, e.g., patient characteristics,
intervention details, outcome measurements] was supported by [Tool
Name, version], which extracted candidate values from full-text PDFs.
All extracted values were verified against the source PDFs by two
reviewers ([author initials]). Discrepancies between AI-extracted
values and source documents were corrected against the source in
[percentage]% of cases. The verified data informed the final
synthesis.

W dedykowanej podsekcji „Wykorzystanie sztucznej inteligencji” (czasami wymaganej osobno):

The following AI tools were used in this review: [list each tool,
version, date range, and specific role]. No AI tool was used for
risk of bias assessment, quality grading, interpretation of
heterogeneity, or synthesis of conclusions. All AI-supported steps
were verified by [number] human reviewers as described above. The
prompts used are provided in Appendix [Y].

In the limitations section:

Należy wziąć pod uwagę ograniczenia związane ze sztuczną inteligencją: potencjalne systematyczne stronniczość we wstępnej klasyfikacji, poleganie na narzędziach sztucznej inteligencji, których wewnętrzne działanie nie jest przejrzyste, oraz niemożność pełnego odtworzenia zachowania sztucznej inteligencji w różnych wersjach modelu.

The workflow we recommend

Sekwencja spełniająca PRISMA-trAIce i wykorzystująca mocne strony AI.

Krok 1: Wstępna rejestracja protokołu. Przed jakimkolwiek użyciem AI zarejestruj recenzję (PROSPERO w przypadku opinii medycznych; OSF w przypadku innych). Protokół określa kryteria włączenia, strategię wyszukiwania, metodę przesiewową, plan ekstrakcji i podejście do syntezy. Określ w protokole, gdzie i w jaki sposób będzie wykorzystywana sztuczna inteligencja. Rejestracja wstępna, w której wspomina się o sztucznej inteligencji, jest znacznie silniejsza niż ujawnianie informacji post hoc.

Krok 2: Przeprowadź ćwiczenie kalibracyjne. Wybierz 100–200 abstraktów ze swojego wyszukiwania. Poproś dwóch niezależnych recenzentów o sprawdzenie ich niezależnie. Przeprowadź badanie AI na tym samym zestawie, co planowany monit. Oblicz metryki zgodności (kappa Cohena, zgodność procentowa). Jeśli zgodność sztucznej inteligencji jest niższa niż 0,7 kappa lub 80% w przypadku przyjętej przez człowieka decyzji opartej na konsensusie, doprecyzuj monit lub ponownie rozważ użycie sztucznej inteligencji.

Krok 3: Wykonaj główny test przesiewowy AI. Za pomocą skalibrowanego monitu przejrzyj pełny korpus abstrakcyjny. Wynik: lista rankingowa lub sklasyfikowana. Recenzenci ludzcy widzą ten ranking, ale podejmują własne, niezależne decyzje.

Krok 4: Niezależna weryfikacja z udziałem dwóch recenzentów. Każde streszczenie nadal ma dwóch recenzentów. Klasyfikacja AI to metadane, a nie głos. Nieporozumienia rozwiązywane w drodze dyskusji lub przez trzeciego recenzenta.

Krok 5: Sprawdzanie pełnego tekstu przy pomocy sztucznej inteligencji. Sztuczna inteligencja może oznaczyć oczywiste wykluczenia na etapie pełnotekstowego (niewłaściwy język, tylko streszczenia, wycofane artykuły). Ostateczne decyzje podejmują ludzie.

Krok 6: Ekstrakcja danych przy pomocy i weryfikacji AI. AI wyodrębnia wartości kandydujące; dwóch recenzentów sprawdza źródło. Sam dziennik weryfikacji staje się dowodem zgodności.

Krok 7: Ryzyko stronniczości – tylko człowiek. Na tym etapie nie ma sztucznej inteligencji.

Krok 8: Synteza — pisanie kierowane przez człowieka i wspomagane przez sztuczną inteligencję. Interpretacja przez ludzi. Sztuczna inteligencja pomaga w podsumowaniu badań do tabeli uwzględnionych badań, przygotowaniu sekcji poświęconej metodom i dopracowaniu pisarstwa. Interpretacja merytoryczna pozostaje ludzka.

Krok 9: Ujawnij szczegółowo. Sekcja metod opisuje użycie sztucznej inteligencji zgodnie z powyższym opisem. Pełne oświadczenie o ujawnieniu użycia sztucznej inteligencji pojawia się w pierwszej wiadomości lub w podziękowaniach. Pełna treść użytych podpowiedzi znajduje się w dodatku.

Krok 10: Audyt przed publikacją. Przed przesłaniem drugi członek zespołu sprawdza etapy wspierane przez sztuczną inteligencję pod kątem kompletności dokumentacji. Brakujące monity, brakujące numery wersji lub brakujące wartości procentowe weryfikacji to typowe przyczyny odrzucenia.

Common pitfalls

Charakterystyka badania dotyczącego halucynacji. Sztuczna inteligencja czasami wydobywa dane, których nie ma w artykule źródłowym – nieistniejące przedziały ufności, niezgodna wielkość próbek, szczegóły interwencji sfabrykowane z kontekstu. Jedyną obroną jest weryfikacja źródła. Jeśli Twój zespół nie weryfikuje każdej wyodrębnionej wartości, opublikujesz błędy.

Szybkie przejście przez recenzję. Szybka, udoskonalona recenzja w połowie zmienia zachowanie sztucznej inteligencji w przypadku już sprawdzonych elementów. Jeśli zmienisz monit, udokumentuj przyczynę i ponownie sprawdź elementy, których to dotyczy.

Nadmierne poleganie na klasyfikacji AI. Niektóre zespoły skutecznie przekazały AI decyzje o włączeniu, traktując jej klasyfikację jako wiarygodną. PRISMA wymaga ludzkich decyzji. Wejście AI jest w porządku; Decyzje AI nie są.

Zapominanie o udokumentowaniu odchyleń. Wszystko, co różni się od wcześniej zarejestrowanego protokołu, należy zgłosić. Jeżeli w trakcie przeglądu zastosowanie sztucznej inteligencji uległo ewolucji, należy udokumentować tę ewolucję. Ukryte zmiany w procesie są oznaczane podczas wzajemnej oceny.

Niespójne wersje narzędzi. Aktualizacja modeli AI. Wersja DeepSeek V3, która wyświetlała streszczenia w styczniu, nie jest identyczna z wersją dostępną w czerwcu. Udokumentuj wersję i zakres dat każdego użytego narzędzia AI.

Założono dokładność tłumaczenia, nie zweryfikowano. Tłumaczenie AI jest dobre, ale nie doskonałe, szczególnie w przypadku treści klinicznych lub technicznych. Jeżeli podano źródła inne niż angielskie, należy udokumentować osobę, która zweryfikowała tłumaczenia.

See the Full AI Summarizer

Summarize papers, extract study characteristics, and draft synthesis text. Free tier includes every feature.

Frequently asked questions

P: Czy mogę dołączyć streszczenia sprawdzone przez sztuczną inteligencję do mojego diagramu blokowego PRISMA?

Tak, ale z konkretnym przypisaniem. Standardowy schemat blokowy PRISMA 2020 zawiera pola dotyczące zidentyfikowanych rekordów, sprawdzonych rekordów, rekordów ocenionych pod kątem kwalifikowalności i uwzględnionych rekordów. Jeśli podczas selekcji wykorzystano sztuczną inteligencję, dodaj notatkę do diagramu lub jego podpisu: „Do uszeregowania abstraktów wykorzystano wstępną klasyfikację wspieraną przez sztuczną inteligencję; wszystkie abstrakty zostały poddane niezależnej ocenie przez dwóch recenzentów”. Niektóre czasopisma wymagają obecnie bardziej szczegółowego schematu działań, który dzieli się na etapy obsługiwane przez sztuczną inteligencję i wykonywane wyłącznie przez człowieka. Rozszerzenie PRISMA-trAIce udostępnia do tego szablony.

P: Jak cytować narzędzia sztucznej inteligencji użyte w moim przeglądzie systematycznym?

Podaj model wraz z jego wersją i datą dostępu. Format standardowy: „[Nazwa modelu], wersja [X.Y], dostęp [zakres dat] poprzez [punkt końcowy API/interfejs sieciowy] (programista: [Firma]). Adres URL: [link do dokumentacji, jeśli jest dostępny]”. Niektóre czasopisma wymagają bardziej szczegółowego cytowania, zawierającego dokładne zastosowane parametry API. Sprawdź instrukcje czasopisma dla autorów. Konwencje cytowania narzędzi AI wciąż ewoluują — w razie wątpliwości należy podać więcej szczegółów, a nie mniej.

P: Jaka jest różnica między PRISMA 2020 a PRISMA-trAIce?

PRISMA 2020 to standardowa lista kontrolna raportowania dla przeglądów systematycznych, zaktualizowana w stosunku do wersji 2009. PRISMA-trAIce (opublikowano w 2024 r.) to rozszerzenie, które dodaje wymagania dotyczące raportowania dla etapów procesu recenzji wspieranych przez sztuczną inteligencję. Większość czasopism wymaga obecnie obu: PRISMA 2020 w przypadku raportów ogólnych, PRISMA-trAIce w przypadku wszelkich kroków wspieranych przez sztuczną inteligencję. Lista kontrolna trAIce składa się z 12 pozycji obejmujących dokumentację narzędzi, szybkie raportowanie, metryki kalibracyjne i procedury weryfikacji przez człowieka. Jeżeli w jakimkolwiek miejscu przeglądu systematycznego używasz sztucznej inteligencji, w sekcji metod zajmij się PRISMA-trAIce. Szerszy przewodnik dotyczący przepływu pracy, który uzupełnia ten, można znaleźć w artykule Korzystanie z sztucznej inteligencji w celu przyspieszenia przeglądu literatury.

P: Czy wykorzystanie sztucznej inteligencji w przeglądzie systematycznym zmniejszy moje szanse na akceptację?

Z naszego doświadczenia wynika, że ​​ujawnione i odpowiednio udokumentowane wykorzystanie sztucznej inteligencji nie zmniejsza wskaźników akceptacji, a często przyspiesza weryfikację (metody są jaśniejsze i łatwiejsze do obrony). Tym, co ogranicza akceptację, jest nieujawnione wykorzystanie sztucznej inteligencji, użycie sztucznej inteligencji zastępujące wymaganą ludzką ocenę lub ograniczenia związane ze sztuczną inteligencją, które nie są uznawane. Redaktorzy i recenzenci reagują na rygor i przejrzystość, a nie na powstrzymywanie się od sztucznej inteligencji. Przegląd systematyczny, w którym wykorzystuje się sztuczną inteligencję do badań przesiewowych, szczegółowo opisuje jej zastosowanie, uwzględnia wskaźniki kalibracyjne i uznaje ograniczenia, jest traktowany jako przegląd metodologicznie nowoczesny, a nie przegląd kompromisowy.