How to Use AI for a PRISMA-Compliant Systematic Review

Systematické přezkoumání trvalo týmu tří výzkumníků šest až devět měsíců. Úzké hrdlo nečetlo – bylo to prověřování. Dvanáct tisíc abstraktů získaných z PubMed, Embase, Scopus a Cochrane, z nichž každý potřebuje dva nezávislé recenzenty, aby rozhodli o zařazení nebo vyloučení podle předem registrovaných kritérií. Časová matematika řídila kariéry kolem toho.

AI tuto matematiku změnila. Moderní jazykové modely dokážou zobrazit abstrakty během několika sekund, extrahovat studijní charakteristiky z fulltextových PDF během několika minut a shrnout je do stovek článků během hodin. Při pečlivém používání AI zkracuje fázi screeningu recenze z měsíců na týdny. Při neopatrném použití vytváří nereprodukovatelný, nevyhovující dokument, který neprojde recenzním řízením.

Tato příručka vás provede tím, kde AI legitimně pomáhá při kontrole v souladu s PRISMA, kde by tuto práci dělat neměla, požadavky na hlášení spojené s používáním AI a podrobný pracovní postup, který splňuje PRISMA 2020 a rozšíření PRISMA-trAIce.

Co PRISMA skutečně vyžaduje (rychlé obnovení)

PRISMA 2020 je standardní kontrolní seznam hlášení pro systematické kontroly. Řídí, jak popisujete, co jste udělali, ne jak to děláte. Relevantní kusy pro použití AI jsou:

Hlášení o strategii vyhledávání. Dokumentujte každou prohledanou databázi, každý použitý vyhledávací řetězec a každé datum, kdy bylo vyhledávání spuštěno. Reprodukovatelnost je standardem – jiný výzkumník by měl být schopen znovu spustit vaše vyhledávání a získat stejné výsledky.

Prověřování zpráv. Dokumentujte, kolik záznamů bylo prověřeno, kolika nezávislými recenzenty, jak byly vyřešeny neshody a kolik bylo v každé fázi vyloučeno. Zde žije klasický vývojový diagram PRISMA.

Hlášení o extrakci dat. Dokumentujte, jaká data byla extrahována, kým a jak byly vyřešeny neshody.

Posouzení rizika zkreslení. Zdokumentujte použitý nástroj (Cochrane RoB 2, ROBINS-I atd.) a kdo jej provedl.

Hlášení jakýchkoli odchylek. Cokoli, co neproběhlo podle předem registrovaného protokolu, musí být nahlášeno s odůvodněním.

Rozšíření PRISMA-trAIce (publikováno v roce 2024, aktualizováno v roce 2025) přidává požadavky na hlášení specifické pro umělou inteligenci nad rámec PRISMA 2020. Krátká verze: kdekoli byla v recenzi použita umělá inteligence, nahlásíte nástroj, verzi, výzvy a způsob provedení ověření člověkem.

Where AI legitimately helps

These are uses where AI accelerates the work without changing what the review is.

Detekce duplicit. Záznamy stažené z více databází často obsahují duplicity. Tradiční citační manažery (Zotero, EndNote, Covidence) to zvládají dobře. V této oblasti je AI zbytečné — držte se standardních nástrojů.

Počáteční název a screening abstraktu. Umělá inteligence může každý abstrakt ohodnotit podle vašich kritérií pro zařazení a seřadit je nebo předem klasifikovat. Konečné rozhodnutí o zařazení/vyloučení musí ještě učinit dva lidští recenzenti, ale předklasifikace AI podstatně zkracuje lidský čas. Toto je nejhodnotnější použití AI ve většině recenzí.

Vyhledávání a třídění celého textu. Umělá inteligence může extrahovat metadata publikace, identifikovat, zda plný text odpovídá nárokům abstraktu (občas ne), a označit příspěvky, které se zdají být abstrakty z konference, errata nebo duplikáty publikací pod různými názvy.

Extrakce dat ze strukturovaných dokumentů. Tabulky charakteristik pacientů, dávkování, velikosti účinku – AI je dokáže extrahovat z fulltextových souborů PDF do listu strukturované extrakce dat, který pak ověří dva lidští kontroloři. Doba ověření je mnohem kratší než při plné ruční extrakci.

Podpora syntézy a psaní. Vypracování popisu screeningového postupu části metod, vypracování textu vývojového diagramu PRISMA, shrnutí tabulky charakteristik zahrnutých studií — AI pomáhá s psaním, aniž by měnila podstatu recenze.

Překlad neanglických zdrojů. Pokud vaše recenze zahrnuje neanglické články, překlad AI se stal dostatečně spolehlivým, aby podporoval zahrnutí těchto zdrojů. Dokumentujte nástroj používaný v metodách.

Where AI should NOT do the work

Tato použití překračují čáru k věcnému rozhodování, které musí dělat lidští recenzenti.

Konečná rozhodnutí o zahrnutí/vyloučení. PRISMA vyžaduje pro zahrnutí/vyloučení dva nezávislé lidské recenzenty. Umělá inteligence může kandidáty předem klasifikovat, hodnotit a zobrazovat – ale závazné rozhodnutí musí být na člověku. Toto je nesmlouvavé, pokud jde o shodu.

Posouzení rizika zkreslení. Nástroje RoB vyžadují posouzení návrhu studie, oslepování, opotřebení a podávání zpráv. Umělá inteligence může shrnout, co o každé doméně říká článek, ale samotné hodnocení zkreslení musí být lidské.

Posouzení kvality a stupeň důkazů (GRADE). Stejná logika. AI shrnuje; lidé hodnotí.

Interpretace heterogenity. Zda rozdíly mezi výsledky studie odrážejí klinickou heterogenitu, metodologickou heterogenitu nebo náhodu, je věcí úsudku, který vyžaduje klinické a metodologické znalosti.

Konečná syntéza a závěry. Narativní syntéza, diskuse o silných stránkách a omezeních, klinické implikace – to jsou příspěvky hodnotícího týmu. Umělá inteligence může navrhnout původní jazyk, ale věcné úsudky jsou na vás.

Detekce vyrobeného nebo papírenského obsahu. Je ironií, že detekce umělé inteligence ve vyrobených studiích zůstává nespolehlivá. Lidské oči na podezřelých papírech a nástroje jako Problematic Paper Screener jsou současným standardem.

The reporting requirements

Pokud v rámci recenze použijete AI kdekoliv, PRISMA-trAIce vyžaduje, abyste to uvedli. Struktura, která vyhovuje většině časopisů:

V části metody, podsekce procedury screeningu:

Abstraktní screening byl proveden pomocí dvoufázového procesu. Počáteční
klasifikace byla provedena pomocí [Název nástroje, verze, přístup přes
API/web v datech] s následující šablonou výzvy: "[přesná výzva]".
Klasifikace byla použita k upřednostnění abstraktů pro kontrolu člověkem.
Všechny abstrakty, bez ohledu na počáteční klasifikaci, byly poté promítány
nezávisle dvěma recenzenty ([iniciály autora]) pomocí [Covidence /
Rayyan / jiný nástroj], s neshodami vyřešenými diskusí nebo pomocí
třetího recenzenta ([iniciály autora]), když nebylo dosaženo konsensu.

V kalibračním cvičení provedeném na [číslo] abstraktech před
hlavní screening, klasifikace AI souhlasila s konsensuálním člověkem
rozhodnutí v [procento] % případů. AI nebyla použita pro finále
rozhodnutí o zařazení nebo vyloučení.

V sekci metod, podsekci extrakce dat:

Data extraction was performed using a structured form (Appendix [X]).
Extraction of [specific data types, e.g., patient characteristics,
intervention details, outcome measurements] was supported by [Tool
Name, version], which extracted candidate values from full-text PDFs.
All extracted values were verified against the source PDFs by two
reviewers ([author initials]). Discrepancies between AI-extracted
values and source documents were corrected against the source in
[percentage]% of cases. The verified data informed the final
synthesis.

Ve vyhrazené podsekci „Použití AI“ (někdy vyžadováno samostatně):

The following AI tools were used in this review: [list each tool,
version, date range, and specific role]. No AI tool was used for
risk of bias assessment, quality grading, interpretation of
heterogeneity, or synthesis of conclusions. All AI-supported steps
were verified by [number] human reviewers as described above. The
prompts used are provided in Appendix [Y].

In the limitations section:

Uznejte omezení související s umělou inteligencí: potenciální systematické zkreslení při předběžné klasifikaci, spoléhání se na nástroje umělé inteligence, jejichž vnitřní fungování není transparentní, a nemožnost plně reprodukovat chování umělé inteligence napříč verzemi modelu.

The workflow we recommend

Sekvence, která splňuje PRISMA-trAIce a využívá silné stránky AI.

Krok 1: Předregistrujte protokol. Před jakýmkoli použitím AI zaregistrujte recenzi (PROSPERO pro lékařské posudky; OSF pro ostatní). Protokol specifikuje kritéria pro zařazení, strategii vyhledávání, metodu screeningu, plán extrakce a přístup k syntéze. V protokolu uveďte, kde a jak se bude AI používat. Předběžná registrace, která zmiňuje umělou inteligenci, je mnohem silnější než zveřejnění post-hoc.

Krok 2: Spusťte kalibrační cvičení. Vyberte 100–200 abstraktů z vyhledávání. Požádejte dva lidské recenzenty, aby je prověřili nezávisle. Spusťte screening AI na stejné sadě s plánovanou výzvou. Vypočítejte metriky shody (Cohenův kappa, procentuální souhlas). Pokud je souhlas s umělou inteligencí nižší než 0,7 kappa nebo 80 % s konsensuálním lidským rozhodnutím, upřesněte rychlé nebo znovu zvažte použití umělé inteligence.

Krok 3: Spusťte hlavní test AI. S kalibrovanou výzvou prověřte celý abstraktní korpus. Výstup: seřazený nebo klasifikovaný seznam. Lidští recenzenti vidí toto hodnocení, ale dělají svá vlastní nezávislá rozhodnutí.

Krok 4: Nezávislé promítání dvěma recenzenty. Každý abstrakt stále získá dva lidské recenzenty. Klasifikace AI jsou metadata, nikoli hlasování. Neshody řešené diskusí nebo třetím recenzentem.

Krok 5: Prověřování plného textu s pomocí umělé inteligence. Umělá inteligence může ve fázi plného textu označit zjevná vyloučení (nesprávný jazyk, pouze abstrakt, stažené články). Lidé dělají konečná rozhodnutí.

Krok 6: Extrakce dat s pomocí a ověření AI. AI extrahuje kandidátní hodnoty; dva lidští recenzenti ověřují proti zdroji. Samotný ověřovací protokol se stává důkazem souladu.

Krok 7: Riziko zaujatosti – pouze člověk. V tomto kroku není AI.

Krok 8: Syntéza – psaní vedené člověkem a pomocí AI. Lidé interpretují. Umělá inteligence pomáhá s [souhrnem studií pro tabulku zahrnutých studií] (/blog/summarize-research-paper-ai), navrhováním části metod a vylepšováním prózy. Věcný výklad zůstává lidský.

Krok 9: Podrobně popište. Část Metody uvádí použití umělé inteligence, jak je popsáno výše. Úplné prohlášení o použití AI se zobrazí v úvodní části nebo poděkování. Úplné použité výzvy najdete v příloze.

Krok 10: Audit před zveřejněním. Před odesláním provede druhý člen týmu kontrolu úplnosti dokumentace u kroků podporovaných umělou inteligencí. Chybějící výzvy, chybějící čísla verzí nebo chybějící procenta ověření jsou běžné spouštěče odmítnutí.

Common pitfalls

Halucinační charakteristiky studie. Umělá inteligence někdy extrahuje data, která nejsou ve zdrojovém dokumentu – neexistující intervaly spolehlivosti, velikosti vzorků, které se neshodují, podrobnosti intervencí vymyšlené z kontextu. Jedinou obranou je ověření proti zdroji. Pokud váš tým neověřuje každou extrahovanou hodnotu, budete publikovat chyby.

Okamžitý posun napříč recenzí. Rychlá rafinovaná kontrola uprostřed změní chování AI u již prověřených položek. Pokud výzvu změníte, zdokumentujte důvod a znovu zkontrolujte dotčené položky.

Přílišné spoléhání na klasifikaci AI. Některé týmy účinně delegovaly rozhodnutí o zařazení na AI tak, že její klasifikaci považovaly za směrodatnou. PRISMA vyžaduje lidská rozhodnutí. AI vstup je v pořádku; Rozhodnutí AI nejsou.

Zapomenutí doložit odchylky. Vše, co se liší od předem registrovaného protokolu, musí být nahlášeno. Pokud se používání umělé inteligence během kontroly vyvinulo, zdokumentujte vývoj. Skryté změny procesu jsou při vzájemném hodnocení označeny příznakem.

Nekonzistentní verze nástrojů. Aktualizace modelů umělé inteligence. DeepSeek V3, která promítala abstrakty v lednu, není totožná s verzí dostupnou v červnu. Zdokumentujte verzi a časové období každého použitého nástroje AI.

Přesnost překladu se předpokládá, není ověřeno. Překlad AI je dobrý, ale není dokonalý, zejména u klinického nebo technického obsahu. Pokud jsou uvedeny neanglické zdroje, doložte, kdo překlady ověřil.

See the Full AI Summarizer

Summarize papers, extract study characteristics, and draft synthesis text. Free tier includes every feature.

Frequently asked questions

Otázka: Mohu do vývojového diagramu PRISMA zahrnout abstrakty prověřené umělou inteligencí?

Ano, ale s konkrétním přiřazením. Standardní vývojový diagram PRISMA 2020 obsahuje pole pro identifikované záznamy, prověřené záznamy, záznamy posouzené z hlediska způsobilosti a záznamy. Pokud byla při screeningu použita umělá inteligence, přidejte ke schématu nebo jeho popisku poznámku: „Počáteční klasifikace podporovaná umělou inteligencí byla použita k hodnocení abstraktů; všechny abstrakty byly podrobeny nezávislému lidskému screeningu dvěma recenzenty.“ Některé časopisy nyní požadují podrobnější vývojový diagram, který popisuje kroky podporované AI a kroky pouze pro člověka. Rozšíření PRISMA-trAIce k tomu poskytuje šablony.

Q: How do I cite AI tools used in my systematic review?

Uveďte model s jeho verzí a datem přístupu. Standardní formát: "[Název modelu], verze [X.Y], přístupný [rozsah dat] přes [koncový bod API / webové rozhraní] (vývojář: [Společnost]). URL: [odkaz na dokumentaci, pokud je k dispozici]." Některé časopisy vyžadují podrobnější citaci včetně přesných použitých parametrů API. Podívejte se na pokyny časopisu pro autory. Konvence citování nástrojů umělé inteligence se stále vyvíjejí – pokud máte pochybnosti, uveďte více podrobností, nikoli méně.

Otázka: Jaký je rozdíl mezi PRISMA 2020 a PRISMA-trAIce?

PRISMA 2020 je standardní kontrolní seznam hlášení pro systematické kontroly, aktualizovaný z verze 2009. PRISMA-trAIce (publikováno v roce 2024) je rozšíření, které přidává požadavky na hlášení pro kroky podporované AI v procesu kontroly. Většina časopisů nyní vyžaduje obojí: PRISMA 2020 pro obecné zprávy, PRISMA-trAIce pro jakékoli kroky podporované AI. Kontrolní seznam TRAIce má 12 položek, které zahrnují dokumentaci k nástroji, rychlé hlášení, kalibrační metriky a postupy ověřování člověka. Pokud používáte AI kdekoli v systematickém přehledu, řešte PRISMA-trAIce v sekci metod. Širšího průvodce pracovními postupy, který toto doplňuje, naleznete v části [Using AI to Speed ​​Up Your Literature Review] (/blog/ai-literature-review-summarizer).

Otázka: Sníží používání umělé inteligence v mé systematické kontrole mé šance na přijetí?

Podle našich zkušeností zveřejněné a řádně zdokumentované použití AI nesnižuje míru přijetí a často urychluje kontrolu (metody jsou jasnější a obhajitelnější). To, co omezuje přijetí, je nezveřejněné použití umělé inteligence, použití umělé inteligence, které nahrazuje požadovaný lidský úsudek, nebo omezení související s umělou inteligencí, která nejsou uznána. Editoři signálů a recenzenti reagují na přísnost a transparentnost, nikoli na zdržování se AI. Systematická kontrola, která používá AI pro screening, podrobně uvádí použití, zahrnuje kalibrační metriky a uznává omezení, je považována za metodologicky moderní kontrolu – nikoli jako kompromitovanou.