How to Use AI for a PRISMA-Compliant Systematic Review

A szisztematikus áttekintés egy három kutatócsoportnak hat-kilenc hónapot vett igénybe. A szűk keresztmetszet nem az olvasás volt, hanem a szűrés. Tizenkétezer absztrakt a PubMed, az Embase, a Scopus és a Cochrane kínálatából származik, és mindegyikhez két független lektorra van szükség, hogy eldöntsék, hogy az előregisztrált kritériumok alapján felveszik-e vagy sem. Az időmatematika körbevezette a karriereket.

Az AI megváltoztatta ezt a matematikát. A modern nyelvi modellek másodpercek alatt át tudják szűrni az absztraktokat, percek alatt kivonják a tanulmány jellemzőit a teljes szövegű PDF-fájlokból, és órák alatt összefoglalják több száz közleményt. Gondosan használva a mesterséges intelligencia a felülvizsgálat átvilágítási szakaszát hónapokról hetekre csökkenti. Gondatlanul használva nem reprodukálható, nem megfelelő dokumentumot hoz létre, amely nem felel meg a szakértői értékelésnek.

Ez az útmutató bemutatja, hogy a mesterséges intelligencia hol segít jogosan a PRISMA-kompatibilis felülvizsgálat során, hol nem neki kellene elvégeznie a munkát, milyen jelentési követelményeket kell az AI használatához, valamint egy lépésről lépésre bemutatja a PRISMA 2020-nak és a PRISMA-trAIce bővítménynek megfelelő munkafolyamatot.

Mit igényel a PRISMA (gyors frissítés)

A PRISMA 2020 a szisztematikus felülvizsgálatok standard jelentési ellenőrző listája. Ez szabályozza, hogyan írja le, amit tett, nem pedig azt, hogyan csinálja. A mesterséges intelligencia használatára vonatkozó releváns darabok a következők:

Keresési stratégia jelentés. Dokumentáljon minden keresett adatbázist, minden használt keresési karakterláncot és a keresések minden dátumát. A reprodukálhatóság a szabvány – egy másik kutatónak képesnek kell lennie arra, hogy újra lefuttassa a keresést, és ugyanazokat az eredményeket kapja.

Szűrési jelentés. Dokumentálja, hogy hány rekordot vizsgáltak át, hány független lektorral, hogyan oldották meg a nézeteltéréseket, és hányat zártak ki az egyes szakaszokban. Itt él a klasszikus PRISMA folyamatábra.

Adatkinyerési jelentés. Dokumentálja, hogy milyen adatokat, kik és hogyan oldották meg a nézeteltéréseket.

A torzítás kockázatának felmérése. Dokumentálja a használt eszközt (Cochrane RoB 2, ROBINS-I stb.) és azt, hogy ki végezte.

Eltérés bejelentése. Mindent, ami nem az előre regisztrált jegyzőkönyv szerint ment, indokolással jelezni kell.

A PRISMA-trAIce bővítmény (közzétéve 2024-ben, frissítve 2025-ben) mesterséges intelligencia-specifikus jelentési követelményeket ad hozzá a 2020-as PRISMA-hoz. A rövid verzió: bárhol, ahol mesterséges intelligenciát használtak a felülvizsgálat során, jelenteni kell az eszközt, a verziót, az utasításokat és az emberi ellenőrzés végrehajtásának módját.

Where AI legitimately helps

Ezek olyan felhasználások, ahol a mesterséges intelligencia felgyorsítja a munkát anélkül, hogy megváltoztatná az áttekintést.

Duplikált észlelés. A több adatbázisból lehívott rekordok gyakran ismétlődnek. A hagyományos referenciamenedzserek (Zotero, EndNote, Covidence) ezt jól csinálják. Az AI itt túlzás – használja továbbra is a szabványos eszközöket.

A kezdeti cím és az absztrakt átvilágítása. A mesterséges intelligencia minden absztraktot a felvételi kritériumok alapján értékel, és rangsorol vagy előre besorol. Két emberi felülvizsgálónak még meg kell hoznia a végső bevonási/kizárási döntést, de a mesterséges intelligencia előzetes besorolása jelentősen csökkenti az emberiség idejét. A legtöbb értékelésben ez a legmagasabb értékű mesterséges intelligencia.

Teljes szöveg visszakeresése és osztályozása. A mesterséges intelligencia kinyerheti a publikáció metaadatait, azonosíthatja, hogy a teljes szöveg egyezik-e az absztrakt állításaival (esetenként nem), és megjelölheti azokat az előadásokat, amelyek konferenciakivonatoknak, tévedéseknek vagy publikációk másodpéldányának tűnnek különböző címeken.

Adatok kinyerése strukturált papírokból. Betegjellemzők, adagolások, hatásméretek táblázatai – az AI ezeket a teljes szövegű PDF-fájlokból strukturált adatkinyerési lapra tudja kinyerni, amelyet aztán két emberi lektor ellenőriz. Az ellenőrzési idő sokkal rövidebb, mint a teljes kézi kivonásé.

Szintézis és írástámogatás. A módszerek szekció szűrési eljárás leírásának megfogalmazása, a PRISMA folyamatábra szövegének megfogalmazása, a bevont tanulmányok jellemzőit tartalmazó táblázat összefoglalása – a mesterséges intelligencia segít az írásban anélkül, hogy az áttekintés lényegét megváltoztatná.

Nem angol nyelvű források fordítása. Ha véleménye nem angol nyelvű dolgozatokat is tartalmaz, az AI fordítás elég megbízhatóvá vált ahhoz, hogy támogassa e források felvételét. Dokumentálja a módszerekben használt eszközt.

Where AI should NOT do the work

Ezek a felhasználások átlépik az érdemi döntéshozatal határvonalát, amelyet az emberi felülvizsgálóknak meg kell tenniük.

Végső belefoglaló/kizárási döntések. PRISMA két független emberi felülvizsgálót igényel a felvételhez/kizáráshoz. A mesterséges intelligencia képes előre besorolni, rangsorolni és felszínre hozni a jelölteket – de a kötelező érvényű döntésnek emberinek kell lennie. Ez nem alku tárgya a megfelelés érdekében.

Az elfogultság értékelésének kockázata. A RoB-eszközök megítélést igényelnek a vizsgálat tervezésével, a vakítással, az elhasználódással és a jelentésekkel kapcsolatban. A mesterséges intelligencia össze tudja foglalni, amit a papír az egyes tartományokról mond, de magának az elfogultsági besorolásnak emberinek kell lennie.

Minőségértékelés és bizonyítékok fokozata (GRADE). Ugyanaz a logika. AI összefoglalja; az emberek értékelik.

A heterogenitás értelmezése. Az, hogy a vizsgálati eredmények közötti különbségek klinikai heterogenitást, módszertani heterogenitást vagy véletlenszerűséget tükröznek, klinikai és módszertani szakértelmet igénylő ítélet.

Végső szintézis és következtetések. A narratív szintézis, az erősségek és korlátok megvitatása, a klinikai következmények – ezek a vizsgálócsoport hozzájárulásai. A mesterséges intelligencia meg tudja fogalmazni a kezdeti nyelvet, de az érdemi ítélet az Öné.

A gyártott vagy papírgyári tartalom kimutatása. Ironikus módon a mesterséges tanulmányok mesterséges intelligencia kimutatása továbbra is megbízhatatlan. Az emberi szem a gyanús papírokon, valamint az olyan eszközök, mint a Problematic Paper Screener, a jelenlegi szabvány.

The reporting requirements

Ha a véleményben bárhol mesterséges intelligenciát használ, a PRISMA-trAIce megköveteli, hogy jelentse. A legtöbb folyóiratnak megfelelő szerkezet:

A módszerek részben, a szűrési eljárás alfejezetben:

Az absztrakt szűrést kétlépcsős eljárással végezték. Kezdeti
az osztályozás a [Tool Name, version, accessed via
API/web dátumokon] a következő prompt sablonnal: „[pontos prompt]”.
A besorolást az absztraktok elsőbbségi meghatározására használták az emberi áttekintéshez.
Az összes absztraktot, függetlenül a kezdeti besorolástól, átvizsgálták
egymástól függetlenül két bíráló ([a szerző kezdőbetűi]) a [Covidence /
Rayyan / egyéb eszköz], a nézeteltéréseket megbeszéléssel vagy a
egy harmadik bíráló ([a szerző kezdőbetűi]), amikor nem sikerült konszenzust elérni.

A [szám] absztrakton végzett kalibrációs gyakorlatban a
fő szűrés, a mesterséges intelligencia besorolása megegyezett a humán konszenzussal
döntés az esetek [százaléka]%-ában. Az AI-t nem használták a végső célhoz
felvételi vagy kizárási határozatok.

A módszerek részben az adatkinyerés alszakaszban:

Data extraction was performed using a structured form (Appendix [X]).
Extraction of [specific data types, e.g., patient characteristics,
intervention details, outcome measurements] was supported by [Tool
Name, version], which extracted candidate values from full-text PDFs.
All extracted values were verified against the source PDFs by two
reviewers ([author initials]). Discrepancies between AI-extracted
values and source documents were corrected against the source in
[percentage]% of cases. The verified data informed the final
synthesis.

Egy külön „Az AI használata” alszakaszban (néha külön szükséges):

The following AI tools were used in this review: [list each tool,
version, date range, and specific role]. No AI tool was used for
risk of bias assessment, quality grading, interpretation of
heterogeneity, or synthesis of conclusions. All AI-supported steps
were verified by [number] human reviewers as described above. The
prompts used are provided in Appendix [Y].

In the limitations section:

Az AI-val kapcsolatos korlátok elismerése: lehetséges szisztematikus elfogultság az előzetes besorolásban, az AI-eszközökre való támaszkodás, amelyek belső működése nem átlátható, és az AI viselkedésének teljes reprodukálásának lehetetlensége a modellverziókban.

The workflow we recommend

Egy sorozat, amely kielégíti a PRISMA-trAIce követelményt, és használja az AI erősségeit.

1. lépés: Előregisztrálja a protokollt. Bármilyen mesterséges intelligencia használata előtt regisztrálja a véleményt (orvosi felülvizsgálatok esetén PROSPERO; mások esetében OSF). A protokoll meghatározza a felvételi kritériumokat, a keresési stratégiát, a szűrési módszert, a kinyerési tervet és a szintézis megközelítést. Adja meg a protokollban, hogy hol és hogyan használják az AI-t. Az MI-t említő előzetes regisztráció sokkal erősebb, mint az utólagos közzététel.

2. lépés: Futtassa le a kalibrációs gyakorlatot. Válasszon ki 100-200 absztraktot a keresésből. Kérjen meg két emberi felülvizsgálót egymástól függetlenül. Futtassa az AI-szűrést ugyanazon a készleten a tervezett felszólítással. Számítsa ki az egyetértési mérőszámokat (Cohen-féle kappa, százalékos megegyezés). Ha a mesterséges intelligencia egyetértése 0,7 kappa vagy 80% alatt van a konszenzusos emberi döntéssel, finomítsa a felszólítást, vagy fontolja meg újra az AI használatát.

3. lépés: Futtassa le a fő mesterséges intelligencia átvizsgálást. Kalibrált prompt segítségével szűrje le a teljes absztrakt korpuszt. Kimenet: rangsorolt ​​vagy minősített lista. Az emberi értékelők látják ezt a rangsort, de önálló döntéseket hoznak.

4. lépés: Két lektortól független szűrés. Minden absztrakthoz továbbra is két emberi felülvizsgáló tartozik. A mesterséges intelligencia besorolása metaadatok, nem szavazat. A nézeteltéréseket megbeszéléssel vagy egy harmadik lektorral oldják meg.

5. lépés: Teljes szöveg szűrése mesterséges intelligencia segítségével. A mesterséges intelligencia nyilvánvaló kizárásokat jelezhet a teljes szöveg szakaszában (rossz nyelvezet, csak absztrakt, visszavont papírok). Az emberek hozzák meg a végső döntéseket.

6. lépés: Adatkinyerés mesterséges intelligencia segítséggel és ellenőrzéssel. A mesterséges intelligencia kivonja a jelölt értékeket; két emberi lektor ellenőrzi a forrást. Az ellenőrzési napló maga a megfelelőség bizonyítékává válik.

7. lépés: Elfogultság kockázata – csak ember. Ebben a lépésben nincs mesterséges intelligencia.

8. lépés: Szintézis – ember által vezetett, mesterséges intelligencia által támogatott írás. Az emberek értelmezik. A mesterséges intelligencia segít a [tanulmányok összefoglalásában a beépített tanulmányok táblázatához] (/blog/summarize-research-paper-ai), a módszerek szakasz megfogalmazásában és a próza csiszolásában. Az érdemi értelmezés emberi marad.

9. lépés: Tegye közzé átfogóan. A Metódusok szakasz a fent leírt mesterséges intelligencia használatáról számol be. A teljes AI-használati nyilatkozat megjelenik az elején vagy a köszönetnyilvánításokban. A használt összes prompt egy függelékben található.

10. lépés: Közzététel előtti ellenőrzés. A benyújtás előtt a csapat egy második tagja ellenőrzi az AI által támogatott lépéseket a dokumentáció teljessége érdekében. A hiányzó promptok, hiányzó verziószámok vagy hiányzó ellenőrzési százalékok a gyakori elutasítási kiváltó tényezők.

Common pitfalls

Hlucinált vizsgálati jellemzők. A mesterséges intelligencia időnként olyan adatokat nyer ki, amelyek nem szerepelnek a forrásanyagban – nem létező konfidenciaintervallumok, nem egyező mintaméretek, kontextusból kitalált beavatkozási részletek. A forrás elleni igazolás az egyetlen védekezés. Ha csapata nem ellenőrzi az összes kivont értéket, akkor hibákat fog közzétenni.

Azonnali sodródás a felülvizsgálaton. Az azonnali, finomított félidős áttekintés megváltoztatja az AI viselkedését a már átvilágított tételeken. Ha módosítja a felszólítást, dokumentálja az okot, és szűrje újra az érintett elemeket.

Túlzott támaszkodás a mesterséges intelligencia besorolására. Egyes csapatok hatékonyan delegálták a felvételi döntéseket az MI-re, mivel a besorolását mérvadónak tekintették. PRISMA emberi döntéseket igényel. Az AI bemenet rendben van; Az AI döntések nem.

Elfelejti dokumentálni az eltéréseket. Mindent, ami eltér az előre regisztrált protokolltól, jelenteni kell. Ha az AI-használat fejlődött a felülvizsgálat során, dokumentálja az evolúciót. A rejtett folyamatmódosításokat a szakértői felülvizsgálat során megjelölik.

Inkonzisztens eszközverziók. Az AI-modellek frissítése. A januárban kivonatokat vetített DeepSeek V3 nem azonos a júniusban elérhető verzióval. Dokumentálja az egyes használt AI-eszközök verzióját és dátumtartományát.

Feltételezett fordítási pontosság, nincs ellenőrizve. A mesterséges intelligencia fordítása jó, de nem tökéletes, különösen klinikai vagy technikai tartalom esetén. Ha nem angol nyelvű forrásokat is tartalmaz, dokumentálja, aki ellenőrizte a fordításokat.

See the Full AI Summarizer

Summarize papers, extract study characteristics, and draft synthesis text. Free tier includes every feature.

Frequently asked questions

K: Felvehetem a mesterséges intelligencia által szűrt absztraktokat a PRISMA folyamatábrámba?

Igen, de konkrét hozzárendeléssel. A szabványos PRISMA 2020 folyamatábra mezőket tartalmaz az azonosított rekordokhoz, a rekordok átvizsgálásához, a rekordok alkalmasságának értékeléséhez, valamint a rekordokhoz. Ha mesterséges intelligenciát használtak a szűrés során, adjon hozzá megjegyzést a diagramhoz vagy a felirathoz: "Az absztraktok rangsorolásához az eredeti mesterséges intelligencia által támogatott besorolást használtuk; minden absztraktot független emberi szűrésben végeztek két bíráló." Egyes folyóiratok most részletesebb folyamatábrát kérnek, amely lebontja a mesterséges intelligencia által támogatott és csak ember számára készült lépéseket. A PRISMA-trAIce kiterjesztés sablonokat biztosít ehhez.

K: Hogyan idézhetek a szisztematikus áttekintésemben használt AI-eszközöket?

Idézze meg a modellt a verziójával és a hozzáférés dátumával együtt. Szabványos formátum: "[Modell neve], [X.Y] verzió, [dátumtartomány] elérve [API-végponton / webes felületen] keresztül (fejlesztő: [Vállalat]). URL: [hivatkozás a dokumentációhoz, ha elérhető]." Egyes folyóiratok részletesebb hivatkozást igényelnek, beleértve a pontos API-paramétereket. Ellenőrizze a folyóirat szerzőinek szóló utasításait. Az AI-eszközök hivatkozási konvenciói még mindig fejlődnek – ha kétségei vannak, inkább több részletet adjon meg, mint kevesebbet.

K: Mi a különbség a PRISMA 2020 és a PRISMA-trAIce között?

A PRISMA 2020 a rendszeres áttekintések standard jelentési ellenőrző listája, frissítve a 2009-es verziótól. A PRISMA-trAIce (közzétéve: 2024) egy olyan bővítmény, amely jelentési követelményeket ad az AI által támogatott lépésekhez a felülvizsgálati folyamatban. A legtöbb folyóirat most mindkettőt igényli: PRISMA 2020 az általános jelentésekhez, PRISMA-trAIce az AI által támogatott lépésekhez. A traIce ellenőrzőlista 12 elemet tartalmaz, amelyek lefedik a szerszámdokumentációt, az azonnali jelentéseket, a kalibrációs mérőszámokat és az emberi ellenőrzési eljárásokat. Ha MI-t használ bárhol egy szisztematikus áttekintés során, akkor a módszerek szakaszban keresse meg a PRISMA-trAIce címet. Az ezt kiegészítő, szélesebb körű munkafolyamat-útmutatóért lásd: [A mesterséges intelligencia használata az irodalom áttekintésének felgyorsítására] (/blog/ai-literature-review-summarizer).

K: Csökkenti-e az elfogadás esélyeimet, ha az AI-t használom a szisztematikus felülvizsgálatom során?

Tapasztalataink szerint a nyilvánosságra hozott és megfelelően dokumentált AI-használat nem csökkenti az elfogadási arányt, és gyakran felgyorsítja az áttekintést (a módszerek világosabbak és védhetőbbek). Ami csökkenti az elfogadottságot, az a nem nyilvános mesterségesintelligencia-használat, az AI-használat, amely helyettesíti a szükséges emberi ítélőképességet, vagy az AI-val kapcsolatos korlátozások, amelyeket nem ismernek el. A szerkesztők és a lektorok a szigorra és az átláthatóságra reagálnak, nem pedig az AI-tól való tartózkodásra. A szisztematikus áttekintést, amely mesterséges intelligencia szűrésére használja, részletesen beszámol a felhasználásról, kalibrációs mérőszámokat tartalmaz, és elismeri a korlátokat, módszertanilag modern áttekintésnek tekintik – nem pedig kompromisszumnak.