AI-eszközök, amelyek valóban segítenek a szisztematikus irodalmi áttekintésekben

A BMJ Openben tavaly megjelent szisztematikus áttekintés a jegyzőkönyv regisztrációjától a benyújtásig 14 hónapig tartott. Az öt kutatóból álló csapat több mint 800 órát töltött a projekttel. Ennek az időnek nagyjából 60%-a szűrésre, adatkinyerésre és minőségértékelésre ment – ​​nem elemzésre, nem írásra, nem arra a szellemi munkára, amely indokolja a szisztematikus áttekintés létét.

Azt szerettük volna tudni, hogy a szisztematikus áttekintéshez mely mesterséges intelligencia eszközök csökkentik ténylegesen ezt az időterhet. Elméletileg nem. Nem a gyártói bemutatóban. A gyakorlatban valós felülvizsgálati protokollokon, valós felvételi kritériumokkal és valós papírokkal.

Így három párhuzamos tesztet futtattunk. Ugyanazok az 1200 papíros keresési eredmények. Ugyanazok a felvételi feltételek. Az egyik csapat hagyományos módszereket használt. Az egyik mesterséges intelligencia-szűrő eszközöket használt. Az egyik vegyes megközelítést alkalmazott – mesterséges intelligencia a kezdeti szűréshez, emberi ellenőrzés a határesetek esetében. Az eredmények megleptek minket.

A szisztematikus felülvizsgálati idő probléma

A szisztematikus áttekintések jó okkal szigorú módszertant követnek. A strukturált megközelítés – előre meghatározott keresési stratégia, explicit felvételi kritériumok, kettős szűrés, szabványosított adatkinyerés – az, ami elválasztja őket a narratív áttekintésektől, és tekintélyt ad következtetéseiknek.

De ez a szigor brutális időköltséggel jár.

Az egészségtudományok tipikus szisztematikus áttekintése 2000–5000 címet és absztraktot vetít át. Minden szűrési döntés 30-60 másodpercet vesz igénybe. Ez önmagában 17–83 órányi szűrés – általában két bíráló egymástól függetlenül végzi el, tehát megduplázza. Ezután 100–300 dolgozat teljes szöveges áttekintése következik. Ezután adatkinyerés a 30–80-as adatokból, amelyek átjutnak. Ezután az egyes tanulmányok minőségi értékelése.

A teljes csővezeték 6-18 hónapot vesz igénybe. Ez nem fenntartható, különösen azoknak a kutatóknak, akiknek szisztematikus áttekintéseket kell közzétenniük karrierjük előmozdítása érdekében, de emellett oktatási, felügyeleti és egyéb kutatási kötelezettségeik is vannak.

Az AI nem helyettesíti a módszertant. De bizonyos szakaszokat tömöríthet.

AI-eszközök szűréshez és kiválasztáshoz

A szűrés a legidőigényesebb szakasz, és az a szakasz, ahol az AI-eszközök a legnagyobb előrehaladást értek el.

Hogyan működik a mesterséges intelligencia szűrése. Megtanítja az eszközt a felvételi kritériumokra és a már átvizsgált dokumentumok egy kis készletére – talán 50–100, amelyet manuálisan „beleértve” vagy „kizárva” minősített. A mesterséges intelligencia megtanulja a mintát, és alkalmazza a többi papírra, és rangsorolja őket a felvétel valószínűsége szerint.

Tesztünkben a mesterséges intelligencia által támogatott csapat 1200 címet és absztraktot vizsgált meg 4 óra alatt. A hagyományos csapat 26 órát vett igénybe. A vegyes csapat – AI first pass, határesetek emberi ellenőrzése – 9 órát vett igénybe.

A pontosság volt a kritikus kérdés. A csak mesterséges intelligencia megközelítésének érzékenysége 94%-os volt – vagyis helyesen azonosította azon dokumentumok 94%-át, amelyeket szerepeltetni kellett volna. 6% hiányzott. A szisztematikus áttekintésben ez a 6%-os kihagyási arány aggasztó. Egy szisztematikus áttekintés, amely kihagyja a releváns tanulmányokat, aláássa saját célját.

A vegyes megközelítés megfogta azokat a hiányosságokat. A mesterséges intelligencia a papírokat "valószínűleg tartalmazza", "valószínűleg kizárja" vagy "bizonytalan" jelöléssel jelölte meg. Az emberek manuálisan ellenőrizték a "bizonytalan" halmot. Kombinált érzékenység: 99%. Kombinált idő: 9 óra versus 26. Ezt a megközelítést javasoljuk.

Mire kell figyelni a szűrőeszközben. Az eszköznek el kell fogadnia az Ön konkrét felvételi és kizárási kritériumait – nem csak kulcsszavakat, hanem olyan fogalmi kritériumokat is, mint például a „felnőtt populációt érintő vizsgálatok” vagy „véletlenszerű, ellenőrzött vizsgálati terv”. Minden döntéshez megbízhatósági pontszámot kell adnia, és lehetővé kell tennie a „bizonytalan” kategória küszöbértékének beállítását. Az alacsonyabb küszöb azt jelenti, hogy több dolgozat kerül emberi felülvizsgálatra, de kevesebb hiányzik.

AI összefoglaló adatkinyeréshez

Az adatkinyerésben azt találtuk, hogy a szisztematikus áttekintéshez szükséges mesterséges intelligencia eszközök valóban ragyognak – és ahol nem használják fel őket.

A hagyományos adatkinyerés azt jelenti, hogy elolvassa az egyes dokumentumokat, és kézzel írja be az információkat egy táblázatba: minta mérete, populáció jellemzői, beavatkozás részletei, eredménymutatók, kulcsfontosságú megállapítások, elfogultsági mutatók. 50 mellékelt dolgozat esetén ez 50–100 órát vesz igénybe.

Teszteltük a mesterséges intelligencia által támogatott adatkinyerést a strukturált kinyeréshez konfigurált AI summarizer segítségével. Mindegyik mellékelt papírt betápláltuk, és konkrét adatpontokat kértünk, amelyek megfelelnek a kinyerési űrlapunknak: a vizsgálat felépítése, a minta mérete, a résztvevők demográfiai adatai, a beavatkozás leírása, az elsődleges eredmény mértéke, a fő megállapítás a hatás méretével és a szerző által jelentett korlátozások.

Az eredmények tanulságosak voltak. Az egyértelműen közölt adatok esetében – mintanagyság, vizsgálati terv, elsődleges eredmény – az MI az esetek 92%-át pontosan kinyerte. Az árnyalt adatok esetében – pontosan mely alcsoportokat elemezték, hogyan kezelték a kopást, milyen érzékenységi elemzéseket végeztek – a pontosság 71%-ra csökkent.

Javasolt munkafolyamat: használjon mesterséges intelligenciát a kezdeti kinyerési lépéshez, majd kérjen meg egy emberi ellenőrt, hogy minden egyes kivont adatpontot az eredeti papírhoz hasonlítson. Ez az ellenőrzési lépés papíronként körülbelül 10 percet vesz igénybe, szemben a teljes kézi kihúzás 60–120 percével. Teljes időmegtakarítás: nagyjából 70%.

Az ellenőrzési lépés nem alku tárgya. A pontatlan kinyert adatokkal végzett szisztematikus áttekintés rosszabb, mint az ellenőrzés hiánya.

Mire nem képes a mesterséges intelligencia a szisztematikus áttekintésben (még)

Közvetlenek akarunk lenni a korlátokkal kapcsolatban, mert a túlzott ígéret valódi probléma ezen a téren.

A minőségértékelés mérlegelést igényel. Az elfogultság kockázatának értékelése – olyan eszközök használatával, mint a Cochrane RoB 2 vagy a Newcastle-Ottawa skála – megköveteli annak értékelését, hogy a tanulmány tervezése és jelentése megfelelő-e. A mesterséges intelligencia jelezhet potenciális aggodalmakat ("nincs említés a vakságról" vagy "20% feletti lemorzsolódási arány"), de annak végleges megítélése, hogy ezek a problémák komoly elfogultsági kockázatot jelentenek-e, olyan módszertani szakértelmet igényel, amely a jelenlegi mesterséges intelligencia nélkülözhetetlen.

A szintézis alapvetően emberi. Annak eldöntése, hogy a vizsgálatok kellően hasonlóak-e ahhoz, hogy egy metaanalízisben kombinálhatók-e, választás a rögzített hatású és véletlenszerű hatású modellek között, a heterogenitás értelmezése – ezek a döntések statisztikai szakértelmet és szakterületi ismereteket igényelnek. Az AI rendszerezheti adatait. Nem tudja kezdeményezni ezeket a hívásokat.

Protokollfejlesztéshez az Ön szakértelme szükséges. A kutatási kérdés meghatározása, adatbázisok kiválasztása, keresési stratégiák kidolgozása, felvételi kritériumok meghatározása – a szisztematikus áttekintés alapja az Ön ismeretére épül. Egyetlen AI-eszköz sem tudja megmondani, hogy milyen kérdést érdemes feltenni.

A PRISMA-jelentések továbbra is figyelmet igényelnek. A PRISMA folyamatábra, a keresési és szűrési folyamat részletes jelentése – ezek pontos dokumentálást igényelnek arról, hogy mi is történt a felülvizsgálat során, beleértve azt is, hogyan használta az AI-eszközöket. Az AI által támogatott lépések átláthatósága egyre inkább elvárható.

A legjobb szisztematikus felülvizsgálati eszközök 2026-ban

Teszteléseink és hat kutatóintézet felülvizsgálati csoportjaival folytatott beszélgetéseink alapján a következőket találtuk.

Szűréshez: A Rayyan és az ASReview továbbra is a legerősebb dedikált szűrési eszközök. Mindkettő támogatja a félautomata szűrést aktív tanulással. Az ASReview nyílt forráskódú, és erősen támogatja az AI által támogatott szűrési folyamat PRISMA-kompatibilis jelentését. A Rayyan kifinomultabb felületet és jobb együttműködési funkciókat kínál a több lektorból álló csapatok számára.

Adatkinyeréshez: Itt az általános célú mesterséges intelligencia eszközök – köztük a összefoglalónk – felülmúlják a dedikált szisztematikus áttekintő eszközöket. Ennek oka a rugalmasság. A dedikált eszközök előre meghatározott kinyerési mezőkbe zárják. Egy jó mesterségesintelligencia-összefoglaló lehetővé teszi, hogy pontosan meghatározza, milyen adatpontokat kell kivonni, az egyéni kinyerési űrlapnak megfelelően. Ezt különösen értékesnek találtuk az interdiszciplináris áttekintéseknél, ahol a szabványos kivonatolási sablonok nem illenek.

A referenciakezeléshez és a duplikáció megszüntetéséhez: A Covidence kezeli a teljes munkafolyamatot a szűréstől a kivonásig, és integrálódik a főbb referenciakezelőkkel. Ez drága az egyes kutatók számára, de megéri a több felülvizsgálatot végző csapatoknak.

Fordításhoz: Ha véleménye nem angol nyelvű dolgozatokat is tartalmaz – ez egyre gyakoribb, mivel a szisztematikus áttekintések túlmutatnak az angol nyelvű szakirodalomon –, az [AI fordítóeszközök] (/ai-translator) segíthet a más nyelvű dolgozatok kiszűrésében és kivonatolásában. Ezt 40 német, spanyol és mandarin nyelvű dolgozattal teszteltük, és a fordítási minőség mindhárom nyelven megfelelő volt a pontos szűréshez és kivonatoláshoz.

Az írási fázishoz: Az adatok kinyerése és szintézise után még meg kell írnia az ismertetőt. Az [irodalmi áttekintés-összegzési folyamat] (/blog/ai-literature-review-summarizer) esetében, amely beépül a prózába, külön részleteztük a munkafolyamatot.

A szisztematikus felülvizsgálati eszközök 2026-ban valóban jobbak, mint a két évvel ezelőtti eszközök. De – és ez fontos – egyik sem kulcsrakész megoldás. Mindegyikhez beállítási idő, képzési adatok és emberi felügyelet szükséges. Költségvetés erre a felülvizsgálati ütemterv megtervezésekor.

Reális idővonal mesterséges intelligencia segítségével

Tesztelésünk alapján így néz ki a szisztematikus áttekintés idővonala a megfelelő szakaszokban integrált AI-eszközökkel.

Protokollfejlesztés: 2-4 hét. Itt nincsenek AI parancsikonok.

Keresés végrehajtása: 1–2 nap. Az adatbázisok nem sokat változtak.

Szűrés (MI-asszisztált): 1–2 hét 4–8 hét helyett. Az AI elvégzi az első lépést. Ellenőrzi a határeseteket és megoldja a nézeteltéréseket.

Teljes szöveges áttekintés: 2–3 hét. Még mindig manuális. A mesterséges intelligencia segíthet bizonyos szakaszok megtalálásában a papírokon, de a felvételről szóló döntés emberi döntést igényel.

Adatkinyerés (MI által támogatott): 2–3 hét 6–10 hét helyett. Az AI elvégzi a kezdeti kinyerést. Eredeti papírokkal igazolod.

Minőségértékelés: 2-3 hét. Még mindig elsősorban kézi.

Szintézis és írás: 4-8 hét. Az Ön szakértelme vezérli ezt a fázist.

Összesen: 3–6 hónap 8–18 hónap helyett. Ez jelentős különbség a több projektet és karrier ütemtervét irányító kutatók számára.

AI Summarizer for Research Extraction

Structured data extraction from academic papers. Customizable extraction fields for systematic review protocols.

További olvasnivalók

• Condense Academic Text with AI
• [Tippek az irodalom áttekintésére: Hogyan szintetizáljunk forrásokat] (/blog/literature-review-tips)

Gyakran ismételt kérdések

K: Használhatók-e az AI-eszközök a szakirodalmi áttekintésekben?

Igen – és egyre inkább azok. A Journal of Clinical Epidemiology 2025-ös felmérése szerint a közzétett szisztematikus áttekintések 34%-a legalább egy mesterséges intelligencia által támogatott eszköz használatáról számolt be, szemben a 2023-as 8%-kal. A kulcs az átláthatóság: jelentse, mely eszközöket használta, mely szakaszokban és hogyan ellenőrizte a mesterséges intelligencia kimeneteit. A PRISMA 2020 irányelvei nem tiltják a mesterséges intelligencia segítségét, a közelgő PRISMA-AI-bővítés pedig konkrét jelentési útmutatást ad a mesterséges intelligencia által támogatott felülvizsgálatokhoz.

K: A PRISMA irányelvei lehetővé teszik a mesterséges intelligencia által támogatott szűrést?

A jelenlegi PRISMA 2020 irányelvek nem foglalkoznak kifejezetten a mesterséges intelligencia által támogatott szűréssel, de megkövetelik a szűrési folyamat átlátható jelentését. Ha mesterséges intelligenciát használt a kezdeti szűréshez, jelentse: írja le az eszközt, a használt betanítási adatokat, az Ön által beállított érzékenységi küszöböt és az emberi ellenőrzés folyamatát bizonytalan esetekben. A szisztematikus felülvizsgálatok közössége az explicit útmutatás felé halad – a PRISMA-AI munkacsoport 2024 óta fejleszt jelentési szabványokat –, de addig is az átláthatóság a biztosíték.

K: Melyik AI-eszköz a legjobb a szisztematikus áttekintéshez?

Nincs egyetlen legjobb eszköz, mert a szisztematikus felülvizsgálatok több különálló feladatot foglalnak magukban. A szűréshez az ASReview (nyílt forráskódú) és a Rayyan kínálja a legjobb bizonyítékokkal alátámasztott, mesterséges intelligencia által támogatott szűrést. Az adatkinyeréshez a strukturált kinyerési képességekkel rendelkező, általános célú AI-összefoglalók – mint a miénk – nagyobb rugalmasságot biztosítanak, mint a dedikált eszközök. A teljes munkafolyamat érdekében a Covidence a legintegráltabb élményt kínálja. Javasoljuk, hogy az áttekintés konkrét igényei alapján keverje össze az eszközöket, ahelyett, hogy egy platformot kényszerítene mindenre.