How to Use AI for a PRISMA-Compliant Systematic Review

Una revisione sistematica impiegava da sei a nove mesi per un team di tre ricercatori. Il collo di bottiglia non era la lettura: era lo screening. Dodicimila abstract estratti da PubMed, Embase, Scopus e Cochrane, ciascuno dei quali necessita di due revisori indipendenti per decidere se includere o escludere in base a criteri preregistrati. Il tempo in cui la matematica guidava le carriere attorno ad esso.

L’intelligenza artificiale ha cambiato i conti. I moderni modelli linguistici possono vagliare gli abstract in pochi secondi, estrarre le caratteristiche dello studio dai PDF full-text in pochi minuti e riassumere centinaia di articoli in poche ore. Se utilizzata con attenzione, l’intelligenza artificiale riduce la fase di screening di una revisione da mesi a settimane. Usato con noncuranza, produce un documento non riproducibile e non conforme che non supera la revisione tra pari.

Questa guida illustra i punti in cui l'intelligenza artificiale aiuta legittimamente in una revisione conforme a PRISMA, i punti in cui non dovrebbe svolgere il lavoro, i requisiti di reporting derivanti dall'uso dell'intelligenza artificiale e un flusso di lavoro passo passo che soddisfa PRISMA 2020 e l'estensione PRISMA-trAIce.

What PRISMA actually requires (quick refresher)

PRISMA 2020 è la checklist di reporting standard per le revisioni sistematiche. Determina il modo in cui descrivi ciò che hai fatto, non il modo in cui lo fai. I pezzi rilevanti per l'uso dell'IA sono:

Report sulla strategia di ricerca. Documenta ogni database cercato, ogni stringa di ricerca utilizzata, ogni data in cui sono state eseguite le ricerche. La riproducibilità è lo standard: un altro ricercatore dovrebbe essere in grado di eseguire nuovamente la ricerca e ottenere gli stessi risultati.

Relazione sullo screening. Documenta quanti record sono stati esaminati, da quanti revisori indipendenti, come sono stati risolti i disaccordi e quanti sono stati esclusi in ogni fase. Il classico diagramma di flusso PRISMA risiede qui.

Report sull'estrazione dei dati. Documenta quali dati sono stati estratti, da chi e come sono stati risolti i disaccordi.

Rischio di valutazione bias. Documentare lo strumento utilizzato (Cochrane RoB 2, ROBINS-I, ecc.) e chi lo ha eseguito.

Segnalazione di eventuali deviazioni. Tutto ciò che non è andato secondo il protocollo pre-registrato dovrà essere segnalato, motivandolo.

L'estensione PRISMA-trAIce (pubblicata nel 2024, aggiornata nel 2025) aggiunge requisiti di reporting specifici per l'intelligenza artificiale oltre a PRISMA 2020. La versione breve: ovunque sia stata utilizzata l'intelligenza artificiale nella revisione, si segnala lo strumento, la versione, le istruzioni e il modo in cui è stata eseguita la verifica umana.

Where AI legitimately helps

Si tratta di usi in cui l’intelligenza artificiale accelera il lavoro senza modificare ciò che è la revisione.

Rilevamento duplicati. I record estratti da più database spesso sono duplicati. I tradizionali gestori di riferimento (Zotero, EndNote, Covidence) lo fanno egregiamente. L’intelligenza artificiale qui è eccessiva: continua a utilizzare gli strumenti standard.

Titolo iniziale e screening degli abstract. L'intelligenza artificiale può assegnare un punteggio a ciascun abstract rispetto ai tuoi criteri di inclusione e classificarli o preclassificarli. Due revisori umani devono ancora prendere la decisione finale di inclusione/esclusione, ma la preclassificazione dell'IA riduce sostanzialmente il tempo umano. Questo è l'utilizzo dell'IA di valore più alto nella maggior parte delle recensioni.

Recupero e valutazione del testo completo. L'intelligenza artificiale può estrarre i metadati della pubblicazione, identificare se un testo completo corrisponde alle affermazioni dell'abstract (a volte non è così) e contrassegnare documenti che sembrano essere abstract di conferenze, errata o pubblicazioni duplicate con titoli diversi.

Estrazione dei dati da documenti strutturati. Tabelle delle caratteristiche dei pazienti, dei dosaggi e delle dimensioni degli effetti: l'intelligenza artificiale può estrarli dai PDF full-text in un foglio di estrazione dei dati strutturato, che due revisori umani poi verificano. Il tempo di verifica è molto inferiore rispetto all'estrazione manuale completa.

Sintesi e supporto alla scrittura. Stesura della descrizione della procedura di screening della sezione metodi, stesura del testo del diagramma di flusso PRISMA, riepilogo della tabella delle caratteristiche degli studi inclusi: l'intelligenza artificiale aiuta nella scrittura senza modificare la sostanza della revisione.

Traduzione di fonti non inglesi. Se la tua recensione include documenti non inglesi, la traduzione AI è diventata sufficientemente affidabile da supportare l'inclusione di queste fonti. Documentare lo strumento utilizzato nei metodi.

Where AI should NOT do the work

Questi usi oltrepassano il limite del processo decisionale sostanziale che i revisori umani devono fare.

Decisioni finali di inclusione/esclusione. PRISMA richiede due revisori umani indipendenti per l'inclusione/esclusione. L’intelligenza artificiale può preclassificare, classificare e far emergere i candidati, ma la decisione vincolante deve essere umana. Questo non è negoziabile per la conformità.

Valutazione del rischio di bias. Gli strumenti RoB richiedono un giudizio sulla progettazione dello studio, sull'accecamento, sull'attrito e sul reporting. L’intelligenza artificiale può riassumere ciò che dice il documento su ciascun dominio, ma la valutazione dei pregiudizi in sé deve essere umana.

Valutazione della qualità e grado di evidenza (GRADE). Stessa logica. L'intelligenza artificiale riassume; tasso degli umani.

Interpretazione dell'eterogeneità. Se le differenze tra i risultati dello studio riflettono l'eterogeneità clinica, l'eterogeneità metodologica o il caso è un giudizio che richiede competenze cliniche e metodologiche.

Sintesi finale e conclusioni. La sintesi narrativa, la discussione dei punti di forza e dei limiti, le implicazioni cliniche: questi sono i contributi del team di revisione. L'intelligenza artificiale può elaborare il linguaggio iniziale, ma i giudizi sostanziali sono tuoi.

Rilevamento di contenuti fabbricati o di cartiera. Paradossalmente, il rilevamento tramite intelligenza artificiale di studi fabbricati rimane inaffidabile. Gli occhi umani su documenti sospetti, oltre a strumenti come Problematic Paper Screener, sono lo standard attuale.

The reporting requirements

Se utilizzi l'intelligenza artificiale in un punto della recensione, PRISMA-trAIce richiede che tu lo segnali. La struttura che soddisfa la maggior parte delle riviste:

Nella sezione metodi, sottosezione procedura di screening:

"testo". Lo screening astratto è stato condotto utilizzando un processo in due fasi. Iniziale la classificazione è stata eseguita utilizzando [Nome strumento, versione, accessibile tramite Date API/web] con il seguente modello di prompt: "[prompt esatto]". La classificazione è stata utilizzata per dare priorità agli abstract per la revisione umana. Tutti gli abstract, indipendentemente dalla classificazione iniziale, sono stati poi vagliati indipendentemente da due revisori ([iniziali dell'autore]) utilizzando [Covidence / Rayyan / altro strumento], con disaccordi risolti mediante discussione o da un terzo revisore ([iniziali dell'autore]) quando non è stato raggiunto il consenso.

In un esercizio di calibrazione condotto su [numero] abstract prima del screening principale, la classificazione AI concordava con il consenso umano decisione nel [percentuale]% dei casi. L'intelligenza artificiale non è stata utilizzata per la finale decisioni di inclusione o esclusione.

**Nella sezione metodi, sottosezione estrazione dati:**

```text
Data extraction was performed using a structured form (Appendix [X]).
Extraction of [specific data types, e.g., patient characteristics,
intervention details, outcome measurements] was supported by [Tool
Name, version], which extracted candidate values from full-text PDFs.
All extracted values were verified against the source PDFs by two
reviewers ([author initials]). Discrepancies between AI-extracted
values and source documents were corrected against the source in
[percentage]% of cases. The verified data informed the final
synthesis.

In una sottosezione dedicata "Utilizzo dell'intelligenza artificiale" (a volte richiesta separatamente):

The following AI tools were used in this review: [list each tool,
version, date range, and specific role]. No AI tool was used for
risk of bias assessment, quality grading, interpretation of
heterogeneity, or synthesis of conclusions. All AI-supported steps
were verified by [number] human reviewers as described above. The
prompts used are provided in Appendix [Y].

In the limitations section:

Riconoscere i limiti legati all’intelligenza artificiale: potenziali distorsioni sistematiche nella preclassificazione, dipendenza da strumenti di intelligenza artificiale il cui funzionamento interno non è trasparente e l’impossibilità di riprodurre completamente il comportamento dell’intelligenza artificiale tra le versioni del modello.

The workflow we recommend

Una sequenza che soddisfa PRISMA-trAIce e utilizza i punti di forza dell'intelligenza artificiale.

Passaggio 1: preregistrare il protocollo. Prima di qualsiasi utilizzo dell'IA, registrare la revisione (PROSPERO per revisioni mediche; OSF per altri). Il protocollo specifica i criteri di inclusione, la strategia di ricerca, il metodo di screening, il piano di estrazione e l'approccio di sintesi. Specificare nel protocollo dove verrà utilizzata l’intelligenza artificiale e come. La preregistrazione che menziona l’intelligenza artificiale è molto più forte della divulgazione post hoc.

Passaggio 2: esegui l'esercizio di calibrazione. Scegli 100-200 abstract dalla tua ricerca. Chiedi a due revisori umani di esaminarli in modo indipendente. Esegui lo screening AI sullo stesso set con il prompt pianificato. Calcolare le metriche di accordo (kappa di Cohen, accordo percentuale). Se l'accordo dell'IA è inferiore a 0,7 kappa o all'80% con la decisione umana consensuale, perfezionare il prompt o riconsiderare l'uso dell'IA.

Passaggio 3: esegui il passaggio di screening dell'intelligenza artificiale principale. Con un prompt calibrato, esamina l'intero corpus astratto. Output: un elenco classificato o classificato. I revisori umani vedono questa classifica ma prendono le proprie decisioni indipendenti.

Passaggio 4: screening indipendente da due revisori. Ogni abstract riceve comunque due revisori umani. La classificazione AI è costituita da metadati, non da un voto. Disaccordi risolti mediante discussione o da un terzo revisore.

Passaggio 5: screening del testo completo con l'assistenza dell'intelligenza artificiale. L'intelligenza artificiale può segnalare esclusioni evidenti nella fase del testo completo (linguaggio sbagliato, solo abstract, documenti ritirati). Gli esseri umani prendono le decisioni finali.

Passaggio 6: estrazione dei dati con assistenza e verifica dell'intelligenza artificiale. L'intelligenza artificiale estrae i valori candidati; due revisori umani verificano rispetto alla fonte. Il registro di verifica stesso diventa prova di conformità.

Passaggio 7: rischio di bias: solo per gli esseri umani. Nessuna intelligenza artificiale in questo passaggio.

Passaggio 8: sintesi: scrittura guidata dall'uomo e assistita dall'intelligenza artificiale. Gli esseri umani interpretano. L'intelligenza artificiale aiuta a riepilogare gli studi per la tabella degli studi inclusi, a redigere la sezione dei metodi e a perfezionare la prosa. L’interpretazione sostanziale resta umana.

Passaggio 9: divulgazione esaustiva. La sezione Metodi riporta l'utilizzo dell'IA come descritto sopra. Una dichiarazione di divulgazione sull'uso dell'intelligenza artificiale completa è visualizzata nella parte introduttiva o nei ringraziamenti. I suggerimenti completi utilizzati si trovano in un'appendice.

Passaggio 10: controllo pre-pubblicazione. Prima dell'invio, un secondo membro del team controlla i passaggi supportati dall'intelligenza artificiale per verificare la completezza della documentazione. Richieste mancanti, numeri di versione mancanti o percentuali di verifica mancanti sono i comuni fattori che attivano il rifiuto.

Common pitfalls

Caratteristiche degli studi allucinati. L'intelligenza artificiale a volte estrae dati che non sono presenti nel documento originale: intervalli di confidenza che non esistono, dimensioni del campione che non corrispondono, dettagli dell'intervento fabbricati dal contesto. La verifica contro la fonte è l'unica difesa. Se il tuo team non verifica ogni valore estratto, pubblicherai errori.

Deviazione rapida nel corso della revisione. Una revisione intermedia tempestiva e perfezionata modifica il comportamento dell'IA sugli elementi già selezionati. Se modifichi la richiesta, documenta il motivo e controlla nuovamente gli elementi interessati.

Eccessiva dipendenza dalla classificazione dell'intelligenza artificiale. Alcuni team hanno effettivamente delegato le decisioni di inclusione all'intelligenza artificiale trattando la sua classificazione come autorevole. PRISMA richiede decisioni umane. L'input dell'IA va bene; Le decisioni dell’IA no.

Dimenticandosi di documentare le deviazioni. Tutto ciò che si discosta dal protocollo pre-registrato dovrà essere segnalato. Se l'uso dell'intelligenza artificiale si è evoluto durante la revisione, documentare l'evoluzione. Le modifiche nascoste del processo vengono contrassegnate durante la revisione tra pari.

Versioni dello strumento incoerenti. Aggiornamento dei modelli AI. Il DeepSeek V3 che ha proiettato gli abstract a gennaio non è identico alla versione disponibile a giugno. Documentare la versione e l'intervallo di date di ogni strumento AI utilizzato.

Precisione della traduzione presupposta, non verificata. La traduzione AI è buona ma non perfetta, soprattutto per contenuti clinici o tecnici. Se sono incluse fonti non inglesi, documenta chi ha verificato le traduzioni.

See the Full AI Summarizer

Summarize papers, extract study characteristics, and draft synthesis text. Free tier includes every feature.

Frequently asked questions

Q: Can I include AI-screened abstracts in my PRISMA flow diagram?

Sì, ma con attribuzione specifica. Il diagramma di flusso standard PRISMA 2020 presenta campi per i record identificati, i record selezionati, i record valutati per l'idoneità e i record inclusi. Se nello screening è stata utilizzata l'intelligenza artificiale, aggiungere una nota al diagramma o alla sua didascalia: "La classificazione iniziale supportata dall'intelligenza artificiale è stata utilizzata per classificare gli abstract; tutti gli abstract hanno ricevuto uno screening umano indipendente da due revisori". Alcune riviste ora richiedono un diagramma di flusso più dettagliato che suddivida i passaggi supportati dall’intelligenza artificiale e quelli esclusivamente umani. L'estensione PRISMA-trAIce fornisce modelli per questo.

D: Come posso citare gli strumenti di intelligenza artificiale utilizzati nella mia revisione sistematica?

Citare il modello con la sua versione e la data di accesso. Formato standard: "[Nome modello], versione [X.Y], accesso [intervallo di date] tramite [endpoint API/interfaccia web] (sviluppatore: [Azienda]). URL: [link alla documentazione se disponibile]." Alcune riviste richiedono una citazione più dettagliata che includa gli esatti parametri API utilizzati. Controlla le istruzioni della rivista per gli autori. Le convenzioni per le citazioni degli strumenti di intelligenza artificiale sono ancora in evoluzione: in caso di dubbio, includere più dettagli anziché meno.

D: Qual è la differenza tra PRISMA 2020 e PRISMA-trAIce?

PRISMA 2020 è la checklist di reporting standard per le revisioni sistematiche, aggiornata dalla versione 2009. PRISMA-trAIce (pubblicata nel 2024) è un'estensione che aggiunge requisiti di reporting per le fasi supportate dall'intelligenza artificiale nel processo di revisione. La maggior parte delle riviste ora richiede entrambi: PRISMA 2020 per il reporting generale, PRISMA-trAIce per qualsiasi passaggio supportato dall'intelligenza artificiale. La lista di controllo di traIce comprende 12 elementi che coprono la documentazione dello strumento, la reportistica tempestiva, i parametri di calibrazione e le procedure di verifica umana. Se utilizzi l'intelligenza artificiale in qualsiasi punto di una revisione sistematica, indirizza PRISMA-trAIce nella sezione dei metodi. Per una guida al flusso di lavoro più ampia che integra questa, vedere Utilizzo dell'intelligenza artificiale per velocizzare la revisione della letteratura.

D: L'utilizzo dell'intelligenza artificiale nella mia revisione sistematica ridurrà le mie possibilità di accettazione?

Nella nostra esperienza, l’uso dell’IA reso pubblico e adeguatamente documentato non riduce i tassi di accettazione e spesso accelera la revisione (i metodi sono più chiari e più difendibili). Ciò che riduce l’accettazione è l’uso non dichiarato dell’IA, l’uso dell’IA che sostituisce il giudizio umano richiesto o le limitazioni relative all’IA che non sono riconosciute. Le risposte a cui rispondono i redattori e i revisori dei segnali sono il rigore e la trasparenza, non l’astensione dall’intelligenza artificiale. Una revisione sistematica che utilizza l’intelligenza artificiale per lo screening, riporta l’utilizzo in dettaglio, include metriche di calibrazione e riconosce i limiti viene trattata come una revisione metodologicamente moderna, non compromessa.