How to Use AI for a PRISMA-Compliant Systematic Review

Раніше систематичний огляд займав групу з трьох дослідників від шести до дев’яти місяців. Вузьким місцем було не читання, а екранізація. Дванадцять тисяч тез, взятих із PubMed, Embase, Scopus і Cochrane, для кожного з яких потрібні два незалежні рецензенти, щоб прийняти рішення про включення чи виключення відповідно до попередньо зареєстрованих критеріїв. Математика часу привела до кар’єри.

ШІ змінив цю математику. Сучасні мовні моделі можуть переглядати анотації за лічені секунди, витягувати характеристики дослідження з повнотекстових PDF-файлів за лічені хвилини та підсумовувати сотні статей за години. При дбайливому використанні штучний інтелект скорочує етап перевірки з місяців до тижнів. Якщо використовувати його недбало, він створює невідтворюваний, невідповідний документ, який не проходить експертну перевірку.

У цьому посібнику пояснюється, де штучний інтелект законно допомагає під час перевірки, сумісної з PRISMA, а де він не повинен виконувати роботу, вимоги до звітності, пов’язані з використанням штучного інтелекту, і покроковий робочий процес, який задовольняє PRISMA 2020 і розширення PRISMA-trAIce.

Що насправді вимагає PRISMA (швидке оновлення)

PRISMA 2020 — це стандартний контрольний список для систематичних оглядів. Це керує тим, як ви описуєте те, що ви зробили, а не тим, як ви це робите. Відповідні частини для використання ШІ:

Звіт про стратегію пошуку. Документуйте кожну пошукову базу даних, кожен використаний пошуковий рядок, кожну дату пошуку. Відтворюваність є стандартом — інший дослідник повинен мати можливість повторити ваш пошук і отримати ті самі результати.

Звіт про скринінг. Задокументуйте, скільки записів було перевірено, скільки незалежних рецензентів, як було вирішено розбіжності та скільки було виключено на кожному етапі. Тут живе класична блок-схема PRISMA.

Звіт про вилучення даних. Задокументуйте, які дані було вилучено, ким і як розв’язувалися розбіжності.

Оцінка ризику упередженості. Задокументуйте використаний інструмент (Cochrane RoB 2, ROBINS-I тощо) і хто його виконав.

Повідомлення про будь-які відхилення. Про все, що не відбулося згідно з попередньо зареєстрованим протоколом, необхідно повідомити з аргументацією.

Розширення PRISMA-trAIce (опубліковано у 2024 р., оновлено у 2025 р.) додає спеціальні вимоги щодо звітності для ШІ на додаток до PRISMA 2020 р. Коротка версія: скрізь, де під час огляду використовувався ШІ, ви повідомляєте про інструмент, версію, підказки та спосіб перевірки людиною.

Where AI legitimately helps

Це випадки використання, коли штучний інтелект прискорює роботу, не змінюючи те, що таке перегляд.

Виявлення дублікатів. Записи, отримані з кількох баз даних, часто дублюються. Традиційні довідкові менеджери (Zotero, EndNote, Covidence) добре справляються з цим. ШІ тут надмірно — продовжуйте використовувати стандартні інструменти.

Початкова перевірка назви та анотації. AI може оцінити кожну анотацію відповідно до ваших критеріїв включення та ранжувати або попередньо класифікувати їх. Остаточне рішення щодо включення/виключення ще мають прийняти двоє рецензентів, але попередня класифікація ШІ значно скорочує час людини. У більшості оглядів це використання штучного інтелекту з найвищою ціною.

Повнотекстовий пошук і сортування. AI може витягувати метадані публікації, визначати, чи відповідає повний текст твердженням анотації (іноді вони не відповідають), і позначати статті, які виглядають як тези конференцій, помилки або дублікати публікацій під різними назвами.

Вилучення даних зі структурованих паперів. Таблиці характеристик пацієнтів, дозувань, розмірів ефекту — AI може витягувати їх із повнотекстових PDF-файлів у аркуш вилучення структурованих даних, який потім перевіряють два рецензенти. Час перевірки набагато менший, ніж повне ручне вилучення.

Підтримка синтезу та написання. Складання опису процедури перевірки розділу методів, складання тексту блок-схеми PRISMA, узагальнення таблиці характеристик включених досліджень — штучний інтелект допомагає писати, не змінюючи суті огляду.

Переклад джерел не англійською мовою. Якщо ваш огляд містить статті не англійською мовою, переклад AI став достатньо надійним, щоб підтримувати включення цих джерел. Задокументуйте інструмент, який використовується в методах.

Where AI should NOT do the work

Ці способи використання переходять межу в процес прийняття рішень по суті, які повинні робити рецензенти.

Остаточні рішення щодо включення/виключення. PRISMA вимагає двох незалежних експертів для включення/виключення. ШІ може попередньо класифікувати, ранжувати та виводити кандидатів, але обов’язкове рішення має приймати людина. Це не підлягає обговоренню щодо відповідності.

Оцінка ризику упередженості. Інструменти RoB вимагають судження щодо дизайну дослідження, засліплення, виснаження та звітності. ШІ може узагальнити те, що в документі сказано про кожен домен, але сама оцінка упередженості має бути людською.

Оцінка якості та ступінь доказів (GRADE). Та сама логіка. АІ підбиває підсумки; оцінка людей.

Інтерпретація гетерогенності. Чи відображають відмінності між результатами дослідження клінічну гетерогенність, методологічну неоднорідність або випадковість, це рішення, яке вимагає клінічної та методологічної експертизи.

Остаточний синтез і висновки. Синтез оповіді, обговорення сильних сторін і обмежень, клінічні наслідки — це внесок команди рецензентів. ШІ може скласти початкову мову, але судження по суті залишаються за вами.

Виявлення сфабрикованого вмісту або вмісту паперової фабрики. За іронією долі, виявлення ШІ сфабрикованих досліджень залишається ненадійним. Людські очі на підозрілих паперах, а також інструменти на зразок Problematic Paper Screener є поточним стандартом.

The reporting requirements

Якщо ви використовуєте ШІ будь-де в огляді, PRISMA-trAIce вимагає від вас повідомити про це. Структура, яка задовольняє більшість журналів:

У розділі «Методи» підрозділ «Процедура перевірки»:

Відбір рефератів проводився за допомогою двоетапного процесу. Початковий
класифікацію було виконано за допомогою [Назва інструменту, версія, доступ через
API/web on dates] із таким шаблоном підказки: "[точна підказка]".
Класифікація була використана для встановлення пріоритетів для рецензування людьми.
Потім усі реферати, незалежно від початкової класифікації, були перевірені
незалежно двома рецензентами ([ініціали автора]) з використанням [Covidence /
Rayyan / інший інструмент], розбіжності вирішуються шляхом обговорення або шляхом
третій рецензент ([ініціали автора]), коли консенсусу не було досягнуто.

Під час перевірки [кількості] тез до
основний скринінг, класифікація ШІ узгоджена з консенсусом людини
рішення в [відсотках]% випадків. ШІ не використовувався для фіналу
рішення про включення або виключення.

У розділі «Методи», підрозділ «Вилучення даних»:

Data extraction was performed using a structured form (Appendix [X]).
Extraction of [specific data types, e.g., patient characteristics,
intervention details, outcome measurements] was supported by [Tool
Name, version], which extracted candidate values from full-text PDFs.
All extracted values were verified against the source PDFs by two
reviewers ([author initials]). Discrepancies between AI-extracted
values and source documents were corrected against the source in
[percentage]% of cases. The verified data informed the final
synthesis.

У спеціальному підрозділі «Використання ШІ» (іноді вимагається окремо):

The following AI tools were used in this review: [list each tool,
version, date range, and specific role]. No AI tool was used for
risk of bias assessment, quality grading, interpretation of
heterogeneity, or synthesis of conclusions. All AI-supported steps
were verified by [number] human reviewers as described above. The
prompts used are provided in Appendix [Y].

In the limitations section:

Визнайте обмеження, пов’язані зі штучним інтелектом: потенційне систематичне упередження під час попередньої класифікації, залежність від інструментів штучного інтелекту, внутрішня робота яких є непрозорою, і неможливість повного відтворення поведінки штучного інтелекту в різних версіях моделі.

The workflow we recommend

Послідовність, яка задовольняє PRISMA-trAIce та використовує сильні сторони ШІ.

Крок 1. Попередньо зареєструйте протокол. Перед використанням штучного інтелекту зареєструйте огляд (PROSPERO для медичних оглядів; OSF для інших). Протокол визначає критерії включення, стратегію пошуку, метод скринінгу, план вилучення та підхід до синтезу. Вкажіть у протоколі, де і як буде використовуватися ШІ. Попередня реєстрація, у якій згадується штучний інтелект, є набагато сильнішою, ніж розкриття пост-гоц інформації.

Крок 2: Виконайте вправу калібрування. Виберіть 100-200 анотацій із вашого пошуку. Нехай двоє рецензентів перевірять їх незалежно. Запустіть скринінг штучного інтелекту на тому ж наборі із запланованим запитом. Обчисліть показники згоди (каппа Коена, відсоткова згода). Якщо AI збігається з консенсусним рішенням людини нижче 0,7 каппа або 80%, уточніть підказку або перегляньте використання AI.

Крок 3: запустіть основну перевірку штучного інтелекту. За допомогою відкаліброваної підказки перевірте весь абстрактний корпус. Вихід: ранжований або класифікований список. Рецензенти бачать цей рейтинг, але приймають власні незалежні рішення.

Крок 4: Незалежний відбір двома рецензентами. Кожна анотація все ще отримує двох рецензентів. Класифікація ШІ – це метадані, а не голосування. Розбіжності вирішуються шляхом обговорення або третього рецензента.

Крок 5: Перевірка повного тексту за допомогою штучного інтелекту. Штучний інтелект може позначати очевидні виключення на етапі повного тексту (неправильна мова, лише анотація, відкликані документи). Люди приймають остаточні рішення.

Крок 6: Вилучення даних за допомогою штучного інтелекту та перевірки. Штучний інтелект витягує значення-кандидати; два рецензенти перевіряють джерело. Сам журнал перевірки стає доказом відповідності.

Крок 7: Ризик упередженості — лише для людини. На цьому етапі немає ШІ.

Крок 8: Синтез — написання під керівництвом людини та за допомогою ШІ. Люди інтерпретують. AI допомагає з [узагальненням досліджень для включеної таблиці досліджень] (/blog/summarize-research-paper-ai), написанням розділу методів і вдосконаленням прози. Інтерпретація по суті залишається людиною.

Крок 9: Розкрийте всебічно. Розділ «Методи» повідомляє про використання ШІ, як описано вище. Повна [заява про розкриття інформації про використання штучного інтелекту] (/blog/ai-disclosure-statement-manuscript) відображається на першій сторінці або в подяках. Повний список використаних підказок міститься в додатку.

Крок 10: Аудит перед публікацією. Перед подачею другий член команди перевіряє кроки, які підтримуються ШІ, на повноту документації. Відсутні підказки, відсутні номери версій або відсутній відсоток перевірки є типовими причинами відхилення.

Common pitfalls

Галюциновані характеристики дослідження. Штучний інтелект інколи витягує дані, яких немає у вихідній статті — довірчі інтервали, яких не існує, розміри вибірки, які не збігаються, деталі втручання, сфабриковані з контексту. Перевірка джерела є єдиним захистом. Якщо ваша команда не перевіряє кожне витягнуте значення, ви збираєтеся опублікувати помилки.

Швидкий перехід по огляду. Швидкий уточнений проміжний перегляд змінює поведінку ШІ щодо вже перевірених елементів. Якщо ви зміните підказку, задокументуйте причину та повторно перевірте постраждалі елементи.

Надмірна залежність від класифікації ШІ. Деякі команди фактично делегували рішення про включення ШІ, вважаючи його класифікацію авторитетною. PRISMA вимагає людських рішень. AI введення добре; Рішення ШІ – ні.

Забувши задокументувати відхилення. Про все, що відрізняється від попередньо зареєстрованого протоколу, необхідно повідомити. Якщо використання штучного інтелекту розвивалося під час перевірки, задокументуйте розвиток. Приховані зміни процесу позначаються під час експертної перевірки.

Невідповідні версії інструментів. Оновлення моделей ШІ. Версія DeepSeek V3, яка переглядала анотації в січні, не ідентична версії, доступній у червні. Задокументуйте версію та діапазон дат кожного використаного інструменту ШІ.

Припускається точність перекладу, не перевірено. Штучний переклад хороший, але не ідеальний, особливо для клінічного чи технічного вмісту. Якщо включено неанглійські джерела, задокументуйте, хто перевірив переклади.

See the Full AI Summarizer

Summarize papers, extract study characteristics, and draft synthesis text. Free tier includes every feature.

Frequently asked questions

З: Чи можу я включити анотації, перевірені штучним інтелектом, у свою блок-схему PRISMA?

Так, але з конкретним посиланням. Стандартна блок-схема PRISMA 2020 містить поля для ідентифікованих записів, перевірених записів, записів, оцінених на придатність, і включених записів. Якщо під час перевірки використовувався штучний інтелект, додайте примітку до діаграми або її підпису: «Початкова класифікація, що підтримується штучним інтелектом, використовувалася для ранжування анотацій; усі анотації пройшли незалежну перевірку людьми двома рецензентами». Деякі журнали тепер вимагають більш детальну блок-схему, яка розбиває кроки, що підтримуються штучним інтелектом, і кроки, які виконують лише люди. Розширення PRISMA-trAIce містить шаблони для цього.

З: Як мені цитувати інструменти штучного інтелекту, використані в моєму систематичному огляді?

Вкажіть модель із зазначенням її версії та дати доступу. Стандартний формат: «[Назва моделі], версія [X.Y], доступ [діапазон дат] через [кінцеву точку API/веб-інтерфейс] (розробник: [Компанія]). URL-адреса: [посилання на документацію, якщо доступне].» Деякі журнали вимагають більш детального цитування, включаючи точні параметри API, які використовуються. Ознайомтеся з інструкціями журналу для авторів. Умови цитування інструментів ШІ все ще розвиваються — якщо сумніваєтеся, включайте більше деталей, а не менше.

Q: What's the difference between PRISMA 2020 and PRISMA-trAIce?

PRISMA 2020 — це стандартний контрольний список звітності для систематичних оглядів, оновлений із версії 2009 року. PRISMA-trAIce (опубліковано у 2024 році) — це розширення, яке додає вимоги до звітності для кроків, які підтримуються ШІ, у процесі перевірки. Більшість журналів тепер вимагають обох: PRISMA 2020 для загальної звітності, PRISMA-trAIce для будь-яких кроків, які підтримуються ШІ. Контрольний список TRAIce містить 12 пунктів, що охоплюють документацію інструменту, оперативне звітування, показники калібрування та процедури перевірки людиною. Якщо ви використовуєте ШІ будь-де в систематичному огляді, зверніться до PRISMA-trAIce у розділі методів. Щоб отримати ширший посібник із робочого процесу, який доповнює цей, див. Використання ШІ для прискорення перегляду літератури.

З: Чи зменшить мої шанси на прийняття за допомогою штучного інтелекту під час моєї систематичної перевірки?

З нашого досвіду, розкритe та належним чином задокументованe використання ШІ не знижує показники прийняття й часто пришвидшує рецензування (методики є зрозумілішими та більш обґрунтованими). Натомість те, що зменшує показники прийняття, — це нерозкритe використання ШІ, використання ШІ, яке підміняє необхідне людське судження, або обмеження, пов’язані з ШІ, які не визнаються. Сигнал, на який реагують редактори сигналів і рецензенти, — це строгість і прозорість, а не відмова від ШІ. Систематичний огляд, який використовує ШІ для скринінгу, детально звітує про це, містить показники калібрування та визнає обмеження, розглядають як методологічно сучасний огляд — а не як скомпрометований.