How to Use AI for a PRISMA-Compliant Systematic Review

Раньше систематический обзор занимал у группы из трех исследователей от шести до девяти месяцев. Узким местом было не чтение, а просмотр. Двенадцать тысяч тезисов, взятых из PubMed, Embase, Scopus и Cochrane, каждому из которых требовалось два независимых рецензента, чтобы принять решение о включении или исключении на основе заранее зарегистрированных критериев. Математика времени управляла карьерой вокруг этого.

ИИ изменил эту математику. Современные языковые модели могут просматривать рефераты за секунды, извлекать характеристики исследования из полнотекстовых PDF-файлов за минуты и обобщать сотни статей за часы. При осторожном использовании ИИ сокращает этап проверки обзора с месяцев до недель. При небрежном использовании он создает невоспроизводимый, несоответствующий требованиям документ, который не проходит экспертную оценку.

В этом руководстве описывается, где ИИ законно помогает в проверке, соответствующей PRISMA, а где он не должен выполнять эту работу, требования к отчетности, связанные с использованием ИИ, а также пошаговый рабочий процесс, соответствующий PRISMA 2020 и расширению PRISMA-trAIce.

What PRISMA actually requires (quick refresher)

PRISMA 2020 — это стандартный контрольный список отчетности для систематических проверок. Оно определяет то, как вы описываете то, что вы сделали, а не то, как вы это делаете. Соответствующими частями для использования ИИ являются:

Отчеты о стратегии поиска. Документируйте каждый поиск в базе данных, каждую использованную строку поиска, каждую дату выполнения поиска. Воспроизводимость является стандартом: другой исследователь должен иметь возможность повторить ваш поиск и получить те же результаты.

Отчеты о проверке. Задокументируйте, сколько записей было проверено, сколькими независимыми рецензентами, как были разрешены разногласия и сколько было исключено на каждом этапе. Здесь находится классическая блок-схема PRISMA.

Отчеты об извлечении данных. Документируйте, какие данные были извлечены, кем и как были разрешены разногласия.

Оценка риска предвзятости. Задокументируйте использованный инструмент (Cochrane RoB 2, ROBINS-I и т. д.) и того, кто его выполнил.

Сообщение о любых отклонениях. Обо всем, что не соответствует заранее зарегистрированному протоколу, необходимо сообщать с обоснованием.

Расширение PRISMA-trAIce (опубликовано в 2024 г., обновлено в 2025 г.) добавляет требования к отчетности, специфичные для ИИ, поверх PRISMA 2020 г. Краткая версия: везде, где в проверке использовался искусственный интеллект, вы сообщаете об инструменте, версии, подсказках и о том, как была выполнена проверка человеком.

Where AI legitimately helps

These are uses where AI accelerates the work without changing what the review is.

Обнаружение дубликатов. Записи, извлеченные из нескольких баз данных, часто дублируются. Традиционные справочные менеджеры (Zotero, EndNote, Covidence) прекрасно справляются с этой задачей. ИИ здесь излишен — продолжайте использовать стандартные инструменты.

Первоначальный заголовок и проверка тезисов. Искусственный интеллект может оценить каждый тезис по вашим критериям включения, а также ранжировать или предварительно классифицировать его. Два человека-рецензента по-прежнему должны принять окончательное решение о включении/исключении, но предварительная классификация ИИ существенно сокращает время человека. В большинстве обзоров это наиболее ценное использование ИИ.

Полнотекстовый поиск и сортировка. ИИ может извлекать метаданные публикации, определять, соответствует ли полный текст утверждениям тезисов (иногда это не так), и помечать статьи, которые кажутся тезисами конференций, опечатками или дублирующими публикациями под разными названиями.

Извлечение данных из структурированных документов. Таблицы характеристик пациентов, дозировок и величины эффекта — ИИ может извлекать их из полнотекстовых PDF-файлов в лист структурированного извлечения данных, который затем проверяют два рецензента. Время проверки намного ниже, чем полное ручное извлечение.

Поддержка синтеза и написания. Составление описания процедуры проверки раздела методов, составление текста блок-схемы PRISMA, сводная таблица характеристик включенных исследований — ИИ помогает при написании, не меняя сути обзора.

Перевод неанглоязычных источников. Если в ваш обзор включены неанглоязычные статьи, перевод AI стал достаточно надежным, чтобы поддержать включение этих источников. Документируйте инструмент, используемый в методах.

Where AI should NOT do the work

Эти виды использования переходят грань принятия существенных решений, которые должны выполнять рецензенты.

Окончательное решение о включении/исключении. PRISMA требует наличия двух независимых рецензентов для включения/исключения. ИИ может предварительно классифицировать, ранжировать и выявлять кандидатов, но обязательное решение должен принимать человек. Это не подлежит обсуждению для соблюдения.

Риск систематической ошибки в оценке. Инструменты RoB требуют оценки дизайна исследования, ослепления, исключения участников и отчетности. ИИ может резюмировать то, что говорится в документе о каждой области, но сама оценка предвзятости должна быть человеческой.

Оценка качества и степень доказательности (GRADE). Та же логика. ИИ подводит итоги; люди оценивают.

Интерпретация гетерогенности. Отражают ли различия между результатами исследования клиническую гетерогенность, методологическую гетерогенность или случайность, это вопрос суждения, требующий клинических и методологических знаний.

Окончательный синтез и выводы. Описательный синтез, обсуждение сильных и слабых сторон, клинических последствий — это вклад группы экспертов. ИИ может составить первоначальный текст, но решения по существу остаются за вами.

Обнаружение сфабрикованного или бумажного контента. По иронии судьбы, обнаружение сфабрикованных исследований ИИ остается ненадежным. Человеческий взгляд на подозрительные бумаги, а также такие инструменты, как программа для проверки проблемных бумаг, являются текущим стандартом.

The reporting requirements

Если вы используете ИИ где-либо в обзоре, PRISMA-trAIce требует от вас сообщить об этом. Структура, удовлетворяющая большинству журналов:

In the methods section, screening procedure subsection:

Отбор тезисов проводился в два этапа. Начальный
классификация была выполнена с использованием [Имя инструмента, версия, доступ через
API/веб по датам] со следующим шаблоном приглашения: «[точное приглашение]».
Классификация использовалась для определения приоритетности рефератов для рассмотрения человеком.
Все тезисы, независимо от первоначальной классификации, затем были проверены.
независимо двумя рецензентами ([инициалы автора]) с использованием [Covidence/
Райян/другой инструмент], при разногласиях, разрешаемых путем обсуждения или путем
третий рецензент ([инициалы автора]), когда консенсус не был достигнут.

В ходе калибровки, проведенной на [числе] тезисов до
основной скрининг, классификация ИИ согласуется с консенсусом человека
решение в [процент]% случаев. ИИ не использовался в финале
решения о включении или исключении.

В разделе «Методы», подраздел «Извлечение данных»:

Data extraction was performed using a structured form (Appendix [X]).
Extraction of [specific data types, e.g., patient characteristics,
intervention details, outcome measurements] was supported by [Tool
Name, version], which extracted candidate values from full-text PDFs.
All extracted values were verified against the source PDFs by two
reviewers ([author initials]). Discrepancies between AI-extracted
values and source documents were corrected against the source in
[percentage]% of cases. The verified data informed the final
synthesis.

В отдельном подразделе «Использование ИИ» (иногда требуется отдельно):

The following AI tools were used in this review: [list each tool,
version, date range, and specific role]. No AI tool was used for
risk of bias assessment, quality grading, interpretation of
heterogeneity, or synthesis of conclusions. All AI-supported steps
were verified by [number] human reviewers as described above. The
prompts used are provided in Appendix [Y].

In the limitations section:

Признайте ограничения, связанные с ИИ: потенциальную систематическую ошибку при предварительной классификации, зависимость от инструментов ИИ, внутренняя работа которых непрозрачна, а также невозможность полного воспроизведения поведения ИИ в разных версиях модели.

The workflow we recommend

Последовательность, удовлетворяющая PRISMA-trAIce и использующая сильные стороны ИИ.

Шаг 1. Предварительная регистрация протокола. Перед использованием ИИ зарегистрируйте обзор (PROSPERO для медицинских обзоров; OSF для других). Протокол определяет критерии включения, стратегию поиска, метод скрининга, план извлечения и подход к синтезу. Укажите в протоколе, где и как будет использоваться ИИ. Предварительная регистрация, в которой упоминается ИИ, намного надежнее, чем постфактумное раскрытие информации.

Шаг 2. Запустите калибровочное упражнение. Выберите 100–200 тезисов из результатов поиска. Попросите двух рецензентов проверить их независимо. Запустите проверку ИИ на том же телевизоре, что и запланированное приглашение. Вычислите показатели согласия (каппа Коэна, процент согласия). Если согласие ИИ ниже 0,7 каппа или 80% с консенсусным решением человека, уточните подсказку или пересмотрите использование ИИ.

Шаг 3. Запустите основной этап проверки ИИ. С помощью калиброванной подсказки проверьте весь корпус абстрактных материалов. Выход: ранжированный или классифицированный список. Рецензенты видят этот рейтинг, но принимают собственные независимые решения.

Шаг 4. Независимая проверка двумя рецензентами. Каждый тезис по-прежнему проверяется двумя рецензентами. Классификация ИИ — это метаданные, а не голосование. Разногласия разрешаются путем обсуждения или привлечения третьего рецензента.

Шаг 5. Полнотекстовая проверка с помощью ИИ. ИИ может отмечать очевидные исключения на этапе полнотекста (неправильный язык, только аннотация, отозванные статьи). Люди принимают окончательные решения.

Шаг 6. Извлечение данных с помощью и проверкой ИИ. ИИ извлекает возможные значения; два рецензента проверяют источник. Журнал проверки сам по себе становится свидетельством соответствия.

Шаг 7. Риск предвзятости — только человек. На этом этапе ИИ не используется.

Шаг 8. Синтез — написание текста под руководством человека и с помощью искусственного интеллекта. Люди интерпретируют. ИИ помогает с [подведением итогов исследований для таблицы включенных исследований] (/blog/summarize-research-paper-ai), составлением раздела о методах и доработкой текста. Субстантивная интерпретация остается человечной.

Шаг 9: Подробно раскройте информацию. В разделе «Методы» сообщается об использовании ИИ, как описано выше. Полное [заявление о раскрытии информации об использовании ИИ] (/blog/ai-disclosure-statement-manuscript) появляется в начале сообщения или в благодарностях. Полные используемые подсказки приведены в приложении.

Шаг 10. Аудит перед публикацией. Перед отправкой второй член группы проверяет этапы, поддерживаемые искусственным интеллектом, на предмет полноты документации. Отсутствующие запросы, номера версий или проценты проверки являются распространенными причинами отклонения.

Common pitfalls

Характеристики исследования-галлюцинации. ИИ иногда извлекает данные, которых нет в исходной статье — несуществующие доверительные интервалы, несовпадающие размеры выборки, детали вмешательства, сфабрикованные из контекста. Единственная защита – сверка с источником. Если ваша команда не проверяет каждое извлеченное значение, вы будете публиковать ошибки.

Быстрое перемещение по обзору. Быстрое уточнение в середине обзора меняет поведение ИИ в отношении уже проверенных элементов. Если вы измените запрос, задокументируйте причину и повторно проверьте затронутые элементы.

Чрезмерное доверие к классификации ИИ. Некоторые команды фактически делегировали решения о включении ИИ, считая его классификацию авторитетной. PRISMA требует человеческих решений. AI-вход в порядке; Решения ИИ — нет.

Пропуск документации отклонений. Любое, что отличается от предварительно зарегистрированного протокола, должно быть сообщено. Если в ходе рецензирования использование ИИ развивалось, документируйте это развитие. Скрытые изменения процесса выявляются на этапе рецензирования.

Несовместимые версии инструментов. Обновление моделей ИИ. Версия DeepSeek V3, тезисы которой были показаны в январе, не идентична версии, доступной в июне. Задокументируйте версию и диапазон дат каждого используемого инструмента ИИ.

Точность перевода предполагается, но не проверена. AI-перевод хорош, но не идеален, особенно для клинического или технического контента. Если включены неанглоязычные источники, укажите, кто проверил переводы.

See the Full AI Summarizer

Summarize papers, extract study characteristics, and draft synthesis text. Free tier includes every feature.

Frequently asked questions

Вопрос: Могу ли я включить тезисы, проверенные искусственным интеллектом, в мою блок-схему PRISMA?

Да, но с точной атрибуцией. Стандартная блок-схема потока PRISMA 2020 имеет поля для выявленных записей, отобранных записей, записей, оценённых на соответствие критериям, и включённых записей. Если ИИ использовался на этапе скрининга, добавьте примечание к диаграмме или к её подписи: "Initial AI-supported classification was used to rank abstracts; all abstracts received independent human screening by two reviewers." Некоторые журналы теперь запрашивают более подробную блок-схему потока, которая разносит шаги с поддержкой ИИ и шаги, выполняемые только человеком. Расширение PRISMA-trAIce предоставляет шаблоны для этого.

Вопрос: Как мне процитировать инструменты искусственного интеллекта, использованные в моем систематическом обзоре?

Укажите модель с указанием ее версии и даты доступа. Стандартный формат: «[Название модели], версия [X.Y], доступ к [диапазону дат] через [конечная точка API/веб-интерфейс] (разработчик: [Компания]). URL: [ссылка на документацию, если доступна]». Некоторые журналы требуют более подробной ссылки, включая точные используемые параметры API. Ознакомьтесь с инструкциями журнала для авторов. Правила цитирования инструментов ИИ все еще развиваются — в случае сомнений включайте больше деталей, а не меньше.

Q: What's the difference between PRISMA 2020 and PRISMA-trAIce?

PRISMA 2020 — это стандартный контрольный список отчетности для систематических обзоров, обновленный по сравнению с версией 2009 года. PRISMA-trAIce (опубликовано в 2024 г.) — это расширение, которое добавляет требования к отчетности для этапов процесса проверки, поддерживаемых искусственным интеллектом. Большинству журналов теперь требуются оба документа: PRISMA 2020 для общей отчетности и PRISMA-trAIce для любых шагов, поддерживаемых ИИ. Контрольный список TrAIce состоит из 12 пунктов, охватывающих документацию инструмента, оперативную отчетность, показатели калибровки и процедуры проверки человеком. Если вы используете ИИ где-либо в систематическом обзоре, укажите адрес PRISMA-trAIce в разделе методов. Более подробное руководство по рабочему процессу, дополняющее это, см. в разделе Использование ИИ для ускорения обзора литературы.

Вопрос: Снизит ли использование ИИ в моем систематическом обзоре мои шансы на принятие?

По нашему опыту, раскрытое и должным образом документированное использование ИИ не снижает уровень принятия и часто ускоряет рассмотрение (методы более понятны и более оправданы). Что снижает признание, так это нераскрытое использование ИИ, использование ИИ, которое заменяет необходимое человеческое суждение, или ограничения, связанные с ИИ, которые не признаются. Редакторы и рецензенты отвечают за строгость и прозрачность, а не за воздержание от искусственного интеллекта. Систематический обзор, который использует ИИ для скрининга, подробно сообщает об использовании, включает калибровочные показатели и признает ограничения, рассматривается как методологически современный обзор, а не скомпрометированный.