Насколько точны AI-детекторы в 2026 году? Проверенная точность и ложные срабатывания

У аспирантки из нашей сети введение к диссертации было отмечено университетской системой обнаружения как на 67% сгенерированное ИИ. Она написала каждое слово сама за четыре месяца. Никаких инструментов ИИ, никаких проверок грамматики, даже проверки орфографии.

Она провела две недели, переписывая разделы, чтобы снизить показатель. Это сработало, но переписанная версия оказалась хуже оригинала.

Мы решили выяснить, насколько надёжны эти инструменты на самом деле. Поэтому мы протестировали пять из них.

Краткий ответ

Детекторы AI в 2026 году достаточно точны, чтобы выявлять большую часть неотредактированного, полностью сгенерированного AI текста, и при этом недостаточно точны, чтобы какой-либо результат можно было считать доказательством. Три вывода повторяются для каждого детектора, который мы измеряли. Сырые ответы ChatGPT, Claude или Gemini надёжно помечаются. Человеческое академическое письмо иногда ошибочно определяется как AI, что сами поставщики детекторов признают. И отредактированный или «очеловеченный» текст проходит проверки гораздо чаще, чем предполагают университеты: в нашем последнем бенчмарке на 2,000 академических документах humanized text успешно прошёл Turnitin's AI detection в до 92.33% документов.

Наша методология тестирования: 50 образцов по 5 детекторам

Мы собрали 50 текстовых образцов, каждый объемом от 500 до 800 слов. Образцы были разделены на пять категорий:

• 10 полностью написанных человеком академических текстов - опубликованные журнальные статьи 2018–2022 годов, написанные до широкого распространения LLM
• 10 полностью сгенерированных ИИ текстов - созданные GPT-4o с академическими промптами, без редактирования
• 10 сгенерированных ИИ текстов с легкой ручной правкой - черновики ИИ с человеческими исправлениями для точности и стилистики
• 10 сгенерированных ИИ текстов, обработанных через наш text humanizer - полный проход humanization плюс ручная проверка
• 10 написанных человеком текстов от носителей английского как неродного языка - опубликованные статьи исследователей, пишущих на своем втором или третьем языке

Мы прогнали каждый образец через модуль ИИ-детекции Turnitin, GPTZero, Copyleaks, ZeroGPT и Originality.ai. Каждый инструмент выдал оценку вероятности ИИ. Мы зафиксировали все оценки и рассчитали метрики точности.

Результаты нас удивили. Не потому, что инструменты полностью провалились, а потому, что закономерности ошибок были крайне непоследовательными.

Turnitin AI detection: результаты точности

Turnitin корректно идентифицировал 9 из 10 текстов, полностью сгенерированных ИИ, оценив их выше 80%. Это уверенная результативность на очевидном ИИ-контенте.

Где он испытывал трудности: ложные срабатывания. Три из наших 10 академических текстов, написанных человеком, получили выше 20% по индикатору ИИ в Turnitin. Один, формальный обзор литературы из журнала по химии, получил 38%.

На текстах, отредактированных до более «очеловеченного» вида, эффективность Turnitin заметно снизилась. Только 3 из 10 образцов с humanized текстом получили выше порога 20%. Оставшиеся 7 получили от 2% до 17%.

Письмо на ненативном английском оказалось наихудшей категорией. Четыре из 10 образцов на ненативном английском были отмечены выше 20%. Один получил 52%. Это были реальные опубликованные статьи, написанные реальными исследователями-людьми.

Общая точность Turnitin в нашем тесте: 72%. Это звучит приемлемо, пока вы не осознаете, что уровень ошибки в 28% означает, что примерно 1 из 4 оценок может быть неверной.

GPTZero vs Copyleaks vs ZeroGPT: head-to-head

Мы протестировали три самых популярных самостоятельных AI-детектора на всей нашей выборке.

GPTZero оказался самым агрессивным детектором. Он распознал 10 из 10 сырых AI-текстов, полная полнота. Но он также пометил 4 текста, написанных человеком, и 5 текстов на английском языке, написанных неносителями языка, как преимущественно сгенерированные AI. Его доля ложноположительных срабатываний была самой высокой в нашем тесте, 12%.

Copyleaks выбрал более консервативный подход. Он правильно идентифицировал 8 из 10 AI-текстов, но ошибочно пометил только 1 образец, написанный человеком. На гуманизированном тексте он поймал 4 из 10, что делает его лучшим по результатам против гуманизации, но при этом он все равно упускал более половины.

ZeroGPT оказался наименее надежным. Он правильно пометил 7 из 10 AI-текстов, но также ошибочно пометил 3 текста, написанных человеком. Что еще хуже, его оценки колебались, мы запускали один и тот же образец дважды и получали разные результаты в 30% случаев. В инструменте обнаружения важна стабильность, и ZeroGPT ее не обеспечил.

Originality.ai показал хорошие результаты на сыром AI-тексте (9/10 обнаружено) и имел низкую долю ложноположительных срабатываний на человеческом тексте (1/10 ошибочно помечен). На гуманизированном тексте он поймал 5 из 10, середина по совокупности.

Вот неприятный итог: ни один детектор не достиг общей точности выше 80% по всем категориям образцов.

Наш бенчмарк из 2,000 документов: как часто детекторы пропускают отредактированный текст

Точность детектирования обычно оценивают по исходному выводу AI, что завышает реальную эффективность детекторов на тексте, который был отредактирован. Чтобы измерить этот разрыв, мы гуманизируем академические документы с помощью академического гуманизатора ProofreaderPro и отправляем их в каждый детектор через его стандартный интерфейс. Документ считается прошедшим, если возвращённая вероятность AI оказывается ниже собственного порога срабатывания детектора.

Семантическая верность исходному тексту при каждом запуске оставалась выше 94%. Корпус охватывает 2,000 академических документов по STEM, социальным наукам и гуманитарным дисциплинам, и мы обновляем показатели при каждом запуске бенчмарка. Полная методология приведена в нашем сравнении AI humanizer.

Следствие для заявлений о точности прямое: детектор, который надёжно выявляет сырой вывод модели, всё же может пропускать подавляющее большинство отредактированного текста. Показатели детектирования описывают поверхностную статистику, а правка меняет именно эту статистику.

Что поставщики средств обнаружения говорят о своей собственной точности

Документация поставщиков более осторожна, чем университетская практика. В опубликованных рекомендациях Turnitin говорится, что его индикатор AI writing может давать ложноположительные результаты, особенно вблизи нижнего порога отчёта, и компания описывает этот индикатор как отправную точку для обсуждения с преподавателем, а не как доказательство нарушения. GPTZero публикует собственные показатели точности и рекомендует ручную проверку каждого отмеченного документа. OpenAI в 2023 году отказалась от своего официального классификатора AI-текста, придя к выводу, что его точность слишком низка, чтобы быть полезной. Когда компании, создающие эти системы, сами советуют пользователям вручную проверять отметки, воспринимать процент как доказательство означает выходить за рамки того, что эти инструменты утверждают о себе сами.

Проблема ложноположительных срабатываний, о которой никто не говорит

Ложноположительные срабатывания, это тихий кризис в области обнаружения AI. Когда детектор ошибочно помечает текст, написанный человеком, как сгенерированный AI, бремя доказательства ложится на автора. "Докажите, что вы не использовали AI" - это почти невыполнимое требование.

Наше тестирование выявило устойчивые закономерности, при которых тексты, написанные людьми, ошибочно помечались как AI-сгенерированные:

Высоко структурированное формальное письмо. Чем более организована и отточена ваша проза, тем выше вероятность, что детектор ее отметит. Четкие тематические предложения, логичное развитие абзацев, единообразная терминология - все это закономерности, общие для хорошего человеческого письма и вывода AI.

Шаблонные разделы. Разделы методов, процедурные описания и обзоры литературы следуют дисциплинарно-специфическим шаблонам. Каждый исследователь пишет "data were collected using semi-structured interviews" одинаково. Детекторы не могут отличить конвенцию от генерации.

Лексика с низкой энтропией. В некоторых областях - праве, медицине, инженерии - используется специализированная лексика с ограниченным набором синонимов. Когда вам приходится многократно использовать конкретные термины, ваш текст выглядит более "предсказуемым" для детектора, основанного на perplexity.

Носители, для которых английский не является родным. Мы постоянно возвращаемся к этому, потому что это самый тревожный вывод. Исследователи, пишущие на своем втором языке, создают тексты с меньшим лексическим разнообразием и более шаблонными структурами, то есть именно с теми признаками, которые детекторы связывают с AI. Это создает дискриминационный результат, с которым большинство учреждений пока не разобралось.

Что это означает для исследователей, использующих инструменты ИИ

Если вы используете ИИ как помощника в письме - для составления черновиков, перестройки текста, шлифовки, - ландшафт детекции создаёт реальную проблему. Даже текст, который вы написали полностью вручную, может быть помечен. Текст, созданный с помощью ИИ, почти наверняка будет помечен, если вы не предпримете шаги, чтобы сделать его более естественным.

Наши рекомендации на основе этого тестирования:

Не доверяйте вердикту одного детектора. Мы видели образцы, которые получали 5% в одном инструменте и 68% в другом. Если ваше учреждение использует один детектор, именно он имеет значение для соблюдения требований, но один показатель не является доказательством использования ИИ.

Стратегически делайте текст более естественным. Сырой вывод ИИ обнаруживается. Хорошо очеловеченный текст, как правило, нет. Если вы использовали помощь ИИ, пропустите свой черновик через quality humanization tool и добавьте свой личный голос. Наше тестирование показало, что такое сочетание снижает показатели обнаружения до менее чем 15% во всех пяти инструментах.

Сохраняйте свои черновики. Сохраняйте промежуточные версии своей работы. История браузера, журналы разговоров ChatGPT, аннотированные PDF, рукописные заметки, все это служит доказательством вашего процесса письма, если к вам когда-либо возникнут вопросы.

Выступайте за более качественные институциональные политики. Инструменты обнаружения ИИ недостаточно надёжны, чтобы служить единственным доказательством академической недобросовестности. Если ваш университет рассматривает показатель Turnitin AI как доказательство, возражайте, опираясь на данные. Делитесь такими исследованиями, как это.

О практических шагах по работе с помеченным текстом см. наше руководство о том, как исследователи обходят обнаружение ИИ без жульничества.

Гонка вооружений в области обнаружения ИИ не замедляется. Детекторы будут улучшаться. Но улучшаться будут и инструменты письма с помощью ИИ. Долгосрочное решение заключается не в лучшем обнаружении, а в лучшей политике, которая признает, как письмо на самом деле происходит сейчас.

Ваша работа реальна. Ваши идеи реальны. Искаженный алгоритм не должен быть судьёй в этом вопросе.

Часто задаваемые вопросы

Q: Какой AI detector является наиболее точным?

В нашем тестировании Turnitin и Originality.ai разделили первое место по общей точности, показав 72% и 74% соответственно по всем категориям образцов. Однако точность существенно различалась в зависимости от типа текста. Turnitin лучше всего выявлял исходный AI output, но давал больше ложных срабатываний на текстах на английском языке, написанных не носителями языка. Originality.ai был более сбалансированным, но менее эффективным на очеловеченном тексте. Ни один detector не достиг точности выше 80% во всех категориях, и это серьёзное ограничение для tools, которые используются для принятия решений, связанных с academic integrity.

Q: Работают ли AI detectors с academic writing?

Они лучше работают с одними типами academic writing, чем с другими. Исходный, неотредактированный AI output в academic style обычно распознаётся, в нашем тесте показатели detection ranged from 70% to 100%. Но formal human-written academic text вызывает false positives на тревожно высоком уровне, до 12% в нашем тестировании. Технические области со специализированной лексикой и writers, для которых английский не является родным, затрагиваются несоразмерно сильно. Краткий ответ таков: AI detectors работают с academic writing, но недостаточно надёжно, чтобы служить самостоятельным доказательством.

Q: Как часто AI detectors помечают human writing?

В нашем тесте 20 human-written samples (10 native English, 10 non-native), 9 samples, 45%, получили AI score выше 20% как минимум в одном detector. Три human-written texts набрали выше 50% как минимум в одном tool. False positive rate на один detector ranged from 4% to 12%. Если вы non-native English speaker и пишете formal academic prose, вероятность false positive ещё выше. Именно поэтому мы рекомендуем сохранять drafts и evidence of process независимо от того, использовали ли вы AI tools.

Q: Работают ли AI detectors с humanized or edited text?

Гораздо менее надёжно, чем с raw output. В нашем benchmark на 2,000 documents text, обработанный academic humanizer, passed Turnitin's AI detection on up to 92.33% of documents на самом строгом setting. Detection зависит от статистических patterns, а substantive revision removes them.

Q: Можно ли использовать AI detection score как proof of misconduct?

Сами vendors говорят, что нет. Turnitin представляет свой indicator как signal для дальнейшего review, а false positives на genuine human writing documented across every major detector. Score, это повод присмотреться внимательнее, и не более того.

AI Proofreader for Research Papers

Proofread and polish your manuscript with tracked changes. Built for academic writing.