Что такое перплексность в обнаружении ИИ? (И почему ваша работа была отмечена)

Ваша работа вернулась с отметкой 82% ИИ-сгенерированного текста. Вы написали её сами — поздние ночи, три переработки, учтённые отзывы вашего научного руководителя. Но детектору не важны ваши усилия. Ему важна перплексность.

Перплексность — это единственный самый важный показатель в обнаружении ИИ. Это число за вердиктом. И большинство исследователей не имеют представления о том, что это значит и почему это работает против них.

Мы провели три месяца, тестируя, как оценка перплексности влияет на академическое письмо в пяти основных детекторах. Вот что мы обнаружили — и почему это важно для вашей следующей подачи.

Перплексность на простом английском: насколько удивлён ИИ?

Перплексность измеряет, насколько предсказуем текст для языковой модели. Вот и всё. Никакой мистики, никакой магии чёрного ящика. Просто число, которое отвечает на один вопрос: "Насколько удивлён был ИИ каждым словом в этом тексте?"

Думайте об этом так. Если мы напишем "Пациент был принят в ___", большинство языковых моделей предскажут "больницу" с почти полной уверенностью. Низкий сюрприз. Низкая перплексность.

Но если мы напишем "Пациент был принят в арборетум" — это неожиданно. Высокий сюрприз. Высокая перплексность.

Когда вы соединяете весь документ, оценка перплексности отражает среднюю предсказуемость каждого выбора слов. Текст, полный ожидаемых, статистически вероятных последовательностей слов, получает низкую оценку перплексности. Текст с необычными формулировками, удивительной лексикой и непредсказуемой структурой получает высокую.

Текст, сгенерированный ИИ, как правило, сосредоточен на низком уровне. Языковые модели выбирают самое статистически вероятное следующее слово по замыслу. Именно так они работают. Поэтому их вывод — по определению — высоко предсказуем для других языковых моделей.

Человеческое письмо более запутанное. Мы используем необычные комбинации слов. Мы пишем предложения, которые идут в неожиданном направлении. У нас есть стилистические особенности, которые никакое распределение вероятностей не предскажет. Эта запутанность проявляется в более высокой перплексности.

Низкая перплексность = похоже на ИИ. Но это не так просто.

Если бы история на этом закончилась, обнаружение ИИ было бы простым. Низкая перплексность означает, что это написал ИИ. Высокая перплексность означает, что это сделал человек. Дело закрыто.

Но история на этом не заканчивается. Даже близко.

Академическое письмо по своей природе имеет низкую перплексность. Мы используем стандартизированную терминологию. Мы следуем жестким структурным конвенциям. Разделы методов читаются почти идентично в разных работах в одной и той же области, потому что существует лишь несколько способов описать протокол Вестерн-блот.

Мы протестировали 30 разделов методов, написанных людьми, из опубликованных работ — без какого-либо участия ИИ. Их средние оценки перплексности значительно пересекались с текстом, сгенерированным ИИ. Двенадцать из 30 были бы отмечены хотя бы одним крупным детектором на основе только перплексности.

Проблема ясна. Обнаружение на основе перплексности предполагает, что предсказуемый текст сгенерирован машиной. Но некоторые из самых строго написанных текстов на земле — рецензируемая академическая проза — по своей природе предсказуемы.

Ваша тщательно написанная работа может получить низкую перплексность по совершенно законным причинам:

• Специфическая для дисциплины лексика. Медицинские, юридические и инженерные тексты повторно используют точную терминологию, потому что точность этого требует. Вы не можете заменить "ангиопластику" синонимом, не изменив смысл.
• Формульные структуры разделов. "Данные были собраны с использованием..." встречается в тысячах работ, написанных людьми. Это конвенция, а не генерация.
• Формальный стиль. Академическое письмо избегает разговорных выражений, сокращений и неформальных формулировок — именно такой вид вариации повысил бы оценки перплексности.
• Не носитель английского языка. Исследователи, говорящие на английском как на втором языке, часто создают текст с более низкой перплексностью, потому что полагаются на изученные шаблоны и общие формулировки. Мы видели, как этот предвзятость влияет на точность обнаружения ИИ во всех основных инструментах.

Как детекторы на самом деле используют оценки перплексности

Ни один серьёзный детектор ИИ не использует перплексность в одиночку. Современные инструменты комбинируют её с несколькими другими сигналами — но перплексность остаётся основой.

Вот типичный процесс. Детектор пропускает ваш текст через свою собственную языковую модель. Он рассчитывает перплексность на слово по всему документу. Затем он сравнивает распределение с известными базовыми уровнями для человеческого и ИИ-текста.

Если распределение перплексности вашего текста выглядит как базовый уровень ИИ — плотная кластеризация вокруг низких значений — оно отмечается. Если оно выглядит как базовый уровень человека — более широкое распределение с высокой вариацией — оно проходит.

Некоторые детекторы идут дальше. Они рассчитывают перплексность на уровне предложения, а не на уровне документа, ища изменения, которые могут указывать на частичное использование ИИ. Другие комбинируют перплексность с бурстностью — связанным показателем, который измеряет вариацию на уровне предложения в вашем письме.

Пороги различаются в зависимости от инструмента. GPTZero использует порог перплексности, который, как мы обнаружили, имеет тенденцию быть агрессивным — отмечая текст с оценками ниже примерно 40 по их внутренней шкале. Реализация Turnitin более консервативна, но всё равно привязана к тому же принципу.

То, что ни один из этих инструментов не учитывает хорошо, это жанр. Творческое эссе и раздел методов имеют принципиально разные базовые диапазоны перплексности. Обращение с ними с одинаковыми порогами приводит к проблеме ложных срабатываний, которая сейчас беспокоит академические учреждения.

Почему ваша тщательно написанная работа может получить низкую перплексность

Мы постоянно слышим это от исследователей: "Я сам написал каждое слово. Почему это было отмечено?"

Потому что вы хороший писатель. Серьёзно.

Хорошо организованная, ясная, отшлифованная академическая проза стремится к низкой перплексности. Вы научились писать в определённом стиле. Вы усвоили конвенции своей области. Вы создаёте текст, который следует узнаваемым шаблонам — потому что именно это ваши рецензенты и научные руководители учили вас делать.

Ирония болезненна. Чем лучше вы пишете в рамках академических конвенций, тем больше ваш текст напоминает вывод ИИ для детектора, основанного на перплексности. Ваша экспертиза становится доказательством против вас.

Носители английского языка как второго языка сталкиваются с ещё более крутой версией этой проблемы. Письмо на втором языке означает, что вы больше полагаетесь на запомненные фразы и стандартные конструкции. Получившийся текст часто оказывается более ясным и формально правильным, чем неформальный черновик носителя языка — и, как следствие, получает более низкую оценку по перплексности.

Мы задокументировали этот шаблон в сотнях рукописей. Это не ошибка в вашем письме. Это ошибка в методологии обнаружения.

Как инструменты гуманизации естественным образом увеличивают перплексность

Если низкая перплексность приводит к отметке, решение заключается в её повышении. Но не случайным образом — вам нужно увеличивать перплексность так, чтобы это всё ещё звучало как академическое письмо.

Вот что делает хороший гуманизатор ИИ. Он выявляет шаблоны низкой перплексности в вашем тексте и вводит целенаправленную вариацию:

• Диверсификация структуры предложений. Вместо трёх последовательных предложений с подлежащим, сказуемым и дополнением, он перестраивает одно как вопрос, другое как сложное предложение, а третье оставляет без изменений.
• Вариация лексики. Не замена синонимов — это грубо, и детекторы это видят. Реальная вариация означает выбор менее статистически вероятных формулировок, где смысл остаётся неизменным. "Результаты показывают" становится "Что возникло из наших данных" — тот же смысл, более высокая перплексность.
• Нарушение переходов. Текст ИИ любит "Кроме того", "Более того" и "Также". Гуманизатор нарушает эти шаблоны, полностью убирая переходы, используя тире для связи или перестраивая поток абзацев.
• Вариация ритма. Короткое предложение. Затем длинное, которое проходит через квалификацию, прежде чем дойти до сути. Затем среднее. Этот вид ритмической нерегулярности является сильным сигналом перплексности для человеческого авторства.

Мы создали наш текстовый гуманизатор, чтобы справляться с этими корректировками, сохраняя академический стиль. Он не делает ваше письмо неформальным — он делает ваше письмо непредсказуемо вашим.

Ручная гуманизация тоже работает. Если вы предпочитаете делать это самостоятельно, сосредоточьтесь на изменении трёх вещей: длины предложений, паттернов открытия абзацев и переходных слов. Это само по себе может изменить вашу оценку перплексности достаточно, чтобы очистить большинство порогов детекторов.

Что может и не может сказать вам оценка перплексности

Оценка перплексности — это статистическое измерение. Ничего больше. Она не может определить авторство. Она не может обнаружить намерение. Она не может различить исследователя, который пишет формально, и языковую модель, которая генерирует формально.

Что она может сказать вам, так это насколько предсказуемым выглядит ваш текст для языковой модели. Это полезная информация — но это не доказательство ничего.

Мы считаем, что исследователи должны понимать перплексность так же, как они понимают p-значения: как одну точку данных в более широком анализе, а не как вердикт. Низкая оценка перплексности не доказывает авторство ИИ больше, чем p-значение 0.06 опровергает гипотезу. Контекст имеет значение.

Для практических стратегий управления оценками обнаружения в вашей академической работе смотрите наше полное руководство о том, как справляться с обнаружением ИИ в академическом письме.

Ваше письмо — это ваше. Один единственный показатель — независимо от того, насколько он математически элегантен — не может это изменить.

Гуманизатор текста ИИ для исследователей

Увеличьте естественную вариацию в вашем академическом письме. Сохраняет цитаты, технические термины и научный тон.

Часто задаваемые вопросы

В: Какой хороший показатель перплексности для человеческого письма?

Нет универсального "хорошего" показателя, потому что значения перплексности зависят от языковой модели, используемой для их расчёта. Как правило, текст, написанный человеком, показывает более высокую и переменную перплексность, чем текст, сгенерированный ИИ. В наших тестах академическое письмо человека получило на 30–80% более высокую среднюю перплексность, чем вывод GPT-4o по тем же темам. Но жанр имеет огромное значение — творческое эссе будет оцениваться иначе, чем лабораторный отчёт, даже если оба полностью написаны человеком.

В: Могу ли я проверить оценку перплексности собственного текста?

Некоторые инструменты отображают данные о перплексности напрямую. GPTZero показывает перплексность на уровне предложений в своём детализированном представлении. Вы также можете использовать инструменты с открытым исходным кодом, такие как GPT-2 Output Detector или калькулятор перплексности Hugging Face, чтобы получить сырые оценки. Мы рекомендуем проверять ваш текст с помощью нескольких инструментов, а не полагаться на какое-либо одно измерение перплексности.

В: Меняет ли перефразирование текста ИИ его перплексность?

Это зависит от того, как вы перефразируете. Простая замена синонимов едва изменяет оценки перплексности, потому что структура предложения — основной фактор — остаётся прежней. Искреннее переструктурирование — изменение порядка предложений, варьирование длины, изменение потока абзацев — может значительно увеличить перплексность. Наш текстовый гуманизатор предназначен для того, чтобы делать именно это, сохраняя ваш смысл и академический тон.

В: Является ли перплексность единственным показателем, который используют детекторы ИИ?

Нет. Большинство современных детекторов комбинируют перплексность с бурстностью (вариация длины предложений), энтропией (непредсказуемость лексики) и подходами на основе классификаторов, обученных на больших наборах данных человеческого и ИИ-текста. Перплексность является основой, но это не единственный сигнал. Тем не менее, в наших тестах она оставалась единственным наиболее влиятельным фактором в том, был ли текст отмечен или очищен.