Что такое бурстность в AI-письме? Метрика, которая определяет, звучите ли вы как человек

Прочитайте любой абзац, написанный человеком. Действительно посмотрите на него. Некоторые предложения содержат пять слов. Другие растягиваются на сорок, извиваясь через подчинительные предложения и уточнения, прежде чем наконец добраться до сути. Эта вариация — этот непредсказуемый ритм — это то, что инструменты детекции AI называют бурстностью.

И ваш черновик, сгенерированный AI, почти наверняка не имеет достаточного количества бурстности.

Мы проанализировали 200 образцов академического текста в категориях, написанных человеком и сгенерированных AI. Разница в бурстности была единственным самым ясным сигналом, отделяющим две группы — более надежным, чем анализ словарного запаса, более последовательным, чем просто перплексность.

Определение бурстности: ритм ваших предложений

Бурстность измеряет, насколько длина и сложность предложений варьируются в тексте. Высокая бурстность означает драматическую вариацию — короткие резкие предложения, смешанные с длинными сложными. Низкая бурстность означает однородность — предложение за предложением попадает в тот же диапазон от 15 до 20 слов.

Концепция происходит из теории информации. В естественном языке человеческое общение "бурстное" — мы группируем идеи в нерегулярные куски. Мы пишем плотное, сложное предложение, насыщенное информацией. Затем мы останавливаемся. Короткое. Затем снова начинаем длинную конструкцию.

AI не делает это естественно. Языковые модели генерируют текст, предсказывая наиболее вероятный следующий токен, и этот процесс, как правило, приводит к удивительно однородному результату. Длины предложений плотно группируются вокруг среднего. Структуры абзацев повторяются. Текст течет гладко — слишком гладко.

Мы измерили это напрямую. В нашем наборе данных из 200 образцов текст, написанный человеком, показал стандартное отклонение длины предложений в 8.2 слова. Текст, сгенерированный AI от GPT-4o, в среднем составил 4.1 слова. Claude был немного лучше — 5.3 слова. Но ни один из них не приближался к изменчивости человеческого письма.

Этот разрыв — то, что используют детекторы.

Почему текст AI имеет низкую бурстность

Понимание того, почему AI пишет с низкой бурстностью, помогает вам понять, почему метрика работает — и где она не работает.

Языковые модели обучаются предсказывать вероятный текст. При генерации предложения модель выбирает токены, которые соответствуют статистическим паттернам ее обучающих данных. Результат — текст, который стремится к медианным конструкциям предложений: не слишком коротким (что выглядело бы резко), не слишком длинным (что рисковало бы связностью), но последовательно в комфортном среднем диапазоне.

Человеческие писатели действуют иначе. Мы пишем, основываясь на акцентах, ритме и конкретных требованиях каждой идеи. Критическое открытие получает свое собственное короткое предложение для воздействия. Сложная методология требует более длинной конструкции, чтобы охватить все движущиеся части. Мы инстинктивно корректируем, момент за моментом.

Мы также устаем, отвлекаемся и возбуждаемся. Наше когнитивное состояние колеблется в течение сессии письма. Предложения, написанные в 8 утра, имеют разные ритмические паттерны, чем предложения, написанные в полночь. У AI нет таких колебаний.

Результат: текст AI читается так, как будто его написал метроном. Человеческий текст читается как джаз.

Как детекторы измеряют бурстность

Большинство детекторов AI не сообщают о бурстности как о самостоятельном числе. Она включена в их общий балл наряду с перплексностью и другими метриками. Но само измерение довольно простое.

Детектор разбивает ваш текст на предложения. Он вычисляет длину каждого предложения — обычно в словах, иногда в токенах. Затем он вычисляет дисперсию или стандартное отклонение этих длин по всему документу.

Некоторые инструменты идут дальше. Они измеряют не только дисперсию длины, но и дисперсию сложности — отслеживая, меняются ли ваши предложения между простыми, сложносочиненными и сложными конструкциями. Текст, который чередует "Мы обнаружили это" и "Учитывая ограничения, наложенные экспериментальным дизайном, вместе с ограничениями, присущими поперечному анализу, наши выводы следует интерпретировать с осторожностью", показывает высокую бурстность. Текст, где каждое предложение следует паттерну субъект-глагол-объект-уточнение, не показывает этого.

GPTZero визуализирует это как диаграмму рассеяния — каждое предложение отображается по своей перплексности и длине. Человеческий текст производит разбросанное, нерегулярное облако. Текст AI производит плотный кластер. Визуальная разница поразительна.

Более продвинутые детекторы также смотрят на бурстность внутри абзацев по сравнению с абзацами. Человеческие писатели, как правило, варьируют свой ритм внутри одного абзаца — начиная широко, становясь конкретными, а затем завершая коротким заключением. AI, как правило, сохраняет тот же ритм на протяжении всего текста.

Бурстность против перплексности: в чем разница?

Эти две метрики часто появляются вместе, и исследователи часто путают их. Вот различие.

Перплексность измеряет предсказуемость на уровне слов. Насколько удивлена языковая модель каждым выбором слова? Низкая перплексность означает, что слова были предсказуемыми. Высокая перплексность означает, что они не были.

Бурстность измеряет вариацию на уровне предложений. Насколько предложения различаются друг от друга по длине и сложности? Низкая бурстность означает однородные предложения. Высокая бурстность означает драматическую вариацию.

Вы можете иметь низкую перплексность с высокой бурстностью — академическая работа, которая использует стандартную терминологию, но значительно варьирует свою структуру предложений. Вы также можете иметь высокую перплексность с низкой бурстностью — креативный текст с необычным словарным запасом, но странно однородными длинами предложений.

На практике текст, сгенерированный AI, как правило, получает низкие оценки по обеим метрикам. Эта комбинация является самым сильным сигналом для детекции. Текст, который получает низкую оценку только по одной метрике, гораздо труднее классифицировать детекторами с уверенностью.

Мы обнаружили, что бурстность на самом деле является более легкой метрикой для исправления в вашем письме. Варьирование длины предложений — это то, что вы можете делать сознательно. Изменение предсказуемости на уровне слов сложнее, потому что требует переосмысления выбора слов на более детальном уровне. Наш текстовый хуманизатор решает обе задачи, но если вы редактируете вручную, начните с бурстности.

Что это значит для вашего академического письма

Если вы используете AI, чтобы помочь в написании ваших статей — а миллионы исследователей это делают — бурстность является вашей самой практичной метрикой. Вот почему.

Вы можете увеличить бурстность, не меняя ваше содержание. Идеи, аргументы и доказательства остаются прежними. Меняется только упаковка. И в отличие от корректировок перплексности, которые иногда требуют изменений в словарном запасе, которые могут показаться неестественными, корректировки бурстности касаются ритма и структуры.

Вот что мы рекомендуем:

Разбейте монотонные последовательности предложений. Прочитайте свой черновик и ищите участки, где каждое предложение примерно одинаковой длины. Когда вы их найдете — а вы их найдете — перепишите одно предложение, чтобы оно было очень коротким. Расширьте другое в более длинную, более сложную конструкцию.

Используйте фрагменты намеренно. Академическое письмо допускает случайные фрагменты предложений, когда они используются для акцента. "Не значимо" может быть предложением. "Ясный паттерн" может следовать за более длинным аналитическим утверждением. Фрагменты увеличивают бурстность.

Варьируйте открытия абзацев. Если каждый абзац начинается с 12-словного предложения, нарушьте этот паттерн. Начните один с вопроса. Начните другой с трехсловного утверждения. Начните третий с подчинительного предложения, которое строится, прежде чем достичь основной точки.

Читайте ваш текст вслух. Это самый старый совет по письму, и на то есть причина. Ваше ухо ловит ритмическую монотонность, которую ваши глаза пропускают. Если ваш ритм чтения звучит как тикающие часы — один и тот же ритм, одна и та же скорость, один и тот же акцент — у вас есть проблема с бурстностью.

Для полного руководства по тому, как сделать черновики, поддерживаемые AI, звучащими по-настоящему по-человечески, смотрите наше руководство о том, как гуманизировать текст AI.

Ограничения бурстности как сигнала для детекции

Бурстность не идеальна. Ни одна метрика не идеальна.

Некоторые человеческие писатели естественно производят текст с низкой бурстностью. Техническая документация, юридическое письмо и некоторые научные подполе имеют конвенции, которые способствуют однородной конструкции предложений. Регуляторное заявление должно звучать монотонно — это требование жанра.

Мы протестировали 15 документов регуляторной науки, написанных человеком. Их оценки бурстности были неотличимы от вывода GPT-4o. Каждый из них был бы отмечен на детекторе, работающем только на бурстности.

С другой стороны, новые модели AI становятся лучше в имитации бурстности. Claude и GPT-4o производят заметно более разнообразный текст, чем GPT-3.5. Разрыв сужается. Инструменты детекции должны будут развиваться за пределами простых измерений дисперсии, чтобы не отставать.

Существует также языковой уклон. Неносители английского языка часто производят текст с низкой бурстностью — не потому, что они используют AI, а потому, что написание на втором языке, как правило, способствует последовательным, отработанным конструкциям, а не импровизационным вариациям носителя языка.

Эти ограничения не делают бурстность бесполезной. Они делают ее одним из нескольких инструментов. Лучшие подходы к детекции — и лучшие подходы к гуманизации — рассматривают бурстность наряду с перплексностью, энтропией и стилистическими маркерами.

Практическое заключение: сделайте ваше письмо бурстным

Детекция AI не исчезнет. Так же как и написание с помощью AI. Практический вопрос заключается в том, как производить текст, который отражает ваше реальное мышление, проходя при этом метрики, которые приняли учреждения.

Бурстность дает вам конкретную цель. Варьируйте ваши предложения. Нарушайте ритм. Позвольте вашему письму дышать, запинаться и растягиваться так, как это делает реальное человеческое мышление на странице.

Короткое предложение. Затем длинное, сложное, которое занимает время, чтобы добраться до сути, переплетаясь через условия и уточнения по пути. Затем среднее. Это не трюк — это то, как люди на самом деле пишут, когда они вовлечены в свои идеи.

Ваше исследование заслуживает того, чтобы звучать так, как будто оно пришло от думающего человека. Потому что так и есть.

Текстовый хуманизатор для академического письма

Восстановите естественный ритм и вариацию в ваших черновиках, поддерживаемых AI. Создан для исследователей, которым нужно сохранить академический тон.

Часто задаваемые вопросы

В: Какой балл бурстности означает, что мой текст пройдет детекцию AI?

Нет универсального порога, потому что каждый детектор рассчитывает и оценивает бурстность по-разному. В общем, стремитесь к стандартному отклонению длины предложений выше 7 слов — именно там мы видим, что текст, написанный человеком, группируется в наших тестах. Но бурстность сама по себе не определяет ваш результат детекции. Инструменты комбинируют ее с перплексностью, анализом словарного запаса и другими сигналами. Сосредоточьтесь на том, чтобы сделать ваш текст по-настоящему разнообразным, а не на достижении конкретного числа.

В: Могу ли я увеличить бурстность, просто добавив короткие предложения?

Добавление нескольких коротких предложений помогает, но этого недостаточно само по себе. Детекторы смотрят на полное распределение длин предложений, а не только на наличие коротких. Если у вас есть 25 предложений в среднем по 18 слов, и вы добавляете три 4-словных предложения, общее отклонение увеличивается лишь незначительно. Вам нужна вариация на протяжении всего текста — некоторые очень короткие, некоторые довольно длинные, большинство где-то посередине, без очевидного паттерна в распределении.

В: Является ли бурстность более важной, чем перплексность для детекции AI?

Ни одна метрика не доминирует сама по себе. В наших тестах тексты с низкими оценками по обеим метрикам отмечались наиболее последовательно — более 90% времени по всем пяти детекторам, которые мы оценивали. Тексты с низкой перплексностью, но высокой бурстностью отмечались примерно 40% времени. Тексты с высокой перплексностью, но низкой бурстностью отмечались около 35%. Комбинация имеет большее значение, чем каждая метрика по отдельности.

В: Все ли модели AI производят текст с низкой бурстностью?

Большинство из них да, но степень варьируется. GPT-3.5 производил заметно более плоский текст, чем GPT-4o. Claude имеет тенденцию к немного более высокой бурстности, чем модели GPT в наших тестах. Однако ни одна из основных моделей не соответствует диапазону бурстности человеческого письма без конкретного запроса на изменение структуры предложений. Даже с таким запросом вариация все еще, как правило, кажется искусственной — программной, а не органической.