Что такое burstiness в AI-writing? Метрика, которая определяет, звучите ли вы по-человечески

Бёрстность, это степень вариации длины и структуры предложений в тексте. Человеческая проза сочетает короткие предложения с длинными, тогда как сгенерированная AI проза, как правило, тяготеет к однообразным предложениям средней длины. Детекторы AI измеряют эту вариативность, и низкая бёрстность, один из самых сильных сигналов того, что текст был написан машиной.

Прочитайте любой абзац, написанный человеком. По-настоящему вглядитесь в него. Некоторые предложения состоят из пяти слов. Другие растягиваются на сорок слов, извиваясь через придаточные конструкции и уточнения, прежде чем наконец прийти к какому-либо выводу. Именно это различие, этот непредсказуемый ритм, инструменты для выявления AI называют бёрстностью.

И вашему черновику, сгенерированному AI, почти наверняка не хватает именно этого.

Мы проанализировали 200 образцов академического текста в категориях, написанных человеком и сгенерированных AI. Различие в бёрстности оказалось единственным наиболее ясным сигналом, разделяющим эти две группы, более надежным, чем анализ словарного состава, и более стабильным, чем perplexity сама по себе.

Бёрстинесс, определение: ритм ваших предложений

Бёрстинесс измеряет, насколько длина и сложность предложений варьируются внутри текста. Высокий бёрстинесс означает резкие колебания, короткие, ёмкие фразы чередуются с длинными, развернутыми. Низкий бёрстинесс означает однообразие, предложение за предложением укладываются примерно в один и тот же диапазон из 15-20 слов.

Понятие происходит из теории информации. В естественном языке человеческая коммуникация отличается "bursty" характером, мы группируем идеи в неравномерные блоки. Мы пишем плотное, сложное предложение, насыщенное информацией. Затем останавливаемся. Короткое предложение. Потом снова переходим к другой длинной конструкции.

AI не делает этого естественно. Языковые модели генерируют текст, предсказывая наиболее вероятный следующий токен, и этот процесс, как правило, приводит к удивительно однообразному результату. Длины предложений тесно группируются вокруг среднего значения. Структуры абзацев повторяются. Текст течёт плавно, слишком плавно.

Мы измерили это напрямую. В нашем наборе из 200 образцов академический текст, написанный человеком, показал стандартное отклонение длины предложения 8.2 слова. Текст, сгенерированный AI, от GPT-4o в среднем составлял 4.1 слова. Claude оказался немного лучше, 5.3 слова. Но ни один из них не приблизился к вариативности человеческого письма.

Именно этот разрыв используют детекторы.

Почему у текста, созданного ИИ, низкая burstiness

Понимание того, почему ИИ пишет с низкой burstiness, помогает понять, почему эта метрика работает, и где она дает сбой.

Языковые модели обучаются предсказывать вероятный текст. При генерации предложения модель выбирает токены, которые соответствуют статистическим закономерностям ее обучающих данных. В результате получается текст, который тяготеет к медианным конструкциям предложений: не слишком коротким, что выглядело бы резко, не слишком длинным, что поставило бы под угрозу связность, но стабильно находящимся в комфортном среднем диапазоне.

Человеческие авторы действуют иначе. Мы пишем, исходя из акцента, ритма и конкретных требований каждой идеи. Критически важное наблюдение получает собственное короткое предложение ради выразительности. Сложной методологии нужна более длинная конструкция, чтобы охватить все ее подвижные части. Мы корректируемся инстинктивно, от момента к моменту.

Мы также устаем, отвлекаемся и воодушевляемся. Наше когнитивное состояние меняется на протяжении сеанса письма. Предложения, написанные в 8 AM, имеют иные ритмические паттерны, чем предложения, написанные в полночь. У ИИ нет таких колебаний.

Итог: текст ИИ читается так, словно его писал метроном. Человеческий текст читается как джаз.

Как детекторы измеряют burstiness

Большинство AI-детекторов не показывают burstiness как отдельное число. Оно включается в их общий скоринг наряду с perplexity и другими метриками. Но сам механизм измерения довольно прост.

Детектор разбивает ваш текст на предложения. Затем он вычисляет длину каждого предложения, обычно в словах, иногда в токенах. После этого он рассчитывает дисперсию или стандартное отклонение этих длин по всему документу.

Некоторые инструменты идут дальше. Они измеряют не только вариативность длины, но и вариативность сложности, отслеживая, переключаются ли ваши предложения между простыми, сложносочинёнными и сложноподчинёнными конструкциями. Текст, в котором чередуются "We found this" и "Given the constraints imposed by the experimental design, together with the limitations inherent in cross-sectional analysis, our findings should be interpreted cautiously", демонстрирует высокую burstiness. Текст, где каждое предложение следует модели подлежащее-сказуемое-дополнение-уточнение, этого не демонстрирует.

GPTZero визуализирует это в виде диаграммы рассеяния, где каждое предложение отображается по его perplexity и длине. Человеческий текст даёт разреженное, нерегулярное облако. AI-текст даёт плотный кластер. Визуальная разница поразительна.

Более продвинутые детекторы также анализируют burstiness внутри абзацев и между абзацами. Авторы-люди обычно варьируют ритм внутри одного абзаца, начиная широко, затем переходя к конкретике и завершая коротким выводом. AI обычно сохраняет один и тот же ритм на всём протяжении.

Взрывчатость vs perplexity: в чём разница?

Эти две метрики часто встречаются вместе, и исследователи нередко путают их. Вот в чём различие.

Perplexity измеряет предсказуемость на уровне слов. Насколько language model удивляется каждому выбору слова? Низкая perplexity означает, что слова были предсказуемыми. Высокая perplexity означает, что это было не так.

Взрывчатость измеряет вариативность на уровне предложений. Насколько предложения отличаются друг от друга по длине и сложности? Низкая взрывчатость означает однородные предложения. Высокая взрывчатость означает резкие различия.

Можно иметь низкую perplexity при высокой взрывчатости, академическая статья, которая использует стандартную терминологию, но при этом резко варьирует синтаксис предложений. Можно также иметь высокую perplexity при низкой взрывчатости, творческий текст с необычной лексикой, но странно однородной длиной предложений.

На практике сгенерированный AI текст обычно получает низкие оценки по обоим параметрам. Такое сочетание является самым сильным сигналом для обнаружения. Текст, который получает низкую оценку только по одной метрике, детекторам гораздо труднее классифицировать с высокой уверенностью.

Мы обнаружили, что взрывчатость на самом деле проще исправить в вашем тексте. Варьирование длины предложений, это то, что можно делать осознанно. Изменение предсказуемости на уровне слов сложнее, потому что оно требует переосмысления выбора лексики на более детальном уровне. Наш text humanizer помогает с обоими аспектами, но если вы редактируете вручную, начните со взрывчатости.

Что это значит для вашего академического письма

Если вы используете AI, чтобы помогать в подготовке своих работ, а миллионы исследователей именно так и делают, burstiness - это ваш самый практичный показатель. Вот почему.

Вы можете повысить burstiness, не меняя содержание. Идеи, аргументы и доказательства остаются прежними. Меняется только оформление. И в отличие от корректировок perplexity, которые иногда требуют сдвигов в лексике и могут звучать неестественно, корректировки burstiness связаны с ритмом и структурой.

Вот что мы рекомендуем:

Разбивайте монотонные цепочки предложений. Просмотрите свой черновик и найдите участки, где каждое предложение примерно одинаковой длины. Когда вы их обнаружите, а вы их обнаружите, перепишите одно предложение так, чтобы оно было очень коротким. Другое разверните в более длинную, более сложную конструкцию.

Используйте фрагменты намеренно. Академическое письмо допускает иногда фрагментарные предложения, если они используются для акцента. "Not significant" может быть предложением. "A clear pattern" может следовать за более длинным аналитическим высказыванием. Фрагменты повышают burstiness.

Варьируйте начала абзацев. Если каждый абзац начинается с предложения из 12 слов, сломайте этот шаблон. Начните один с вопроса. Другой, с трехсловного утверждения. Третий, с придаточного предложения, которое развивается перед тем, как перейти к основной мысли.

Читaйте текст вслух. И не без причины это старейший совет по письму. Ваш слух улавливает ритмическую монотонность, которую пропускают глаза. Если ваша манера чтения звучит как тиканье часов, тот же ритм, тот же темп, то же ударение, у вас проблема с burstiness.

Для полного разбора того, как сделать черновики, подготовленные с помощью AI, по-настоящему человеческими, см. наше руководство о how to humanize AI text.

Ограничения burstiness как сигнала для обнаружения

Burstiness не идеален. Как и ни один отдельный метрический показатель.

Некоторые авторы-люди естественным образом создают текст с низким уровнем burstiness. Техническая документация, юридические тексты и некоторые научные поддисциплины имеют конвенции, которые благоприятствуют более однородному построению предложений. Регуляторная отчетность должна звучать монотонно, это требование жанра.

Мы протестировали 15 документов по regulatory science, написанных людьми. Их оценки burstiness были неотличимы от вывода GPT-4o. Каждый из них сработал бы на детекторе, основанном только на burstiness.

С другой стороны, новые модели ИИ становятся лучше в имитации burstiness. Claude и GPT-4o создают заметно более разнообразный текст, чем это делал GPT-3.5. Разрыв сокращается. Инструментам обнаружения придется развиваться за пределы простых измерений дисперсии, чтобы успевать за этим.

Есть и языковое смещение. Авторы, для которых английский не является родным, часто создают текст с более низким burstiness, не потому что они используют ИИ, а потому что письмо на втором языке, как правило, поощряет последовательные, отработанные конструкции, а не импровизационную вариативность носителя языка.

Эти ограничения не делают burstiness бесполезным. Они делают его лишь одним из нескольких инструментов. Лучшие подходы к обнаружению, и лучшие подходы к гуманизации, рассматривают burstiness вместе с perplexity, entropy и стилистическими маркерами.

Как увеличить burstiness, не разрушив ваш текст

1. Осознанно варьируйте начала предложений. Если три подряд предложения начинаются с подлежащего, перестройте одно из них.
2. Разделяйте каждое третье сложное предложение. Короткое повествовательное предложение после двух длинных восстанавливает ритм.
3. Читайте отмеченные фрагменты вслух. Монотонный ритм слышен раньше, чем его можно измерить.
4. Убирайте по одному уточнению из каждого абзаца. Черновики, созданные AI, равномерно насыщены оговорками, а их удаление неравномерно сокращает предложения, в этом и состоит цель.
5. Позвольте структуре нести вариативность. Абзац из одной строки после плотного абзаца повышает burstiness на уровне документа, где его измеряют несколько детекторов.

Ручное редактирование работает на уровне главы, но занимает много времени. academic humanizer автоматически применяет тот же класс изменений, сохраняя цитаты и терминологию, а наши эталонные данные о том, насколько это влияет на результаты детекторов, приведены в AI humanizer comparison.

Практический вывод: сделайте свое письмо более ритмичным

Обнаружение AI никуда не исчезнет. Как и написание с помощью AI. Практический вопрос состоит в том, как создавать текст, который отражает ваше подлинное мышление и при этом проходит метрики, принятые в институтах.

Burstiness дает вам конкретную цель. Меняйте длину предложений. Ломайте ритм. Позвольте вашему письму дышать, запинаться и растягиваться так, как это делает подлинная человеческая мысль на странице.

Короткое предложение. Затем длинное, развернутое, которое неспешно подводит к сути, вплетая по пути условия и оговорки. Затем среднее. Это не трюк, это то, как люди действительно пишут, когда они вовлечены в свои идеи.

Ваше исследование заслуживает того, чтобы звучать так, будто оно создано думающим человеком. Потому что так оно и есть.

Часто задаваемые вопросы

Q: Какой показатель burstiness означает, что мой текст пройдёт AI detection?

Универсального порога нет, потому что каждый detector рассчитывает и взвешивает burstiness по-разному. В общем случае стремитесь к стандартному отклонению длины предложений выше 7 слов, именно там, по нашим тестам, концентрируется написанный человеком академический текст. Но один лишь burstiness не определяет результат detection. Tools combine it with perplexity, vocabulary analysis, and other signals. Сосредоточьтесь на том, чтобы ваш текст действительно был разнообразным, а не на достижении конкретного числа.

Q: Can I increase burstiness just by adding short sentences?

Добавление нескольких коротких предложений помогает, но само по себе этого недостаточно. Detectors смотрят на полное распределение длин предложений, а не только на наличие коротких. Если у вас есть 25 предложений со средним размером 18 слов, и вы добавляете три предложения по 4 слова, общая дисперсия увеличивается лишь незначительно. Нужна вариативность по всему тексту, некоторые предложения очень короткие, некоторые довольно длинные, большинство где-то посередине, без очевидного паттерна в распределении.

Q: Is burstiness more important than perplexity for AI detection?

Ни один из этих показателей сам по себе не доминирует. В наших тестах тексты с низкими значениями обоих показателей помечались наиболее стабильно, более чем в 90% случаев, среди всех пяти detectors, которые мы оценивали. Тексты с низким perplexity, но высоким burstiness, помечались примерно в 40% случаев. Тексты с высоким perplexity, но низким burstiness, помечались примерно в 35% случаев. Сочетание имеет большее значение, чем каждый показатель по отдельности.

Q: Do all AI models produce low-burstiness text?

Большинство да, но степень различается. GPT-3.5 заметно чаще выдавал более ровный текст, чем GPT-4o. Claude, как правило, демонстрирует несколько более высокий burstiness, чем GPT models, в наших тестах. Однако ни одна из крупных models не достигает диапазона burstiness, характерного для человеческого письма, без специального prompting, направленного на разнообразие структуры предложений. Даже при таком prompting вариативность всё равно обычно воспринимается как искусственная, программная, а не органичная.

Q: What is a good burstiness score?

Стандартной шкалы не существует. Каждый detector вычисляет собственную внутреннюю метрику и сравнивает её с известными образцами human и AI text. Совет, который следует вынести отсюда, состоит в том, чтобы искать заметные различия между предложениями, а не гоняться за числом, которое не публикует ни один tool.

Текстовый гуманизатор для академического письма

Восстановите естественный ритм и вариативность в черновиках, созданных с помощью AI. Создано для исследователей, которым необходимо сохранить академический тон.