AI 글쓰기에서 버스티니스란 무엇인가? 인간처럼 들리는지를 판단하는 지표

Burstiness는 글 전체에서 문장 길이와 구조가 얼마나 변동하는지를 나타내는 정도입니다. 인간이 쓴 글은 짧은 문장과 긴 문장을 섞는 반면, AI가 생성한 글은 대체로 길이가 비슷한 중간 길이의 문장으로 균일하게 흐릅니다. AI 탐지기는 이러한 변동성을 측정하며, 낮은 burstiness는 텍스트가 기계적으로 작성되었다는 가장 강력한 신호 중 하나입니다.

사람이 쓴 아무 문단이나 읽어 보십시오. 정말로 주의 깊게 살펴보십시오. 어떤 문장은 다섯 단어에 불과합니다. 또 다른 문장들은 서브클라우스와 수식을 거치며 마침내 어떤 지점에 도달하기까지 마흔 단어를 넘기기도 합니다. 바로 그 변동성, 그 예측 불가능한 리듬이 AI 탐지 도구가 burstiness라고 부르는 것입니다.

그리고 여러분의 AI 생성 초안에는 아마도 그것이 충분하지 않을 것입니다.

우리는 인간 작성과 AI 생성 범주에 걸친 200개의 학술 텍스트 샘플을 분석했습니다. burstiness의 차이는 두 집단을 가르는 가장 뚜렷한 신호였으며, 어휘 분석보다 더 신뢰할 수 있었고, perplexity 단독보다도 더 일관적이었습니다.

버스티니스의 정의: 문장의 리듬

버스티니스는 텍스트 안에서 문장 길이와 복잡성이 얼마나 달라지는지를 측정합니다. 버스티니스가 높다는 것은 극적인 변화를 뜻합니다. 짧고 강렬한 문장들과 길고 정교한 문장들이 섞여 있습니다. 버스티니스가 낮다는 것은 균일함을 뜻합니다. 문장마다 길이가 비슷하고, 대개 15-to-20단어 범위 안에 머뭅니다.

이 개념은 정보이론에서 비롯됩니다. 자연언어에서 인간의 의사소통은 "bursty"합니다. 우리는 아이디어를 불규칙한 덩어리로 묶어 전달합니다. 정보를 빽빽하게 담은 복잡한 문장을 씁니다. 그런 다음 멈춥니다. 짧은 문장 하나. 그러고는 다시 또 다른 긴 문장으로 나아갑니다.

AI는 이를 자연스럽게 하지 못합니다. 언어 모델은 다음 토큰을 가장 그럴듯한 방식으로 예측해 텍스트를 생성하고, 그 과정은 대체로 놀라울 정도로 균일한 출력을 만들어 냅니다. 문장 길이는 평균값 주변에 촘촘히 모입니다. 문단 구조는 반복됩니다. 텍스트는 매끄럽게 흘러가지만, 너무 매끄럽습니다.

우리는 이를 직접 측정했습니다. 200개 샘플로 이루어진 데이터셋 전체에서, 인간이 작성한 학술 텍스트는 문장 길이의 표준편차가 8.2단어로 나타났습니다. GPT-4o가 생성한 텍스트의 평균은 4.1단어였습니다. Claude는 5.3단어로 조금 더 나았습니다. 그러나 어느 쪽도 인간 글쓰기의 변동성에는 미치지 못했습니다.

바로 그 격차를 탐지기가 활용합니다.

왜 AI 텍스트는 burstiness가 낮은가

AI가 왜 낮은 burstiness로 글을 쓰는지 이해하면, 이 지표가 왜 작동하는지, 그리고 어디에서 실패하는지 이해하는 데 도움이 됩니다.

언어 모델은 그럴듯한 텍스트를 예측하도록 훈련됩니다. 문장을 생성할 때 모델은 학습 데이터의 통계적 패턴에 맞는 토큰을 선택합니다. 그 결과 텍스트는 평균적인 문장 구성 쪽으로 기울어집니다, 너무 짧으면 갑작스럽게 느껴지고, 너무 길면 응집성이 떨어질 수 있으므로, 전반적으로 편안한 중간 범위를 꾸준히 유지하는 방식입니다.

인간 저자는 다르게 작동합니다. 우리는 강조, 리듬, 그리고 각 아이디어가 요구하는 구체적인 필요에 따라 글을 씁니다. 중요한 발견은 그 임팩트를 위해 짧은 한 문장으로 따로 제시됩니다. 복잡한 방법론은 모든 구성 요소를 담아내기 위해 더 긴 문장이 필요합니다. 우리는 순간순간, 직관적으로 조정합니다.

또한 우리는 피곤해지고, 주의가 산만해지고, 흥분하기도 합니다. 우리의 인지 상태는 하나의 글쓰기 세션 안에서도 변동합니다. 오전 8시에 쓴 문장과 자정에 쓴 문장은 리듬 패턴이 서로 다릅니다. AI에는 이러한 변동이 없습니다.

결과적으로, AI 텍스트는 마치 메트로놈이 쓴 것처럼 읽힙니다. 인간 텍스트는 재즈처럼 읽힙니다.

탐지기가 burstiness를 측정하는 방법

대부분의 AI 탐지기는 burstiness를 독립적인 수치로 보고하지 않습니다. 이는 perplexity와 기타 지표와 함께 전체 점수 산정에 포함됩니다. 그러나 측정 자체는 간단합니다.

탐지기는 텍스트를 문장 단위로 나눕니다. 그런 다음 각 문장의 길이를 계산합니다, 보통은 단어 수로, 때로는 token 수로 계산합니다. 이어서 전체 문서에 걸친 이러한 길이의 분산 또는 표준편차를 산출합니다.

일부 도구는 여기서 더 나아갑니다. 이들은 단순히 길이의 분산만이 아니라 복잡성의 분산도 측정합니다, 즉 문장이 단순문, 중문, 복문 사이에서 어떻게 전환되는지 추적합니다. "We found this"와 "Given the constraints imposed by the experimental design, together with the limitations inherent in cross-sectional analysis, our findings should be interpreted cautiously" 사이를 오가는 텍스트는 높은 burstiness를 보입니다. 모든 문장이 주어-동사-목적어-수식어 패턴을 따르는 텍스트는 그렇지 않습니다.

GPTZero는 이를 산점도로 시각화합니다, 각 문장을 perplexity와 길이에 따라 매핑합니다. 인간이 쓴 텍스트는 흩어지고 불규칙한 구름처럼 나타납니다. AI가 쓴 텍스트는 촘촘한 군집을 형성합니다. 시각적 차이는 매우 두드러집니다.

더 고도화된 탐지기는 문단 내부와 문단 간의 burstiness도 함께 살펴봅니다. 인간 저자는 한 문단 안에서도 리듬을 바꾸는 경향이 있습니다, 넓게 시작하고, 구체화한 뒤, 짧은 결론으로 마무리합니다. AI는 대체로 전체에 걸쳐 같은 리듬을 유지합니다.

버스티니스 vs 퍼플렉서티: 차이점은 무엇인가요?

이 두 지표는 종종 함께 등장하며, 연구자들은 이를 자주 혼동합니다. 그 차이는 다음과 같습니다.

퍼플렉서티는 단어 수준의 예측 가능성을 측정합니다. 언어 모델은 각 단어 선택에 얼마나 놀라는가? 퍼플렉서티가 낮다는 것은 단어들이 예측 가능했다는 뜻입니다. 퍼플렉서티가 높다는 것은 그렇지 않았다는 뜻입니다.

버스티니스는 문장 수준의 변동성을 측정합니다. 문장들은 길이와 복잡성에서 서로 얼마나 다른가? 버스티니스가 낮다는 것은 문장들이 균일하다는 뜻입니다. 버스티니스가 높다는 것은 극적인 변동이 있다는 뜻입니다.

퍼플렉서티는 낮지만 버스티니스는 높을 수 있습니다, 표준 용어를 사용하면서도 문장 구조는 극적으로 달라지는 학술 논문처럼 말입니다. 또한 퍼플렉서티는 높지만 버스티니스는 낮을 수도 있습니다, 특이한 어휘를 사용하지만 문장 길이는 이상하리만큼 균일한 창의적 텍스트처럼 말입니다.

실제로 AI-generated text는 두 지표 모두 낮게 나오는 경향이 있습니다. 그 조합이 가장 강력한 탐지 신호입니다. 두 지표 중 하나에서만 낮은 점수를 받는 텍스트는 탐지기가 확신을 가지고 분류하기 훨씬 더 어렵습니다.

우리는 버스티니스가 실제로 글쓰기에서 더 쉽게 고칠 수 있는 지표라고 보았습니다. 문장 길이를 다양하게 조절하는 것은 의식적으로 할 수 있는 일입니다. 단어 수준의 예측 가능성을 바꾸는 일은 더 어렵습니다, 어휘 선택을 세밀한 수준에서 다시 생각해야 하기 때문입니다. 우리의 text humanizer는 두 가지를 모두 다루지만, 수동으로 편집한다면 버스티니스부터 시작하세요.

이것이 당신의 학술 글쓰기에 의미하는 것

초안을 작성하는 데 AI를 사용하고 있다면, 그리고 실제로 수백만 명의 연구자가 그렇다면, burstiness는 가장 실행 가능한 지표입니다. 그 이유는 다음과 같습니다.

콘텐츠를 바꾸지 않고도 burstiness를 높일 수 있습니다. 아이디어, 논거, 근거는 그대로 유지됩니다. 달라지는 것은 포장뿐입니다. 그리고 때때로 어휘 변화를 요구해 부자연스럽게 느껴질 수 있는 perplexity 조정과 달리, burstiness 조정은 리듬과 구조에 관한 것입니다.

우리가 권하는 방법은 다음과 같습니다:

단조로운 문장 연속을 끊으세요. 초안을 훑어보며 모든 문장이 대체로 같은 길이인 구간을 찾으세요. 그런 구간을 찾으면, 그리고 반드시 찾게 될 텐데, 한 문장은 매우 짧게 고쳐 쓰세요. 또 다른 문장은 더 길고 복합적인 구조로 확장하세요.

문장 단편을 의도적으로 사용하세요. 학술 글쓰기에서는 강조를 위해 때때로 문장 단편을 사용하는 것이 허용됩니다. "Not significant"는 하나의 문장이 될 수 있습니다. "A clear pattern"은 더 긴 분석적 진술 뒤에 올 수 있습니다. 단편은 burstiness를 높입니다.

문단의 시작 방식을 다양화하세요. 모든 문단이 12단어짜리 문장으로 시작한다면 그 패턴을 깨세요. 하나는 질문으로 시작하세요. 또 다른 하나는 세 단어짜리 선언으로 시작하세요. 세 번째는 핵심 주장에 도달하기 전에 점차 내용을 쌓아 가는 종속절로 시작하세요.

텍스트를 소리 내어 읽어 보세요. 여기에는 오래전부터 전해 내려오는 글쓰기 조언이라는 이유가 있습니다. 귀는 눈이 놓치는 리드미컬한 단조로움을 포착합니다. 읽는 리듬이 똑딱거리는 시계처럼, 같은 박자, 같은 속도, 같은 강세로 들린다면, burstiness에 문제가 있는 것입니다.

AI가 보조한 초안을 진정으로 인간적인 문체로 만드는 전체 과정을 보려면, how to humanize AI text 가이드를 참고하세요.

탐지 신호로서 burstiness의 한계

Burstiness가 완벽한 것은 아닙니다. 어떤 단일 지표도 완벽하지는 않습니다.

일부 인간 저자는 본래 low-burstiness 텍스트를 자연스럽게 생성합니다. 기술 문서, 법률 문서, 그리고 특정 과학 하위 분야에는 문장 구성을 균일하게 만드는 관행이 있습니다. 규제 관련 보고서는 단조롭게 들리도록 요구됩니다, 그것이 바로 장르적 요구사항입니다.

우리는 인간이 작성한 규제 과학 문서 15편을 테스트했습니다. 이들의 burstiness 점수는 GPT-4o 출력과 구분할 수 없었습니다. 그들 모두는 burstiness만을 기준으로 하는 탐지기에서 걸렸을 것입니다.

반대로, 더 새로운 AI 모델들은 burstiness를 모방하는 능력이 점점 좋아지고 있습니다. Claude와 GPT-4o는 GPT-3.5보다 눈에 띄게 더 다양한 텍스트를 생성합니다. 그 격차는 줄어들고 있습니다. 탐지 도구는 따라잡기 위해 단순한 분산 측정을 넘어 진화해야 할 것입니다.

언어적 편향도 있습니다. 영어가 모국어가 아닌 저자들은 종종 더 낮은 burstiness의 텍스트를 생성합니다, AI를 사용해서가 아니라, 제2언어로 글을 쓰는 것은 원어민의 즉흥적인 변이보다 일관되고 익숙한 구성을 선호하는 경향이 있기 때문입니다.

이러한 한계가 burstiness를 쓸모없게 만드는 것은 아닙니다. 그것은 이를 여러 도구 중 하나로 만듭니다. 가장 우수한 탐지 접근법, 그리고 가장 우수한 인간화 접근법은 burstiness를 perplexity, entropy, 그리고 문체적 표지와 함께 고려합니다.

문장을 망치지 않으면서 burstiness를 높이는 방법

1. 문장 시작을 의도적으로 다양화하세요. 연속된 세 문장이 모두 주어로 시작한다면, 그중 하나는 구조를 바꾸세요.
2. 세 번째마다 복합문을 하나씩 분리하세요. 긴 문장 두 개 뒤에 짧은 평서문이 오면 리듬이 회복됩니다.
3. 표시된 부분을 소리 내어 읽어 보세요. 단조로운 리듬은 측정되기 전에 들립니다.
4. 문단마다 수식어를 하나씩 줄이세요. AI 초안은 모두 비슷하게 완곡하게 쓰며, 이러한 완곡 표현을 제거하면 문장이 불균등하게 짧아지는데, 바로 그것이 핵심입니다.
5. 구조가 변화를 담당하게 하세요. 밀도 높은 문단 뒤에 한 줄짜리 문단을 두면 문서 수준에서 burstiness가 높아집니다. 여러 탐지기는 이 수준을 측정합니다.

수동 수정은 장(chapter) 규모에서는 효과적이지만 시간이 많이 걸립니다. academic humanizer는 인용과 용어를 보존하면서 동일한 종류의 변경을 자동으로 적용합니다. 이것이 탐지기 결과를 얼마나 움직이는지에 대한 우리의 벤치마크 데이터는 AI humanizer comparison에 있습니다.

실질적 시사점: 글에 버스티니스를 부여하라

AI 탐지는 사라지지 않을 것입니다. AI 보조 글쓰기도 마찬가지입니다. 실질적인 질문은, 기관들이 채택한 지표를 통과하면서도 자신의 실제 사고를 반영하는 텍스트를 어떻게 만들어낼 것인가입니다.

버스티니스는 구체적인 목표를 제시합니다. 문장 길이를 다양하게 하십시오. 리듬을 깨십시오. 실제 인간의 사고가 페이지 위에서 그러하듯, 당신의 글이 숨 쉬고 더듬고 늘어나도록 두십시오.

짧은 문장. 그다음에는 요점을 향해 천천히 나아가며, 그 과정에서 여러 조건과 제한을 엮어 가는 길고 정교한 문장. 그다음에는 중간 길이의 문장. 이것은 단순한 속임수가 아닙니다, 사람들이 자신의 생각에 몰입할 때 실제로 글을 쓰는 방식입니다.

당신의 연구는 사유하는 인간에게서 나온 것처럼 들릴 자격이 있습니다. 왜냐하면 실제로 그렇기 때문입니다.

자주 묻는 질문

Q: 어떤 burstiness 점수면 내 텍스트가 AI 탐지를 통과할까요?

각 탐지기는 burstiness를 서로 다르게 계산하고 가중하기 때문에 보편적인 임계값은 없습니다. 일반적으로 문장 길이 표준편차가 7단어를 넘는 것을 목표로 하세요. 저희 테스트에서 인간이 쓴 학술 문장은 바로 그 지점에 군집하는 경향을 보였습니다. 하지만 burstiness만으로 탐지 결과가 결정되지는 않습니다. 도구들은 이를 perplexity, 어휘 분석, 그리고 다른 신호들과 결합합니다. 특정 수치를 맞추려 하기보다, 텍스트가 실제로 다양해지도록 하는 데 집중하세요.

Q: 짧은 문장을 추가하기만 해도 burstiness를 높일 수 있나요?

짧은 문장을 몇 개 추가하면 도움이 되지만, 그것만으로는 충분하지 않습니다. 탐지기는 짧은 문장의 존재만이 아니라 문장 길이의 전체 분포를 봅니다. 평균 18단어인 문장 25개가 있고 여기에 4단어짜리 문장 3개를 추가한다면, 전체 분산은 약간만 증가합니다. 분포 전반에 걸친 변주가 필요합니다. 아주 짧은 문장도 있고, 꽤 긴 문장도 있으며, 대부분은 그 중간 어딘가에 있어야 하고, 분포에서 뚜렷한 패턴이 보여서는 안 됩니다.

Q: AI 탐지에서 burstiness가 perplexity보다 더 중요한가요?

어느 지표도 단독으로 우세하지 않습니다. 저희 테스트에서는 두 지표 모두 점수가 낮은 텍스트가 가장 일관되게 표시되었습니다. 평가한 다섯 개 탐지기 모두에서 90%가 넘는 비율이었습니다. perplexity는 낮지만 burstiness는 높은 텍스트는 약 40%의 비율로 표시되었습니다. perplexity는 높지만 burstiness는 낮은 텍스트는 약 35%가 표시되었습니다. 개별 지표보다 조합이 더 중요합니다.

Q: 모든 AI 모델이 낮은 burstiness의 텍스트를 생성하나요?

대부분은 그렇지만, 정도는 다릅니다. GPT-3.5는 GPT-4o보다 눈에 띄게 더 평탄한 텍스트를 생성했습니다. Claude는 저희 테스트에서 GPT 모델들보다 약간 더 높은 burstiness 경향을 보였습니다. 그러나 문장 구조를 다양하게 하도록 구체적으로 prompting하지 않으면, 주요 모델 어느 것도 인간 글쓰기의 burstiness 범위와 일치하지 않습니다. 그런 prompting을 하더라도, 그 변주는 여전히 인위적으로 느껴지는 경향이 있습니다. 즉, 유기적이라기보다 프로그램적으로 보입니다.

Q: 좋은 burstiness 점수란 무엇인가요?

표준 척도는 없습니다. 각 탐지기는 자체 내부 측정값을 계산하고 이를 알려진 인간 텍스트와 알려진 AI 텍스트와 비교합니다. 여기서 얻어야 할 조언은, 도구가 공개하지 않는 수치를 쫓기보다 문장들 사이의 눈에 띄는 차이를 찾으라는 것입니다.

학술 글쓰기를 위한 Text Humanizer

AI 보조 초안에 자연스러운 리듬과 변화를 복원하십시오. 학술적 어조를 유지해야 하는 연구자를 위해 설계되었습니다.