AI 글쓰기의 폭발성이란 무엇입니까? 당신이 인간처럼 들리는지 결정하는 척도

사람이 쓴 단락을 읽어보세요. 정말 보세요. 일부 문장은 다섯 단어로 구성됩니다. 다른 것들은 40개에 걸쳐 하위 조항과 자격을 거쳐 마침내 어딘가에 도착합니다. 이러한 변화, 즉 예측할 수 없는 리듬을 AI 감지 도구가 버스트성이라고 부르는 것입니다.

그리고 AI가 생성한 초안에는 거의 확실히 내용이 충분하지 않습니다.

우리는 인간이 작성한 카테고리와 AI가 생성한 카테고리에 걸쳐 200개의 학술 텍스트 샘플을 분석했습니다. 폭발성의 차이는 두 그룹을 구분하는 가장 명확한 단일 신호였습니다. 즉, 어휘 분석보다 더 신뢰할 수 있고 당황스러울 뿐인 것보다 더 일관성이 있었습니다.

폭발성 정의: 문장의 리듬

버스트성은 텍스트 내에서 문장 길이와 복잡성이 얼마나 다른지 측정합니다. 폭발성이 높다는 것은 극적인 변화를 의미합니다. 짧고 강력한 문장과 길고 정교한 문장이 혼합되어 있습니다. 낮은 버스트는 균일성을 의미합니다. 즉, 문장마다 동일한 15~20단어 범위에 들어갑니다.

개념은 정보 이론에서 비롯됩니다. 자연어에서 인간의 의사소통은 "폭발적"입니다. 즉, 아이디어를 불규칙한 덩어리로 묶습니다. 우리는 정보로 가득 찬 조밀하고 복잡한 문장을 작성합니다. 그런 다음 중지합니다. 짧은 것. 그런 다음 우리는 또 다른 긴 공사를 시작합니다.

AI는 이것을 자연스럽게 수행하지 않습니다. 언어 모델은 가장 가능성이 높은 다음 토큰을 예측하여 텍스트를 생성하며 해당 프로세스는 놀라울 정도로 균일한 출력을 생성하는 경향이 있습니다. 문장 길이는 평균 주위에 밀집되어 있습니다. 단락 구조가 반복됩니다. 텍스트가 매끄럽게 흐릅니다. 너무 매끄럽습니다.

우리는 이것을 직접 측정했습니다. 200개 샘플 데이터 세트에서 사람이 작성한 학술 텍스트의 문장 길이 표준 편차는 8.2단어였습니다. GPT-4o의 AI 생성 텍스트는 평균 4.1단어입니다. Claude는 5.3 단어로 약간 나아졌습니다. 그러나 어느 쪽도 인간 글쓰기의 다양성에 접근하지 못했습니다.

그 격차는 탐지기가 이용하는 것입니다.

AI 텍스트의 버스트가 낮은 이유

AI가 버스트가 낮은 쓰기 이유를 이해하면 메트릭이 작동하는 이유와 실패하는 위치를 이해하는 데 도움이 됩니다.

언어 모델은 가능한 텍스트를 예측하도록 훈련됩니다. 문장을 생성할 때 모델은 훈련 데이터의 통계 패턴에 맞는 토큰을 선택합니다. 결과는 중간 문장 구조에 끌리는 텍스트입니다. 너무 짧지도 않고(갑작스러운 것처럼 보임) 너무 길지도 않고(일관성이 위험할 수 있음) 일관되게 ��안한 중간 범위에 있습니다.

인간 작가는 다르게 작동합니다. 우리는 강조점, 리듬, 각 아이디어의 구체적인 요구 사항을 바탕으로 글을 씁니다. 중요한 발견에는 영향에 대한 짧은 문장이 있습니다. 복잡한 방법론에서는 움직이는 모든 부분을 포착하기 위해 더 긴 구성이 필요합니다. 우리는 순간순간 본능적으로 적응합니다.

우리는 또한 피곤해지고, 주의가 산만해지고, 흥분됩니다. 우리의 인지 상태는 글쓰기 세션에 따라 변동됩니다. 오전 8시에 쓴 문장은 자정에 쓴 문장과 리듬 패턴이 다릅니다. AI에는 그러한 변동이 없습니다.

결과: AI 텍스트는 메트로놈에 의해 쓰여진 것처럼 읽혀집니다. 인간의 텍스트는 재즈처럼 읽혀집니다.

감지기가 버스트를 측정하는 방법

대부분의 AI 감지기는 버스트를 독립형 숫자로 보고하지 않습니다. 이는 곤란함 및 기타 측정항목과 함께 전체 점수에 포함됩니다. 그러나 측정 자체는 간단합니다.

탐지기는 텍스트를 문장으로 나눕니다. 각 문장의 길이를 계산합니다. 일반적으로 단어로, 때로는 토큰으로 계산합니다. 그런 다음 전체 문서에서 해당 길이의 분산 또는 표준 편차를 계산합니다.

일부 도구는 더 발전합니다. 길이 변화뿐만 아니라 복잡도 변화도 측정하여 문장이 단순, 복합, 복잡한 구조 사이에서 이동하는지 추적합니다. "우리는 이것을 발견했습니다"와 "단면 분석에 내재된 한계와 함께 실험 설계에 의해 부과된 제약을 고려할 때 우리의 결과는 조심스���게 해석되어야 합니다" 사이를 번갈아 표시하는 텍스트는 높은 폭발성을 보여줍니다. 모든 문장이 주어-동사-목적어-한정어 패턴을 따르는 텍스트는 그렇지 않습니다.

GPTZero는 이를 각 문장의 복잡성과 길이에 따라 매핑된 분산형 차트로 시각화합니다. 인간의 텍스트는 분산되고 불규칙한 구름을 생성합니다. AI 텍스트는 긴밀한 클러스터를 생성합니다. 시각적 차이가 눈에 띕니다.

또한 고급 감지기는 단락 내에서와 단락 전체에서 버스트를 확인합니다. 인간 작가들은 한 문단 내에서 리듬을 바꾸는 경향이 있습니다. 광범위하게 시작하여 구체적으로 설명하고 짧은 결론에 도달하는 것입니다. AI는 전체적으로 동일한 리듬을 유지하는 경향이 있습니다.

분주함과 당혹감: 차이점은 무엇인가요?

이 두 측정항목은 종종 함께 나타나며, 연구자들은 이를 자주 혼동합니다. 여기에 차이점이 있습니다.

Perplexity는 단어 수준의 예측 가능성을 측정합니다. 각 단어 선택에 따른 언어 모델은 얼마나 놀랐습니까? 복잡성이 낮다는 것은 단어가 예측 가능하다는 것을 의미합니다. 당혹감이 높다는 것은 그렇지 않다는 것을 의미합니다.

폭발성은 문장 수준의 변화를 측정합니다. 문장의 길이와 복잡성은 얼마나 다른가요? 낮은 파열성은 균일한 문장을 의미합니다. 높은 파열성은 극적인 변화를 의미합니다.

표준 용어를 사용하지만 문장 구조를 극적으로 변화시키는 학술 논문인 높은 버스트와 함께 낮은 당혹감을 ��질 수 있습니다. 또한 낮은 폭발성으로 높은 당혹감을 가질 수도 있습니다. 즉, 특이한 어휘를 사용하지만 이상하게 균일한 문장 길이를 사용하는 창의적인 텍스트입니다.

실제로 AI가 생성한 텍스트는 두 가지 모두에서 낮은 점수를 받는 경향이 있습니다. 그 조합이 가장 강력한 감지 신호입니다. 하나의 측정항목에서만 낮은 점수를 받은 텍스트는 탐지기가 자신있게 분류하기가 훨씬 어렵습니다.

우리는 폭발성이 실제로 당신의 글에서 수정하기 더 쉬운 척도라는 것을 발견했습니다. 문장 길이를 바꾸는 것은 의식적으로 할 수 있는 일입니다. 단어 수준의 예측 가능성을 변경하는 것은 세부적인 수준에서 어휘 선택을 다시 생각해야 하기 때문에 더 어렵습니다. 우리의 텍스트 휴머나이저는 두 가지 모두를 해결하지만 수동으로 편집하는 경우 버스트부터 시작하세요.

이것이 학술적 글쓰기에 미치는 영향

논문 초안을 작성하는 데 AI를 사용하고 있다면(수백만 명의 연구자가 그렇습니다) 버스트성은 가장 실행 가능한 지표입니다. 이유는 다음과 같습니다.

콘텐츠를 변경하지 않고도 폭발성을 높일 수 있습니다. 아이디어, 주장, 증거는 동일하게 유지됩니다. 포장만 바뀌었습니다. 때로는 부자연스러울 수 있는 어휘 변화가 필요한 당혹감 조정과 달리 폭발성 조정은 리듬과 구조에 관한 것입니다.

우리가 권장하는 사항은 다음과 같습니��.

단조로운 문장을 끊으세요. 초안을 읽고 모든 문장의 길이가 거의 같은 부분을 찾으세요. 당신이 그것을 찾으면 - 그리고 당신은 - 한 문장을 매우 짧게 다시 쓰게 될 것입니다. 다른 건물을 더 길고 복잡한 구조로 확장하세요.

의도적으로 단편을 사용하세요. 학문적 작문에서는 강조를 위해 가끔 문장 단편을 사용할 수 있습니다. "중요하지 않다"는 문장이 될 수 있습니다. "명확한 패턴"은 더 긴 분석 설명을 따를 수 있습니다. 조각이 급증합니다.

단락 시작을 다양하게 변경하세요. 모든 단락이 12단어 문장으로 시작하는 경우 패턴을 깨세요. 질문으로 시작해보세요. 세 단어로 된 선언으로 또 다른 시작을 해보세요. 주요 요점에 도달하기 전에 구성되는 하위 절로 세 번째를 시작하십시오.

텍스트를 소리내어 읽어보세요. 이것은 이유가 있는 가장 오래된 작문 조언입니다. 당신의 귀는 눈이 놓치는 리드미컬한 단조로움을 포착합니다. 읽기 속도가 똑딱거리는 시계처럼 들리면(같은 박자, 같은 속도, 같은 강조), 폭발적인 문제가 있는 것입니다.

AI 지원 초안을 사람처럼 들리게 만드는 전체 과정을 보려면 AI 텍스트를 인간화하는 방법 가이드를 참조하세요.

감지 신호로서 버스트의 한계

폭발성은 완벽하지 않습니다. 단일 지표는 없습니다.

일부 인간 작가는 자연스럽게 폭발성이 낮은 텍스트를 생성합니다. 기술 문서, 법률 문서 작성 및 특정 과학 하위 필드에는 통일된 문장 구성을 선호하는 규칙이 있습니다. 규제 서류 제출은 단조롭게 들릴 것으로 예상됩니다. 이��이 장르 요구 사항입니다.

우리는 사람이 작성한 15개의 규제 과학 문서를 테스트했습니다. 버스트 점수는 GPT-4o 출력과 구별할 수 없었습니다. 그들 모두는 버스트 전용 감지기에 플래그를 지정했을 것입니다.

반면에 최신 AI 모델은 버스트를 모방하는 데 점점 더 좋아지고 있습니다. Claude와 GPT-4o는 GPT-3.5보다 훨씬 더 다양한 텍스트를 생성합니다. 격차가 좁아지고 있습니다. 이를 따라잡기 위해서는 탐지 도구가 단순한 분산 측정을 넘어 발전해야 합니다.

언어 편향도 있습니다. 영어가 모국어가 아닌 작가들은 AI를 사용해서가 아니라 제2 언어로 글을 쓰는 것이 원어민의 즉흥적인 변형보다 일관되고 연습된 구성을 선호하는 경향이 있기 때문에 폭발성이 낮은 텍스트를 생성하는 경우가 많습니다.

이러한 제한으로 인해 버스트가 쓸모없게 되는 것은 아닙니다. 그들은 그것을 여러 도구 중 하나의 도구로 만듭니다. 최고의 탐지 접근 방식과 최고의 인간화 접근 방식은 혼란, 엔트로피 및 문체 마커와 함께 버스트를 고려합니다.

실용적인 교훈: 글쓰기를 폭발적으로 만드세요

AI 탐지는 사라지지 않습니다. AI 지원 글쓰기도 마찬가지입니다. 실용적인 질문은 기관에서 채택한 측정 기준을 전달하면서 실제 생각을 반영하는 텍스트를 생성하는 방법입니다.

Burstiness는 구체적인 목표를 제공합니다. 문장을 다양하게 바꿔보세요. 리듬을 깨세요. 당신의 글이 실제 인간의 생각이 페이지에서 하는 것처럼 숨쉬고, 더듬거리고, 늘어나게 하십시오.

짧은 문장. 그런 다음 요점에 도달하는 데 시간이 걸리고 그 과정에서 조건과 자격을 엮는 길고 정교한 작업입니다. 그럼 중간. 이것은 속임수가 아닙니다. 사람들이 자신의 아이디어에 몰입할 때 실제로 글을 쓰는 방식입니다.

당신의 연구는 생각하는 인간에게서 나온 것처럼 들릴 가치가 있습니다. 그랬기 때문이다.

학술적 글쓰기를 위한 텍스트 휴머나이저

자주 묻는 질문

Q: 버스트 점수는 내 텍스트가 AI 탐지를 통과한다는 것을 의미합니까?

각 감지기가 버스트를 다르게 계산하고 가중치를 부여하므로 보편적인 임계값은 없습니다. 일반적으로 7단어 이상의 문장 길이 표준 편차를 목표로 합니다. 테스트에서 사람이 쓴 학술 텍스트 클러스터링이 바로 여기에 있습니다. 그러나 버스트만으로는 탐지 결과가 결정되지 않습니다. 도구는 이를 당혹감, 어휘 분석 및 기타 신호와 결합합니다. 특정 수치를 달성하기보다는 텍스트를 진정으로 다양하게 만드는 데 집중하세요.

Q: 짧은 문장만 추가하면 폭발력이 높아질 수 있나요?

몇 가지 짧은 문장을 추가하면 도움이 되지만 그 자체로는 충분하지 않습니다. 감지기는 짧은 문장의 존재뿐만 아니라 문장 길이의 전체 분포를 살펴봅니다. 평균 18개의 단어로 구성된 25개의 문장이 있고 4개의 단어��� 구성된 문장 3개를 추가하면 전체 분산은 약간만 증가합니다. 전체적으로 변형이 필요합니다. 일부는 매우 짧고, 일부는 상당히 길며, 대부분은 그 사이에 있으며 분포에 대한 명확한 패턴이 없습니다.

Q: AI 탐지에 있어서 혼란보다 버스트가 더 중요합니까?

어느 지표도 그 자체로 지배적이지는 않습니다. 테스트에서 두 지표 모두에서 낮은 점수를 받은 텍스트는 우리가 평가한 5개 탐지기 전체에서 90% 이상의 시간 동안 가장 일관되게 플래그가 지정되었습니다. 복잡성은 낮���만 폭발성이 높은 텍스트는 약 40%의 시간 동안 플래그가 지정되었습니다. 복잡성은 높지만 버스트성이 낮은 텍스트는 약 35%로 플래그 지정되었습니다. 조합은 개별 측정항목보다 더 중요합니다.

Q: 모든 AI 모델은 폭발성이 낮은 텍스트를 생성합니까?

대부분 그렇긴 하지만 정도는 다양합니다. GPT-3.5는 GPT-4o보다 눈에 띄게 단조로운 텍스트를 생성했습니다. Claude는 테스트에서 GPT 모델보다 버스트가 약간 더 높은 경향이 있습니다. 그러나 주요 모델 중 문장 구조를 변경하라는 구체적인 메시지 없이는 인간 글쓰기의 폭발성 범위와 일치하는 모델이 없습니다. 그러한 자극에도 불구하고 변형은 여전히 ​​유기적이라기보다는 프로그램적이라는 인위적인 느낌을 주는 경향이 있습니다.