AI 탐지기가 비원어민 작가를 잘못 지목하는 이유(오탐)

당신은 논문에 있는 모든 단어를 직접 썼습니다. 출처를 인용했고, 두 번이나 내용을 수정했으며, 떳떳한 마음으로 제출했습니다. 그런데 결과 보고서에는 AI일 가능성이 높다고 표시되었습니다. 이제는 자신의 글에 대해 ‘부정(negative)’을 증명하려고 애쓰고 있습니다. 영어가 제2언어라면, 이런 일은 흔히 있는 나쁜 운이 아닙니다. 이는 문헌으로 확인된 패턴입니다.

그리고 불편한 진실이 하나 있습니다. AI 탐지기의 오탐(false positive)은 원어민보다 비원어민 영어 작가에게 훨씬 더 자주 발생합니다. 이것은 비원어민 글쓰기가 더 나쁘기 때문이 아닙니다. 이런 도구들이 언어의 통계적 ‘결(텍스처)’을 측정하고, 이들이 잡아내도록 학습된 기계 텍스트와 비슷한 특성을 가진 ‘명확하고 신중한’ 제2언어 글쓰기가 우연히 그 특징을 공유하기 때문입니다.

이것은 좌절한 학생들이 제기하는 주변적 불만이 아닙니다. 동료심사를 거친 연구의 결론이며, 몇몇 주요 대학이 이러한 도구들을 되돌려(철회해) 온 이유이기도 하고, 법원과 행정기관이 탐지 결과를 실제로는 상당히 조심스럽게 다루기 시작한 이유이기도 합니다. 증거가 실제로 말해 주는 내용은 이것이며, 탐지기가 당신을 잘못 지목했을 때의 대응은 따로 있습니다.

스탠퍼드 연구에서 드러난 탐지기 편향

가장 강력한 근거는 2023년 Liang과 공저자들이 스탠퍼드에서 수행한 연구입니다. Cell Press 저널 Patterns에 실렸고, 제목은 명확하게도 “GPT detectors are biased against non-native English writers.”입니다.

연구자들은 에세이를 일곱 가지 널리 쓰이는 탐지기에 통과시켰습니다. TOEFL 코퍼스에서 가져온 비원어민 영어 발화(글) 에세이의 경우, 평균적으로 약 61%가 AI 생성으로 표시되었습니다. 원어민 영어 작가의 에세이는 오탐률이 대략 5% 수준이었습니다. 또한 비원어민 에세이 중 거의 5분의 1(약 19.8%)은, 실험에 참여한 모든 탐지기가 만장일치로 AI로 표시했습니다. 이 경우의 에세이는 모두 사람이 쓴 것이었습니다.

핵심이 되는 부분은 작동 메커니즘인데, 편향이 우연이 아니라 구조적으로 ‘내재’되어 있음을 설명해 줍니다. 많은 탐지기는 ‘퍼플렉서티(perplexity)’라는 신호에 의존합니다. 이는 언어 모델 관점에서 텍스트의 단어 선택이 얼마나 ‘놀랍게(surprising)’ 보이는지를 나타내는 지표입니다. 흔한 단어와 예측 가능한 표현이 가득한 글은 퍼플렉서티가 낮게 나타나고, 퍼플렉서티가 낮으면 탐지기는 이를 기계 같은 것으로 읽습니다. 제2언어 글쓰기는 화자의 아이디어가 단순해서가 아니라, 첫 언어가 아닌 언어에서 ‘신중하게’ 쓰고 있기 때문에 보다 제한적이고 관습적인 어휘를 자주 사용합니다. 탐지기는 매끈한 표면을 보고 인공적인 글로 판단합니다.

여기에서 공정성의 문제가 본질적으로 발생합니다. 신중한 제2언어 산문을 명확하고 정확하게 만드는 습관 그 자체가, 이 도구들이 처벌하도록 만들어진 습관이기 때문입니다.

비원어민 글쓰기가 AI 탐지기 오탐을 유발하는 이유

왜 이런 일이 벌어지는지 곱씹어 볼 만합니다. 그 이유를 이해하면, 나쁜 플래그에 담긴 ‘가시( sting )’가 줄어들기 때문입니다.

원어민 화자가 빠르게 글을 쓰면 관용구, 흔치 않은 단어 선택, 이상한 리듬, 그리고 때때로 나타나는 문법적 지름길이 흩어집니다. 이러한 예측 불가능성은 높은 퍼플렉서티로 포착되어 인간적인 것으로 읽힙니다. 반면 비원어민 작가, 또는 솔직히 말해 어떤 규율 있는 학술 글쓰기든, 정확하고 표준적인 문장 구성과 통제된 어휘를 선호하는 경향이 있습니다. 대형 언어 모델 역시 정확하고 표준적인 구성과 통제된 어휘를 선호합니다. 탐지기는 ‘주의 깊게 쓴 사람’과 ‘주의 깊게 쓴 기계’를 구분할 수 없습니다. 탐지기가 측정하는 특정 축에서는 둘이 비슷하게 보이기 때문입니다.

이 모든 것은 글의 질이 낮다는 뜻이 아닙니다. 학술 문체에서의 명확성은 미덕이지 결함이 아닙니다. 이는 단지 탐지기가 ‘잘못된 것’을 측정하고, 그로부터 자신감 있는 결론을 이끌어 내고 있다는 의미일 뿐입니다.

그 자신감이 위험합니다. 또렷한 비율을 출력하는 도구는, 그 숫자가 특정 집단의 진짜 작가들에게 체계적으로 불리한 신호에 근거한 것이라도 권위 있게 보입니다.

AI 탐지기를 뒤로 한 대학들

기관들은 문제를 일찍 알아차렸고, 여러 곳이 이에 대응했습니다.

2023년 8월, Vanderbilt University는 Turnitin의 AI 탐지기를 비활성화하고 이를 위한 이례적으로 상세한 설명을 발표했습니다. 연간 약 75,000건의 제출이 있다는 점에서, 오탐률 약 1%라는 주장은 전체 논문 대비로는 유의미하지 않을 수 있지만, 비원어민 영어 작가에게 편향된 결과를 낳는 것으로 이미 확인되었고, 그 과정이 불투명(opaque)하다는 점 때문에 약 750편의 논문이 잘못 AI로 플래그될 수 있다는 취지였습니다. Michigan State, the University of Texas at Austin, Northwestern, the University of Pittsburgh도 유사한 조치를 취했습니다. Southern Methodist University는 2023년 12월에 한발 물러섰고, University of Waterloo는 2025년 9월 사람의 글이 ‘완전히 AI’로 점수화된 사실을 확인한 뒤 따라가게 되었습니다.

Turnitin의 안내 또한 신중합니다. AI 지표는 1~19%의 수치를 낮추며, 스케일 하단에서 오탐이 더 광범위하기 때문에 ‘숫자’ 대신 별표(*)를 사용합니다. 또한 점수는 학문적 성실성(academic integrity)과 관련된 결정을 단독으로 내리는 데 사용해서는 안 된다고 명시적으로 경고합니다. 이는 벤더가 기관들에게 ‘자사 출력물을 증거로 취급하지 말라’고 말하는 것이고, 단일 숫자가 얼마나 큰 비중을 가져야 하는지에 대한 강력한 힌트입니다.

만약 당신의 학교가 여전히 이런 도구를 사용한다면, 그 자체가 공황의 이유는 아닙니다. 다만 자신의 권리를 알고, 아래에서 다시 다룰 ‘증거’를 확보해야 한다는 이유가 됩니다.

실제 사례를 있는 그대로

몇몇 분쟁이 보도되었고, 무엇이 어떻게 달랐는지 정확히 이해할 가치가 있습니다. 세부 사항이 중요하고, 헤드라인은 종종 이를 흐리기 때문입니다.

Adelphi University의 Orion Newby 사례에서, 학생 에세이는 ‘완전히 AI 생성’으로 플래그되었습니다. 연방 판사가 사안을 검토한 뒤 해당 판단이 “merit가 없다(without merit)”고 보고, 2026년 2월 보도에 따르면 학생의 기록에서 해당 내용이 삭제되도록 명령했습니다. 우리는 the Newby v. Adelphi ruling에서 그 판결이 무엇을 했고 무엇을 확립하지는 않았는지를 분석합니다. UC Davis에서는 William Quarterman이 GPTZero에 의해 플래그되었지만, Google Docs 버전 기록을 통해 본인의 명예를 회복했습니다. 버전 기록은 에세이가 시간에 따라 작성되어 왔음을 보여 주었습니다. 이는 소송이 아니라 행정적 해결이었습니다.

한 가지는 분명히 말해야 합니다. 온라인 요약들 중 상당수가 이를 잘못 말합니다. 위의 어떤 결과도 Turnitin(해당 회사)에 대한 법적 판단이 아니었고, 이들 사건에서 학생이 “Turnitin을 고소해 이겼다”는 일도 없었습니다. 분쟁은 플래그가 어떻게 사용되었는지에 대한 학교와의 문제였으며, 핵심 교훈은 탐지기 벤더가 법정에서 졌다는 이야기가 아니라 ‘절차와 증거’에 관한 것입니다. 정확하게 틀을 잡아 말하면, 결론은 오히려 힘이 됩니다. 탐지기 점수는 판결이 아니라 ‘주장’이며, 정당한 작가들은 이를 실제로 성공적으로 이의제기할 수 있었습니다.

잘못 지목되었다면 무엇을 해야 할까

탐지기가 당신이 직접 쓴 작업을 플래그했다면, 상황은 되돌릴 수 있습니다. 그리고 이를 잘 해결하는 작가들은 대체로 비슷한 몇 가지 행동을 합니다.

초안과 버전 기록을 보관하세요. Google Docs와 Word는 모두 편집이 시간에 따라 어떻게 진행되었는지를 추적하며, 그 타임라인은 UC Davis 사례에서처럼 당신이 제시할 수 있는 가장 설득력 있는 증거가 됩니다. 어떤 점수가 플래그를 유발했는지, 그리고 검토자가 그것을 어떤 방식으로 해석하는지 정중히 문의하세요. 억눌리거나 경계선에 있는 숫자는 어떤 결정의 근거로도 약합니다. 공정성(fairness) 주장을 글로 제기해야 한다면, 위에서 다룬 연구와 기관 차원의 신중함을 근거로 제시할 수 있습니다. 가짜 AI 탐지 플래그에 대해 항소하기 위한 단계별 안내는 전체 과정을 안내합니다.

앞으로의 목표는 도구를 ‘속이는’ 것이 아닙니다. 목표는 당신이 직접 쓴, 신뢰할 수 있는 자연스러운 영어를 쓰는 것입니다. 그래야 당신의 신중한 글이 오탐으로 잘못 읽힐 가능성이 줄어듭니다. 또한 기관이 요구하는 방식대로 AI 지원 여부를 책임 있게 공개해야 합니다. 우리의 AI 텍스트 휴머나이저는 바로 이를 위해 설계되었고, 영어가 제2언어인 경우 ESL 연구자를 위한 AI 휴머나이저 전용 가이드는 워크플로를 더 깊게 다룹니다. 목표는 ‘이미 해낸 작업’의 공정성을 지키는 것이지, 그것을 숨기는 것이 아닙니다.

탐지기를 ‘걸리게’ 만드는 평평한 텍스처 고치기: 전/후

실제 문단에서 보일 수 있다면 이론은 더 신뢰할 수 있습니다. 다음은 한 ESL 연구자가 영어를 다듬기 위해 AI 어시스턴트를 사용해 작성한 결과 구절입니다. 글은 깔끔해 보이지만, 탐지기는 여전히 플래그했습니다.

Before (flagged as likely AI):

"The results demonstrate that the intervention significantly reduced recovery time by 27% across all cohorts (Chen et al., 2021). This substantial improvement clearly highlights the effectiveness of the proposed approach. The findings confirm the hypothesis and underscore the importance of early intervention."

세 문장입니다. 길이도 거의 동일하고, 모든 절이 같은 속도로 행진합니다. 어휘는 안전하고 예측 가능합니다. 이런 균질함이 탐지기가 이를 낮은 퍼플렉서티와 낮은 버스티니스(burstiness)로 읽게 만드는 이유이며, 실제로 많은 비원어민 글쓰기를 AI 프로필로 표시하는 바로 그 텍스처이기도 합니다.

After (edited in the writer's voice):

"Recovery time fell by 27% across the three cohorts (Chen et al., 2021), a bigger drop than we had expected (n = 214). The effect held, though it was weaker in the oldest group. That pattern points to a real benefit from early intervention, but with a sample this size we would not push the claim further than the data allows."

앞뒤로 읽어보면, 두 번째 문장은 실제로 글쓴 사람이 작업했음을 느끼게 합니다.

무엇이 바뀌었고, 왜 중요한가. 우리는 모든 ‘하중을 지탱하는’ 사실을 그대로 유지했습니다. 27% 수치, (Chen et al., 2021) 인용, 코호트(cohort) 수, 표본 크기 말입니다. 증거의 내용은 움직이지 않았습니다. 우리가 추가한 것은 ‘변화’입니다. 문장 길이는 이제 길게-짧게-다시 길게 흔들립니다. 이는 버스티니스를 높입니다. 단어 선택은 덜 예측 가능해졌고, 그 결과 퍼플렉서티가 높아집니다. 또한 헤징(조건·완화 표현)도 다시 넣었습니다. “points to,” “we would not push the claim further.” AI 초안은 이런 조심스러움을 걷어 내며, 과도한 스무딩 도구 역시 이를 마찬가지로 제거합니다. 그래서 다듬어진 비원어민 영어가 AI에 가까운 프로필로 표류하는 한 가지 이유가 됩니다.

이것은 또한 ‘속임수’가 아닌 품질 편집입니다. After 버전은 Before 버전보다 더 절제되고 더 방어 가능한 주장입니다. Before는 “demonstrate”와 “confirm the hypothesis”로 과하게 나아갔기 때문입니다. 우리가 계속 강조하는 요점은 이겁니다. 오탐 위험을 낮추는 편집은 대개 동료심사에서도 살아남을 편집과 동일합니다. 학술 휴머나이저는 인용과 수치를 보호하면서 이 1차 작업을 수행할 수 있지만, 그럼에도 당신은 모든 문장을 직접 읽어야 합니다.

주의 한 가지. 단일 편집만으로는 깨끗한 점수를 보장할 수 없고, 탐지기는 계속 변합니다(예: Turnitin은 2025년 8월 휴머나이저 탐지를 추가했습니다). 당신의 사고방식을 반영하는 글쓰기를 목표로 하세요. 퍼플렉서티가 무엇을 측정하는지를 이해하고, 저널 또는 대학 정책에 따라 AI 지원을 공개하세요.

자주 묻는 질문

Q: 왜 AI 탐지기는 비원어민 영어 작가를 플래그하나요?

대부분의 탐지기는 텍스트의 단어 선택이 얼마나 예측 가능한지를 측정하며, 신중한 제2언어 글쓰기는 낮은 퍼플렉서티로 읽히는 공통적이고 표준적인 어휘를 사용하는 경향이 있습니다. 이러한 통계적 ‘매끈함’은 도구 입장에서는 기계처럼 보여, 사람이 쓴 모든 단어임에도 AI 탐지 오탐이 발생합니다. 편향은 글쓰기의 질이 아니라 탐지기가 측정하는 방식에 내장되어 있습니다.

Q: 스탠퍼드 연구는 탐지기 편향에 대해 무엇을 발견했나요?

Patterns의 2023년 스탠퍼드 연구는 일곱 가지 탐지기를 테스트했고, 비원어민 TOEFL 에세이의 약 61%를 AI로 표시했으며 원어민 작가의 경우 약 5%와 비교됨을 확인했습니다. 비원어민 에세이 중 거의 20%가 모든 탐지기에 의해 만장일치로 플래그되었습니다. 모든 에세이는 사람이 작성했습니다.

Q: AI로 잘못 플래그되었다면 어떻게 해야 하나요?

가시적인 글쓰기 타임라인이 당신이 가진 가장 강력한 증거이므로 Google Docs 또는 Word에서 초안의 기록을 유지하세요. 어떤 점수가 플래그를 유발했는지 확인하고, 오탐에 관한 연구를 인용한 뒤 명확한 이의제기 절차를 따르세요. 탐지기 점수는 논쟁할 수 있는 주장이지, 최종 판결이 아닙니다.

Q: 대학들은 AI 탐지기를 더 이상 사용하지 않나요?

몇몇 기관은 이를 제한하거나 비활성화했습니다. Vanderbilt는 오탐과 편향 우려 때문에 2023년에 Turnitin의 AI 탐지기를 비활성화했으며, Michigan State, UT Austin, Northwestern, Pittsburgh, SMU, Waterloo도 유사한 조치를 취했습니다. 여전히 탐지기를 사용하는 많은 기관은 점수를 증거가 아닌 ‘하나의 신호’로 다루는 경향이 있습니다.

Q: 더 쉬운 영어로 쓰면 AI로 플래그될 위험이 더 커지나요?

어느 정도는 그렇습니다. 탐지기는 더 단순하고 더 예측 가능한 어휘를 낮은 퍼플렉서티로 읽는데, 이는 탐지기가 AI와 연관짓는 동일한 통계 신호입니다. 그래서 명료한 ESL 글쓰기가 오탐을 유발하기도 합니다. 해결책은 어휘를 인위적으로 부풀리는 것이 아니라, 자연스러운 문장 변화를 되살리고 당신만의 헤징과 목소리를 회복하는 데 있습니다.

Q: 휴머나이저를 쓰지 않고도 제 글을 편집해서 잘못된 AI 플래그를 바로잡을 수 있나요?

대체로 가능합니다. 초안을 소리 내어 읽고, 문장 길이를 다양하게 하며, 실제로 의도한 한계를 다시 넣어 주면 버스티니스를 높이고 텍스트가 ‘내가 쓴 것처럼’ 들리게 만들 수 있습니다. 도구는 그 1차 작업을 빠르게 할 수는 있지만, 목표는 진짜 목소리이며, 저널 또는 대학 정책에 따라 AI 지원을 여전히 공개해야 합니다.

ESL 작가를 위해 설계된 휴머니저

명확하고 자연스러운 학술 영어로 작성하고, 비원어 작가들이 가장 크게 겪는 오탐(false positives)을 줄이세요. 의미와 인용은 그대로 유지됩니다.