2026년 AI 탐지기는 얼마나 정확한가? 테스트된 정확도와 오탐지

우리 네트워크의 한 박사과정 학생은 자신의 논문 서론이 대학의 탐지 시스템에서 67% AI 생성으로 표시되는 일을 겪었습니다. 그녀는 4개월에 걸쳐 모든 단어를 직접 썼습니다. AI 도구도, 문법 검사기도, 맞춤법 검사도 전혀 사용하지 않았습니다.

그녀는 점수를 낮추기 위해 2주 동안 일부 문단을 다시 썼습니다. 그 방법은 효과가 있었습니다 - 하지만 다시 쓴 버전은 원본보다 더 나빴습니다.

우리는 이런 도구들이 실제로 얼마나 신뢰할 수 있는지 정확히 알아보기로 했습니다. 그래서 5개를 시험해 보았습니다.

빠른 답변

2026년의 AI 탐지기는 대부분의 편집되지 않은, 완전히 AI가 생성한 텍스트를 잡아낼 만큼은 정확하지만, 어떤 점수도 증거로 간주할 수 없을 만큼은 부정확합니다. 우리가 측정한 모든 탐지기에서 세 가지 결과가 반복됩니다. ChatGPT, Claude, 또는 Gemini의 원본 출력은 신뢰할 수 있게 표시됩니다. 인간의 학술 글쓰기도 때때로 AI로 표시되며, 이는 탐지기 업체들 자신도 인정하는 바입니다. 그리고 편집되거나 인간화된 텍스트는 대학들이 가정하는 것보다 훨씬 더 자주 통과합니다. 2,000개의 학술 문서를 대상으로 한 최신 벤치마크에서, 인간화된 텍스트는 최대 92.33%의 문서에서 Turnitin의 AI 탐지를 통과했습니다.

우리의 테스트 방법론: 5개의 탐지기에서 50개 샘플

우리는 각각 500단어에서 800단어 사이의 텍스트 샘플 50개를 모았습니다. 샘플은 다섯 범주로 나뉘었습니다.

• 순수하게 사람이 작성한 학술 텍스트 10개 - 2018–2022년에 출판된 저널 논문으로, LLM이 널리 보급되기 전에 작성됨
• 순수하게 AI가 생성한 텍스트 10개 - 학술 프롬프트를 사용해 GPT-4o가 생성했으며, 편집 없음
• 가볍게 수작업 편집한 AI 생성 텍스트 10개 - 정확성과 문체를 위해 사람이 교정한 AI 초안
• 우리의 text humanizer를 거친 AI 생성 텍스트 10개 - 완전한 humanization 처리 후 수동 검토까지 거침
• 비원어민 영어 사용자가 작성한 사람이 쓴 텍스트 10개 - 제2 또는 제3 언어로 글을 쓰는 연구자들의 출판 논문

우리는 모든 샘플을 Turnitin's AI detection module, GPTZero, Copyleaks, ZeroGPT, 그리고 Originality.ai에 통과시켰습니다. 각 도구는 AI 확률 점수를 반환했습니다. 우리는 모든 점수를 기록하고 정확도 지표를 계산했습니다.

결과는 우리를 놀라게 했습니다. 도구들이 완전히 실패해서가 아니라, 실패 양상이 너무나도 일관되지 않았기 때문입니다.

Turnitin AI 탐지: 정확도 결과

Turnitin은 순수 AI 생성 텍스트 10개 중 9개를 정확히 식별하여 80% 이상으로 평가했습니다. 이는 명백한 AI 산출물에 대해서는 꽤 탄탄한 성과입니다.

문제가 된 부분은 오탐지였습니다. 인간이 작성한 학술 텍스트 10개 중 3개가 Turnitin의 AI 지표에서 20%를 넘었습니다. 그중 하나, 화학 저널의 형식적인 문헌 검토는 38%를 기록했습니다.

인간화된 텍스트에서는 Turnitin의 성능이 크게 떨어졌습니다. 인간화된 샘플 10개 중 3개만이 20% 임계값을 넘었습니다. 나머지 7개는 2%에서 17% 사이였습니다.

비원어민 영어 글쓰기는 가장 취약한 범주였습니다. 비원어민 샘플 10개 중 4개가 20%를 넘겨 표시되었습니다. 그중 하나는 52%를 기록했습니다. 이들은 모두 실제 인간 연구자들이 발표한 실제 논문이었습니다.

Turnitin의 이번 테스트에서의 전체 정확도는 72%였습니다. 이는 28%의 오류율이 대략 4건 중 1건은 판단이 틀릴 수 있음을 깨닫기 전까지는 그럴듯하게 들립니다.

GPTZero vs Copyleaks vs ZeroGPT: 일대일 비교

우리는 가장 인기 있는 독립형 AI 탐지기 3종을 전체 샘플 세트에 대해 테스트했습니다.

GPTZero는 가장 공격적인 탐지기였습니다. 원시 AI 텍스트 10개 중 10개를 모두 잡아냈고, 완벽한 재현율을 보였습니다. 그러나 인간이 작성한 텍스트 4개와 비원어민 영어 텍스트 5개를 주로 AI 생성으로 표시하기도 했습니다. 이 시험에서 위양성률은 12%로 가장 높았습니다.

Copyleaks는 더 보수적인 접근을 취했습니다. AI 텍스트 10개 중 8개를 올바르게 식별했지만, 인간이 작성한 샘플 1개만 잘못 표시했습니다. 인간화된 텍스트에서는 10개 중 4개를 잡아냈는데, 이는 인간화 대응 성능이 가장 좋다는 뜻이지만 여전히 절반 이상을 놓친 것입니다.

ZeroGPT는 가장 신뢰도가 낮았습니다. AI 텍스트 10개 중 7개를 올바르게 표시했지만, 인간이 작성한 텍스트 3개도 잘못 표시했습니다. 더 심각한 문제는 점수 변동성이었습니다. 동일한 샘플을 두 번 실행했을 때 30%의 경우 서로 다른 결과가 나왔습니다. 탐지 도구에서는 일관성이 중요하지만, ZeroGPT는 이를 제공하지 못했습니다.

Originality.ai는 원시 AI 텍스트에서 좋은 성능을 보였고, 9/10을 탐지했습니다. 또한 인간 텍스트에서 위양성률이 낮았으며, 1/10만 잘못 표시했습니다. 인간화된 텍스트에서는 10개 중 5개를 잡아내어, 중간 정도의 성능을 보였습니다.

불편한 요약은 다음과 같습니다. 어떤 탐지기도 모든 샘플 범주를 통틀어 전체 정확도 80%를 넘기지 못했습니다.

2,000개 문서 벤치마크, 편집된 텍스트를 탐지하지 못하는 빈도

탐지 정확도는 보통 원시 AI 출력과 비교해 보고되며, 이로 인해 탐지기가 수정된 텍스트에서 실제로 얼마나 성능을 내는지 과대평가됩니다. 이 격차를 측정하기 위해, 우리는 ProofreaderPro의 학술용 humanizer로 학술 문서를 humanize한 뒤 각 탐지기의 표준 인터페이스를 통해 제출합니다. 반환된 AI 확률이 해당 탐지기 자체의 플래그 기준치 아래에 있으면 해당 문서는 통과한 것으로 간주합니다.

원문에 대한 의미적 충실도는 각 실행에서 94%를 상회했습니다. 이 말뭉치는 STEM, 사회과학, 인문학 전반에 걸친 2,000개의 학술 문서를 포함하며, 우리는 각 벤치마크 실행마다 수치를 갱신합니다. 전체 방법론은 AI humanizer 비교에 있습니다.

정확성 주장에 대한 함의는 분명합니다. 원시 모델 출력을 안정적으로 잡아내는 탐지기라도, 편집된 텍스트의 대다수는 놓칠 수 있습니다. 탐지 점수는 표면 통계를 설명하며, 수정은 그 통계를 바꿉니다.

탐지 업체들이 자사 정확도에 대해 말하는 것

업체 문서는 대학 현장보다 더 신중합니다. Turnitin의 공개 지침은 자사의 AI writing indicator가 특히 낮은 보고 임계값 부근에서 오탐을 낼 수 있다고 밝히며, 회사는 이 indicator를 부정행위의 증거가 아니라 교사가 학생과 논의하기 위한 출발점으로 설명합니다. GPTZero는 자체 정확도 수치를 공개하고, 표시된 모든 문서에 대해 사람의 검토를 권장합니다. OpenAI는 정확도가 실용적 활용에는 너무 낮다고 판단한 뒤 2023년에 공식 AI text classifier를 중단했습니다. 이러한 시스템을 만드는 회사들이 사용자에게 표시를 수동으로 확인하라고 말할 때, 어떤 비율을 증거로 취급하는 것은 도구가 스스로 주장하는 범위를 넘어서는 일입니다.

아무도 이야기하지 않는 오탐지 문제

오탐지는 AI 탐지에서 조용한 위기입니다. 탐지기가 인간이 쓴 텍스트를 AI 생성으로 잘못 표시하면, 입증 책임이 글쓴이에게 돌아갑니다. "AI를 사용하지 않았음을 증명하라"는 요구는 거의 불가능합니다.

우리의 테스트에서는 인간 텍스트가 오탐지되는 일관된 패턴을 확인했습니다.

고도로 구조화된 형식적 글쓰기. 산문이 더 체계적이고 세련될수록 탐지기가 이를 AI로 표시할 가능성도 높아집니다. 명확한 주제문, 논리적인 문단 전개, 일관된 용어 사용, 이 모든 것은 훌륭한 인간 글쓰기와 AI 출력이 공유하는 패턴입니다.

정형화된 섹션. 방법론 섹션, 절차적 설명, 문헌 검토는 학문 분야별 템플릿을 따릅니다. 모든 연구자는 "data were collected using semi-structured interviews"를 같은 방식으로 씁니다. 탐지기는 관례와 생성된 문장을 구분할 수 없습니다.

낮은 엔트로피의 어휘. 법학, 의학, 공학 같은 일부 분야는 동의어 선택지가 제한된 전문 어휘를 사용합니다. 특정 용어를 반복해서 사용해야 할 때, 텍스트는 퍼플렉서티 기반 탐지기에게 더 "예측 가능"해 보입니다.

비원어민 영어. 이것이 가장 우려스러운 발견이기 때문에 우리는 이 주제를 계속 다시 언급합니다. 제2언어로 글을 쓰는 연구자들은 어휘 다양성이 더 낮고 더 정형화된 구조를 가진 텍스트를 생성합니다, 이는 정확히 탐지기가 AI와 연관시키는 패턴입니다. 이것은 대부분의 기관이 아직 제대로 다루지 못한 차별적 결과를 만들어냅니다.

연구자가 AI 도구를 사용할 때 이것이 의미하는 바

쓰기 보조 도구로 AI를 사용하고 있다면, 초안 작성, 구조 재편, 다듬기 등, 탐지 환경은 실제 문제를 만들어냅니다. 전적으로 직접 작성한 텍스트조차도 표시될 수 있습니다. AI 보조 텍스트는 인간화 조치를 취하지 않으면 거의 확실하게 표시됩니다.

이 테스트를 바탕으로 한 권고 사항은 다음과 같습니다.

어느 한 탐지기의 판정도 믿지 마세요. 한 도구에서는 5%, 다른 도구에서는 68%를 받은 샘플을 보았습니다. 기관이 하나의 탐지기를 사용한다면, 준수 여부에서는 그것이 중요합니다. 그러나 단일 점수는 AI 사용의 증거가 아닙니다.

전략적으로 인간화하세요. 원시 AI 출력은 탐지됩니다. 잘 인간화된 텍스트는 대체로 탐지되지 않습니다. AI 지원을 사용했다면, 초안을 quality humanization tool로 처리하고 본인의 문체를 더하세요. 우리의 테스트에서는 이 조합이 다섯 도구 모두에서 탐지 점수를 15% 미만으로 낮추는 것으로 나타났습니다.

초안을 보관하세요. 작업의 중간 버전을 저장하세요. 브라우저 기록, ChatGPT 대화 로그, 주석이 달린 PDF, 손글씨 메모, 이 모든 것은 질문을 받게 될 경우 여러분의 집필 과정을 입증하는 증거가 됩니다.

더 나은 기관 정책을 요구하세요. AI 탐지 도구는 학문적 부정행위의 유일한 증거로 삼기에는 신뢰성이 충분하지 않습니다. 대학이 Turnitin AI 점수를 증거로 취급한다면, 데이터와 함께 이의를 제기하세요. 이와 같은 연구를 공유하세요.

표시된 텍스트를 처리하는 실질적인 단계는 how researchers are bypassing AI detection without cheating에 대한 가이드를 참고하세요.

AI 탐지 군비 경쟁은 느려지고 있지 않습니다. 탐지기는 개선될 것입니다. 그러나 AI 보조 글쓰기 도구도 마찬가지로 발전할 것입니다. 장기적 해법은 더 나은 탐지가 아니라, 글쓰기가 실제로 지금 어떻게 이루어지는지를 인정하는 더 나은 정책입니다.

여러분의 작업은 진짜입니다. 여러분의 아이디어도 진짜입니다. 결함 있는 알고리즘이 그것을 판단하게 해서는 안 됩니다.

자주 묻는 질문

Q: 어떤 AI 탐지기가 가장 정확한가요?

우리의 테스트에서 Turnitin과 Originality.ai는 모든 샘플 범주를 통틀어 각각 72%와 74%로 전체 정확도가 가장 높아 공동 1위를 차지했습니다. 그러나 정확도는 텍스트 유형에 따라 크게 달랐습니다. Turnitin은 생 AI 출력 탐지에는 가장 뛰어났지만, 비원어민 영어 텍스트에서 거짓 양성 반응이 더 많았습니다. Originality.ai는 더 균형적이었지만 인간화된 텍스트에는 덜 효과적이었습니다. 어떤 탐지기도 모든 범주에서 80%를 넘는 정확도를 달성하지 못했으며, 이는 학문적 진실성 판단에 사용되는 도구로서는 중대한 한계입니다.

Q: AI 탐지기는 학술 글쓰기에 작동하나요?

일부 유형의 학술 글쓰기에는 다른 유형보다 더 잘 작동합니다. 학술적 문체로 작성된 원시 상태의, 편집되지 않은 AI 출력은 보통 탐지되며, 우리 테스트에서 탐지율은 70%에서 100% 사이였습니다. 그러나 형식적인 인간 작성 학술 텍스트는 우려할 만한 수준의 거짓 양성을 유발하며, 우리 테스트에서는 최대 12%에 달했습니다. 전문 용어를 사용하는 기술 분야와 비원어민 영어 작성자는 특히 더 큰 영향을 받습니다. 짧게 말하면, AI 탐지기는 학술 글쓰기에 작동하긴 하지만, 단독 증거로 삼기에는 충분히 신뢰할 수 없습니다.

Q: AI 탐지기는 인간이 쓴 글을 얼마나 자주 표시하나요?

인간이 작성한 20개 샘플, 원어민 영어 10개, 비원어민 10개를 대상으로 한 우리 테스트에서, 9개 샘플, 45%, 이 적어도 하나의 탐지기에서 AI 점수 20%를 초과했습니다. 인간이 작성한 텍스트 3개는 적어도 하나의 도구에서 50%를 넘겼습니다. 탐지기별 거짓 양성률은 4%에서 12% 사이였습니다. 비원어민 영어 사용자가 형식적인 학술 산문을 작성하는 경우, 거짓 양성이 나올 가능성은 훨씬 더 높습니다. 그래서 AI 도구를 사용했는지와 무관하게 초안과 작성 과정의 증거를 보관할 것을 권장합니다.

Q: 인간화되었거나 편집된 텍스트에도 AI 탐지기가 작동하나요?

원시 출력에 비하면 훨씬 덜 신뢰할 수 있습니다. 우리의 2,000문서 벤치마크에서 학술용 인간화 도구를 거친 텍스트는 가장 강한 설정에서 문서의 최대 92.33%까지 Turnitin의 AI 탐지를 통과했습니다. 탐지는 통계적 패턴에 의존하며, 실질적인 수정은 그러한 패턴을 제거합니다.

Q: AI 탐지 점수를 부정행위의 증거로 사용할 수 있나요?

공급업체들 스스로 아니라고 말합니다. Turnitin은 자사의 지표를 추가 검토를 위한 신호로 설명하며, 실제 인간 작성물에 대한 거짓 양성은 모든 주요 탐지기에서 문서화되어 있습니다. 점수는 더 면밀히 살펴보아야 할 이유일 뿐, 그 이상은 아닙니다.

연구 논문용 AI Proofreader

추적 변경 표시와 함께 원고를 교정하고 다듬으세요. 학술 작성을 위해 설계되었습니다.