2026년 AI 탐지기는 얼마나 정확할까요? 우리는 5개를 테스트했습니다

우리 네트워크의 한 박사 과정 학생은 그녀의 논문 서론이 대학의 탐지 시스템에 의해 67% AI 생성으로 표시되었습니다. 그녀는 4개월 동안 모든 단어를 스스로 작성했습니다. AI 도구도, 문법 검사기도, 맞춤법 검사기도 사용하지 않았습니다.

그녀는 점수를 낮추기 위해 섹션을 다시 쓰는 데 2주를 보냈습니다. 효과가 있었습니다 — 그러나 다시 쓴 버전은 원본보다 나빴습니다.

우리는 이러한 도구들이 실제로 얼마나 신뢰할 수 있는지 정확히 알아보기로 결정했습니다. 그래서 우리는 그 중 5개를 테스트했습니다.

우리의 테스트 방법론: 5개의 탐지기를 통한 50개의 샘플

우리는 각각 500에서 800단어 사이의 50개의 텍스트 샘플을 모았습니다. 샘플은 다섯 가지 범주로 나뉘었습니다:

• 순수하게 인간이 작성한 학술 텍스트 10개 — 2018–2022년 동안 발표된 저널 기사로, 광범위한 LLM 사용 가능 이전에 작성됨
• 순수하게 AI 생성된 텍스트 10개 — 편집 없이 학술 프롬프트로 GPT-4o에 의해 생성됨
• 가벼운 수동 편집이 포함된 AI 생성 텍스트 10개 — 정확성과 목소리를 위한 인간의 수정이 포함된 AI 초안
• 우리의 텍스트 인간화 도구를 통해 처리된 AI 생성 텍스트 10개 — 전체 인간화 패스 및 수동 검토 포함
• 비원어민 영어 사용자가 작성한 텍스트 10개 — 두 번째 또는 세 번째 언어로 작성한 연구자들의 발표된 논문

우리는 모든 샘플을 Turnitin의 AI 탐지 모듈, GPTZero, Copyleaks, ZeroGPT 및 Originality.ai를 통해 실행했습니다. 각 도구는 AI 확률 점수를 반환했습니다. 우리는 모든 점수를 기록하고 정확도 메트릭을 계산했습니다.

결과는 우리를 놀라게 했습니다. 도구들이 완전히 실패했기 때문이 아니라 — 실패의 패턴이 너무 일관성이 없었기 때문입니다.

Turnitin AI 탐지: 정확도 결과

Turnitin은 순수하게 AI 생성된 텍스트 10개 중 9개를 올바르게 식별했으며, 80% 이상의 점수를 기록했습니다. 이는 명백한 AI 출력에 대한 확고한 성능입니다.

어디서 어려움을 겪었는가: 허위 긍정. 우리의 10개 인간 작성 학술 텍스트 중 3개가 Turnitin의 AI 지표에서 20% 이상 점수를 기록했습니다. 하나는 — 화학 저널의 공식 문헌 검토 — 38%를 기록했습니다.

인간화된 텍스트에서는 Turnitin의 성능이 크게 떨어졌습니다. 10개의 인간화 샘플 중 3개만이 20% 임계값을 초과했습니다. 나머지 7개는 2%에서 17% 사이의 점수를 기록했습니다.

비원어민 영어 작문은 최악의 범주였습니다. 10개의 비원어민 샘플 중 4개가 20% 이상으로 표시되었습니다. 하나는 52%를 기록했습니다. 이들은 실제 인간 연구자들이 작성한 실제 발표된 논문이었습니다.

우리 테스트에서 Turnitin의 전반적인 정확도: 72%. 이는 수용 가능한 것처럼 들리지만 28%의 오류율은 대략 4번 중 1번의 판단이 잘못될 수 있음을 의미합니다.

GPTZero vs Copyleaks vs ZeroGPT: 정면 대결

우리는 가장 인기 있는 독립형 AI 탐지기 3개를 전체 샘플 세트와 비교했습니다.

GPTZero는 가장 공격적인 탐지기였습니다. 그것은 10개의 원시 AI 텍스트 중 10개를 잡아냈습니다 — 완벽한 회수. 그러나 그것은 또한 4개의 인간 작성 텍스트와 5개의 비원어민 영어 텍스트를 주로 AI 생성으로 표시했습니다. 허위 긍정 비율은 12%로 우리 테스트에서 가장 높았습니다.

Copyleaks는 보다 보수적인 접근 방식을 취했습니다. 그것은 10개의 AI 텍스트 중 8개를 올바르게 식별했지만, 인간 작성 샘플 중 1개만 잘못 표시했습니다. 인간화된 텍스트에서는 10개 중 4개를 잡아내어 인간화에 대한 최고의 성능을 보였지만 여전히 절반 이상을 놓쳤습니다.

ZeroGPT는 가장 신뢰할 수 없었습니다. 그것은 10개의 AI 텍스트 중 7개를 올바르게 표시했지만 3개의 인간 작성 텍스트를 잘못 표시했습니다. 더 나쁘게도, 점수가 변동했습니다 — 우리는 동일한 샘플을 두 번 실행했지만 30%의 경우 다른 결과를 얻었습니다. 일관성은 탐지 도구에서 중요하며, ZeroGPT는 이를 제공하지 않았습니다.

Originality.ai는 원시 AI 텍스트에서 잘 수행했습니다 (10개 중 9개 탐지) 및 인간 텍스트에서 낮은 허위 긍정 비율을 보였습니다 (10개 중 1개 잘못 표시). 인간화된 텍스트에서는 10개 중 5개를 잡아내어 중간 수준의 성능을 보였습니다.

불편한 요약은 다음과 같습니다: 어떤 탐지기도 모든 샘플 범주에서 80% 이상의 전반적인 정확도를 달성하지 못했습니다.

아무도 이야기하지 않는 허위 긍정 문제

허위 긍정은 AI 탐지에서 조용한 위기입니다. 탐지기가 인간 작성 텍스트를 AI 생성으로 잘못 표시할 때, 이는 작가에게 증명의 부담을 줍니다. "당신이 AI를 사용하지 않았다는 것을 증명하라"는 거의 불가능한 요구입니다.

우리의 테스트에서는 인간 텍스트가 잘못 표시되는 일관된 패턴을 발견했습니다:

매우 구조화된 공식 글쓰기. 당신의 산문이 더 조직적이고 다듬어질수록 탐지기가 이를 표시할 가능성이 더 높아집니다. 명확한 주제 문장, 논리적인 단락 진행, 일관된 용어 — 이 모든 것은 좋은 인간 글쓰기와 AI 출력이 공유하는 패턴입니다.

공식적인 섹션. 방법 섹션, 절차 설명 및 문헌 검토는 특정 학문 분야의 템플릿을 따릅니다. 모든 연구자는 "데이터는 반구조화된 인터뷰를 사용하여 수집되었습니다"를 동일하게 작성합니다. 탐지기는 관습과 생성을 구별할 수 없습니다.

낮은 엔트로피 어휘. 일부 분야 — 법률, 의학, 공학 — 는 제한된 동의어 옵션을 가진 전문 어휘를 사용합니다. 특정 용어를 반복적으로 사용해야 할 때, 당신의 텍스트는 혼란 기반 탐지기에게 더 "예측 가능"하게 보입니다.

비원어민 영어. 우리는 이것이 가장 우려되는 발견이기 때문에 계속해서 이 주제로 돌아옵니다. 두 번째 언어로 글을 쓰는 연구자들은 어휘 다양성이 낮고 더 공식적인 구조를 가진 텍스트를 생성합니다 — 이는 탐지기가 AI와 연관짓는 패턴입니다. 이는 대부분의 기관이 다루지 않은 차별적인 결과를 만듭니다.

AI 도구를 사용하는 연구자에게 의미하는 바

AI를 글쓰기 도우미로 사용하고 있다면 — 초안 작성, 구조 조정, 다듬기 — 탐지 환경은 진정한 문제를 만듭니다. 당신이 완전히 손으로 작성한 텍스트조차도 표시될 수 있습니다. AI 지원 텍스트는 거의 확실히 표시될 것입니다, 당신이 그것을 인간화하기 위한 조치를 취하지 않는 한.

이 테스트를 기반으로 한 우리의 권장 사항:

어떤 단일 탐지기의 판단도 신뢰하지 마세요. 우리는 한 도구에서 5%를 기록하고 다른 도구에서 68%를 기록한 샘플을 보았습니다. 당신의 기관이 하나의 탐지기를 사용한다면, 그것이 준수에 중요한 것입니다 — 그러나 단일 점수는 AI 사용의 증거가 아닙니다.

전략적으로 인간화하세요. 원시 AI 출력은 탐지 가능합니다. 잘 인간화된 텍스트는 대부분 탐지되지 않습니다. AI 지원을 사용했다면, 초안을 품질 인간화 도구를 통해 실행하고 개인적인 목소리를 추가하세요. 우리의 테스트는 이 조합이 모든 다섯 도구에서 탐지 점수를 15% 미만으로 줄였음을 보여주었습니다.

초안을 보관하세요. 작업의 중간 버전을 저장하세요. 브라우저 기록, ChatGPT 대화 로그, 주석이 달린 PDF, 손으로 쓴 메모 — 이 모든 것은 질문을 받을 경우 당신의 글쓰기 과정의 증거를 제공합니다.

더 나은 기관 정책을 옹호하세요. AI 탐지 도구는 학문적 부정행위의 유일한 증거로 사용하기에는 신뢰할 수 없습니다. 당신의 대학이 Turnitin AI 점수를 증거로 취급한다면, 데이터로 반박하세요. 이와 같은 연구를 공유하세요.

표시된 텍스트를 처리하는 실용적인 단계에 대해서는 연구자들이 부정행위 없이 AI 탐지를 우회하는 방법에 대한 가이드를 참조하세요.

AI 탐지 경쟁은 느려지지 않고 있습니다. 탐지기는 개선될 것입니다. 그러나 AI 지원 글쓰기 도구도 마찬가지입니다. 장기적인 해결책은 더 나은 탐지가 아니라 현재 글쓰기가 실제로 어떻게 이루어지는지를 인정하는 더 나은 정책입니다.

당신의 작업은 진짜입니다. 당신의 아이디어는 진짜입니다. 결함이 있는 알고리즘이 그것을 판단해서는 안 됩니다.

연구 논문을 위한 AI 교정기

변경 사항이 추적된 원고를 교정하고 다듬습니다. 학술 작성을 위해 제작되었습니다.

자주 묻는 질문

Q: 어떤 AI 탐지기가 가장 정확한가요?

우리의 테스트에서 Turnitin과 Originality.ai는 각각 72%와 74%로 모든 샘플 범주에서 가장 높은 전반적인 정확도를 기록했습니다. 그러나 정확도는 텍스트 유형에 따라 크게 달라졌습니다. Turnitin은 원시 AI 출력을 잡는 데 가장 뛰어났지만 비원어민 영어 텍스트에서 더 많은 허위 긍정을 보였습니다. Originality.ai는 더 균형 잡힌 성능을 보였지만 인간화된 텍스트에서는 덜 효과적이었습니다. 어떤 단일 탐지기도 모든 범주에서 80% 이상의 정확도를 달성하지 못했으며, 이는 학문적 진실성을 결정하는 데 사용되는 도구에 대한 중요한 제한입니다.

Q: AI 탐지기는 학술 작문에 효과가 있나요?

일부 유형의 학술 작문에서는 다른 유형보다 더 잘 작동합니다. 학술 스타일의 원시, 편집되지 않은 AI 출력은 일반적으로 잡히며 — 탐지율은 우리의 테스트에서 70%에서 100%까지 다양했습니다. 그러나 공식적인 인간 작성 학술 텍스트는 우려되는 비율로 허위 긍정을 유발합니다 — 우리의 테스트에서 최대 12%까지. 전문 어휘와 비원어민 영어 작가가 있는 기술 분야는 불균형적으로 영향을 받습니다. 짧은 대답은: AI 탐지기는 학술 작문에서 작동하지만 독립적인 증거로 사용하기에는 신뢰할 수 없습니다.

Q: AI 탐지기는 얼마나 자주 인간 작문을 표시하나요?

우리의 20개 인간 작성 샘플(10개 원어민 영어, 10개 비원어민)의 테스트에서 9개 샘플 — 45% — 이 적어도 하나의 탐지기에서 AI 점수 20% 이상을 받았습니다. 세 개의 인간 작성 텍스트는 적어도 하나의 도구에서 50% 이상의 점수를 기록했습니다. 탐지기별 허위 긍정 비율은 4%에서 12%까지 다양했습니다. 공식적인 학술 산문을 작성하는 비원어민 영어 화자라면 허위 긍정의 확률이 더 높습니다. 이것이 우리가 AI 도구를 사용했는지 여부에 관계없이 초안과 과정 증거를 보관할 것을 권장하는 이유입니다.