Seberapa Akurat Detektor AI pada tahun 2026? Kami Menguji 5 di antaranya

Seorang mahasiswa PhD di jaringan kami mengalami pengenalan tesisnya yang ditandai sebagai 67% AI dihasilkan oleh sistem deteksi universitasnya. Dia menulis setiap kata sendiri selama empat bulan. Tidak ada alat AI, tidak ada pemeriksa tata bahasa, bahkan tidak ada pemeriksa ejaan.

Dia menghabiskan dua minggu menulis ulang bagian untuk menurunkan skor. Ini berhasil — tetapi versi yang ditulis ulang lebih buruk dari aslinya.

Kami memutuskan untuk mencari tahu seberapa andal sebenarnya alat ini. Jadi kami menguji lima di antaranya.

Metodologi pengujian kami: 50 sampel di 5 detektor

Kami mengumpulkan 50 sampel teks, masing-masing antara 500 dan 800 kata. Sampel terbagi dalam lima kategori:

• 10 teks akademik murni tulisan manusia — artikel jurnal yang diterbitkan dari 2018–2022, ditulis sebelum ketersediaan LLM tersebar luas
• 10 teks murni yang dihasilkan AI — diproduksi oleh GPT-4o dengan perintah akademis, tanpa pengeditan
• 10 teks yang dihasilkan AI dengan pengeditan manual ringan — Draf AI dengan koreksi manusia untuk akurasi dan suara
• 10 teks yang dihasilkan AI diproses melalui text humanizer kami — tiket humanisasi lengkap ditambah tinjauan manual
• 10 teks tulisan manusia yang bukan penutur asli bahasa Inggris — makalah yang diterbitkan oleh peneliti yang menulis dalam bahasa kedua atau ketiga mereka

Kami menjalankan setiap sampel melalui modul deteksi AI Turnitin, GPTZero, Copyleaks, ZeroGPT, dan Originality.ai. Setiap alat menghasilkan skor probabilitas AI. Kami mencatat setiap skor dan menghitung metrik akurasi.

Hasilnya mengejutkan kami. Bukan karena alat tersebut gagal total — tetapi karena pola kegagalannya sangat tidak konsisten.

Deteksi Turnitin AI: hasil akurasi

Turnitin dengan tepat mengidentifikasi 9 dari 10 teks murni yang dihasilkan AI, dan memberikan skor di atas 80%. Itu adalah kinerja yang solid pada keluaran AI yang jelas.

Permasalahannya adalah: hasil positif palsu. Tiga dari 10 teks akademis kami yang ditulis oleh manusia mendapat nilai di atas 20% pada indikator AI Turnitin. Satu – tinjauan literatur formal dari jurnal kimia – mendapat skor 38%.

Pada teks yang dimanusiakan, performa Turnitin menurun secara signifikan. Hanya 3 dari 10 sampel yang dimanusiakan yang mendapat skor di atas ambang batas 20%. 7 sisanya mendapat skor antara 2% dan 17%.

Tulisan bahasa Inggris non-pribumi adalah kategori terburuk. Empat dari 10 sampel non-pribumi ditandai di atas 20%. Satu mendapat skor 52%. Ini adalah makalah nyata yang diterbitkan oleh peneliti manusia sungguhan.

Akurasi keseluruhan Turnitin dalam pengujian kami: 72%. Kedengarannya bisa diterima sampai Anda menyadari tingkat kesalahan 28% berarti sekitar 1 dari 4 penilaian bisa saja salah.

GPTZero vs Copyleaks vs ZeroGPT: saling berhadapan

Kami menguji tiga detektor AI mandiri paling populer terhadap kumpulan sampel lengkap kami.

GPTZero adalah detektor paling agresif. Ini menangkap 10 dari 10 teks AI mentah — ingatan sempurna. Namun mereka juga menandai 4 teks yang ditulis manusia dan 5 teks non-pribumi berbahasa Inggris sebagai sebagian besar dibuat oleh AI. Tingkat positif palsunya adalah yang tertinggi dalam pengujian kami, yaitu 12%.

Copyleaks mengambil pendekatan yang lebih konservatif. Ini dengan benar mengidentifikasi 8 dari 10 teks AI tetapi hanya menandai 1 sampel tulisan manusia yang salah. Pada teks yang dimanusiakan, teks ini mendapat nilai 4 dari 10 — menjadikannya yang berkinerja terbaik melawan humanisasi, namun masih kehilangan lebih dari setengahnya.

ZeroGPT adalah yang paling tidak dapat diandalkan. Ini menandai 7 dari 10 teks AI dengan benar tetapi juga salah menandai 3 teks yang ditulis manusia. Yang lebih buruk lagi, skornya berfluktuasi — kami menjalankan sampel yang sama dua kali dan mendapatkan hasil yang berbeda sebanyak 30%. Konsistensi penting dalam alat pendeteksi, dan ZeroGPT tidak menghadirkannya.

Originality.ai berkinerja baik pada teks AI mentah (terdeteksi 9/10) dan memiliki tingkat positif palsu yang rendah pada teks manusia (1/10 salah ditandai). Pada teks yang dimanusiakan, ia mendapat nilai 5 dari 10 - di tengah-tengah kelompok.

Berikut ringkasan yang tidak menyenangkan: tidak ada detektor yang mencapai akurasi keseluruhan di atas 80% di semua kategori sampel.

Masalah positif palsu yang tidak dibicarakan orang

Positif palsu adalah krisis yang terjadi secara diam-diam dalam pendeteksian AI. Ketika detektor salah menandai teks yang ditulis manusia sebagai teks yang dibuat oleh AI, hal ini memberikan beban pembuktian pada penulisnya. “Buktikan Anda tidak menggunakan AI” adalah tuntutan yang hampir mustahil.

Pengujian kami menemukan pola yang konsisten di mana teks manusia ditandai secara salah:

Tulisan formal yang sangat terstruktur. Semakin terorganisir dan halus prosa Anda, semakin besar kemungkinan detektor akan menandainya. Kalimat topik yang jelas, perkembangan paragraf yang logis, terminologi yang konsisten — semua ini adalah pola yang dimiliki oleh tulisan manusia yang baik dan keluaran AI.

Bagian rumusan. Bagian metode, deskripsi prosedural, dan tinjauan literatur mengikuti templat khusus disiplin ilmu. Setiap peneliti menulis “data dikumpulkan menggunakan wawancara semi terstruktur” dengan cara yang sama. Detektor tidak dapat membedakan konvensi dari generasi.

Kosakata entropi rendah. Beberapa bidang — hukum, kedokteran, teknik — menggunakan kosakata khusus dengan opsi sinonim terbatas. Ketika Anda harus menggunakan istilah tertentu berulang kali, teks Anda terlihat lebih "dapat diprediksi" oleh pendeteksi berbasis kebingungan.

Bahasa Inggris non-pribumi. Kami terus membahas hal ini karena ini adalah temuan yang paling meresahkan. Para peneliti yang menulis dalam bahasa kedua mereka menghasilkan teks dengan keragaman leksikal yang lebih rendah dan struktur yang lebih rumusan — persis seperti yang diasosiasikan oleh pendeteksi pola dengan AI. Hal ini menciptakan hasil diskriminatif yang belum dihadapi oleh sebagian besar institusi.

Apa artinya ini bagi peneliti yang menggunakan alat AI

Jika Anda menggunakan AI sebagai asisten menulis — penyusunan, restrukturisasi, pemolesan — lanskap deteksi menciptakan masalah nyata. Bahkan teks yang Anda tulis seluruhnya dengan tangan mungkin akan ditandai. Teks yang didukung AI hampir pasti akan ditandai kecuali Anda mengambil langkah untuk memanusiakannya.

Rekomendasi kami berdasarkan pengujian ini:

Jangan percaya pada keputusan detektor mana pun. Kami melihat sampel yang mendapat skor 5% pada satu alat dan 68% pada alat lainnya. Jika institusi Anda menggunakan satu detektor, itulah yang penting dalam hal kepatuhan — namun skor tunggal bukanlah bukti penggunaan AI.

Memanusiakan secara strategis. Keluaran AI mentah dapat dideteksi. Sebagian besar teks yang dimanusiakan dengan baik tidak demikian. Jika Anda menggunakan bantuan AI, jalankan draf Anda melalui alat humanisasi berkualitas dan tambahkan suara pribadi Anda. Pengujian kami menunjukkan kombinasi ini mengurangi skor deteksi hingga di bawah 15% di kelima alat.

Simpan draf Anda. Simpan versi perantara karya Anda. Riwayat browser, log percakapan ChatGPT, PDF beranotasi, catatan tulisan tangan — semua ini memberikan bukti proses menulis Anda jika Anda ditanyai.

Dukung kebijakan kelembagaan yang lebih baik. Alat pendeteksi AI tidak cukup andal untuk dijadikan sebagai satu-satunya bukti ketidakjujuran akademis. Jika universitas Anda menganggap skor Turnitin AI sebagai bukti, tolaklah — dengan data. Bagikan studi seperti ini.

Untuk mengetahui langkah praktis dalam menangani teks yang ditandai, lihat panduan kami tentang bagaimana peneliti melewati deteksi AI tanpa melakukan kecurangan.

Perlombaan senjata pendeteksi AI tidak melambat. Detektor akan meningkat. Begitu pula dengan alat tulis yang dibantu AI. Solusi jangka panjangnya bukanlah deteksi yang lebih baik — melainkan kebijakan yang lebih baik yang mengakui bagaimana sebenarnya penulisan terjadi saat ini.

Pekerjaanmu nyata. Ide Anda nyata. Algoritme yang cacat seharusnya tidak menjadi penentu hal tersebut.

AI Proofreader for Research Papers

Pertanyaan yang sering diajukan

T: Detektor AI manakah yang paling akurat?

Dalam pengujian kami, Turnitin dan Originality.ai memiliki akurasi keseluruhan tertinggi, masing-masing sebesar 72% dan 74% di semua kategori sampel. Namun, keakuratannya sangat bervariasi menurut jenis teks. Turnitin paling baik dalam menangkap keluaran AI mentah tetapi memiliki lebih banyak kesalahan positif pada teks bahasa Inggris non-pribumi. Orisinalitas.ai lebih seimbang tetapi kurang efektif pada teks yang dimanusiakan. Tidak ada satu detektor pun yang mencapai akurasi di atas 80% di semua kategori, yang merupakan batasan signifikan pada alat yang digunakan untuk membuat keputusan integritas akademik.

T: Apakah detektor AI berfungsi pada penulisan akademis?

Mereka bekerja lebih baik pada beberapa jenis tulisan akademis dibandingkan yang lain. Output AI mentah dan belum diedit dalam gaya akademis biasanya tertangkap — tingkat deteksi berkisar antara 70% hingga 100% dalam pengujian kami. Namun teks akademis formal yang ditulis manusia memicu positif palsu pada tingkat yang mengkhawatirkan – hingga 12% dalam pengujian kami. Bidang teknis dengan kosa kata khusus dan penulis non-pribumi Inggris terkena dampak yang tidak proporsional. Jawaban singkatnya adalah: Detektor AI berfungsi pada tulisan akademis, namun tidak cukup andal untuk dijadikan sebagai bukti mandiri.

T: Seberapa sering detektor AI menandai tulisan manusia?

Dalam pengujian kami terhadap 20 sampel yang ditulis manusia (10 bahasa Inggris asli, 10 bahasa non-pribumi), 9 sampel — 45% — menerima skor AI di atas 20% pada setidaknya satu detektor. Tiga teks tulisan manusia mendapat skor di atas 50% pada setidaknya satu alat. Tingkat positif palsu per detektor berkisar antara 4% hingga 12%. Jika Anda bukan penutur asli bahasa Inggris yang menulis prosa akademis formal, kemungkinan mendapatkan hasil positif palsu bahkan lebih tinggi. Inilah sebabnya kami menyarankan untuk menyimpan draf dan bukti proses terlepas dari apakah Anda menggunakan alat AI atau tidak.