Sejauh Mana Ketepatan Pengesan AI pada 2026? Kami Menguji 5 Daripadanya

Seorang pelajar PhD dalam rangkaian kami telah pengenalan tesisnya ditandakan sebagai 67% dihasilkan oleh AI oleh sistem pengesanan universiti. Dia menulis setiap perkataan sendiri selama empat bulan. Tiada alat AI, tiada pemeriksa tatabahasa, bahkan tidak ada pemeriksa ejaan.

Dia menghabiskan dua minggu untuk menulis semula bahagian untuk menurunkan skor. Ia berjaya — tetapi versi yang ditulis semula adalah lebih teruk daripada yang asal.

Kami memutuskan untuk mengetahui betapa boleh dipercayainya alat-alat ini sebenarnya. Jadi kami menguji lima daripadanya.

Metodologi ujian kami: 50 sampel merentasi 5 pengesan

Kami mengumpulkan 50 sampel teks, masing-masing antara 500 dan 800 perkataan. Sampel-sampel ini jatuh ke dalam lima kategori:

• 10 teks akademik yang ditulis sepenuhnya oleh manusia — artikel jurnal yang diterbitkan dari 2018–2022, ditulis sebelum ketersediaan LLM secara meluas
• 10 teks yang dihasilkan sepenuhnya oleh AI — dihasilkan oleh GPT-4o dengan arahan akademik, tanpa penyuntingan
• 10 teks yang dihasilkan oleh AI dengan penyuntingan manual ringan — draf AI dengan pembetulan manusia untuk ketepatan dan suara
• 10 teks yang dihasilkan oleh AI yang diproses melalui humanizer teks kami — proses humanisasi penuh ditambah semakan manual
• 10 teks yang ditulis oleh manusia yang bukan penutur asli bahasa Inggeris — kertas yang diterbitkan oleh penyelidik yang menulis dalam bahasa kedua atau ketiga mereka

Kami menjalankan setiap sampel melalui modul pengesanan AI Turnitin, GPTZero, Copyleaks, ZeroGPT, dan Originality.ai. Setiap alat mengembalikan skor kebarangkalian AI. Kami merekodkan setiap skor dan mengira metrik ketepatan.

Keputusan mengejutkan kami. Bukan kerana alat gagal sepenuhnya — tetapi kerana corak kegagalan sangat tidak konsisten.

Pengesanan AI Turnitin: keputusan ketepatan

Turnitin dengan tepat mengenal pasti 9 daripada 10 teks yang dihasilkan sepenuhnya oleh AI, memberikan skor lebih daripada 80%. Itu adalah prestasi yang kukuh pada output AI yang jelas.

Di mana ia mengalami kesukaran: positif palsu. Tiga daripada 10 teks akademik yang ditulis oleh manusia mendapat skor lebih daripada 20% pada petunjuk AI Turnitin. Satu — ulasan literatur formal dari jurnal kimia — mendapat skor 38%.

Pada teks yang dihumanisasi, prestasi Turnitin jatuh dengan ketara. Hanya 3 daripada 10 sampel yang dihumanisasi mendapat skor di atas ambang 20%. 7 yang lain mendapat skor antara 2% dan 17%.

Penulisan oleh bukan penutur asli bahasa Inggeris adalah kategori terburuk. Empat daripada 10 sampel bukan penutur asli ditandakan lebih daripada 20%. Satu mendapat skor 52%. Ini adalah kertas yang diterbitkan oleh penyelidik manusia yang sebenar.

Ketepatan keseluruhan Turnitin dalam ujian kami: 72%. Itu kedengaran boleh diterima sehingga anda menyedari kadar ralat 28% bermakna kira-kira 1 dalam 4 penilaian mungkin salah.

GPTZero vs Copyleaks vs ZeroGPT: perbandingan langsung

Kami menguji tiga pengesan AI berdiri sendiri yang paling popular terhadap set sampel penuh kami.

GPTZero adalah pengesan yang paling agresif. Ia menangkap 10 daripada 10 teks AI mentah — ingatan sempurna. Tetapi ia juga menandakan 4 teks yang ditulis oleh manusia dan 5 teks bukan penutur asli bahasa Inggeris sebagai dihasilkan oleh AI. Kadar positif palsunya adalah yang tertinggi dalam ujian kami pada 12%.

Copyleaks mengambil pendekatan yang lebih konservatif. Ia dengan tepat mengenal pasti 8 daripada 10 teks AI tetapi hanya menandakan 1 sampel yang ditulis oleh manusia secara tidak betul. Pada teks yang dihumanisasi, ia menangkap 4 daripada 10 — menjadikannya prestasi terbaik terhadap humanisasi, tetapi masih gagal lebih daripada separuh.

ZeroGPT adalah yang paling tidak boleh dipercayai. Ia menandakan 7 daripada 10 teks AI dengan tepat tetapi juga secara tidak betul menandakan 3 teks yang ditulis oleh manusia. Lebih teruk, skornya berfluktuasi — kami menjalankan sampel yang sama dua kali dan mendapat keputusan yang berbeza 30% daripada masa. Konsistensi adalah penting dalam alat pengesanan, dan ZeroGPT tidak menyampaikannya.

Originality.ai berprestasi baik pada teks AI mentah (9/10 dikesan) dan mempunyai kadar positif palsu yang rendah pada teks manusia (1/10 ditandakan secara tidak betul). Pada teks yang dihumanisasi, ia menangkap 5 daripada 10 — di tengah-tengah kumpulan.

Berikut adalah ringkasan yang tidak selesa: tiada pengesan mencapai ketepatan keseluruhan lebih daripada 80% merentasi semua kategori sampel.

Masalah positif palsu yang tidak dibincangkan sesiapa

Positif palsu adalah krisis senyap dalam pengesanan AI. Apabila pengesan secara tidak betul menandakan teks yang ditulis oleh manusia sebagai dihasilkan oleh AI, ia meletakkan beban bukti pada penulis. "Buktikan anda tidak menggunakan AI" adalah permintaan yang hampir mustahil.

Ujian kami mendapati corak yang konsisten di mana teks manusia ditandakan secara palsu:

Penulisan formal yang sangat terstruktur. Semakin teratur dan kemas prosa anda, semakin besar kemungkinan pengesan akan menandakannya. Ayat topik yang jelas, perkembangan perenggan yang logik, terminologi yang konsisten — semua ini adalah corak yang dikongsi oleh penulisan manusia yang baik dan output AI.

Bahagian formulaik. Bahagian kaedah, penerangan prosedur, dan ulasan literatur mengikuti templat khusus disiplin. Setiap penyelidik menulis "data dikumpulkan menggunakan temubual separa terstruktur" dengan cara yang sama. Pengesan tidak dapat membezakan konvensi daripada generasi.

Kosa kata rendah-entropi. Beberapa bidang — undang-undang, perubatan, kejuruteraan — menggunakan kosa kata khusus dengan pilihan sinonim yang terhad. Apabila anda mesti menggunakan istilah tertentu berulang kali, teks anda kelihatan lebih "boleh diramal" kepada pengesan berdasarkan kekeliruan.

Bahasa Inggeris bukan penutur asli. Kami terus kembali kepada ini kerana ia adalah penemuan yang paling membimbangkan. Penyelidik yang menulis dalam bahasa kedua mereka menghasilkan teks dengan kepelbagaian leksikal yang lebih rendah dan struktur yang lebih formulaik — tepat corak yang dikaitkan oleh pengesan dengan AI. Ini mencipta hasil diskriminasi yang kebanyakan institusi belum hadapi.

Apa yang ini bermakna untuk penyelidik yang menggunakan alat AI

Jika anda menggunakan AI sebagai pembantu penulisan — merangka, menyusun semula, memperhalus — landskap pengesanan mencipta masalah yang sebenar. Bahkan teks yang anda tulis sepenuhnya dengan tangan mungkin ditandakan. Teks yang dibantu AI hampir pasti akan ditandakan kecuali anda mengambil langkah untuk menghumanisasinya.

Cadangan kami berdasarkan ujian ini:

Jangan percayakan sebarang keputusan pengesan tunggal. Kami melihat sampel yang mendapat skor 5% pada satu alat dan 68% pada yang lain. Jika institusi anda menggunakan satu pengesan, itu yang penting untuk pematuhan — tetapi skor tunggal bukan bukti penggunaan AI.

Humanisasikan secara strategik. Output AI mentah adalah boleh dikesan. Teks yang dihumanisasi dengan baik kebanyakannya tidak. Jika anda menggunakan bantuan AI, jalankan draf anda melalui alat humanisasi berkualiti dan tambahkan suara peribadi anda. Ujian kami menunjukkan gabungan ini mengurangkan skor pengesanan kepada di bawah 15% merentasi semua lima alat.

Simpan draf anda. Simpan versi pertengahan kerja anda. Sejarah pelayar, log perbualan ChatGPT, PDF yang dianotasi, nota tulisan tangan — semua ini memberikan bukti proses penulisan anda jika anda pernah dipersoalkan.

Bela kebijakan institusi yang lebih baik. Alat pengesanan AI tidak cukup boleh dipercayai untuk berfungsi sebagai bukti tunggal ketidakjujuran akademik. Jika universiti anda menganggap skor AI Turnitin sebagai bukti, tekan kembali — dengan data. Kongsikan kajian seperti ini.

Untuk langkah praktikal tentang menangani teks yang ditandakan, lihat panduan kami tentang bagaimana penyelidik mengelak pengesanan AI tanpa menipu.

Perlumbaan senjata pengesanan AI tidak akan melambatkan. Alat pengesan akan bertambah baik. Tetapi begitu juga alat penulisan yang dibantu AI. Penyelesaian jangka panjang bukanlah pengesanan yang lebih baik — ia adalah kebijakan yang lebih baik yang mengakui bagaimana penulisan sebenarnya berlaku sekarang.

Kerja anda adalah nyata. Idea anda adalah nyata. Algoritma yang cacat tidak seharusnya menjadi hakim bagi itu.

Penyunting AI untuk Kertas Penyelidikan

Semak dan perhalus manuskrip anda dengan perubahan yang dikesan. Dibina untuk penulisan akademik.

Soalan yang sering ditanya

S: Pengesan AI manakah yang paling tepat?

Dalam ujian kami, Turnitin dan Originality.ai terikat untuk ketepatan keseluruhan tertinggi pada 72% dan 74% masing-masing merentasi semua kategori sampel. Walau bagaimanapun, ketepatan berbeza dengan ketara mengikut jenis teks. Turnitin adalah yang terbaik dalam menangkap output AI mentah tetapi mempunyai lebih banyak positif palsu pada teks bukan penutur asli bahasa Inggeris. Originality.ai lebih seimbang tetapi kurang berkesan pada teks yang dihumanisasi. Tiada pengesan tunggal mencapai ketepatan lebih daripada 80% merentasi semua kategori, yang merupakan batasan yang signifikan untuk alat yang digunakan untuk membuat keputusan integriti akademik.

S: Adakah pengesan AI berfungsi pada penulisan akademik?

Mereka berfungsi lebih baik pada beberapa jenis penulisan akademik daripada yang lain. Output AI mentah yang tidak disunting dalam gaya akademik biasanya dapat dikesan — kadar pengesanan berkisar antara 70% hingga 100% dalam ujian kami. Tetapi teks akademik formal yang ditulis oleh manusia mencetuskan positif palsu pada kadar yang membimbangkan — sehingga 12% dalam ujian kami. Bidang teknikal dengan kosa kata khusus dan penulis bukan penutur asli bahasa Inggeris terjejas secara tidak seimbang. Jawapan pendeknya adalah: pengesan AI berfungsi pada penulisan akademik, tetapi tidak cukup boleh dipercayai untuk berfungsi sebagai bukti tunggal.

S: Seberapa kerap pengesan AI menandakan penulisan manusia?

Dalam ujian kami terhadap 20 sampel yang ditulis oleh manusia (10 penutur asli bahasa Inggeris, 10 bukan penutur asli), 9 sampel — 45% — menerima skor AI lebih daripada 20% pada sekurang-kurangnya satu pengesan. Tiga teks yang ditulis oleh manusia mendapat skor lebih daripada 50% pada sekurang-kurangnya satu alat. Kadar positif palsu setiap pengesan berkisar antara 4% hingga 12%. Jika anda seorang penutur bukan asli bahasa Inggeris yang menulis prosa akademik formal, peluang untuk positif palsu adalah lebih tinggi. Inilah sebabnya kami mengesyorkan menyimpan draf dan bukti proses tanpa mengira sama ada anda menggunakan alat AI.