Cât de precise sunt detectoarele AI în 2026? Am testat 5 dintre ele

O doctorandă din rețeaua noastră a avut prezentarea tezei marcată ca fiind 67% generată de IA de sistemul de detectare al universității sale. Ea a scris ea însăși fiecare cuvânt timp de patru luni. Fără instrumente AI, fără verificatoare gramaticale, nici măcar verificarea ortografică.

Ea a petrecut două săptămâni rescriind secțiuni pentru a reduce scorul. A funcționat, dar versiunea rescrisă a fost mai proastă decât cea originală.

Am decis să aflăm exact cât de fiabile sunt de fapt aceste instrumente. Așa că am testat cinci dintre ele.

Metodologia noastră de testare: 50 de probe în 5 detectoare

Am asamblat 50 de mostre de text, fiecare între 500 și 800 de cuvinte. Probele s-au împărțit în cinci categorii:

• 10 texte academice pur scrise de oameni — articole de jurnal publicate în perioada 2018-2022, scrise înainte de disponibilitatea pe scară largă a LLM
• 10 texte pur generate de AI — produse de GPT-4o cu solicitări academice, fără editare
• 10 texte generate de AI cu editare manuală ușoară — schițe AI cu corecții umane pentru acuratețe și voce
• 10 texte generate de AI procesate prin text humanizer — permis de umanizare complet plus revizuire manuală
• 10 texte scrise de oameni de vorbitori non-nativi de engleză — lucrări publicate de cercetători care scriu în a doua sau a treia limbă

Am rulat fiecare probă prin modulul de detectare AI al Turnitin, GPTZero, Copyleaks, ZeroGPT și Originality.ai. Fiecare instrument a returnat un scor de probabilitate AI. Am înregistrat fiecare scor și am calculat valorile de precizie.

Rezultatele ne-au surprins. Nu pentru că instrumentele au eșuat complet, ci pentru că modelele de eșec au fost atât de inconsecvente.

Detectare Turnitin AI: rezultate de precizie

Turnitin a identificat corect 9 din 10 texte pur generate de IA, punându-le peste 80%. Aceasta este o performanță solidă pe o ieșire AI evidentă.

Unde s-a luptat: false pozitive. Trei dintre cele 10 texte academice scrise de oameni au obținut un scor peste 20% la indicatorul AI Turnitin. Unul - o revizuire formală a literaturii de la un jurnal de chimie - a obținut 38%.

Pe textul umanizat, performanța lui Turnitin a scăzut semnificativ. Doar 3 din 10 probe umanizate au obținut un scor peste pragul de 20%. Restul de 7 au avut un punctaj între 2% și 17%.

Scrisul non-nativ în limba engleză a fost cea mai proastă categorie. Patru din 10 eșantioane non-native au marcat peste 20%. Unul a marcat 52%. Acestea au fost lucrări reale publicate de cercetători umani reali.

Precizia generală a Turnitin în testul nostru: 72%. Acest lucru sună acceptabil până când îți dai seama că o rată de eroare de 28% înseamnă că aproximativ 1 din 4 judecăți ar putea fi greșite.

GPTZero vs Copyleaks vs ZeroGPT: față în față

Am testat cele mai populare trei detectoare AI independente cu setul nostru complet de mostre.

GPTZero a fost cel mai agresiv detector. A prins 10 din 10 texte brute AI - reamintire perfectă. Dar, de asemenea, a semnalat 4 texte scrise de oameni și 5 texte non-native în limba engleză ca fiind generate predominant de IA. Rata sa de fals pozitivi a fost cea mai mare din testul nostru, cu 12%.

Copyleaks a adoptat o abordare mai conservatoare. A identificat corect 8 din 10 texte AI, dar a semnalat incorect doar 1 eșantion scris de om. Pe textul umanizat, a prins 4 din 10 - făcându-l cel mai performant împotriva umanizării, dar totuși lipsește mai mult de jumătate.

ZeroGPT a fost cel mai puțin de încredere. A semnalat corect 7 din 10 texte AI, dar și a semnalat incorect 3 texte scrise de oameni. Mai rău, scorurile sale au fluctuat - am rulat același eșantion de două ori și am obținut rezultate diferite în 30% din timp. Consistența contează într-un instrument de detectare, iar ZeroGPT nu a oferit-o.

Originality.ai a avut rezultate bune pe textul brut AI (9/10 detectat) și a avut o rată scăzută de fals pozitive pe textul uman (1/10 semnalat incorect). Pe textul umanizat, a prins 5 din 10 - mijlocul pachetului.

Iată rezumatul incomod: niciun detector nu a obținut o precizie generală de peste 80% în toate categoriile de mostre.

Problema fals pozitivă despre care nimeni nu vorbește

Falsele pozitive sunt criza liniștită în detectarea AI. Când un detector semnalează în mod incorect text scris de oameni ca fiind generat de AI, acesta pune sarcina probei asupra scriitorului. „Demonstrați că nu ați folosit AI” este o cerere aproape imposibilă.

Testarea noastră a găsit modele consistente în care textele umane au fost semnalate în mod fals:

Scriere formală foarte structurată. Cu cât proza dvs. este mai organizată și lustruită, cu atât este mai probabil ca un detector să o semnaleze. Propoziții clare de subiect, progresie logică a paragrafelor, terminologie consecventă - toate acestea sunt modele împărtășite de o bună scriere umană și de rezultate AI.

Secțiuni de formulare. Secțiunile de metode, descrierile procedurale și recenziile literaturii urmează șabloane specifice disciplinei. Fiecare cercetător scrie „datele au fost colectate folosind interviuri semi-structurate” în același mod. Detectoarele nu pot distinge convenția de generație.

Vocabular cu entropie scăzută. Unele domenii — drept, medicină, inginerie — folosesc vocabular specializat cu opțiuni limitate de sinonime. Când trebuie să utilizați anumiți termeni în mod repetat, textul dvs. pare mai „previzibil” pentru un detector bazat pe perplexitate.

Engleză non-nativă. Continuăm să revenim la aceasta deoarece este cea mai tulburătoare descoperire. Cercetătorii care scriu în a doua limbă produc text cu o diversitate lexicală mai mică și structuri mai formulate - exact detectorii de modele le asociază cu IA. Acest lucru creează un rezultat discriminatoriu cu care majoritatea instituțiilor nu s-au confruntat.

Ce înseamnă asta pentru cercetătorii care folosesc instrumente AI

Dacă utilizați inteligența artificială ca asistent de scriere - desenare, restructurare, lustruire - peisajul de detectare creează o problemă reală. Chiar și textul pe care l-ați scris în întregime de mână ar putea semnala. Textul asistat de inteligență artificială va semnala aproape sigur dacă nu luați măsuri pentru a-l umaniza.

Recomandările noastre bazate pe această testare:

Nu aveți încredere în verdictul niciunui detector. Am văzut eșantioane care au obținut un scor de 5% la un instrument și 68% la altul. Dacă instituția dvs. folosește un singur detector, acesta este cel care contează pentru conformitate, dar un singur scor nu este o dovadă a utilizării AI.

Umanizați strategic. Ieșirea brută AI este detectabilă. Textul bine umanizat în mare parte nu este. Dacă ați folosit asistență AI, rulați versiunea nefinalizată printr-un instrument de umanizare de calitate și adăugați vocea dvs. personală. Testarea noastră a arătat că această combinație a redus scorurile de detectare la sub 15% în toate cele cinci instrumente.

Păstrează-ți schițele. Salvați versiunile intermediare ale lucrării dvs. Istoricul browserului, jurnalele de conversații ChatGPT, PDF-uri adnotate, note scrise de mână - toate acestea oferă dovezi ale procesului dvs. de scriere dacă sunteți vreodată chestionat.

Să susțină politici instituționale mai bune. Instrumentele de detectare a inteligenței artificiale nu sunt suficient de fiabile pentru a servi drept singure dovadă a necinstei academice. Dacă universitatea dvs. tratează un scor Turnitin AI ca o dovadă, respingeți - cu date. Distribuie studii ca acesta.

Pentru pașii practici privind gestionarea textului semnalat, consultați ghidul nostru despre modul în care cercetătorii ocolesc detectarea AI fără a înșela.

Cursa înarmărilor pentru detectarea AI nu încetinește. Detectoarele se vor îmbunătăți. Dar la fel vor fi și instrumentele de scriere asistate de AI. Soluția pe termen lung nu este o detectare mai bună – este o politică mai bună care recunoaște modul în care se întâmplă de fapt scrierea acum.

Munca ta este reală. Ideile tale sunt reale. Un algoritm defectuos nu ar trebui să judece asta.

AI Proofreader for Research Papers

Proofread and polish your manuscript with tracked changes. Built for academic writing.

Întrebări frecvente

Î: Care detector AI este cel mai precis?

În testarea noastră, Turnitin și Originality.ai au obținut cea mai mare precizie generală la 72% și, respectiv, 74% pentru toate categoriile de mostre. Cu toate acestea, precizia a variat semnificativ în funcție de tipul de text. Turnitin a fost cel mai bun la prinderea rezultatelor brute AI, dar a avut mai multe rezultate false pozitive pe textul non-nativ în limba engleză. Originality.ai a fost mai echilibrat, dar mai puțin eficient pe textul umanizat. Niciun detector nu a atins o precizie de peste 80% în toate categoriile, ceea ce reprezintă o limitare semnificativă pentru instrumentele utilizate pentru a lua decizii privind integritatea academică.

Î: Detectoarele AI funcționează la scrierea academică?

Ele funcționează mai bine la unele tipuri de scriere academică decât la altele. Ieșirea IA brută, needitată în stil academic este de obicei prinsă - ratele de detectare au variat între 70% și 100% în testul nostru. Dar textul academic formal scris de oameni declanșează fals pozitive la rate îngrijorătoare - până la 12% în testele noastre. Domeniile tehnice cu vocabular specializat și scriitori non-nativi englezi sunt afectate în mod disproporționat. Răspunsul scurt este: detectorii AI funcționează la scrierea academică, dar nu suficient de fiabil pentru a servi drept dovezi de sine stătătoare.

Î: Cât de des detectorii AI semnalează scrisul uman?

În testul nostru de 20 de eșantioane scrise de oameni (10 nativi în engleză, 10 non-nativi), 9 mostre - 45% - au primit un scor AI de peste 20% pe cel puțin un detector. Trei texte scrise de oameni au obținut un scor peste 50% la cel puțin un instrument. Rata fals pozitive per detector a variat de la 4% la 12%. Dacă nu sunteți vorbitor nativ de engleză și scrieți proză academică formală, șansele unui fals pozitiv sunt și mai mari. Acesta este motivul pentru care vă recomandăm să păstrați proiectele și probele procesului, indiferent dacă ați folosit instrumente AI.