Jak přesné jsou AI detektory v roce 2026? Otestovaná přesnost a falešně pozitivní nálezy

Doktorandka v naší síti měla úvod své disertace označený univerzitním detekčním systémem jako 67% AI-generated. Každé slovo napsala sama během čtyř měsíců. Žádné AI tools, žádné grammar checkers, dokonce ani spellcheck.

Strávila dva týdny přepisováním částí, aby snížila skóre. Povedlo se to, ale přepsaná verze byla horší než původní.

Rozhodli jsme se zjistit, jak spolehlivé tyto nástroje ve skutečnosti jsou. Otestovali jsme jich tedy pět.

Rychlá odpověď

Detektory AI v roce 2026 jsou dostatečně přesné na to, aby zachytily většinu neupraveného, zcela AI generovaného textu, a zároveň jsou dostatečně nepřesné na to, aby žádné skóre nemělo být považováno za důkaz. Ve všech detektorech, které jsme měřili, se opakují tři zjištění. Syrový výstup z ChatGPT, Claude nebo Gemini je spolehlivě označen. Lidské akademické psaní je někdy označeno jako AI, což sami výrobci detektorů přiznávají. A upravený nebo zhumanizovaný text prochází mnohem častěji, než univerzity předpokládají: v našem posledním benchmarku na 2,000 akademických dokumentech prošel zhumanizovaný text detekcí AI v Turnitin až v 92.33% dokumentů.

Naše testovací metodika: 50 vzorků napříč 5 detektory

Shromáždili jsme 50 textových vzorků, každý o rozsahu mezi 500 a 800 slovy. Vzorky spadaly do pěti kategorií:

• 10 čistě lidsky napsaných akademických textů - publikované články v časopisech z let 2018–2022, napsané před širokou dostupností LLM
• 10 čistě AI generovaných textů - vytvořené pomocí GPT-4o s akademickými zadáními, bez úprav
• 10 AI generovaných textů s lehkou manuální editací - návrhy od AI s lidskými korekcemi kvůli přesnosti a stylu
• 10 AI generovaných textů zpracovaných prostřednictvím našeho text humanizer - úplný humanizační průchod plus manuální kontrola
• 10 lidsky napsaných textů od nerodilých mluvčích angličtiny - publikované práce výzkumníků, kteří píší ve svém druhém nebo třetím jazyce

Každý vzorek jsme spustili přes moduly pro detekci AI od Turnitin, GPTZero, Copyleaks, ZeroGPT a Originality.ai. Každý nástroj vrátil skóre pravděpodobnosti AI. Zaznamenali jsme každé skóre a vypočítali metriky přesnosti.

Výsledky nás překvapily. Ne proto, že by nástroje selhaly úplně, ale proto, že vzorce selhání byly tak nekonzistentní.

Detekce AI v Turnitin: výsledky přesnosti

Turnitin správně identifikoval 9 z 10 čistě textů vygenerovaných AI a ohodnotil je nad 80%. To je solidní výkon u zjevného výstupu AI.

Kde selhával: falešně pozitivní výsledky. Tři z našich 10 akademických textů napsaných lidmi získaly v indikátoru AI v Turnitin více než 20%. Jeden, formální literární rešerše z časopisu z oblasti chemie, dosáhl 38%.

U humanizovaného textu výkon Turnitin výrazně klesl. Pouze 3 z 10 vzorků humanizovaného textu překročily práh 20%. Zbývajících 7 se pohybovalo mezi 2% a 17%.

Nejhorší kategorií bylo psaní v angličtině od nerodilých mluvčích. Čtyři z 10 vzorků nerodilých mluvčích byly označeny nad 20%. Jeden dosáhl 52%. Šlo o skutečné publikované články skutečných lidských výzkumníků.

Celková přesnost Turnitin v našem testu: 72%. To zní přijatelně, dokud si neuvědomíte, že 28% míra chyb znamená, že zhruba 1 z 4 rozhodnutí může být chybný.

GPTZero vs Copyleaks vs ZeroGPT: přímé srovnání

Otestovali jsme tři nejoblíbenější samostatné detektory AI na celé naší sadě vzorků.

GPTZero byl nejagresivnější detektor. Odhalil 10 z 10 syrových textů vytvořených AI, perfektní recall. Zároveň však označil 4 texty napsané lidmi a 5 textů v angličtině psané nerodilými mluvčími jako převážně generované AI. Jeho míra falešně pozitivních výsledků byla v našem testu nejvyšší, 12%.

Copyleaks zvolil opatrnější přístup. Správně identifikoval 8 z 10 textů AI, ale nesprávně označil pouze 1 vzorek napsaný člověkem. U humanizovaného textu zachytil 4 z 10, což z něj dělá nejlepší výsledek proti humanizaci, ale stále minula více než polovinu.

ZeroGPT byl nejméně spolehlivý. Správně označil 7 z 10 textů AI, ale zároveň nesprávně označil 3 texty napsané lidmi. Ještě horší bylo, že jeho skóre kolísalo, stejný vzorek jsme spustili dvakrát a ve 30% případů jsme dostali odlišné výsledky. Konzistence je u detekčního nástroje důležitá a ZeroGPT ji neposkytl.

Originality.ai si vedl dobře na syrovém textu AI (9/10 detekováno) a měl nízkou míru falešně pozitivních výsledků u lidského textu (1/10 nesprávně označeno). U humanizovaného textu zachytil 5 z 10, tedy střed pole.

Tady je nepříjemné shrnutí: žádný detektor nedosáhl nad 80% celkové přesnosti napříč všemi kategoriemi vzorků.

Naše srovnávací měření na 2 000 dokumentech: jak často detekce míjí upravený text

Přesnost detekce se obvykle uvádí vůči neupravenému výstupu AI, což nadhodnocuje, jak si detektory vedou u textu, který prošel revizí. Abychom tento rozdíl změřili, humanizujeme akademické dokumenty pomocí akademického humanizéru ProofreaderPro a předkládáme je každému detektoru přes jeho standardní rozhraní. Dokument projde, když vrácená pravděpodobnost AI klesne pod vlastní práh detektoru pro označení.

Sémantická věrnost vůči zdrojovému textu zůstala při každém běhu nad 94%. Korpus zahrnuje 2 000 akademických dokumentů napříč STEM, společenskými vědami a humanitními obory, a údaje aktualizujeme s každým spuštěním benchmarku. Kompletní metodika je v našem srovnání AI humanizérů.

Důsledek pro tvrzení o přesnosti je přímý, detektor, který spolehlivě zachytí neupravený výstup modelu, může stále minout velkou většinu upraveného textu. Skóre detekce popisují povrchové statistiky a revize tyto statistiky mění.

Co říkají poskytovatelé detekce o vlastní přesnosti

Dokumentace dodavatelů je opatrnější než univerzitní praxe. Zveřejněné pokyny Turnitin uvádějí, že jeho indikátor AI psaní může vytvářet falešně pozitivní výsledky, zejména v okolí nižší prahové hodnoty pro hlášení, a společnost popisuje indikátor jako výchozí bod pro rozhovor s vyučujícím, nikoli jako důkaz pochybení. GPTZero zveřejňuje vlastní údaje o přesnosti a doporučuje lidskou kontrolu každého označeného dokumentu. OpenAI v roce 2023 vyřadila svůj oficiální klasifikátor textu AI poté, co dospěla k závěru, že jeho přesnost je příliš nízká na to, aby byl užitečný. Když společnosti, které tyto systémy vytvářejí, říkají uživatelům, aby označení ověřovali ručně, považovat určité procento za důkaz jde nad rámec toho, co o svých nástrojích tvrdí samy.

Falešně pozitivní problém, o kterém nikdo nemluví

Falešně pozitivní nálezy jsou tichou krizí v detekci AI. Když detektor nesprávně označí text napsaný člověkem jako text vygenerovaný AI, přenáší břemeno dokazování na autora. "Prokažte, že jste nepoužili AI" je téměř nemožný požadavek.

Naše testování odhalilo konzistentní vzorce, při nichž byly lidské texty chybně označeny jako AI:

Vysoce strukturované formální psaní. Čím organizovanější a uhlazenější je váš projev, tím pravděpodobněji jej detektor označí. Jasné tematické věty, logický postup odstavců, konzistentní terminologie, to vše jsou vzorce sdílené kvalitním lidským psaním i výstupy AI.

Schematické sekce. Sekce metod, procedurální popisy a literární přehledy sledují šablony specifické pro daný obor. Každý výzkumník píše "data were collected using semi-structured interviews" stejným způsobem. Detektory nedokážou rozlišit konvenci od generování.

Nízká entropie slovní zásoby. Některé obory, právo, medicína, inženýrství, používají specializovanou slovní zásobu s omezenými možnostmi synonym. Když musíte opakovaně používat specifické termíny, váš text působí pro detektor založený na perplexitě více "předvídatelně".

Nezápadní angličtina. Vracíme se k tomu znovu, protože jde o nejzávažnější zjištění. Výzkumníci píšící ve svém druhém jazyce vytvářejí text s nižší lexikální rozmanitostí a schematičtějšími strukturami, tedy přesně s těmi vzorci, které detektory spojují s AI. To vytváří diskriminační výsledek, s nímž se většina institucí dosud nevyrovnala.

Co to znamená pro výzkumníky používající AI nástroje

Pokud používáte AI jako pomocníka při psaní, tedy při sestavování návrhů, přeskupování nebo stylistickém vylepšování textu, vytváří detekční prostředí skutečný problém. Dokonce i text, který jste napsali zcela ručně, může být označen. Text s asistencí AI bude téměř jistě označen, pokud nepodniknete kroky k jeho zlidštění.

Naše doporučení vycházející z tohoto testování:

Nespoléhejte na verdikt jediného detektoru. Viděli jsme vzorky, které dostaly 5% v jednom nástroji a 68% v jiném. Pokud vaše instituce používá jeden detektor, právě ten je pro soulad s pravidly rozhodující, ale jedno skóre není důkazem použití AI.

Zlidštěte text strategicky. Syrový výstup z AI je detekovatelný. Dobře zlidštěný text většinou není. Pokud jste použili pomoc AI, projeďte svůj návrh přes nástroj pro kvalitní humanizaci a doplňte svůj osobní hlas. Naše testování ukázalo, že tato kombinace snížila detekční skóre pod 15% napříč všemi pěti nástroji.

Uchovávejte své návrhy. Ukládejte průběžné verze své práce. Historie prohlížeče, záznamy konverzací v ChatGPT, anotované PDF soubory, ručně psané poznámky, to vše poskytuje důkazy o vašem procesu psaní, pokud byste byli někdy dotazováni.

Prosazujte lepší institucionální politiky. Nástroje pro detekci AI nejsou dostatečně spolehlivé, aby sloužily jako jediný důkaz akademické nepoctivosti. Pokud vaše univerzita považuje Turnitin AI skóre za důkaz, oponujte, a to daty. Sdílejte studie, jako je tato.

Praktické kroky pro práci s označeným textem najdete v našem průvodci jak výzkumníci obcházejí detekci AI bez podvádění.

Závody ve zbrojení kolem detekce AI se nezpomalují. Detektory se budou zlepšovat. Ale stejně tak se budou zlepšovat i nástroje pro psaní s asistencí AI. Dlouhodobým řešením není lepší detekce, ale lepší politika, která uznává, jak psaní dnes skutečně probíhá.

Vaše práce je skutečná. Vaše nápady jsou skutečné. Vadný algoritmus by o tom neměl rozhodovat.

Často kladené otázky

Q: Který AI detektor je nejpřesnější?

V našem testování se Turnitin a Originality.ai shodly na nejvyšší celkové přesnosti, konkrétně 72% a 74% napříč všemi kategoriemi vzorků. Přesnost se však výrazně lišila podle typu textu. Turnitin si vedl nejlépe při zachycování syrového AI výstupu, ale měl více falešně pozitivních výsledků u textů psaných nerodilými mluvčími angličtiny. Originality.ai bylo vyváženější, ale méně účinné u humanizovaného textu. Žádný jednotlivý detektor nedosáhl ve všech kategoriích přesnosti vyšší než 80%, což je zásadní omezení pro nástroje používané při rozhodování o akademické integritě.

Q: Fungují AI detektory na akademické psaní?

Fungují lépe u některých typů akademického psaní než u jiných. Syrový, neupravený AI výstup v akademickém stylu je obvykle zachycen, míra detekce se v našem testu pohybovala od 70% do 100%. Formální akademický text napsaný člověkem však vyvolává falešně pozitivní výsledky v znepokojivě vysoké míře, až do 12% v našem testování. Technické obory se specializovanou terminologií a autoři píšící v angličtině jako nerodilí mluvčí jsou neúměrně zasaženi. Stručná odpověď zní: AI detektory na akademické psaní fungují, ale ne dost spolehlivě, aby mohly sloužit jako samostatný důkaz.

Q: Jak často AI detektory označují lidské psaní?

V našem testu 20 vzorků napsaných lidmi, 10 od rodilých mluvčích angličtiny a 10 od nerodilých, 9 vzorků, tedy 45%, obdrželo na alespoň jednom detektoru skóre AI vyšší než 20%. Tři texty napsané lidmi dosáhly na alespoň jednom nástroji skóre vyššího než 50%. Míra falešně pozitivních výsledků na jeden detektor se pohybovala od 4% do 12%. Pokud píšete formální akademický text jako nerodilý mluvčí angličtiny, pravděpodobnost falešně pozitivního výsledku je ještě vyšší. Proto doporučujeme uchovávat koncepty a důkazy o procesu bez ohledu na to, zda jste použili AI nástroje.

Q: Fungují AI detektory na humanizovaný nebo upravený text?

Mnohem méně spolehlivě než na syrovém výstupu. V našem benchmarku s 2,000 dokumenty prošel text zpracovaný akademickým humanizerem detekcí AI v Turnitin až v 92.33% dokumentů při nejsilnějším nastavení. Detekce závisí na statistických vzorcích a podstatná revize je odstraňuje.

Q: Lze skóre detekce AI použít jako důkaz pochybení?

Samotní poskytovatelé říkají, že ne. Turnitin svůj ukazatel prezentuje jako signál pro další kontrolu a falešně pozitivní výsledky u skutečně lidského psaní jsou zdokumentovány u každého hlavního detektoru. Skóre je důvod k podrobnějšímu prozkoumání, a nic víc.

AI Proofreader for Research Papers

Proofread and polish your manuscript with tracked changes. Built for academic writing.