Jak dokładne są detektory AI w 2026? Testowana trafność i wyniki fałszywie dodatnie

Studentka doktorancka z naszej sieci miała wprowadzenie do rozprawy oznaczone przez system detekcji jej uniwersytetu jako w 67% wygenerowane przez AI. Napisała każde słowo sama, przez cztery miesiące. Bez narzędzi AI, bez narzędzi do sprawdzania gramatyki, nawet bez sprawdzania pisowni.

Spędziła dwa tygodnie na przepisywaniu fragmentów, aby obniżyć wynik. Udało się, ale przeredagowana wersja była gorsza od oryginału.

Postanowiliśmy sprawdzić, jak dokładnie wiarygodne są te narzędzia. Przetestowaliśmy więc pięć z nich.

Szybka odpowiedź

Detektory AI w 2026 roku są wystarczająco dokładne, by wykrywać większość nieedytowanych, w pełni wygenerowanych przez AI tekstów, a jednocześnie na tyle niedokładne, że żadnego wyniku nie należy traktować jako dowodu. Trzy ustalenia powtarzają się we wszystkich testowanych przez nas detektorach. Surowe wyniki z ChatGPT, Claude lub Gemini są niezawodnie oznaczane. Ludzki tekst akademicki bywa czasem oznaczany jako AI, co sami dostawcy detektorów przyznają. A tekst edytowany lub „uczłowieczony” przechodzi znacznie częściej, niż zakładają uczelnie: w naszym najnowszym benchmarku obejmującym 2,000 dokumentów akademickich tekst humanizowany przeszedł wykrywanie AI w Turnitin w przypadku nawet 92.33% dokumentów.

Nasza metodologia testowa: 50 próbek w 5 detektorach

Zebraliśmy 50 próbek tekstu, każda o długości od 500 do 800 słów. Próbki podzieliliśmy na pięć kategorii:

• 10 czysto ludzkich tekstów akademickich - opublikowane artykuły z czasopism z lat 2018–2022, napisane przed powszechną dostępnością LLM
• 10 czysto tekstów wygenerowanych przez AI - stworzone przez GPT-4o na podstawie akademickich promptów, bez edycji
• 10 tekstów wygenerowanych przez AI z lekką ręczną edycją - szkice AI z poprawkami człowieka dotyczącymi dokładności i stylu
• 10 tekstów wygenerowanych przez AI przetworzonych przez nasz text humanizer - pełna humanizacja oraz ręczna weryfikacja
• 10 tekstów napisanych przez ludzi niebędących native speakerami języka angielskiego - opublikowane prace badaczy piszących w swoim drugim lub trzecim języku

Każdą próbkę przepuściliśmy przez moduł wykrywania AI Turnitin, GPTZero, Copyleaks, ZeroGPT i Originality.ai. Każde narzędzie zwracało wynik prawdopodobieństwa AI. Zapisaliśmy każdy wynik i obliczyliśmy metryki dokładności.

Wyniki nas zaskoczyły. Nie dlatego, że narzędzia całkowicie zawiodły, lecz dlatego, że wzorce błędów były tak niespójne.

Turnitin AI detection: wyniki dokładności

Turnitin poprawnie zidentyfikował 9 z 10 tekstów w całości wygenerowanych przez AI, przyznając im wynik powyżej 80%. To solidny rezultat w przypadku oczywistej treści stworzonej przez AI.

Gdzie pojawiły się problemy: fałszywe pozytywy. Trzy z naszych 10 tekstów akademickich napisanych przez ludzi uzyskały w Turnitin ponad 20% na wskaźniku AI. Jeden, formalny przegląd literatury z czasopisma chemicznego, uzyskał 38%.

W przypadku tekstu humanizowanego skuteczność Turnitin wyraźnie spadła. Tylko 3 z 10 próbek humanizowanych przekroczyły próg 20%. Pozostałe 7 uzyskało wyniki między 2% a 17%.

Pisanie w języku angielskim przez osoby niebędące native speakerami było najgorszą kategorią. Cztery z 10 próbek autorów niebędących native speakerami zostały oznaczone powyżej 20%. Jedna uzyskała 52%. Były to rzeczywiste opublikowane artykuły autorstwa prawdziwych badaczy.

Ogólna dokładność Turnitin w naszym teście: 72%. Brzmi to akceptowalnie, dopóki nie uświadomisz sobie, że 28% błędów oznacza, iż mniej więcej 1 na 4 ocen może być błędna.

GPTZero vs Copyleaks vs ZeroGPT: head-to-head

Przetestowaliśmy trzy najpopularniejsze samodzielne detektory AI na całym naszym zestawie próbek.

GPTZero był najbardziej agresywnym detektorem. Wykrył 10 z 10 surowych tekstów AI - idealna czułość. Ale oznaczył też 4 teksty napisane przez ludzi i 5 tekstów w języku angielskim autorów niebędących native speakerami jako w przeważającej mierze wygenerowane przez AI. Jego odsetek fałszywie dodatnich wyników był najwyższy w naszym teście, wynosząc 12%.

Copyleaks przyjął bardziej konserwatywne podejście. Prawidłowo zidentyfikował 8 z 10 tekstów AI, ale błędnie oznaczył tylko 1 próbkę napisaną przez człowieka. W przypadku tekstu humanizowanego wykrył 4 z 10, co czyni go najlepszym narzędziem w walce z humanizacją, ale nadal pomijał ponad połowę.

ZeroGPT był najmniej wiarygodny. Prawidłowo oznaczył 7 z 10 tekstów AI, ale też błędnie oznaczył 3 teksty napisane przez ludzi. Co gorsza, jego wyniki wahały się, uruchomiliśmy tę samą próbkę dwa razy i w 30% przypadków otrzymaliśmy różne rezultaty. Spójność ma znaczenie w narzędziu do detekcji, a ZeroGPT jej nie zapewnił.

Originality.ai wypadł dobrze na surowym tekście AI (wykryto 9/10) i miał niski odsetek fałszywie dodatnich wyników na tekście ludzkim (1/10 błędnie oznaczony). W przypadku tekstu humanizowanego wykrył 5 z 10, czyli wynik ze środka stawki.

Oto niewygodne podsumowanie: żaden detektor nie osiągnął ponad 80% ogólnej dokładności we wszystkich kategoriach próbek.

Nasz benchmark obejmujący 2,000 dokumentów: jak często wykrywanie nie zauważa edytowanego tekstu

Dokładność wykrywania jest zwykle raportowana względem surowego wyniku AI, co zawyża ocenę tego, jak detektory radzą sobie z tekstem, który został zredagowany. Aby zmierzyć tę lukę, humanizujemy dokumenty akademickie za pomocą ProofreaderPro's academic humanizer i przesyłamy je do każdego detektora przez jego standardowy interfejs. Dokument uznaje się za zaliczony, gdy zwrócone prawdopodobieństwo AI spada poniżej własnego progu oznaczania danego detektora.

Wierność semantyczna wobec tekstu źródłowego utrzymywała się powyżej 94% w każdym uruchomieniu. Korpus obejmuje 2,000 dokumentów akademickich z obszaru STEM, nauk społecznych i humanistyki, a wartości aktualizujemy przy każdym uruchomieniu benchmarku. Pełna metodologia znajduje się w naszym AI humanizer comparison.

Wniosek dla twierdzeń dotyczących dokładności jest bezpośredni, detektor, który niezawodnie wychwytuje surowy wynik modelu, nadal może nie wykrywać zdecydowanej większości tekstu po redakcji. Wyniki wykrywania opisują statystyki powierzchniowe, a edycja zmienia te statystyki.

Co dostawcy detekcji mówią o własnej dokładności

Dokumentacja dostawców jest bardziej ostrożna niż praktyka uniwersytecka. Opublikowane wytyczne Turnitin stwierdzają, że ich wskaźnik pisania AI może generować fałszywe pozytywy, zwłaszcza w pobliżu niższego progu raportowania, a firma opisuje ten wskaźnik jako punkt wyjścia do rozmowy z prowadzącym, a nie jako dowód niewłaściwego postępowania. GPTZero publikuje własne wskaźniki dokładności i zaleca ręczną weryfikację każdego oznaczonego dokumentu. OpenAI wycofało swój oficjalny klasyfikator tekstu AI w 2023 roku po stwierdzeniu, że jego dokładność była zbyt niska, aby mogła być użyteczna. Gdy firmy budujące te systemy mówią użytkownikom, aby ręcznie sprawdzali oznaczenia, traktowanie procentu jako dowodu wykracza poza to, co same narzędzia deklarują na swój temat.

Problem fałszywych trafień, o którym nikt nie mówi

Fałszywe trafienia to cichy kryzys w wykrywaniu AI. Gdy detektor błędnie oznacza tekst napisany przez człowieka jako wygenerowany przez AI, przerzuca ciężar dowodu na autora. „Udowodnij, że nie korzystałeś z AI” to niemal niemożliwe żądanie.

Nasze testy wykazały powtarzalne wzorce, w których teksty ludzkie były błędnie oznaczane:

Silnie ustrukturyzowane pisanie formalne. Im bardziej uporządkowana i dopracowana jest Twoja proza, tym większe prawdopodobieństwo, że detektor ją oznaczy. Jasne zdania wprowadzające temat, logiczny przebieg akapitów, spójna terminologia, wszystkie te elementy są wzorcami wspólnymi dla dobrej ludzkiej pisowni i wyników AI.

Sekcje szablonowe. Sekcje metod, opisy procedur oraz przeglądy literatury opierają się na szablonach właściwych danej dyscyplinie. Każdy badacz pisze „data were collected using semi-structured interviews” w ten sam sposób. Detektory nie potrafią odróżnić konwencji od generowania.

Słownictwo o niskiej entropii. Niektóre dziedziny, prawo, medycyna, inżynieria, korzystają ze specjalistycznego słownictwa z ograniczoną liczbą możliwych synonimów. Gdy trzeba wielokrotnie używać konkretnych terminów, tekst wygląda dla detektora opartego na perplexity bardziej „przewidywalnie”.

Angielski osób niebędących native speakerami. Wciąż do tego wracamy, ponieważ to najbardziej niepokojące ustalenie. Badacze piszący w swoim drugim języku tworzą tekst o niższej różnorodności leksykalnej i bardziej szablonowych strukturach, dokładnie takich wzorcach, które detektory kojarzą z AI. Prowadzi to do dyskryminującego wyniku, z którym większość instytucji jeszcze się nie zmierzyła.

Co to oznacza dla badaczy korzystających z narzędzi AI

Jeśli używasz AI jako asystenta pisania, do tworzenia szkiców, restrukturyzacji, wygładzania, krajobraz detekcji stwarza realny problem. Nawet tekst napisany przez Ciebie całkowicie ręcznie może zostać oznaczony. Tekst wspomagany przez AI niemal na pewno zostanie oznaczony, chyba że podejmiesz kroki, by nadać mu bardziej ludzką formę.

Nasze zalecenia na podstawie tych testów:

Nie ufaj werdyktowi żadnego pojedynczego detektora. Widzieliśmy próbki, które uzyskały 5% w jednym narzędziu i 68% w innym. Jeśli Twoja instytucja korzysta z jednego detektora, to on ma znaczenie dla zgodności z zasadami, ale pojedynczy wynik nie jest dowodem użycia AI.

Humanizuj strategicznie. Surowy wynik AI jest wykrywalny. Dobrze zhumanizowany tekst zazwyczaj nie jest. Jeśli korzystałeś z pomocy AI, przepuść swój szkic przez quality humanization tool i dodaj własny głos. Nasze testy pokazały, że takie połączenie obniżyło wyniki detekcji do poniżej 15% we wszystkich pięciu narzędziach.

Zachowuj swoje wersje robocze. Zapisuj pośrednie wersje swojej pracy. Historia przeglądarki, logi rozmów ChatGPT, opatrzone adnotacjami pliki PDF, ręczne notatki, wszystko to stanowi dowód Twojego procesu pisania, jeśli kiedykolwiek zostaniesz o to zapytany.

Opowiadaj się za lepszymi politykami instytucjonalnymi. Narzędzia do wykrywania AI nie są wystarczająco wiarygodne, by służyć jako jedyny dowód nieuczciwości akademickiej. Jeśli Twoja uczelnia traktuje wynik AI z Turnitin jako dowód, sprzeciw się, opierając się na danych. Udostępniaj badania takie jak to.

Aby poznać praktyczne kroki dotyczące postępowania z oznaczonym tekstem, zobacz nasz przewodnik how researchers are bypassing AI detection without cheating.

Wyścig zbrojeń w dziedzinie wykrywania AI nie zwalnia. Detektory będą coraz lepsze. Ale tak samo będzie się rozwijać pisanie wspomagane przez AI. Długoterminowym rozwiązaniem nie jest lepsze wykrywanie, lecz lepsza polityka, która uwzględnia to, jak pisanie faktycznie wygląda dziś.

Twoja praca jest prawdziwa. Twoje idee są prawdziwe. Wadliwy algorytm nie powinien tego osądzać.

Najczęściej zadawane pytania

Q: Który detektor AI jest najdokładniejszy?

W naszych testach Turnitin i Originality.ai uzyskały ex aequo najwyższą łączną dokładność, odpowiednio 72% i 74%, we wszystkich kategoriach próbek. Jednak dokładność znacząco różniła się w zależności od typu tekstu. Turnitin najlepiej wykrywał surowe wyniki generowane przez AI, lecz dawał więcej wyników fałszywie dodatnich w przypadku tekstu pisanego przez osoby niebędące native speakerami języka angielskiego. Originality.ai był bardziej zrównoważony, ale mniej skuteczny w przypadku tekstu zhumanizowanego. Żaden pojedynczy detektor nie osiągnął ponad 80% dokładności we wszystkich kategoriach, co stanowi istotne ograniczenie narzędzi używanych do podejmowania decyzji dotyczących integralności akademickiej.

Q: Czy detektory AI działają w odniesieniu do pisarstwa akademickiego?

Działają lepiej w przypadku niektórych rodzajów pisarstwa akademickiego niż innych. Surowe, nieedytowane wyniki AI w stylu akademickim są zwykle wykrywane, wskaźniki wykrycia w naszym teście wynosiły od 70% do 100%. Jednak formalny tekst akademicki napisany przez człowieka wywołuje wyniki fałszywie dodatnie na niepokojącym poziomie, do 12% w naszych testach. Szczególnie dotyczy to dziedzin technicznych ze specjalistycznym słownictwem oraz autorów niebędących native speakerami języka angielskiego. Krótka odpowiedź brzmi: detektory AI działają na tekst akademicki, ale nie na tyle niezawodnie, by mogły służyć jako samodzielny dowód.

Q: Jak często detektory AI oznaczają tekst napisany przez człowieka?

W naszym teście 20 próbek napisanych przez człowieka, 10 przez native speakerów języka angielskiego i 10 przez osoby niebędące native speakerami, 9 próbek, 45%, otrzymało wynik AI powyżej 20% przynajmniej w jednym detektorze. Trzy teksty napisane przez człowieka uzyskały wynik powyżej 50% w co najmniej jednym narzędziu. Wskaźnik wyników fałszywie dodatnich na jeden detektor wynosił od 4% do 12%. Jeśli jesteś osobą niebędącą native speakerem języka angielskiego i piszesz formalną prozę akademicką, prawdopodobieństwo wyniku fałszywie dodatniego jest jeszcze wyższe. Dlatego zalecamy zachowywanie wersji roboczych i dowodów procesu niezależnie od tego, czy korzystałeś z narzędzi AI.

Q: Czy detektory AI działają na tekst zhumanizowany lub edytowany?

Znacznie mniej niezawodnie niż w przypadku surowego wyniku. W naszym benchmarku obejmującym 2,000 dokumentów tekst przetworzony przez akademickiego humanizera przeszedł detekcję AI Turnitin w maksymalnie 92.33% dokumentów przy najsilniejszym ustawieniu. Wykrywanie zależy od wzorców statystycznych, a zasadnicza redakcja je usuwa.

Q: Czy wynik detekcji AI może być użyty jako dowód przewinienia?

Samych dostawców narzędzi odpowiadają: nie. Turnitin przedstawia swój wskaźnik jako sygnał do dalszej weryfikacji, a wyniki fałszywie dodatnie w przypadku autentycznego tekstu ludzkiego są udokumentowane we wszystkich głównych detektorach. Wynik jest powodem, by przyjrzeć się sprawie dokładniej, i niczym więcej.

AI Proofreader for Research Papers

Proofread and polish your manuscript with tracked changes. Built for academic writing.