Észleli a Copyleaks a mesterséges intelligenciát? Pontosság és mit érdemes tenni

A professzora megemlíti félvállról, hogy az osztályt követelmény-rendszerük a Copyleaks-szal ellenőrzi az anyagokat, és valami összeszorítja a mellkasát. Talán a ChatGPT-t használt fel egy szakasz vázlatának elkészítéséhez. Talán egyáltalán nem is foglalkozott mesterséges intelligenciával, csak attól tart, mert olvasott a rémisztő történetekből. Akárhogy is, a kérdés ugyanaz, mint amit minden héten ezernyi hallgató feltesz.

Szóval: a Copyleaks észleli a mesterséges intelligenciát? Röviden: igen. Valódi AI-észlelő eszköz, amelyet egyetemek és vállalkozások is használnak, és kellően hatékony. A hosszabb válasz, amely valóban segít, arról szól, mennyire jól működik, hol csúszik félre, és hogy egy jelzés valójában mit ér.

Ez nem útmutató arra, hogyan lehet megtéveszteni bárkit. Olyan magyarázatot adunk, amely segít megérteni az eszközt annak az emberi döntésnek a közepén, ami végül jegyet vagy fizetést eredményez, és amely mellett jobb józan döntéseket hozni, mint pánikolni egy szám miatt. Végigvezetjük, mit mér a Copyleaks, mennyire pontos, és mit tegyen, ha jelzést ad a munkájára.

A Copyleaks észleli-e a mesterséges intelligenciát, és hogyan működik?

A Copyleaks vállalati és oktatási platformként indult a plágiumellenőrzés területén, majd ahogy a nagynyelvű modellek tért hódítottak, hozzáadta a mesterséges intelligencia felismerését. A Copyleaks képes szöveget elemezni, és keresni a gépi írás statisztikai „ujjlenyomatait”, majd ítéletet ad arról, hogy a szöveg valószínűleg emberi vagy mesterséges intelligenciával készült-e, gyakran mondatszintig. Több mint harminc nyelvet támogat, ez is hozzájárult ahhoz, hogy nemzetközi hallgatói létszámmal rendelkező intézmények is átvették.

Igen, úgy tervezték, hogy felismerje a ChatGPT, Claude, Gemini és a többi nagy modell kimenetét, és a gyakorlatban gyakran tényleg teszi ezt az olyan AI-szövegeknél is, amelyeket nem szerkesztettek át. Nem feltétlenül kell felismernie egy konkrét eszközt. A legtöbb detektorhoz hasonlóan azt vizsgálja, mennyire kiszámítható és mennyire egységes a szöveg, nem pedig azt, hogy a saját munkáját összeveti-e egy ismert AI-válaszok könyvtárával. Ha szeretné a tágabb kontextust arról, hogyan viselkednek ezek a rendszerek, foglalkozunk azzal, mennyire pontosak az AI-észlelők az egész kategóriában.

A Copyleaks ugyanabban a vállalati „folyosóban” mozog, mint a Turnitin, és a kettőt gyakran összevetik. A legfontosabb különbség az Ön számára nem az, hogy ebben a hónapban melyik márka élesebb, hanem az, hogy mindkettő valószínűségi eszköz, amely becslést ad, és mindkettő olyan módon is tévedhet, ami számít annak, akinek a munkáját értékelik.

Mennyire pontos a Copyleaks? Állítások vs. független mérések

A Copyleaks a kategóriában a leghatározottabb számokat kommunikálja: kb. 99% pontosságot, valamint „iparági szinten alacsony” körülbelül 0,2%-os téves pozitív arányt. Ha ezt szó szerint vesszük, az azt jelentené, hogy mintegy ötszáz emberi dokumentumból egyet, durván, tévesen jelölnek meg. A független tesztek azonban nem reprodukáltak ehhez mérhető eredményeket.

Teljesen más világ, ha a téves pozitív arány 6%–11%, szemben a 0,2%-kal. Például egy kétszáz fős osztályban ez azt jelenti, hogy a különbség egy valódi dolgozat azonosítása és tucatnyi, vagy akár még több közötti eltévesztés között van. A marketingadat és a mért adat nagyon eltérő kockázati szinteket ír le valódi emberekkel kapcsolatban. Ezért azt a számot érdemes fejben tartani, amikor egyetlen pontszámot ítéletként kezelnek.

A különbség nem botrány, inkább emlékeztető arra, hogyan állítják elő ezeket az állításokat. A forgalmazók válogatott adatokon tesztelnek kedvező körülmények között. A független kutatók pedig jóval „rendetlenebb”, a valósághoz közelebb álló mintákkal dolgoznak, és az iskolai élet pontosan ez a „rendetlen” valóság.

Miért jelzi a Copyleaks az emberi szöveget?

Az AI-észlelés legnyugtalanítóbb mintája az, hogy ki kerül csapdába tévedésből. A detektorok a perplexitásra támaszkodnak, arra, hogy mennyire kiszámíthatóak a választott szavak. Az emberi írás viszont gyakran tiszta, egyszerűen megfogalmazott és gondosan megírt, így alacsony perplexitást ér el. Ezt a modell gépi sajátosságként értelmezi. A „túl egyszerű” megfogalmazás büntetést kap.

A legnagyobb árat a nem anyanyelvi angol szerzők fizetik. Egy, a Patterns folyóiratban (Liang és munkatársai, 2023) megjelent, lektorált tanulmányban a TOEFL dolgozatokban szereplő, ember által írt szövegeket hét detektorba betáplálták, és azt találták, hogy átlagosan a nem anyanyelvi angol szerzők dolgozatainak mintegy 61%-át AI-ként sorolták be, miközben az anyanyelvi angol írók körében ez kb. 5% volt. A tévesen besorolt dolgozatok kisebb szókincset mutattak, pontosan azt, amit a perplexitás-alapú detektor keres. A Copyleaks sok nyelvre ad támogatást, de a független tesztek azt jelzik, hogy a téves pozitív arány nem anyanyelvi angol szövegnél éppúgy emelkedik, mint társainál.

Ezért egyetlen Copyleaks-jelzés önmagában soha nem zárhat le egy beszélgetést. Ez arra szolgál, hogy jobban meg kelljen nézni a helyzetet, nem arra, hogy beismerésként kezeljék. Az az eszköz, amely több tucat dolgozatból egy gondosan dolgozó nemzetközi hallgatót többször is chatbotnak vél, nem adja azt a bizonyosságot, amit a műszerfala sugall.

Mit tegyen, ha a Copyleaks jelzi a munkáját?

A válasz teljes mértékben attól függ, mi az igazság az adott esetben, tehát induljon ebből, és legyen őszinte önmagához.

Ha saját maga írta meg, gyűjtse össze a bizonyítékokat. Tartsa meg a piszkozatokat, a verzióelőzményeket, a jegyzeteket és a forrásokat. Ezek mutatják be a folyamatát, és a legerősebb válasz egy téves riasztásra. Ne írja át a valódi munkát csupán azért, hogy „tetszen” egy detektornak, mert ettől a természetes próza gyanúsabbnak tűnhet, nem kevésbé.

Ha a jelzést Ön ellen használják, nyugodtan fellebbezzen. Egy pontszám nem bizonyíték, és Ön jogosult tisztességes felülvizsgálatra. A téves AI-észlelési jelzés fellebbezéséről szóló végigvezetőnkben bemutatjuk, mit érdemes előkészíteni, és hogyan érdemes keretezni a beszélgetést.

Ha valóban használt mesterséges intelligenciát a vázlat készítéséhez, dolgozza át úgy, hogy az a saját munkája legyen. Építse újra az ötleteket a saját szavaival, adja hozzá a saját elemzését, tartsa pontosan a hivatkozásokat, és közölje az AI segítséget ott, ahol azt az Ön intézménye vagy a folyóirat megköveteli. Ez valóban legitim út, és teljesen más, mint a gépi szöveg elrejtése a saját munkája mögé.

Ha egy AI-val támogatott vázlaton „csiszol”, olyan eszközt használjon, amely megőrzi az értelmet. A generikus átfogalmazók felboríthatják a hivatkozásokat, és a pontos kifejezéseket ködösebbekre cserélik, vagyis egyik problémát egy még rosszabbra cserélnek.

Az utolsó pontnál jön jól egy akadémiai minőségű humanizáló. A mi text humanizer megoldásunk arra épül, hogy az Ön AI-val támogatott tudományos írását természetes prózává alakítsa úgy, hogy közben megőrzi a hivatkozásait, a terminológiát és az érvelését. Copyleaks, Turnitin, GPTZero, ZeroGPT és Originality.ai ellen lett tesztelve, és az eredményeit tesztelt teljesítményként írjuk le, nem garanciaként, mert az észlelők folyamatosan frissülnek, és egyetlen komoly eszköz sem ígérheti, hogy örökké minden verzió előtt marad.

Ha a gond inkább a publikálási oldalon használt detektor, nem pedig az órán, akkor ugyanaz a logika érvényes, és a fenti lépéseket úgy lehet adaptálni, hogy csökkentse az Originality.ai pontszámát anélkül, hogy kárt tenne a munkájában. A közös nevező állandó: a valódi minőség és az egyértelmű közzététel felülmúlja bármely olyan próbálkozást, amely egy folyamatosan változó pontozási játék „megnyerésére” irányul.

Hogyan pontozza a Copyleaks a szöveget, és mi tekinthető biztonságos pontszámnak?

A Copyleaks nem olvassa az Ön gondolatait. A mondatainak statisztikai textúráját olvassa. Két jelből áll össze többnyire a kép. A perplexitás azt méri, mennyire kiszámítható a szavak választása, a burstiness pedig azt, hogy mennyire változik a mondatok hossza és ritmusa. Az emberi írás általában kevésbé kiszámítható, és „egyenetlenebb”. Az AI-vázlatok jellemzően simák, egyenletesek és könnyen kiszámíthatók. Tehát hogyan működik ez a gyakorlatban? A szöveget szakaszokra bontva átfutja, mindegyikre pontszámot ad, és kiemeli azokat a részeket, amelyeket géppel generáltnak olvas.

A visszakapott jelentés valószínűség, nem ítélet. A Copyleaks megmutatja az összesített AI-val valószínűséget, és megjelöli az egyes mondatokat vagy bekezdéseket, amelyeket gyanúsnak talál. A magas érték azt jelenti, hogy a modell mintákat talált, amelyeket AI-hoz társít. Nem bizonyítja, hogy ki írta a szöveget, és a Copyleaks maga is valószínűségként keretezi a kimenetet.

Itt válik bonyolulttá a Copyleaks pontossága. A cég erős, „címlapszámokat” hirdet. A független tesztek azonban árnyaltabb képet adnak.

Akkor a Copyleaks pontos? Az egyértelműen AI-val generált szövegeken, alapértelmezett beállításokkal gyakran igen. Az a rés, ami az Ön számára számít, a Copyleaks téves pozitív aránya. A 0,2%-ként hirdetett és a 6%–11%-ként mért érték között egészen más kockázat áll fenn, ha a jegye vagy a dolgozata a tét.

A kockázat nem oszlik el egyenletesen. A nem anyanyelvi angol nyelvű írásokat sokkal gyakrabban jelölik. Liang és munkatársai (2023) hét detektort futtattak nem anyanyelvi beszélők által írt TOEFL dolgozatokon, és azt találták, hogy mintegy 61%-ukat tévesen jelölték AI-ként a mintegy 5% helyett az anyanyelvi íróknál. Közel minden ötödiket, ahol minden detektor egyszerre jelzett, mindegyik detektor egyszerre sorolt AI-nak. Az ok pontosan az, amit a perplexitás büntet: az egyszerűbb, kiszámíthatóbb szókincs „gépként” olvasható egy olyan modell számára, amely a szótagolhatóság egyszerűségét az automatizálással azonosítja. Ha az angol az Ön második nyelve, akkor ebből a kockázatból, saját hibája nélkül, több jut Önre. Erről a mintázatról bővebben is írtunk arról, miért jelzik az AI-észlelők a nem anyanyelvi írókat.

Akkor mi számít biztonságos Copyleaks-pontszámnak? Ez rossz kérdés, és nem létezik publikált küszöbérték. A Copyleaks nem „nyomja le” az alacsony pontszámokat úgy, ahogy egyes detektorok teszik, így még a valóban emberi munka is mutathat nem nulla AI-valószínűséget. Ha egy konkrét számot üldöz, olyan szerkesztések felé tolja, amelyek rontani is tudják a szövegét. Ehelyett olyan munkát célozzon, ami valóban az Ön munkája, és ott legyen közzétéve, ahol az intézménye kéri, legyen elég tiszta ahhoz is, hogy az alacsony pontszám valódi legyen, ne pedig „megtervezett”. Ha egy saját AI-val támogatott vázlatát szerkeszti, a academic humanizer megoldásunk, amely Turnitin, GPTZero, Copyleaks, ZeroGPT és Originality.ai ellen tesztelt, arra épül, hogy megvédje az értelmet és a hivatkozásokat mindeközben.

Gyakran ismételt kérdések

K: A Copyleaks észleli a ChatGPT-t és a Claude-ot?

Igen. A Copyleaks a nagy modellek (köztük a ChatGPT, Claude és Gemini) kimenetének felismerésére szolgál, és gyakran helyesen jelzi a szerkesztés nélkül használt AI-szöveget. Ezt statisztikai mintázatok alapján végzi, nem pedig egy adott eszközhöz történő illesztéssel, ezért nem kell tudnia, hogy pontosan melyik modell állította elő a szöveget.

K: Mennyire pontos a Copyleaks AI-észlelése?

A Copyleaks kb. 99% pontosságot és körülbelül 0,2% téves pozitív arányt állít, de a független tesztek a téves riasztásokat közelebb hozzák a 6%–11%-hoz, és magasabbnak találják a nem anyanyelvi angolt használó íróknál. Az egyértelműen AI-szövegeken meglehetősen megbízható, a szürke zónában viszont jóval bizonytalanabb, ezért egyetlen pontszámot inkább jelként kell kezelni, nem pedig ítéletként.

K: A Copyleaks jelzi az emberi írást?

Jelezheti, és a tiszta, vagy nem anyanyelvi angol nyelvű szövegek vannak a leginkább kitéve a kockázatnak. A detektorok az alacsony perplexitást, vagyis az egyszerű, kiszámítható szóválasztást, az AI-hoz kötik, ezért a gondosan megírt emberi szövegek néha tévesen kerülhetnek jelzésre. Ha a munkát Ön írta, őrizze meg a vázlatait és jegyzeteit, ne pedig szerkessze át a valódi szöveget csak azért, hogy megfeleljen az eszköz elvárásainak.

K: A Copyleaks képes humanizált AI-szöveget felismerni?

Néha. Az összes detektor esetében megfigyelhető, hogy védelmeket építenek be a humanizált és átfogalmazott szövegekkel szemben, és a független tanulmányok szerint a legerősebbek egyre inkább el is tudják kapni, így egyetlen eszköz sem ígérheti a tartós láthatatlanságot. A tartós megközelítés az, hogy humanizálót használjon arra, hogy valóban javítsa a saját AI-val támogatott írását, és hogy közzétegye az AI használatát, nem pedig hogy egy garantált nullát üldözzön, ami nem fog tartósan működni.

K: Hogyan vitathatom a Copyleaks AI-észlelési eredményét?

A Copyleaks-jelzés vitatható, mert a pontszám valószínűség, nem pedig szerzői bizonyíték. Először gyűjtse össze a bizonyítékokat: a korábbi vázlatokat, vázlatokat, kutatási jegyzeteket, valamint a dokumentum verzióelőzményeit, amelyek megmutatják, hogyan fejlődött a szöveg. Mivel a független tesztek érdemi Copyleaks téves pozitív arányt jeleznek, különösen a nem anyanyelvi angolnál, egyetlen szám soha nem lehet az egyetlen alapja egy vádnak.

K: A Copyleaks észlel AI-t az angoltól eltérő nyelveken is?

A Copyleaks több mint 30 nyelven hirdet AI-észlelést, így nem korlátozódik kizárólag az angolra. Valós használatban a téves pozitív arány jellemzően emelkedik a nem anyanyelvi és többnyelvű írásoknál, ezért a második nyelvet használó szerzőknek óvatosabban kell elolvasniuk bármilyen jelzést. A saját többnyelvű munkáján mért magas pontszám indok arra, hogy alaposan átnézze a jelentést, nem arra, hogy bűnösséget feltételezzen.

Akadémiai AI szöveg-humanzáló

Az AI-val támogatott vázlatokat alakítsa természetes tudományos prózává, miközben megőrzi a hivatkozásokat, a hangnemet és a jelentést.