Mi a kitörés az AI-írásban? A mérőszám, amely meghatározza, hogy emberi a hangod

Olvass el minden ember által írt bekezdést. Tényleg nézd meg. Néhány mondat öt szóból áll. Mások negyven év felettiek, alcikkeken és minősítéseken kígyóznak, mielőtt végre megérkeznének valahova. Ezt a változást – ezt a kiszámíthatatlan ritmust – az AI-észlelő eszközök burstnessnek nevezik.

És a mesterséges intelligencia által generált piszkozatodnak szinte biztosan nincs elég belőle.

200 tudományos szövegmintát elemeztünk az ember által írt és a mesterséges intelligencia által generált kategóriákban. A burstness különbsége volt a legvilágosabb jel, amely elválasztotta a két csoportot – megbízhatóbb, mint a szókincs elemzése, következetesebb, mint a zavarodottság önmagában.

Burstiness meghatározott: a ritmus a mondatokat

A burstness azt méri, hogy a mondat hossza és összetettsége mennyiben változik a szövegen belül. A nagy durvaság drámai változatosságot jelent – ​​rövid, ütős mondatokat vegyesen hosszú kidolgozott mondatokkal. Az alacsony törtség egységességet jelent – ​​a mondat mondat után ugyanabban a 15-20 szavas tartományban landol.

A fogalom az információelméletből származik. A természetes nyelven az emberi kommunikáció "robbanás" – az ötleteket szabálytalan darabokba csoportosítjuk. Sűrű, összetett mondatot írunk tele információval. Aztán megállunk. Rövid. Aztán ismét nekivágunk egy újabb hosszú építkezésnek.

Az AI ezt nem természetes módon teszi. A nyelvi modellek a legvalószínűbb következő token előrejelzésével generálnak szöveget, és ez a folyamat figyelemreméltóan egységes kimenetet produkál. A mondathosszak szorosan az átlag körül csoportosulnak. A bekezdésszerkezetek ismétlődnek. A szöveg gördülékenyen halad – túl simán.

Ezt közvetlenül mértük. A 200 mintából álló adatkészletünkben az ember által írt tudományos szöveg 8,2 szó mondathosszúságú szórását mutatta. A GPT-4o-ból mesterséges intelligencia által generált szöveg átlagosan 4,1 szó volt. Claude valamivel jobb volt 5,3 szóval. De egyik sem közelítette meg az emberi írás változékonyságát.

Ezt a rést használják ki a detektorok.

Miért alacsony az AI-szöveg burstness

Ha megérti, hogy a mesterséges intelligencia miért ír alacsony sorozatossággal, segít megérteni, miért működik a mérőszám – és hol hibázik.

A nyelvi modelleket a valószínű szöveg előrejelzésére képezik. Egy mondat generálásakor a modell olyan tokeneket választ ki, amelyek illeszkednek a betanítási adatok statisztikai mintáihoz. Az eredmény egy olyan szöveg, amely a medián mondatszerkezetek felé hajlik: nem túl rövid (ami hirtelennek tűnik), nem túl hosszú (ami a koherenciát kockáztatná), hanem következetesen kényelmes középtartományban.

Az emberi írók másként működnek. A hangsúly, a ritmus és az egyes ötletek konkrét igényei alapján írunk. A kritikus megállapítás saját rövid mondatot kap a hatásért. Egy összetett módszertannak hosszabb felépítésre van szüksége, hogy rögzítse az összes mozgó alkatrészt. Ösztönösen alkalmazkodunk, pillanatról pillanatra.

Fáradunk, eltereljük a figyelmünket és izgatottak is leszünk. Kognitív állapotunk ingadozik az írás során. A reggel 8 órakor írt mondatok ritmusa eltér az éjfélkor írt mondatoktól. Az AI-nak nincs ilyen ingadozása.

Az eredmény: az AI szöveg úgy olvasható, mintha egy metronóm írta volna. Az emberi szöveg úgy olvasható, mint a jazz.

Hogyan mérik a detektorok a robbanást

A legtöbb mesterséges intelligencia detektor nem jelenti a kitörést önálló számként. Ez beépül az általános pontszámukba a [zavartság és egyéb mutatók] mellett (/blog/what-is-perplexity-ai-detection). De maga a mérés egyértelmű.

A detektor mondatokra bontja a szöveget. Kiszámolja az egyes mondatok hosszát – általában szavakban, néha jelzőkkel. Ezután kiszámítja ezeknek a hosszaknak a szórását vagy szórását a teljes dokumentumban.

Egyes eszközök továbbmennek. Nemcsak a hosszvarianciát mérik, hanem a bonyolultsági varianciát is – nyomon követik, hogy a mondatok váltakoznak-e az egyszerű, összetett és összetett szerkezetek között. A „Megtaláltuk ezt” és a „Tekintettel a kísérleti terv által támasztott korlátokra, valamint a keresztmetszeti elemzésben rejlő korlátokra, megállapításainkat óvatosan kell értelmezni” szöveg váltakozva, nagy törtséget mutat. Olyan szöveg, ahol minden mondat alany-ige-tárgy-minősítő mintát követ, nem.

A GPTZero ezt szórványdiagramként jeleníti meg – minden mondatot a zavarodottsága és hossza alapján leképeznek. Az emberi szöveg szétszórt, szabálytalan felhőt hoz létre. Az AI-szöveg szűk klasztert hoz létre. A vizuális különbség feltűnő.

A fejlettebb detektorok a bekezdéseken belüli, illetve a bekezdéseken belüli burstnesst is vizsgálják. Az emberi írók általában egyetlen bekezdésen belül változtatják a ritmusukat – szélesen kezdik, konkretizálják, majd rövid következtetéseket vonnak le. Az AI mindig ugyanazt a ritmust tartja fenn.

Kitörés és zavartság: mi a különbség?

Ez a két mérőszám gyakran együtt jelenik meg, és a kutatók gyakran összekeverik őket. Itt a különbségtétel.

A zavarodottság a szószintű kiszámíthatóságot méri. Mennyire lep meg egy nyelvi modellt minden egyes szóválasztás? Az alacsony tanácstalanság azt jelenti, hogy a szavak előre láthatóak voltak. A nagy tanácstalanság azt jelenti, hogy nem.

A burstiness a mondatszintű variációt méri. Mennyiben különböznek egymástól a mondatok hossza és bonyolultsága? Az alacsony burstness egységes mondatokat jelent. A nagy robbanás drámai változatosságot jelent.

Alacsony zavaró lehet a nagy burstness – egy tudományos dolgozat, amely szabványos terminológiát használ, de drámai módon változtatja meg a mondatszerkezetét. Alacsony töredezettség mellett nagy zavartság is lehet – kreatív szöveg szokatlan szókinccsel, de furcsán egységes mondathosszúsággal.

A gyakorlatban a mesterséges intelligencia által generált szöveg mindkét esetben alacsony pontszámot kap. Ez a kombináció a legerősebb érzékelési jel. Az egyetlen mérőszám alapján alacsony pontszámot elérő szöveget sokkal nehezebb a detektorok magabiztosan osztályozni.

Azt tapasztaltuk, hogy a töredezettség valójában a könnyebben javítható mérőszám az írásban. A mondathosszúság változtatása olyan dolog, amit tudatosan megtehetsz. A szószintű kiszámíthatóság megváltoztatása nehezebb, mert a szókincs kiválasztását részletesen újra kell gondolni. A text humanizer mindkettővel foglalkozik, de ha manuálisan szerkeszti, kezdje a töredezettséggel.

Mit jelent ez az Ön tudományos írása szempontjából?

Ha mesterséges intelligencia segítségével készíti el dolgozatait – és ezt több millió kutató teszi –, a burstness a leginkább használható mérőszám. Íme, miért.

Növelheti a töredezettséget a tartalom megváltoztatása nélkül. Az ötletek, érvek és bizonyítékok ugyanazok maradnak. Csak a csomagolás változik. És ellentétben a zavart kiigazításokkal, amelyek néha természetellenesnek tűnő szókincsváltást igényelnek, a töredezettség beállítása a ritmusról és a szerkezetről szól.

A következőket ajánljuk:

Szüntesse meg a monoton mondatfuttatásokat. Olvassa el a piszkozatot, és keressen olyan szakaszokat, amelyekben minden mondat nagyjából azonos hosszúságú. Amikor megtalálod őket – és meg is fogod – írj át egy mondatot nagyon rövidre. Bővítsen egy másikat egy hosszabb, összetettebb konstrukcióval.

Szándékosan használjon töredékeket. A tudományos írás lehetővé teszi alkalmankénti mondattöredékek használatát, ha kiemelésre használják. A „nem jelentős” lehet mondat is. Az "egyértelmű minta" egy hosszabb elemző kijelentést követhet. A töredékek repedést okoznak.

Változtassa meg a bekezdések nyitását. Ha minden bekezdés 12 szavas mondattal kezdődik, törje meg a mintát. Kezdje az egyiket egy kérdéssel. Kezdje a másikat egy háromszavas deklarációval. Kezdje a harmadikat egy alárendelt záradékkal, amely a fő pont elérése előtt épül fel.

Olvasd fel a szöveged hangosan. Ez a legrégebbi írási tanács, aminek oka van. A füled megragadja a ritmikus monotóniát, ami hiányzik a szemednek. Ha az olvasási üteme úgy hangzik, mint egy ketyeg óra – ugyanaz a ritmus, ugyanaz a tempó, ugyanaz a hangsúly –, akkor robbanási problémája van.

A mesterséges intelligencia által támogatott piszkozatok valódi emberi hangzásúvá tételére vonatkozó teljes áttekintésért tekintse meg a [hogyan lehet AI szöveget humanizálni] című útmutatónkat (/blog/how-to-humanize-ai-text).

A burstness, mint észlelési jel korlátai

A robbanás nem tökéletes. Nincs egyetlen mérőszám sem.

Egyes emberi írók természetesen alacsony burstolású szöveget állítanak elő. A műszaki dokumentációnak, a jogi írásnak és bizonyos tudományos részterületeknek vannak olyan konvenciói, amelyek az egységes mondatalkotást részesítik előnyben. Egy hatósági bejelentésnek monotonnak kell hangzania – ez a műfaji követelmény.

15 ember által írt szabályozó tudományos dokumentumot teszteltünk. Burstness pontszámuk megkülönböztethetetlen volt a GPT-4o kimenetétől. Mindegyikük lobogott volna egy csak robbanásszerű detektoron.

A másik oldalon az újabb mesterséges intelligencia modellek egyre jobban utánozzák a robbanást. A Claude és a GPT-4o észrevehetően változatosabb szöveget produkál, mint a GPT-3.5. A szakadék szűkül. Az észlelési eszközöknek az egyszerű varianciaméréseken túl kell fejlődniük, hogy lépést tarthassanak.

Van nyelvi elfogultság is. A nem anyanyelvű angol írók gyakran készítenek kisebb törtségű szöveget – nem azért, mert mesterséges intelligenciát használnak, hanem azért, mert a második nyelven történő írás hajlamos a következetes, begyakorolt ​​konstrukciókat előnyben részesíteni az anyanyelvi beszélő improvizációs variációival szemben.

Ezek a korlátozások nem teszik haszontalanná a burstolást. Egy eszközzé teszik a sok közül. A legjobb észlelési megközelítések – és a legjobb humanizálási megközelítések – a zavartság, az entrópia és a stilisztikai jelzők mellett a robbanást is figyelembe veszik.

Gyakorlati kivonat: tedd roppant az írásod

Az AI-észlelés nem szűnik meg. Az AI által támogatott írás sem. A gyakorlati kérdés az, hogyan készítsünk olyan szöveget, amely tükrözi a tényleges gondolkodást, miközben átadja az intézmények által elfogadott mérőszámokat.

A robbanás konkrét célt ad. Változtasd a mondataidat. Törd meg a ritmust. Hagyja, hogy írása lélegezzen, dadogjon, és nyúljon úgy, ahogy a tényleges emberi gondolkodás teszi az oldalon.

Rövid mondat. Aztán egy hosszú, kidolgozott, ami időbe telik, amíg a lényegre tér, és végigszövi a feltételeket és a minősítéseket. Aztán közepes. Ez nem trükk – valójában így írnak az emberek, amikor elkötelezték magukat az ötleteikkel.

A kutatásod megérdemli, hogy úgy hangozzon, mintha egy gondolkodó embertől származna. Mert sikerült.

Text Humanizer for Academic Writing

Restore natural rhythm and variation to your AI-assisted drafts. Built for researchers who need academic tone preserved.

Gyakran ismételt kérdések

K: Milyen sorozatossági pontszám azt jelenti, hogy a szövegem megfelel az AI-észlelésnek?

Nincs univerzális küszöb, mert minden detektor másként számítja ki és méri a burstnesst. Általában törekedjünk a mondathosszúság szórására 7 szó felett – itt láthatjuk az ember által írt tudományos szövegek csoportosulását a tesztelés során. De a repedés önmagában nem határozza meg az észlelési eredményt. Az eszközök kombinálják a zavartsággal, a szókincs elemzésével és más jelekkel. Koncentráljon arra, hogy szövege valóban változatos legyen, ahelyett, hogy egy adott számot ütne el.

K: Növelhetem a töredezettséget rövid mondatok hozzáadásával?

Néhány rövid mondat hozzáadása segít, de ez önmagában nem elég. A detektorok a mondathosszúságok teljes eloszlását vizsgálják, nem csak a rövidek jelenlétét. Ha 25 mondata átlagosan 18 szóból áll, és hozzáad három 4 szavas mondatot, akkor az általános szórás csak kismértékben növekszik. Mindenütt variációra van szüksége – néhány nagyon rövid, néhány meglehetősen hosszú, a legtöbb valahol a kettő között van, anélkül, hogy a disztribúció nyilvánvaló mintája lenne.

K: A burstness fontosabb, mint a zavartság az AI észleléséhez?

Egyik mérőszám sem dominál önmagában. Tesztelésünk során mindkét metrikán alacsony pontszámú szövegeket jelöltük meg a legkövetkezetesebben – az esetek több mint 90%-ában mind az öt értékelt detektoron. Az esetek körülbelül 40%-ában megjelölték az alacsony zavarodottságú, de nagy töredezettségű szövegeket. A nagy zavarodottságú, de alacsony töredezettségű szövegek 35% körül jelezték. A kombináció többet jelent, mint bármelyik mérőszám külön-külön.

K: Valamennyi AI-modell alacsony sorozatú szöveget ad?

A legtöbben igen, de a mértéke változó. A GPT-3.5 észrevehetően laposabb szöveget produkált, mint a GPT-4o. Claude valamivel nagyobb burstness felé hajlik, mint a GPT modellek teszteléseink során. Azonban a főbb modellek egyike sem felel meg az emberi írás töredezettségi tartományának anélkül, hogy a mondatszerkezet megváltoztatására késztetne. Még ilyen felszólítás ellenére is a variáció mesterségesnek tűnik – inkább programszerűnek, mint szervesnek.