Az AI humanizer, amely megőrzi a tudományos hivatkozásokat

Egy béta programunkban posztdoktor kutató küldött nekünk egy képernyőképet, aki egy nyílt hozzáférésű immunológiai folyóirathoz készülte az anyagát. Pont ez az a fajta eset, amely megmutatja, miért más termék egy olyan AI humanizer, amely megőrzi a tudományos hivatkozásokat, mint egy általános célú megoldás. A hölgy a visszautasító e-mailben az alábbi indokot kapta kéziratleadáskor: nem megfelelő hivatkozásformázás. A hivatkozáslistáját megnéztük, és rendben volt.

Megnyitotta az absztraktot is, hogy kiderüljön, mi a probléma, és meg is találtuk. Az absztraktban az emberi átfogalmazás (humanizálás) előtt szerepelt egy szövegközi APA-hivatkozás, ami így nézett ki: "(Nakamura et al., 2024)". A kipróbált népszerű humanizer azonban erre változtatta: "ahogyan Nakamura és munkatársai a 2024-es tanulmányukban kimutatták." Ez szépen hangzó megfogalmazás, csakhogy ez már más hivatkozás. A szerkesztő szűrőeszköze észrevette, hogy az absztraktban történetmesélő hivatkozás nem egyezik a tanulmány többi részében szereplő zárójeles (parentetikus) hivatkozásokkal.

Nyitott kérdés, hogy az eredmény valóban két hetes késést okozott-e az absztrakt benyújtásakor egy olyan stílusbeli helyettesítés miatt, amelyet a humanizer javításként értelmezett.

2025 eleje óta követjük ezt a problémát. Egy kontrollált tesztben 200 humanizált tudományos bekezdést vizsgáltunk, amelyek szövegközi hivatkozásokat tartalmaztak: a Phrasly az esetek 47 százalékában megváltoztatta a hivatkozásformázást, az Undetectable.ai az esetek 53 százalékában, a Quillbot humanizere pedig 38 százalékban. Ráadásul gyakrabban „piszkálják meg” olyan részeket is, amelyek megítélésünk szerint a legfontosabb elemei egy akadémiai cikknek: a hivatkozáslista rekordokat kurzív betűkkel, valamint a DOI-kkal. A legtöbb szerző még csak nem is ellenőrzi ezeket.

A legtöbb humanizert tartalommarketingeseknek készítik: blogposztokhoz és SEO-termékleírásokhoz. Az akadémiai prózában azonban van egy olyan szerkezeti követelmény, amelyet egyetlen marketingközpontú eszköz sem tervezett tiszteletben tartani: a hivatkozásnak az átfogalmazás után is sértetlenül fenn kell maradnia.

A bejegyzés bemutatja, miért jelent ténylegesen más terméket az olyan ai humanizer, amely megőrzi a tudományos hivatkozásokat, mint az általános célú humanizer; azt, hogy a hivatkozás-tudatos megőrzés a „motorháztető alatt” pontosan mit jelent; mi a négy lehetséges kutatói következmény, ha ez elromlik; valamint azt az 5 perces tesztet, amelyet bármely humanizeren lefuttathatsz, mielőtt egy kéziratban megbíznál benne.

Mi az a hivatkozásokat megőrző AI humanizer?

A hivatkozásokat megőrző AI humanizer a rewrite (átfogalmazás) előtt kinyeri a szövegközi hivatkozásokat, a hivatkozáslista elemeit, a statisztikai kifejezéseket és az egyenletcímkéket, majd a rewrite után szó szerint visszahelyezi őket, így az APA, MLA és IEEE hivatkozások érintetlenül megmaradnak. A generikus humanizálók ezt a lépést kihagyják, és a hivatkozásokat egyszerű, hétköznapi tokeneknek tekintik – ezért az általunk tesztelt tudományos bekezdések 38–53 százalékában a Phrasly, az Undetectable.ai és a Quillbot megváltoztatta a hivatkozásformázást. Ellenőrizheted, hogy egy eszköz valóban hivatkozás-tudatos-e, ha lefuttatsz rajta egy 5 perces tesztet az ingyenes csomagban.

Mit csinál egy hivatkozás-tudatos AI humanizer, hogy a hivatkozásaid sértetlenek maradjanak?

A generikus humanizer a szöveget egy tokenláncként kezeli, amelyet különböző módokon újraírt, „felszíni” értelemben más szöveget hoz létre. Ez azt jelenti, hogy bármi bekerülhet a rewrite célpontjai közé – akkor is, ha zárójelben áll (pl. egy hivatkozás), kurzivált (pl. folyóiratcím), egy rövidítés (pl. a DOI), vagy egyenletcímke illetve statisztikai kifejezés.

A hivatkozás-tudatos humanizer bizonyos elemeket érintetlenül hagy. Ezekkel „kijátssza” a rewrite-et. Konkrétan felismeri:

• Szövegközi, zárójeles hivatkozások. "(Smith, 2024)", "(Smith & Jones, 2024)", "(Smith et al., 2024, p. 47)", "[12]", illetve az APA, MLA, Chicago, IEEE, Harvard, Vancouver, Turabian és AMA formátumokban előforduló tucatnyi eltérő változat.
• Hivatkozáslista-elemeket. Kurzívan szedett folyóiratcímek, az évfolyam és szám közötti írásjelek, ampersand (&) az "and"-del szemben, mondatszavas (sentence-case) vs. cím-szavas (title-case) cikkcímek, valamint minden olyan sor, amely DOI-val végződik.
• Statisztikai kifejezéseket. "p < 0.01," "95% CI [0.34, 0.58]," "n = 1,247," valamint a konfidenciaintervallumok, odds arányok és hatásméretek jelentésére vonatkozó konvenciókat.
• Technikai jelöléseket. Egyenletcímkék (Eq. 3), ábrahivatkozások (Fig. 2a), táblázathivatkozások (Table 1), és a kéziratodban arra használt keresztutalási jelölők, amelyek segítenek navigálni köztük.
• Diszciplináris szókincset. Módszernévek ("PRISMA"), eszköznevek ("CRISPR-Cas9"), vizsgálatregisztrációk ("ClinicalTrials.gov NCT03945383"), valamint azok a tulajdonnevek, amelyeket a rewrite-nek nem szabad érintenie.

Ezek nem peremesetek. A szerkesztői adatkészletünkben az átlagos 6 000 szavas kézirat 47 szövegközi hivatkozást, 11 statisztikai kifejezést és 6 egyenlet- vagy ábrahivatkozást tartalmaz. Ha egy humanizer ezekből akár csak 10 százalékot is megbolygat, akkor papíronként 6–7 olyan hibát okoz, amelyet a beadás előtt manuálisan kell megtalálni és javítani.

Hogyan rontják el az AI humanizálók az APA, MLA és IEEE hivatkozásokat?

A tesztjeinkben a hivatkozás-„vak” humanizálók minden alkalommal három módon bomlanak szét.

1. hibamód: a szövegközi hivatkozások narratív formára íródnak át. A cikk elején említett Nakamura-eset. A "(Smith, 2024)" átalakul "ahogyan Smith 2024-ben kimutatta" vagy "Smith 2024-es tanulmánya azt sugallta" formára. Az új próza természetesebben illeszkedik a humanizer betanítási eloszlásához. Megváltoztatja a hivatkozás típusát (a zárójelesből narratívvá), ezért a legtöbb folyóirat utasításai szerint következetesen kell használni a bekezdésen vagy a szakaszon belül, és megváltoztatja a feltételezett szerzői hangot is. A szerkesztők észreveszik.

2. hibamód: hivatkozáslista-formázás átírása. A hivatkozásbejegyzés: "Smith, J. (2024). The structure of Cell, 187(5), 945-961. Https://doi.org/10.1016/j.cell.2024.05.012". A rewrite során a folyóiratcím kurziválása lekerül, az évfolyamszám elveszíti a kiemelését, a DOI-előtag megváltozik, vagy a vesszők és írásjelek a szerzői kezdőbetűk és az év között egy másik stílusra normalizálódnak. Műszakilag a hivatkozás még feloldódik, de már nem illeszkedik az APA 7 sablonhoz. A korrektorok jelzik.

3. hibamód: sérült (megkínzott) szófordulatok a védett tartalom körül. A Cabanac Problematic Paper Screener több mint 19 000 olyan cikket jelzett, amelyekben azokat a szinonimacserélési mintákat találták meg, amelyeket a parafrázis-alapú humanizálók generálnak. Joined Together States for United States. Bosom peril for breast cancer. Renal disappointment for kidney failure. Ezek a sérült szófordulatok a cikkeinkben tesztadathalmazunk körül jelennek meg, így maga a hivatkozás még akkor is nehezebben lesz elhihető a szerkesztők számára, ha a hivatkozás szövege egyébként sértetlenül fennmaradt. A Problematic Paper Screener (Cabanac, Labbe, and Magazinov) ma már több kiadónál használatos arra, hogy a szerkesztői átvilágítás előtt jelezze a problémás kéziratokat.

A három hibamód összeadódik. A generikus humanizer által visszaadott cikk tele lesz (1. mód) narratív újraírású szövegközi hivatkozásokkal, (2. mód) újraformázott hivatkozáslistával és (3. mód) sérült környező prózával. A kutatónak mindent vissza kell állítania a humanizálás előtti állapotba, ami 90 perces munka. Hogy ez megérte-e, nyitott kérdés.

Miért nehéz egy AI humanizer számára a hivatkozások megőrzése?

A legtöbb humanizer nem kezeli megfelelően a hivatkozásokat, mert az alapul szolgáló nyelvi modell nem tudja, mi az a hivatkozás. Csak tokenláncként kezeli őket – ugyanúgy, mint bármely más szövegrészletet: ("(Smith, 2024)"). Ha azt kéred a tokenizálótól, hogy "őrizze meg a hivatkozásokat", akkor ezt megteszi… bizonyos mértékig. De az alapmodell célja a folyékony próza előállítása. Ha a két cél között konfliktus lép fel, a modell általában a folyékony prózát részesíti előnyben.

Ez a probléma megoldható egy hivatkozás-tudatos humanizerrel. A rewrite előtt lefuttatunk egy kinyerési fázist, amelyben azonosítjuk a hivatkozásterületeket, a statisztikai kifejezéseket, az egyenletcímkéket és a hivatkozáslista elemeit, majd ezeket a humanizálási lépésben helyőrzőkkel váltjuk ki. Ezután a folyamat végén szó szerint visszahelyezzük az eredeti szakaszokat. Így a modell soha nem látja a hivatkozást abban a formában, amelyet potenciálisan át tudna írni.

Ez ugyanaz a mechanizmus, amely lehetővé teszi, hogy gépi fordításban helyes választ kapjunk, ha a mondatban szerepel egy személy neve, egy márkanév vagy egy szám. Ugyanez a logika érvényes a humanizálásra is: ha megvédünk valamit a generatív fázistól, akkor jobb helyzetben vagyunk, mintha azt próbálnánk elérni, hogy a generatív fázis legyen elég körültekintő.

Mi a négy kutatói következmény, ha elromlik?

Egy hivatkozás-vak humanizer költsége a kutató számára négyféleképpen jelentkezik. Mindegyiket láttuk az elmúlt 18 hónapban.

1. következmény: technikai jellegű elutasítás (szűrés). Egy folyóirat automatizált szűrése észreveszi az eltérést az átfogalmazott absztrakt hivatkozásai és a hivatkozáslista között. A cikk peer review előtt visszakerül a szerzőkhöz. Legjobb eset: két hét késés. Legrosszabb eset: a probléma más módosításokkal összeadódik, és a kézirat kiesik a publikálási ablakból.

2. következmény: a recenzens gyanúja a gyártásra (fabrication). A recenzens lát egy szövegközi hivatkozást, amely nem egyezik a hivatkozáslista bejegyzésével, vagy egy zárójeles hivatkozás olyan szövegként kerül átírásra, ami beépül a mondatba. A recenzens természetesen arra következtet, hogy a szerző nem olvasta az eredeti forrást. Ez ma már a leggyakoribb módja annak, hogy a mi általunk auditált kéziratoknál "major revisions" vagy "reject" döntés szülessen.

3. következmény: integritás-figyelmeztetés egy sérült szófordulat-szűrőből. A hivatkozás körül megjelenő szinonimapótlási mintákat a Cabanac szűrő vagy egy kiadó belső verziója detektálja. A cikket kutatási integritás-ellenőrzésre küldik. Ez akkor is hetek késleltetést fog hozzáadni, ha az alapcikk amúgy jó. Ráadásul nyomot hagy a szerző nevének reputációján is.

4. következmény: visszavonás publikálás után. Ritka, de nem elméleti. A publikálás utáni auditálások olyan, humanizálók által bevezetett sérült szófordulatokat vagy hivatkozás-átírásokat találtak, amelyeket a szerkesztői folyamat során nem sikerült észrevenni, ami visszavonásokhoz vezetett. Az eddigi tapasztalatok szerint a Problematic Paper Screener több mint 1000 visszavonásban segített, ezek egy töredéke olyan mintákat érint, amelyeket a humanizer idézett elő.

A mérleg nyilvánvalóan egyoldalú. A folyékony átírásból származó nyereség kicsi: csak csekély mértékben csökkentheti az AI-detektálást, ami sok esetben ártalmatlan lesz. A hivatkozás-széttöréshez kapcsolódó veszteség viszont nagy: késés, gyanú, integritás-figyelmeztetés vagy még rosszabb esetben visszavonás. A hivatkozás-tudatos humanizer elkerüli ezt a veszteséget úgy, hogy a nyereség megmarad.

Hogyan tesztelj bármely humanizert a hivatkozásmegőrzésre 5 perc alatt?

Ez az a teszt, amelyet minden új humanizerre lefuttatunk, amely piacra kerül. 5 percet vesz igénybe, és csaknem bármely eszköz ingyenes csomagjában ingyen elvégezhető.

1. lépés. Másold be a következő bekezdést a választott humanizerbe. Olyan szöveget tartalmaz, amelyben a négy leggyakoribb hivatkozási formátum és egy statisztikai kifejezés szerepel.

The intervention reduced symptoms in 64% of participants
(Smith, 2024). Other studies (Jones & Lee, 2023; Patel et al.,
2024, p. 47) reported comparable effects. A recent meta-analysis
[12] confirmed the pattern across populations (n = 1,247,
p < 0.01). The mechanism remains debated; see Reference 14 for
a competing interpretation.

2. lépés. Olvasd el a humanizált kimenetet. Ellenőrizd, hogy mindegyik elem sértetlenül fennmaradt-e:

• A zárójeles "(Smith, 2024)" pontosan ugyanúgy.
• A több szerzős "(Jones & Lee, 2023; Patel et al., 2024, p. 47)" pontosan ugyanúgy, beleértve az ampersandot, a pontosvesszőt és az oldalszámot.
• A számozott hivatkozás "[12]" pontosan ugyanúgy.
• A statisztikai kifejezés "n = 1,247, p < 0.01" pontosan ugyanúgy.
• A keresztutalás "Reference 14" úgy, hogy nincs parafrazálva "a tizennegyedik hivatkozásra" vagy hasonlóra.

3. lépés. Ha az öt elem közül bármelyik megváltozott, akkor a humanizer nem hivatkozás-tudatos abban az értelemben, ami számít az akadémiai írás számára. Használd marketing-szövegen, ne kéziraton.

4. lépés. Futtass le egy második bekezdést is, amely tartalmaz egy hivatkozáslista-bejegyzést kurzívval és DOI-val:

Smith, J., & Jones, K. (2024). The structure of cellular
respiration in mitochondrial disease. Nature Reviews Molecular
Cell Biology, 25(3), 187-203. https://doi.org/10.1038/s41580-024-00712-3

Ellenőrizd, hogy a kurzív, az ampersand, az évfolyam-szám formátuma és a DOI URL-je mind sértetlenül megmaradt-e. Az a humanizer, amely képes kezelni a szövegközi hivatkozásokat, de nem a hivatkozáslista bejegyzéseket, „félig biztonságos”. A kéziratodhoz a teljes garancia kell.

5. lépés. Futtass le egy végső tesztet egy, a saját kéziratodból származó bekezdésen. Azok az eszközök, amelyek mesterséges bemeneten jól működnek, elbukhatnak a valós prózán, ahol sűrűbb a hivatkozási struktúra. Ne bízz semmilyen humanizerben határidő előtt anélkül, hogy validálnád a saját szövegeden.

Rögzítjük a saját humanizerünk teljesítményét ezen a teszten a humanizer rangsoroló oldalon, valamint megnevezett versenytársakkal összevetve is a Phrasly vs Undetectable.ai összehasonlítás során. Az eredményeink azért hasonlíthatók össze az eszközök között, mert mindkét bejegyzés ugyanazt a tesztmódszert használja, amelyet fentebb leírtunk. Ha azt is szeretnéd látni, hogy a parafrazáló eszközök (más kategória) hogyan teljesítenek ugyanennek a kihívásnak a kezelésében, vagyis a hivatkozások megőrzésében, lásd a parafrázisokról szóló megjegyzésünket: megőrzi a hivatkozásokat. Ez ugyanennek az architekturális mintának a parafrazáló oldalát fedi le.

Gyakran ismételt kérdések

K: Miért rontják el a legtöbb AI humanizer az akadémiai hivatkozásokat?

Ezeket tartalommarketingeseknek tervezték, nem kutatóknak. A generikus humanizálók az összes tokent potenciális rewrite-jelöltnek tekintik, ezért a szövegközi hivatkozások narratív szöveggé alakulnak át, a hivatkozáslista bejegyzéseknél a kurzív eltűnik, a központozás normalizálódik, a sérült szófordulatokhoz pedig szinonimák köré épülő minták gyűlnek össze a hivatkozás körül. Ezt egy hivatkozás-tudatos humanizer oldja meg: a rewrite előtt kinyeri a hivatkozásokat, majd utána visszailleszti őket.

K: Elég egy hivatkozás-tudatos humanizer ahhoz, hogy a cikkem „detektálhatatlan” legyen?

A hivatkozásmegőrzés és a detektálás kikerülése két külön probléma. Egy hivatkozás-tudatos humanizer célja, hogy megőrizze a hivatkozásaidat, miközben olyan felszíni variációkat is bevezet, amelyekre a detektorok keresnek. A humanizer környező szöveget átíró agresszivitási szintje befolyásolja a detektálási pontszámot, de nincs hatással arra, milyen gyakorisággal kezeli a hivatkozásokat. A legtöbb hivatkozás-tudatos humanizer jól teljesít a detektálás kikerülésében. Nézd meg annak az eszköznek a benchmark detektálási pontszámait, amelyet használsz (ezeknek publikálva kell lenniük), valamint azt, milyen arányban kezeli a hivatkozásokat.

K: Ki tudom-e csak úgy olvasni a hivatkozásaimat kézzel a humanizálás előtt?

Igen, egyes kutatók így tesznek. A folyamat röviden: a kérdéses kéziratot bemásolod egy dokumentumba, és kézzel minden egyes hivatkozást helyőrzőre cseréled ("[CITE_001]"), humanizálsz, majd visszailleszted az eredeti hivatkozásokat. Kevés szövegnél ez működik. Egy teljes kézirat esetén a manuális munka több időt vehet igénybe, mint maga a humanizálási lépés. Nagyon könnyű a helyőrzőket elejteni a humanizálás közben. Ha a feladat több mint pár percig tart, érdemes automatizálni egy eszközzel. Minden 1500 szónál hosszabb dokumentum hasznot húzhat abból, ha a jelen bejegyzésben ismertetett pipeline-t egy eszközzel automatizálod.

K: Hogyan tudom megállapítani, hogy a humanizer valóban hivatkozás-tudatos, vagy csak ezt állítja magáról?

Végez el egy, az előző szakaszban leírt 5 perces tesztet. Másolj be egy vegyes APA-, számozott és statisztikai hivatkozásokat tartalmazó bekezdést, majd futtasd át az eszközön. Ha minden elem pontosan úgy jelenik meg, ahogy a bemenetben volt, akkor a humanizer hivatkozás-tudatos. Ha bármiben bármi változik, akkor a "hivatkozás-tudatos" címke pusztán marketing. A legtöbb eszköz, amely magát a marketinganyagában hivatkozásmegőrzőként hirdeti, valójában nem valósította meg a pipeline kinyerési részét; ez a teszt segít kideríteni, melyeknél van ténylegesen.

K: Számít ez a témavezetőmnek beadott szakdolgozati fejezeteknél is, vagy csak folyóiratcikkeknél?

Mindkettőnél számít, csak más okokból. Folyóiratcikkeknél az inkonzisztens hivatkozások technikai jellegű elutasításhoz vezethetnek. Szakdolgozati fejezeteknél a következmény az, hogy a témavezetőd vagy a bizottságod látja a hivatkozások „eltolódását”, és úgy értelmezi, hogy ez vagy AI-használatra, vagy gondatlanságra utal, majd integritási aggályt vet fel, illetve újramunkálást kér a fejezetben. Ez az eltérés olyan kicsi, hogy balesetnek tűnhet, de eléggé következetes ahhoz, hogy egy figyelmes olvasó észrevegye. A hivatkozás-tudatos humanizer mindkét kontextusban megszünteti a hibamódot.