AI humanizér, který zachovává akademické citace

Z beta kohorty jsme obdrželi screenshot od postdoka, který připravoval submission pro open-access imunologický časopis, a přesně takové případy ukazují, proč je AI humanizér zachovávající akademické citace odlišným produktem než obecně použitelný. Dostala desk rejection s následujícím důvodem v e-mailu: „nekonformní formátování referencí“. V její bibliografii bylo vše v pořádku. Otevřela abstrakt, aby zjistila, kde je problém, a našla jej. V abstraktu byla před humanizací citace v textu ve formátu APA: "(Nakamura et al., 2024)". Po vyzkoušení populárního humanizéru se však změnila na "as Nakamura and colleagues showed in their 2024 study." To je krásně napsaná věta, ale jde o jinou citaci.

Redaktorův screeningový nástroj si všiml, že vyprávěcí odkaz v abstraktu nekoresponduje s odkazováním v závorkách na jiných místech v článku. Zda výsledkem byl dvoutýdenní odklad odeslání abstraktu kvůli stylistické substituci, kterou humanizér vyhodnotil jako zlepšení, zůstává otevřenou otázkou.

S tímto problémem sledujeme od začátku roku 2025. V kontrolovaném testu jsme spustili 200 humanizovaných akademických odstavců, které obsahovaly citace v textu: Phrasly pozměnil formátování citací v 47 % případů, Undetectable.ai v 53 % případů a humanizér od Quillbotu v 38 %. Ještě častěji se nástroje dotýkají, podle všeho těch, nejdůležitějších prvků akademického textu: záznamů v seznamu literatury s kurzivou a DOIs, které většina autorů ani neobtěžuje kontrolovat. Většina humanizérů byla vytvořena pro obsahové marketéry, kteří píší blogové příspěvky a SEO popisy produktů. Akademické psaní ale má strukturální požadavek, který žádný marketingový nástroj nebyl navržen respektovat: citace musí přežít přepis bez újmy.

Článek vysvětluje, proč je „AI humanizér, který zachovává akademické citace“ smysluplně odlišný produkt od obecného humanizéru, jak reálně vypadá zachování „aware“ citací pod kapotou, čtyři důsledky pro výzkumníky, když věci zůstanou nedořešené, a test na pět minut, který lze provést na libovolném humanizéru dřív, než mu svěříte rukopis.

Co je AI humanizér, který zachovává akademické citace?

AI humanizér zachovávající akademické citace extrahuje citace v textu, záznamy v seznamu literatury, statistické výrazy a popisky rovnic ještě před přepisem, a poté je doslova znovu vloží, takže reference ve stylu APA, MLA a IEEE zůstanou zachované. Obecné humanizéry tento krok přeskočí a berou citace jako obyčejné tokeny, právě proto nástroje jako Phrasly, Undetectable.ai a Quillbot měnily formátování citací v 38 až 53 % akademických odstavců, které jsme testovali. Můžete si ověřit, zda je jakýkoli nástroj skutečně „citation-aware“, pomocí pětiminutového testu na jeho bezplatné úrovni.

Co dělá citation-aware AI humanizér, aby vaše citace zůstaly neporušené?

Obecný humanizér bere text jako sérii tokenů, které přepíše různými způsoby tak, aby vytvořil něco jiného na povrchu. To znamená, že cokoli v textu, i když jde o závorkový údaj (např. reference), kurzivovaný prvek (např. název časopisu), akronym (např. DOI) nebo popisek rovnice či statistický výraz, je pro přepis „fer“.

Citation-aware humanizér některé věci nechá nedotčené. Obchází je. Konkrétně rozpozná:

• Citace v textu v závorkách. "(Smith, 2024)", "(Smith & Jones, 2024)", "(Smith et al., 2024, p. 47)", "[12]" a desítky variant formátů napříč APA, MLA, Chicago, IEEE, Harvard, Vancouver, Turabian a AMA.
• Záznamy v seznamu literatury. Kurzivované názvy časopisů, interpunkce mezi volume a issue, ampersandy vs. "and," sentence-case vs. title-case u názvů článků a každý řádek, který končí DOI.
• Statistické výrazy. "p < 0.01," "95% CI [0.34, 0.58]," "n = 1,247," a konvence pro uvádění intervalů spolehlivosti, odds ratio a velikostí efektu.
• Technickou notaci. Popisky rovnic (Eq. 3), reference na obrázky (Fig. 2a), reference na tabulky (Table 1) a křížové odkazy, které váš rukopis používá k navigaci mezi nimi.
• Odbornou slovní zásobu. Názvy metod ("PRISMA"), názvy přístrojů ("CRISPR-Cas9"), registrace klinických studií ("ClinicalTrials.gov NCT03945383") a vlastní podstatná jména, do kterých se přepis nemá pouštět.

To nejsou marginální okrajové případy. V našem editačním datasetu má průměrný rukopis o 6 000 slovech 47 citací v textu, 11 statistických výrazů a 6 odkazů na rovnice či obrázky. Humanizér, který se dotkne byť jen 10 % z nich, vyrobí 6 až 7 chyb na rukopis, a ty je nutné před odesláním dohledat a ručně vrátit.

Jak AI humanizéry rozbíjejí citace APA, MLA a IEEE?

V našich testech citation-blind humanizéry selžou pokaždé třemi způsoby.

Režim selhání 1: citace v textu přepsané do vyprávěcí formy. Nakamurův případ z úvodu tohoto článku. „(Smith, 2024)“ se změní na „as Smith demonstrated in 2024“ nebo „Smith's 2024 study suggested“. Nová věta zní přirozeněji pro tréninkové rozložení humanizéru. Změní typ citace (ze závorkové na vyprávěcí), a proto ji je třeba používat konzistentně v rámci celého odstavce či sekce podle pokynů většiny časopisů; zároveň se tím změní i implicitní autorský hlas. Editoři to poznají.

Režim selhání 2: přeformátování záznamů v seznamu literatury. Záznam reference „Smith, J. (2024). The structure of Cell, 187(5), 945-961. Https://doi.org/10.1016/j.cell.2024.05.012“ se přepíše tak, že se z něj odstraní kurziva u názvu časopisu, ztratí se důraz u čísla volume, změní se prefix DOI nebo se normalizuje interpunkce mezi iniciálami autora a rokem na jiný styl. Technicky se reference stále „rozliší“, ale už neodpovídá šabloně APA 7. Copyeditory to zvedne.

Režim selhání 3: „tortured phrases“ kolem chráněného obsahu. Cabanac Problematic Paper Screener označil více než 19 000 článků, které obsahují vzory substituce synonym, jež paraphrázové humanizéry vytvářejí. Joined Together States for United States. Bosom peril for breast cancer. Renal disappointment for kidney failure. Takové „tortured phrases“ obklopují náš testovací dataset, a editorům pak ztěžují důvěru v citaci, i když sama citace přežila neporušená. Problematic Paper Screener (Cabanac, Labbe, and Magazinov) nyní používá několik vydavatelů k označení článků pro redakční kontrolu ještě před peer review.

Tři selhání se sčítají. Článek, který vrátí obecný humanizér, je plný citací přepsaných do vyprávěcí formy (režim 1), přeformátovaných záznamů reference (režim 2) a zmučené okolní prózy (režim 3). A výzkumníkovi trvá 90 minut, než to celé vrátí do stavu před humanizací. Zda to stálo za to, zůstává otevřenou otázkou.

Proč je pro AI humanizér tak těžké zachovat citace?

Většina humanizérů necítí citace správně, protože základní jazykový model „nev“í, co je to citace. Bere je pouze jako jakoukoli jinou sekvenci tokenů (tj. "(Smith, 2024)"). Když si dáte tokenizeru požadavek „preserve citations“, udělá to… do jisté míry. Základní model ale byl natrénován tak, aby generoval plynulou prózu. Když dojde ke konfliktu mezi těmito cíli, model obvykle preferuje plynulou prózu.

Tento problém lze vyřešit citation-aware humanizérem. Před přepisem spouštíme extrakční fázi, ve které identifikujeme úseky citací, statistické výrazy, popisky rovnic a položky seznamu literatury. Ty v passu humanizace nahradíme placeholdery a poté původní úseky doslova znovu vložíme. Tím se náš model nikdy nedostane k citaci v podobě, ve které by ji mohl přepsat.

Jde o stejnou architekturu, která nám umožňuje získat správnou odpověď ve strojovém překladu, pokud je ve větě jméno osoby, název značky nebo číslo. Stejná logika platí i pro humanizaci: pokud něco ochráníte před generativním pass, jste na tom lépe než když po generativním pass budete chtít opatrnost.

Čtyři důsledky pro výzkumníky, když to selže

Cena citation-blind humanizéru pro výzkumníka se projeví čtyřmi způsoby. Všechna tato selhání jsme už v minulých 18 měsících viděli.

Důsledek 1: technické zamítnutí ve screeningu. Automatizovaný screening časopisu zachytí nekonzistenci mezi citacemi v přeformátovaném abstraktu a seznamem literatury. Rukopis se před peer review vrací autorům. V nejlepším případě jde o dvoutýdenní zpoždění. V nejhorším případě se problém „nasčítá“ s dalšími revizemi a rukopis vypadne z publikačního okna.

Důsledek 2: podezření recenzenta z falzifikace. Recenzent uvidí citaci v textu, která se liší od záznamu v seznamu literatury, nebo závorkovou citaci přepsanou v rámci textu. Přirozeně pak předpokládá, že autor si zdroj nepřečetl. Teď je to nejčastější způsob, jak u recenzí, které auditujeme, skončit rozhodnutím typu „major revisions“ nebo „reject“.

Důsledek 3: upozornění na integritu ze screeneru založeného na „tortured phrases“. Vzory substituce synonym kolem citace detekuje Cabanac screener nebo interní verze vydavatele. Článek jde na kontrolu integritu výzkumu. To přidá týdny zpoždění i v případě, že původní článek byl dobrý. Zároveň to zanechá stopu i na jménu autora.

Důsledek 4: retrakce po publikaci. Vzácné, ale ne teoretické. Post-publication audit zachytil články, u nichž „tortured phrases“ nebo přepisy citací zavedené humanizéry nebyly odhaleny během redakčního procesu, což vedlo k retrakcím. Doposud pomohl Problematic Paper Screener v pro více než 1 000 retrakcí; jde o zlomek případů, v nichž se objevují vzory způsobené humanizérem.

Rovnováha je nakloněná. Zisk z plynulejšího přepisu je nízký: vede k mírnému poklesu skóre detekce AI, což bude v mnoha případech neškodné. Ztráta při rozbití citací je ale vysoká: zpoždění, podezření, upozornění na integritu, případně ještě hůř, retrakce. Citation-aware humanizér ztrátu eliminuje a zároveň si ponechá zisk.

Jak otestovat libovolný humanizér pro zachování citací za 5 minut

Tohle je test, který spouštíme na každém novém humanizéru, který se objeví na trhu. Trvá pět minut a téměř na jakémkoli toolu jej můžete udělat zdarma v jeho free tier.

Krok 1. Zkopírujte následující odstavec do humanizéru, který si vyberete. Obsahuje čtyři nejběžnější formáty citací a statistický výraz.

The intervention reduced symptoms in 64% of participants
(Smith, 2024). Other studies (Jones & Lee, 2023; Patel et al.,
2024, p. 47) reported comparable effects. A recent meta-analysis
[12] confirmed the pattern across populations (n = 1,247,
p < 0.01). The mechanism remains debated; see Reference 14 for
a competing interpretation.

Krok 2. Přečtěte si humanizovaný výstup. Zkontrolujte, zda přežil každý z těchto prvků:

• Závorková citace „(Smith, 2024)“ přesně.
• Víceautorská citace „(Jones & Lee, 2023; Patel et al., 2024, p. 47)“ přesně, včetně ampersandu, středníku a čísla stránky.
• Číslovaná reference „[12]“ přesně.
• Statistický výraz „n = 1,247, p < 0.01“ přesně.
• Křížový odkaz „Reference 14“ nepřepsaný do „the fourteenth reference“ nebo podobně.

Krok 3. Pokud se cokoliv z těch pěti prvků změnilo, humanizér není citation-aware ve smyslu důležitém pro akademické psaní. Používejte ho na marketingový text, ne na rukopis.

Krok 4. Spusťte druhý odstavec, který obsahuje záznam seznamu literatury s kurzivou a DOI:

Smith, J., & Jones, K. (2024). The structure of cellular
respiration in mitochondrial disease. Nature Reviews Molecular
Cell Biology, 25(3), 187-203. https://doi.org/10.1038/s41580-024-00712-3

Zkontrolujte, zda přežily kurziva, ampersand, formát volume-issue a DOI URL. Humanizér, který zvládne citace v textu, ale ne záznamy v seznamu literatury, je jen „napůl bezpečný“. Váš rukopis vyžaduje plnou garanci.

Krok 5. Spusťte finální test na odstavci z vlastního rukopisu. Nástroje, které fungují na umělém vstupu, mohou selhat na reálné próze s hustšími vzory citací. Nespoléhejte na žádný humanizér pro deadliny, dokud jej nepotvrdíte vůči vlastnímu textu.

Dokumentujeme vlastní humanizér vůči tomuto testu na naší stránce s žebříčkem humanizérů i vůči pojmenovaným konkurentům. V rámci toho srovnáváme Phrasly vs Undetectable.ai na srovnávací stránce. Naše čísla jsou porovnatelná mezi nástroji, protože oba články používají stejnou testovací metodiku popsanou výše. Pokud se chcete podívat, jak si paraphrázovací nástroje (jiná kategorie) vedou při zachování citací, tedy na stejné výzvě, přečtěte si naši poznámku k paraphrázování, které zachovává citace. Ta pokrývá paraphrázovací stránku stejného architektonického vzoru.

Nejčastější dotazy

Otázka: Proč většina AI humanizérů rozbíjí akademické citace?

Byly navrženy pro obsahové marketéry, ne pro výzkumníky. Obecné humanizéry považují všechny tokeny za potenciální kandidáty na přepis, takže citace v textu se převedou do vyprávěcí podoby, záznamy v seznamu literatury přijdou o kurzivu a normalizuje se interpunkce; a synonyma pro „tortured phrases“ se shluknou okolo citace. Tomuto problému se vyhnete citation-aware humanizérem, který před přepisem extrahuje citace a po něm je vloží zpět.

Otázka: Je citation-aware humanizér dostatečný k tomu, aby byl můj článek nedetekovatelný?

Zachování citací a obcházení detekce jsou odlišné problémy. Cílem citation-aware humanizéru je zachovat vaše citace, a přitom stále zavést druhy povrchových variací, které detektory vyhledávají. Míra agresivity, s jakou humanizér přepisuje okolní text, určuje výsledné skóre detekované citace, ale neovlivňuje rychlost, s jakou zachází s citacemi. Většina citation-aware humanizérů funguje dobře pro obcházení detekce. Ověřte si benchmark detekční skóre používaného nástroje (mělo by být publikované) a také míru, s jakou zachází s citacemi.

Otázka: Můžu si citace jen vyextrahovat ručně před humanizací?

Ano, někteří výzkumníci to dělají. Postup je: zkopírujte rukopis do dokumentu a ručně nahraďte každou citaci placeholderem ("[CITE_001]"), humanizujte a poté znovu vložte původní citace. Funguje to pro menší množství textu. V případě celého rukopisu může ruční práce trvat déle než samotná humanizace. Je velmi snadné během humanizace placeholdery přehlédnout a ztratit. Pokud to celé trvá déle než pár minut, zvažte automatizaci pomocí nástroje. Jakýkoli dokument delší než 1 500 slov může těžit z automatizace pipeline popsané zde.

Otázka: Jak poznám, jestli je humanizér opravdu citation-aware, nebo jen to tvrdí?

Proveďte pětiminutový test popsaný v předchozí části. Zkopírujte odstavec s mixem APA, číslovaných a statistických citací a spusťte jej přes nástroj. Pokud se všechny prvky objeví přesně jako na vstupu, humanizér je citation-aware. Pokud se něco změní jakkoli, označení „citation-aware“ je jen marketing. Většina nástrojů, které v marketingu tvrdí, že zvládají zachování citací, ve skutečnosti neimplementovala extrakční část pipeline; tento test vám umožní zjistit, které to dělají.

Otázka: Záleží na tom pro kapitoly do práce, které odevzdávám svému školiteli, nebo jen pro rukopisy do časopisu?

Záleží na obou, ale z různých důvodů. U rukopisů pro časopisy mohou nekonzistentní citace vést k technickému zamítnutí ve screeningu. U kapitol do práce je důsledek ten, že váš školitel či komise vidí posun v citacích, považuje to za důkaz buď použití AI, nebo nedbalosti, a vznesou obavu ohledně integrity nebo vás požádají o přepracování kapitoly. Ten posun je natolik drobný, že vypadá jako nehoda, ale zároveň je dost konzistentní na to, aby si jej všiml pozorný čtenář. Citation-aware humanizér odstraňuje režim selhání v obou kontextech.