\"Tortured Phrases\": Why Bad Paraphrasers Get Papers Retracted

2021-ben egy toulouse-i székhelyű kutatócsoport közzétett egy listát azokról a kifejezésekről, amelyek számítástechnikai cikkekben szerepeltek, és amelyeknek nem volt teljesen értelme. – Hamisított tudat. – A köd kitalálása. – Mélyreható tanulás. – Szabálytalan megbecsülés. – Kebelveszély. Mindegyik egy valódi szakkifejezés tezaurusz-helyettesített változata volt – mesterséges intelligencia, számítási felhő, mély tanulás, véletlenszerű érték, mellrák. Az ezeket használó lapok átmentek a plágiumellenőrzésen, de nem figyeltek oda minden emberi olvasóra.

A csapat elnevezést adott ezeknek az átfogalmazásoknak: kínzott mondatok (tortured phrases). A kiinduló tanulmány ezek eredetét a parafrázisre készítő eszközökhöz vezette vissza — egyrészt a papírgyárak által használt, kézi megoldásokhoz, amelyek a plágiumészlelés megkerülésére szolgálnak, másrészt pedig az olyan automatizált eszközökhöz, amelyeket egyes kutatók a saját munkájukon is használtak. A felfedezés egy újabb lemondási hullámot indított el (visszavonások), amely 2026-ig tovább tart. A legfrissebb összesítés szerint több mint 1 400, megjelent tanulmányt vontak vissza vagy jelöltek meg kínzott mondatok miatti szennyeződés miatt; ezek többsége a mérnöki, a számítástechnikai és a biomedicinális területeken koncentrálódik.

Ez az útmutató elmagyarázza, mik a kínzott kifejezések, hogyan keletkeznek, miért fejezik be a karrierjüket és vonják vissza a dolgozatokat, milyen eszközöket használnak a folyóiratok ezek észlelésére, és hogyan biztosíthatja, hogy a saját átfogalmazási munkafolyamata ne hozza létre ezeket.

What tortured phrases are

A megkínzott kifejezés egy elismert szakkifejezés, amelyet egy szinonimával helyettesített megfelelőre cseréltek – általában olyannal, amely nyelvtanilag sértetlen, de szemantikailag értelmetlen bárki számára a területen. Az átalakítás jellemzően szóról szóra történik, függetlenül attól, hogy a kapott kifejezést valaha is mondaná-e egy tartományszakértő.

Klasszikus példa az eredeti, 2021-es tanulmányból: a „szabálytalan favidékről” (véletlenszerű erdőről) szóló cikkben a szerzők a modell „nagy pontosságát” tárgyalták, de nem vették észre, hogy írtak „határfákról” (döntési fákról) és „irányított felszedésről” (felügyelt tanulás). Az írás technikai tartalma bizonyos értelemben valódi kutatás volt – de a prózát olyan eszközzel dolgozták fel, amely nem tudta, mit jelentenek ezek a kifejezések.

A typology of how they appear:

Egyszeres helyettesítések. A gyakori szakkifejezések szinonimáival helyettesítve. A „mesterséges intelligencia” „hamisított tudattá” vagy „hamis agyerővé” válik. A „felhőalapú számítástechnika” „ködfeltárás” vagy „gőzfeldolgozás” lesz. A „big data” „óriási információvá” vagy „óriási adattá” válik.

Idiomatikus kifejezéshelyettesítések. Állítsa be a kifejezéseket a helyettesített mezőbe. A „korszerű műszaki állapot” „a kivitelezés feltételévé” válik. A „legjobb az osztályban” „ideális az osztályban” lesz. A „valós idejű” „folyamatos” vagy „állandó idő” lesz.

A mozaikszavak helytelen kezelése. A betűszavakat úgy cseréljük le, mintha szavak lennének. Az "MRI" "vonzó rezonancia képalkotás" lesz. Az "RNS" "ribonukleinsav maró hatásúvá" válik. A „JavaScript” „Java-tartalomra” töredezett.

Domainspecifikus helyettesítések. A mezőspecifikus kifejezéseket a rendszer egy másik domain szinonimájára cseréli. A „mellrák” „kebelveszély” lesz. A „napelem” „napalapú cellává” válik. A „szívroham” „koszorúér-elégtelenség” lesz (ami valójában helyes, de olyan kontextusban, ahol a „szívroham” a szokásos kifejezés).

A mondat nyelvtani szerkezete általában megmarad. A szemantikai tartalom megsemmisül. Előfordulhat, hogy egy értékelő kihagyja őket; a domain szakértelemmel rendelkező lektor azonnal észreveszi.

How they happen

A megkínzott kifejezések néhány különböző forrásból származnak.

Papírgyárak szinonimát helyettesítő eszközöket használva. Ez az eredeti aggály, amely a 2021-es kutatást indította el. A papírgyárak nagy mennyiségben állítanak elő hamis papírokat, gyakran úgy, hogy a meglévő valódi papírokat átfogalmazzák, és az így létrejött "új" papírokat szerzői jogot vásárló kutatóknak adják el. A plágiumfelderítés elkerülése érdekében a forrást agresszív szinonimák helyettesítésével futtatják. A kimenet átmegy a plágiumellenőrzésen (nincs pontos karakterlánc egyezik), és sikertelen a tartományszakértő által végzett vizsgálaton (a technikai kifejezések hibásak).

A kutatók ingyenes online parafrázisokat használnak ellenőrzés nélkül. Ez a leggyakoribb modern forrás. Egy angolt nem anyanyelvi beszélő, egy határidőre szorított diák vagy bárki, aki megpróbálja csökkenteni a szavak számát, egy ingyenes parafrazáló eszközön keresztül futtatja a szövegét. Az eszköz szinonimákat helyettesít a dokumentumban. A szerző nem olvas figyelmesen, mert a próza még mindig nyelvtanilag olvasható – és egy szakterület-specifikus terminológiát tartalmazó dolgozatot ad be, amely most mindvégig hibás.

LLM-ek szokatlan prompt konfigurációkban. Az olyan modern nyelvi modellek, mint a ChatGPT és a Claude, általában nem produkálnak elkínzott kifejezéseket, amikor átfogalmazzák, mert megértik a kontextust. De bizonyos felszólítási minták továbbra is szószintű helyettesítési viselkedést válthatnak ki. Ha arra kérünk egy modellt, hogy „írja át ezt változatosabban” vagy „használjon szinonimákat az egészben”, néha elkínzott kifejezéseket eredményez, különösen a műszaki tartalom esetében, amelyet a modell kevésbé ismer.

Fordítási folyamat közbenső nyelveken keresztül. Egy dolgozat angolról oroszra kínairól angolra visszafordítása (vagy bármilyen hasonló lánc) elkínzott kifejezésmintákat eredményezhet, mivel minden fordítási lépés olyan szószintű megfelelőket helyettesít, amelyek nem illeszkednek át az eredeti műszaki terminológiába.

A kutatókat segítő tapasztalataink szerint a második forrás – az ártatlan kutatók, akik rossz parafrázisokat használnak – a leggyakoribb oka a nem csalárd iratokban szereplő megkínzott kifejezéseknek. A szerző nem csalni próbál; próbálják javítani az angol nyelvtudásukat, vagy lerövidíteni egy részt. Az eszköz tönkreteszi a terminológiájukat anélkül, hogy elmondaná nekik.

Why they get papers retracted

A megkínzott kifejezéseket ma a papírgyári részvétel vagy a mesterséges intelligencia fel nem tárt használatának bizonyítékaként kezelik, amelyek a legtöbb folyóiratban visszavonási folyamatot váltanak ki.

Az érvelés megkeményedett az elmúlt két évben. Öt-hat évvel ezelőtt egy furcsa megfogalmazású cikket kijavíthattak volna – a szerkesztő felkéri a szerzőt, hogy javítsa ki a terminológiát, és adja ki újra. Ma ugyanezt a megfogalmazást a szisztematikus problémák őrszemeként kezelik. Még ha az alapjául szolgáló kutatás megalapozott is, a megkínzott kifejezések jelenléte arra utal, hogy a szerző vagy megvásárolta a lapot, vagy agresszív parafrázist használt, hogy elkerülje a plágiumfelderítést, vagy nem olvasta le a saját munkáját publikálható színvonalon. Ezek egyike sem jó magyarázat.

Egyes folyóiratok egyértelművé tették a szabályzatot. A IEEE, a ACM, a Elsevier és a Springer 2024–2025-ben frissítette a szerkesztői útmutatást annak érdekében, hogy a megkínzott kifejezéseket a szándék bizonyítása nélkül történő visszavonás okaként kezeljék. A 2026-os Wiley szerkesztői irányelv-frissítés hozzátette, hogy "a közzététel után felfedezett megkínzott kifejezések visszavonást vonnak maguk után, hacsak a szerző nem tudja bizonyítani, hogy a helyettesítések dokumentált fordítási vagy szerkesztési folyamatból, és nem papírgyári részvételből származtak."

A visszavonás a szerző hírnevét is rontja, mégpedig oly módon. A visszavont dolgozatok a szerző nyilvántartásában maradnak. A finanszírozó ügynökségek ellenőrzik. Keresőbizottságok ellenőrzik. Azok a társszerzők, akik nem voltak felelősek a megfogalmazásért, címkét kapnak a visszavonásban. A megkínzott kifejezések azon kevés szerkesztői problémák egyike, amelyek funkcionálisan véget vethetnek az akadémiai karriernek, különösen a pályakezdő kutatók számára.

How journals are catching them now

The detection ecosystem has matured.

The Problematic Paper Screener. Ugyanaz a csapat fejlesztette ki, amelyik a kifejezést megalkotta. Az átvizsgáló egy ingyenes online eszköz, amely ismert, megkínzott kifejezések után keres a PubMeden és más adatbázisokban. A szerkesztők, a szakértői lektorok és a folyóiratok integritási csoportjai használják a beadványok és publikációk átvizsgálására. Az eszköz rendszeresen frissített listát tart fenn a kifejezésekről – jelenleg több mint 5000 –, és megjelöli az ezeket tartalmazó papírokat.

Szerkesztői szkennelés szakértői értékelés előtt. Számos jelentős kiadó (IEEE, Elsevier, Springer) integrálta a kínzott kifejezések szkennelését a benyújtási folyamatába. A beküldött anyagokat beolvasáskor szkenneljük. A találatos dolgozatokat általában magyarázatkéréssel visszaküldik a szerzőnek a szakértői értékelés megkezdése előtt.

Közzététel utáni figyelés. Az olyan eszközök, mint a Problematic Paper Screener, a már megjelent papírokat is átvizsgálják. A találatok vizsgálatot indítanak el a kiadó kutatási integritási csapata részéről. A vizsgálat aggodalmának kifejezéséhez, korrekcióhoz vagy visszavonáshoz vezethet attól függően, hogy mit találtak.

A bírálók tudatossága. A szakértői értékelők egyre inkább képzettek arra, hogy saját területükön észrevegyék a megkínzott kifejezéseket. A nagy folyóiratok bírálói útmutatásai most kifejezetten tartalmazzák a "szokatlan technikai terminológia keresését, amely az átfogalmazott eszköz sérülésére utalhat".

Ha az újságot visszavonják a megkínzott kifejezések miatt, akkor általában a megjelenést követő 6-18 hónapon belül kiderül – gyakran azután, hogy mások hivatkoztak az újságra, ami tovább fokozza a károkat, amikor az idézeteket nyomon kell követni és értesíteni kell.

How to avoid producing them yourself

Néhány szokás megakadályozza, hogy a munkája során elkínzott kifejezések ne legyenek.

Ne illessze be a teljes módszereket vagy eredményeket egy általános, ingyenes parafrázisba. Ez a legnagyobb kockázatú művelet. Az „egyediségre” (azaz a plágiumfelismerés elkerülésére) optimalizált ingyenes parafrázisok általában agresszív szinonimák helyettesítését alkalmazzák. Nincs fogalmuk arról, hogy mely szakkifejezések szabványosak és melyek felcserélhetők. A kimenetben elkínzott kifejezések lesznek a technikai tartalomban.

Ha műszaki szöveget kell átfogalmaznia, használjon idézeteket ismerő tudományos parafrazálót. Az olyan eszközök, mint a parafrazáló eszközünk, a szakterület-specifikus terminológia és az idézetek formázásának megőrzésére vannak kiképezve. Az átírás során megőrződnek a szabványos kifejezések – „mély tanulás”, „véletlenszerű erdő”, „mellrák”, „szerkezeti egyenletmodellezés”. Csak a környező próza változik.

Elküldés előtt olvasson el minden átfogalmazott részt. Pontosabban, keressen minden olyan szakkifejezést, amely ismeretlennek tűnik, vagy amelyet nem Ön írt. Ha „hamisított tudatot” lát, ahol általában azt írná, hogy „mesterséges intelligencia”, ez egy elkínzott kifejezés, amelyet az eszköz vezetett be. Állítsa vissza az eredeti kifejezést. Ha párosítja az átolvasást a változáskövető [AI-lektor] (/ai-proofreader) áthaladásával, a helyettesítések könnyebben észrevehetők, mivel minden szerkesztés diszkrét változtatásként jelenik meg, amelyet elutasíthat.

Ellenőrizze a lefordított szöveget a forráshoz képest. Ha lefordított egy dolgozatot bármely mesterséges intelligencia csővezetéken keresztül, ellenőrizze az angol változatot, hogy keressen minden olyan szakkifejezést, amely nem egyezik azzal, amit az anyanyelvén megfelelő angol nyelven írna. A fordítási csővezetékek gyakori forrásai a kínzott kifejezéseknek, különösen az angol-orosz-angol láncoknál, amelyeket a plágium elkerülésére használnak.

A beküldés előtt használja a Problémás papírszűrőt. Ingyenes. Körülbelül 30 másodpercet vesz igénybe. Megjelöl minden ismert, megkínzott kifejezést a kéziratában. Ha egyáltalán használt parafrazálót, ezt az ellenőrzést érdemes lefuttatni a benyújtás előtti utolsó lépésként.

Ne bízzon az „egyediségi pontszámokban”, mint a minőség mutatójában. Azok az eszközök, amelyek magas „eredetiségi” vagy „egyediségi” pontszámot ígérnek, általában olyan szinonimák helyettesítésével érik el ezeket a pontszámokat, amelyek elkínzott kifejezéseket eredményeznek. A plágiumfelderítés és a jó írás nem ugyanaz. A jól idézett szakirodalmi áttekintések, amelyek szabványos terminológiát tartalmaznak, mérsékelt hasonlósági pontszámokkal rendelkezhetnek, mivel a szabványos kifejezések megoszlanak a dokumentumok között – és ez rendben van.

Szemantikai átfogalmazás vs szinonimák helyettesítése

Az a különbség, amely megvédi a munkáját, az a különbség a parafrázis két alapvetően eltérő megközelítése között.

A szinonimák helyettesítése ezt teszi a legtöbb ingyenes átfogalmazási eszköz. Az eszköz felvesz egy mondatot, szóról szóra megkeresi a szinonimákat, és helyettesíti azokat. "A neurális hálózat nagy pontosságot ért el" lehet, hogy "A neurális keret nagy pontosságot ért el." Néha a kimenet elfogadható; gyakran megkínzott kifejezéseket produkál. Az eszköz nem érti, hogy mitől lesz egy kifejezés technikailag helyes az Ön szakterületén.

A szemantikai átfogalmazás az, amit a jó akadémiai parafrázisok csinálnak. Az eszköz megérti a mondat jelentését, és átírja, miközben megőrzi a szakkifejezéseket, amelyek szabványosak. "A neurális hálózat nagy pontosságot ért el" lehet, hogy "A mi neurális hálózatunk nagy pontosságot ért el a benchmarkon." A terminológia megmarad, mert az eszköz a "neurális hálózatot" szabványos kifejezésként ismeri fel, nem pedig szinonimizálandó kifejezésként.

A különbség szerkezeti, nem kozmetikai. A szemantikai átfogalmazáson alapuló eszköz megőrzi a "mellrákot", mert felismeri az orvosi terület összefüggéseit. Egy szinonimát helyettesítő eszköz a „kebel veszedelmével” fogja helyettesíteni, mert a szó szintjén a „kebel” és a „veszély” a „mell” és a „rák” szótári szinonimája.

Általában meg lehet állapítani, hogy egy parafrazáló eszköz melyik megközelítést alkalmazza, ha teszteli azt egy műszaki terminológiával sűrű bekezdésen. Illesszen be egy módszerek szakaszt az eszközbe. Olvassa el a kimenetet. Ha a szakkifejezések megmaradtak (mély tanulás, véletlenszerű erdő, szerkezeti egyenletmodellezés, mellrák), az eszköz szemantikai átfogalmazást használ. Ha újszerű kifejezéseket lát (mélyreható tanulás, szabálytalan favidék, elsődleges állapot demonstrálása, kebelveszély), az eszköz szinonimák helyettesítését használja, ezért nem szabad tudományos tartalmaknál használni. Ha többet szeretne megtudni arról, hogy mit kell keresni egy tudományos fokozatú parafrázisban, tekintse meg a [hivatkozásokat megőrző parafrazáló eszközök] (/blog/ai-paraphrasing-preserving-citations) összehasonlítását.

See the Full Paraphrasing Tool

Citation-aware academic paraphrasing that preserves technical terminology. Free tier includes every feature.

Frequently asked questions

K: Hogyan tudhatom meg, hogy a dolgozatomban vannak-e kínzó kifejezések a beküldés előtt?

Futtassa át a Problematic Paper Screeneren (ingyenes a Cabanac et al. projekt helyén). Az eszköz összeveti a kéziratot több mint 5000 ismert, megkínzott kifejezéssel. A találatok a javított kifejezéssel vannak megjelölve. Manuálisan is kereshet a dolgozatban bármilyen szakkifejezésre, amely nem egyezik a szokásos szókincsével. Ha ingyenes parafrazáló eszközt használt a kéziraton, a legnagyobb kockázatot jelentő részek általában a módszerek és az eredmények, ahol a legsűrűbb a technikai terminológia.

K: Mit tegyek, ha azt tapasztalom, hogy a beküldött dolgozatomban kínzó kifejezések vannak?

Azonnal lépjen kapcsolatba a szerkesztővel, mielőtt a szakértői értékelés befejeződik. Magyarázza el, mi történt (egy parafrazáló eszközt használt, amely bevezette a helyettesítéseket). Adjon javított kéziratot. A szerkesztők általában nagyon eltérően kezelik a proaktív közzétételt, mint a későbbi felfedezést. A legtöbb elfogadja a javított újraküldést, ha Ön a probléma önálló észlelése előtt cselekszik. Ha a cikk már megjelent, forduljon a folyóirat kutatási integritási irodájához, és kérjen javítást. Minél korábban cselekszik, annál kisebb a formális visszavonás esélye.

K: Biztonságosak az olyan LLM-ek, mint a ChatGPT és a Claude, átfogalmazva?

A modern LLM-ek általában sokkal jobbak a kizárólag erre a célra fejlesztett ingyenes parafrázis-készítőknél a műszaki terminológia megőrzésében, mert értik a kontextust. Ugyanakkor nem védettek az erőltetett megfogalmazásoktól. Bizonyos utasításminták („használj szinonimákat”, „írd át a változatosság kedvéért”, „tedd egyedibbé”) kiválthatják a szint-szintű szószintű helyettesítési jellegű viselkedést. Ha LLM-et használsz parafrázishoz, kérd kifejezetten tőle, hogy „őrizz meg minden műszaki terminológiát és az idézések formázását”, majd mindig ellenőrizd a kimenetet a saját forrásodhoz képest. Kiadásra benyújtható kéziraton végzett, nagy kockázatú parafrázis esetén egy idézeteket is figyelembe vevő tudományos parafrázis-készítő biztonságosabb, mint egy általános célú LLM prompt.

Q: How does the Problematic Paper Screener stay up to date?

A mögötte álló csapat (Guillaume Cabanac vezetésével a Toulouse-i Egyetemen) nyílt listát tart fenn a visszavont és megjelölt iratok törvényszéki elemzéséből összegyűjtött kifejezésekről. A közösség új eredményekkel járul hozzá. Ahogy a papírgyárak fejlesztik helyettesítési mintáikat, új kifejezések jelennek meg. A lista jelenleg meghaladja az 5000 bejegyzést, és havonta bővül. Ha olyan elkínzott kifejezést fedez fel a saját területén, amely nem szerepel a listán, akkor hozzájárulhat hozzá – a szűrés hasznosabbá válik, ahogy a közösség területspecifikus terminológiát ad hozzá.