\"Tortured Phrases\": Why Bad Paraphrasers Get Papers Retracted

У 2021 році дослідницька група з Тулузи опублікувала список фраз, які з’являлися в роботах з інформатики і не мали сенсу. «Фальшива свідомість». «Визначення серпанку». «Глибоке навчання». «Нерегулярна повага». «Небезпека за лоном». Кожен був заміненою тезаурусом версією реального технічного терміна — штучний інтелект, хмарні обчислення, глибоке навчання, випадкове значення, рак грудей. Документи, в яких вони використовуються, пройшли перевірку на плагіат, але не звернули уваги жодного читача.

Команда придумала назву для цих замін: вимучені фрази. Оригінальний документ простежив їх до інструментів перефразування — як ручних, що використовувалися паперовими фабриками, щоб уникнути виявлення плагіату, так і автоматизованих, які деякі дослідники використовували у своїй роботі. Відкриття спровокувало хвилю відкликань, яка триватиме до 2026 року. За останніми підрахунками, понад 1400 опублікованих робіт було відкликано або позначено через використання невірних фраз, більшість з яких стосується інженерії, інформатики та біомедицини.

У цьому посібнику пояснюється, що таке вимучені фрази, як вони створюються, чому вони закінчують кар’єру та відкликають документи, інструменти, які журнали тепер використовують для їх виявлення, і як переконатися, що ваш власний робочий процес перефразування не створює їх.

What tortured phrases are

Вимучена фраза — це загальновизнаний технічний термін, який було замінено еквівалентом, заміненим синонімом — зазвичай такий, який граматично не порушений, але семантично безглуздий для будь-кого в цій галузі. Трансформація зазвичай відбувається слово за словом, незалежно від того, чи є отримана фраза тим, що сказав би експерт із предметної області.

Класичний приклад із оригінального дослідження 2021 року: у статті про «нерегулярну лісову зону» (випадковий ліс) автори обговорювали «високу точність» моделі, але не помітили, що вони також писали про «обмежувальні дерева» (дерева рішень) і «кероване підбирання» (навчання під наглядом). Технічний зміст статті був у певному сенсі справжнім дослідженням, але проза була оброблена інструментом, який не знав, що означає жоден із цих термінів.

A typology of how they appear:

Одночленні заміни. Загальні технічні терміни замінені їх синонімами. «Штучний інтелект» перетворюється на «підроблену свідомість» або «фальшиву силу мозку». «Хмарні обчислення» перетворюються на «визначення туману» або «обробку парів». «Великі дані» стають «величезною інформацією» або «величезними даними».

Ідіоматичні заміни фраз. Встановіть фрази в полі замінено. «Стан техніки» стає «станом виготовлення». «Кращий у своєму класі» стає «ідеальним у своєму класі». «Реальний час» стає «постійним» або «постійним часом».

Неправильна обробка акронімів. Акроніми замінюються так, ніби вони були словами. «МРТ» стає «привабливим резонансним зображенням». «РНК» стає «рибонуклеїновим корозійним». «JavaScript» фрагментується на «вміст Java».

Доменно-специфічні заміни. Полеві терміни замінюються синонімами з іншого домену. «Рак молочної залози» стає «загрозою для грудей». «Сонячна батарея» стає «сонячною батареєю». «Серцевий напад» стає «коронарною недостатністю» (що насправді правильно, але в контексті, де «серцевий напад» є стандартним терміном).

Граматична структура речення зазвичай зберігається. Руйнується семантичний зміст. Рецензент може пропустити їх; рецензент із знаннями домену негайно помічає.

How they happen

Вимучені фрази походять із кількох різних джерел.

Паперові фабрики використовують інструменти заміни синонімів. Це початкове занепокоєння, яке спонукало до дослідження 2021 року. Паперові фабрики масово виробляють фальшиві документи, часто перефразовуючи існуючі справжні документи та продаючи отримані «нові» документи дослідникам, купуючи авторство. Щоб уникнути виявлення плагіату, вони запускають джерело шляхом агресивної заміни синонімів. Вихідні дані проходять перевірку на плагіат (немає точного збігу рядків) і не проходять перевірку жодного експерта домену (технічні терміни неправильні).

Дослідники використовують безкоштовні онлайн-парафрази без перевірки. Це більш поширене сучасне джерело. Людина, для якої англійська мова не є рідною, студент, якому не вистачає дедлайну, або будь-хто, хто намагається скоротити кількість слів, переглядає свій текст через безкоштовний інструмент перефразування. Інструмент замінює синоніми в документі. Автор не читає уважно, тому що проза все ще читається граматично — і подає статтю з термінологією певної галузі, яка тепер скрізь неправильна.

LLM у незвичних конфігураціях підказок. Сучасні мовні моделі, такі як ChatGPT та Claude, як правило, не створюють вимучених фраз, коли їх просять перефразувати, оскільки вони розуміють контекст. Але певні шаблони підказок все одно можуть викликати поведінку заміни на рівні слів. Прохання моделі «переписати це з більшою різноманітністю» або «використовувати синоніми» іноді призводить до вимушених фраз, особливо щодо технічного вмісту, який модель знає гірше.

Конвеєри перекладу через проміжні мови. Переклад паперу з англійської на російську на китайську назад на англійську (або будь-який подібний ланцюжок) може створити шаблони вимучених фраз, оскільки кожен крок перекладу замінює еквіваленти на рівні слів, які не перекомпоновуються в оригінальну технічну термінологію.

З нашого досвіду допомоги дослідникам, друге джерело — невинні дослідники, які використовують погані перефрази — є найпоширенішою причиною вимучених фраз у нефальсифікованих статтях. Автор не намагається обдурити; вони намагаються покращити свою англійську або скоротити розділ. Інструмент руйнує їхню термінологію, не повідомляючи їм це.

Why they get papers retracted

Вимучені фрази тепер розглядаються як доказ або участі паперової фабрики, або нерозкритого використання штучного інтелекту, обидва з яких викликають процеси відкликання в більшості журналів.

Міркування стали жорсткішими за останні два роки. П’ять або шість років тому статтю з дивними формулюваннями могли б виправити — редактор попросив би автора уточнити термінологію та перевидати матеріал. Нині те саме формулювання розглядають як «сигнал тривоги» для системних проблем. Навіть якщо базове дослідження виконане якісно, наявність вимучених фраз вказує на те, що автор або купив цю роботу, або скористався агресивним парафразером, щоб обійти виявлення плагіату, або не вичитав власний текст до рівня, придатного для публікації. Жодне з цих пояснень не є переконливим.

Окремі журнали чітко висловили цю політику. IEEE, ACM, Elsevier та Springer мають оновлені редакційні вказівки у 2024–2025 роках, щоб розглядати вимучені фрази як підставу для відкликання без вимагання доказу наміру. Оновлення редакційної політики Wiley від 2026 року додало, що «вимовлені фрази, виявлені після публікації, призведуть до відкликання, якщо автор не зможе продемонструвати заміни в результаті задокументованого перекладу чи процесу редагування, а не внаслідок участі паперової фабрики».

Відкликання також завдає шкоди репутації автора. Відкликані документи залишаються в записі автора. Перевірка фінансових установ. Перевірка пошукових комісій. Співавтори, які не відповідали за формулювання, позначаються у відкликанні. Вимучені фрази є одним із небагатьох редакторських проблем, які можуть функціонально завершити академічну кар’єру, особливо для дослідників на початку кар’єри.

How journals are catching them now

The detection ecosystem has matured.

The Problematic Paper Screener. Розроблений тією ж командою, яка ввела цей термін, screener є безкоштовним онлайн-інструментом, який шукає в PubMed та інших базах даних відомі вимучені фрази. Його використовують редактори, рецензенти та групи доброчесності в журналах для сканування матеріалів і опублікованих статей. Інструмент підтримує регулярно оновлюваний список фраз — наразі понад 5000 — і позначає будь-який документ, що їх містить.

Редакційне сканування перед рецензуванням. Кілька великих видавців (IEEE, Elsevier, Springer) інтегрували сканування вимучених фраз у свій конвеєр. Подання скануються під час прийому. Статті зі збігами зазвичай повертаються автору з проханням про пояснення перед початком рецензування.

Моніторинг після публікації. Такі інструменти, як Problematic Paper Screener, також сканують уже опубліковані статті. Звернення ініціюють розслідування командою видавництва з питань доброчесності. Розслідування може призвести до висловлення занепокоєння, виправлення або скасування залежно від того, що було знайдено.

Обізнаність рецензента. Рецензенти дедалі більше навчаються виявляти вимучені фрази у своїй галузі. Вказівки для рецензентів із основних журналів тепер чітко містять «сканування незвичайної технічної термінології, яка може вказувати на пошкодження інструменту перефразування».

Якщо вашу статтю збираються відкликати через вимучені фрази, ви зазвичай дізнаєтеся про це протягом 6-18 місяців після публікації — часто після того, як статтю цитують інші, що посилює шкоду, коли ці цитування потрібно відстежувати та повідомляти.

How to avoid producing them yourself

Кілька звичок запобігають вимученим фразам у вашій роботі.

Не вставляйте весь розділ методів або результатів у загальний безкоштовний перефраз. Це дія з найвищим ризиком. Безкоштовні парафрази, оптимізовані для «унікальності» (тобто, щоб уникнути виявлення плагіату), зазвичай використовують агресивну заміну синонімів. Вони не мають уявлення про те, які технічні терміни є стандартними, а які взаємозамінними. На виході будуть вимучені фрази в технічному контенті.

Якщо вам потрібно перефразувати технічний текст, скористайтеся академічним перефразувальником, який підтримує цитування. Такі інструменти, як наш інструмент перефразування, навчені зберігати спеціальну термінологію дисципліни та форматування цитат. Стандартні терміни — «глибоке навчання», «випадковий ліс», «рак молочної залози», «моделювання структурними рівняннями» — збережені під час перепису. Змінюється лише навколишня проза.

Прочитайте кожен перефразований розділ перед надсиланням. Зокрема, перевірте будь-який технічний термін, який виглядає незнайомим або який ви не писали. Якщо ви бачите «підроблену свідомість» там, де зазвичай пишуть «штучний інтелект», це вимучена фраза, яку ввів інструмент. Відновити вихідний термін. Поєднання наскрізного читання з проходженням відстежених змін AI корректор полегшує виявлення замін, оскільки кожне редагування відображається як окрема зміна, яку можна відхилити.

Перевірте перекладений текст із джерелом. Якщо ви перекладали статтю через будь-який конвеєр штучного інтелекту, відскануйте англійську версію на наявність будь-якого технічного терміну, який не відповідає тому, що ви написали б вашою рідною англійською мовою. Конвеєри перекладу є поширеним джерелом вимучених фраз, особливо для ланцюжків з англійської на російську на англійську, які використовуються для уникнення плагіату.

Використовуйте Problematic Paper Screener перед надсиланням. Це безкоштовно. Це займає приблизно 30 секунд. Він позначає будь-які відомі вимучені фрази у вашому рукописі. Якщо ви взагалі використовували перефраз, цю перевірку варто виконати як останній крок перед поданням.

Не довіряйте «оцінкам унікальності» як показнику якості. Інструменти, які обіцяють високі оцінки «оригінальності» чи «унікальності», зазвичай досягають таких оцінок за допомогою заміни синонімів, що створює вимучені фрази. Виявлення плагіату та якісний текст – це не одне й те саме. Добре цитований огляд літератури зі стандартною термінологією може мати помірні оцінки подібності, оскільки стандартні терміни поширені в усіх статтях — і це добре.

Семантичне перефразування проти заміни синонімів

Відмінність, яка захищає вашу роботу, — це різниця між двома принципово різними підходами до перефразування.

Заміна синонімів — це те, що робить більшість безкоштовних інструментів для перефразування. Інструмент бере речення, шукає послівні синоніми та замінює їх. «Нейронна мережа досягла високої точності» може стати «Нейронна структура досягла високої точності». Іноді результат є прийнятним; часто це породжує вимучені фрази. Інструмент не розуміє, що робить фразу технічно правильною у вашій галузі.

Семантичне перефразування — це те, що роблять хороші академічні перефразувальники. Інструмент розуміє значення речення та переписує його, зберігаючи стандартні технічні терміни. «Нейронна мережа досягла високої точності» може стати «Наша нейронна мережа досягла високої точності за тестом». Термінологія збережена, оскільки інструмент розпізнає «нейронну мережу» як стандартний термін, а не як фразу, яку потрібно синонімізувати.

Різниця структурна, а не косметична. Інструмент, побудований на семантичному перефразуванні, збереже «рак молочної залози», оскільки він розпізнає медичний контекст. Інструмент заміни синонімів замінить його на «лоно небезпеки», оскільки на рівні слова «лоно» та «небезпека» є словниковими синонімами «грудної залози» та «раку».

Зазвичай ви можете визначити, який підхід використовує інструмент перефразування, перевіривши його на абзаці, насиченому технічною термінологією. Вставте розділ методів в інструмент. Прочитайте вихідні дані. Якщо технічні терміни збереглися (глибоке навчання, випадковий ліс, моделювання структурних рівнянь, рак молочної залози), інструмент використовує семантичне перефразування. Якщо ви бачите нові фрази (profound learning, irregular timberland, primary condition demonstrating, bosom peril), інструмент використовує заміну синонімів і не повинен використовуватися в академічному вмісті. Щоб дізнатися більше про те, на що звертати увагу в перефразувальнику академічного рівня, перегляньте наше порівняння [інструментів перефразування, які зберігають цитування] (/blog/ai-paraphrasing-preserving-citations).

See the Full Paraphrasing Tool

Citation-aware academic paraphrasing that preserves technical terminology. Free tier includes every feature.

Frequently asked questions

З: Як я можу визначити, чи є в моєму документі вимучені фрази перед поданням?

Пропустіть його через Problematic Paper Screener (безкоштовно на сайті проекту Cabanac et al.). Інструмент перевіряє ваш рукопис на список із понад 5000 відомих вимучених фраз. Звернення позначені виправленим терміном. Ви також можете вручну шукати у статті будь-який технічний термін, який не відповідає вашому звичайному словниковому запасу в цій галузі. Якщо ви використовували безкоштовний інструмент перефразування рукопису, розділи з найвищим ризиком, як правило, це методи та результати, де технічна термінологія найгустіша.

З: Що мені робити, якщо я виявлю, що в моїй надісланій роботі є вимучені фрази?

Негайно зв’яжіться з редактором, до завершення рецензування. Поясніть, що сталося (ви використали інструмент перефразовування, який ввів заміни). Надати виправлений рукопис. Редактори зазвичай ставляться до проактивного розголошення зовсім інакше, ніж до пізніше. Більшість прийме виправлене повторне подання, якщо ви діятимете до того, як проблема буде виявлена ​​самостійно. Якщо статтю вже опубліковано, зверніться до відділу наукової цілісності журналу, щоб вимагати виправлення. Чим раніше ви діятимете, тим менша ймовірність офіційного відкликання.

З: Чи безпечно використовувати LLM для перефразування, як-от ChatGPT і Claude?

Сучасні LLM, як правило, набагато краще, ніж спеціалізовані безкоштовні перефразовники, у збереженні технічної термінології, оскільки вони розуміють контекст. Однак вони не застраховані від вимучених фраз. Конкретні шаблони підказок («використовуйте синоніми», «перепишіть для різноманітності», «зробіть більш унікальним») можуть викликати поведінку заміни на рівні слів. Якщо ви використовуєте LLM для перефразування, запропонуйте йому явно «зберегти всю технічну термінологію та форматування цитат» і завжди перевіряйте вихідні дані за вашим джерелом. Для серйозного перефразування рукопису, який можна опублікувати, академічний перефразувальник з урахуванням цитат є безпечнішим, ніж загальне підказка LLM.

З: Як оновлюється засіб перевірки проблемного паперу?

Команда, що стоїть за нею (на чолі з Гійомом Кабанаком з Університету Тулузи), веде відкритий список фраз, зібраних під час криміналістичного аналізу відкликаних і позначених документів. Громада вносить нові відкриття. Оскільки паперові фабрики розвивають свої схеми заміни, додаються нові фрази. Список наразі перевищує 5000 записів і збільшується щомісяця. Якщо ви виявите вимучену фразу у своїй галузі, якої немає в списку, ви можете внести її — перевірка стане кориснішою, оскільки спільнота додає термінологію для певної галузі.