\"Tortured Phrases\": Why Bad Paraphrasers Get Papers Retracted

2021년 툴루즈에 있는 연구 무결성 팀은 컴퓨터 과학 논문에 등장했지만 전혀 말이 되지 않는 문구 목록을 발표했습니다. "위조의식." "안개 생각." "깊은 배움." "비정상적인 존경심." "가슴 위험." 각각은 인공 지능, 클라우드 컴퓨팅, 딥 러닝, 무작위 가치, 유방암 등 실제 기술 용어를 동의어 사전으로 대체한 버전이었습니다. 이를 사용한 논문은 표절 검사를 통과했지만 독자의 관심을 끌지 못했습니다.

팀은 이러한 대체물에 대해 고문 문구라는 이름을 만들었습니다. 원본 논문에서는 표절 탐지를 피하기 위해 제지 공장에서 사용하는 수동 도구와 일부 연구자가 자체 작업에 사용하는 자동화 도구를 추적했습니다. 이 발견은 2026년까지 계속되는 철회의 물결을 촉발시켰습니다. 최근 조사에 따르면, 1,400개 이상의 출판된 논문이 고문 문구 오염으로 인해 철회되거나 표시되었으며, 그 중 대부분은 공학, 컴퓨터 과학 및 생물의학 분야에 집중되어 있습니다.

이 가이드에서는 고문 문구가 무엇인지, 그것이 어떻게 만들어지는지, 왜 그들이 경력을 끝내고 논문을 철회하는지, 현재 저널이 이를 탐지하기 위해 사용하는 도구, 그리고 자신의 패러프레이징 작업 흐름에서 그러한 문구가 생성되지 않도록 하는 방법을 설명합니다.

What tortured phrases are

고문 문구는 동의어로 대체된 등가물로 대체된 인정된 기술 용어입니다. 일반적으로 문법적으로는 손상되지 않았지만 의미적으로는 현장의 누구에게도 의미가 없는 문구입니다. 변환은 일반적으로 결과 문구가 도메인 전문가가 말하는 것인지 여부에 관계없이 단어 단위로 발생합니다.

2021년 원본 연구의 전형적인 예: "불규칙한 팀버랜드"(무작위 숲)에 관한 논문에서 저자는 모델의 "고정밀도"에 대해 논의했지만 "경계 트리"(의사결정 트리) 및 "관리된 선택"(지도 학습)에 대해서도 썼다는 사실은 알아차리지 못했습니다. 논문의 기술적인 내용은 어떤 의미에서 실제 연구였습니다. 그러나 산문은 이러한 용어가 무엇을 의미하는지 모르는 도구에 의해 처리되었습니다.

A typology of how they appear:

단일 용어 대체. 일반적인 기술 용어는 동의어로 대체됩니다. '인공지능'은 '위조의식', '가짜 두뇌능력'이 된다. "클라우드 컴퓨팅"은 "연무 파악" 또는 "증기 처리"가 됩니다. '빅데이터'는 '거대한 정보' 또는 '거대한 데이터'가 됩니다.

관용적 구문 대체. 대체된 필드의 구문을 설정합니다. "최신 기술"은 "제작 기술의 상태"가 됩니다. "동급 최고"가 "동급 최고"가 됩니다. "실시간"은 "지속적인" 또는 "일정한 시간"이 됩니다.

약어 처리가 잘못되었습니다. 약어가 단어인 것처럼 대체됩니다. "MRI"는 "매력적인 공명 영상"이 됩니다. "RNA"는 "리보핵 부식성"이 됩니다. "JavaScript"는 "Java 콘텐츠"로 조각화됩니다.

도메인별 대체. 필드별 용어는 다른 도메인의 동의어로 대체됩니다. "유방암"은 "가슴 위험"이 됩니다. "태양전지"는 "태양 기반 전지"가 됩니다. "심장마비"는 "관상동맥부전"이 됩니다(실제로는 정확하지만 "심장마비"가 현장 표준 용어인 맥락에서는).

문장의 문법적 구조는 대개 그대로 유지됩니다. 의미론적 내용이 파괴됩니다. 훑어보는 리뷰어가 이를 놓칠 수도 있습니다. 해당 분야 전문 지식을 갖춘 검토자가 즉시 통보합니다.

How they happen

고문 문구는 몇 가지 다른 출처에서 나옵니다.

동의어 대체 도구를 사용하는 제지 공장. 이것이 2021년 연구를 촉발한 원래 관심사입니다. 제지 공장은 종종 기존의 실제 논문을 의역하고 그 결과로 나온 "새로운" 논문을 저자권을 구매하는 연구자들에게 판매함으로써 사기성 논문을 대규모로 생산합니다. 표절 탐지를 피하기 위해 공격적인 동의어 대체를 통해 소스를 실행합니다. 출력은 표절 검사를 통과하고(정확한 문자열 일치 없음) 도메인 전문가의 검사에 실패합니다(기술 용어가 잘못됨).

검사 없이 무료 온라인 의역을 사용하는 연구자. 이것은 보다 일반적인 현대 소스입니다. 영어가 모국어가 아닌 사람, 마감일에 압박을 받는 학생 또는 단어 수를 줄이려는 사람은 누구나 무료 패러프레이징 도구를 통해 텍스트를 실행합니다. 이 도구는 문서 전체에서 동의어를 대체합니다. 저자는 산문이 여전히 문법적으로 읽기 때문에 주의 깊게 읽지 않고, 현재 전체적으로 잘못된 분야별 용어를 사용하여 논문을 제출합니다.

비정상적인 프롬프트 구성의 LLM. ChatGPT 및 Claude과 같은 현대 언어 모델은 일반적으로 문맥을 이해하기 때문에 해석을 요청해도 고문 문구를 생성하지 않습니다. 그러나 특정 프롬프트 패턴은 여전히 ​​단어 수준 대체 동작을 유발할 수 있습니다. 모델에게 "더 다양하게 다시 작성"하거나 "전체적으로 동의어를 사용"하도록 요청하면 특히 모델이 잘 모르는 기술 콘텐츠에 대해 형편없는 구문 출력이 생성되는 경우가 있습니다.

중간 언어를 통한 번역 파이프라인. 논문을 영어에서 러시아어, 중국어로 다시 영어(또는 유사한 체인)로 번역하면 각 번역 단계가 원래의 기술 용어로 재구성되지 않는 단어 수준의 상응하는 항목을 대체하기 때문에 잘못된 구문 패턴이 생성될 수 있습니다.

연구자들을 돕는 우리의 경험에 따르면, 두 번째 출처인 나쁜 의역을 사용하는 무고한 연구자는 사기가 아닌 논문에서 고문 문구가 나오는 가장 일반적인 원인입니다. 저자는 속이려고 하는 것이 아닙니다. 그들은 영어 실력을 향상시키거나 한 섹션을 단축하려고 노력하고 있습니다. 도구는 사용자에게 알리지 않고 용어를 파괴합니다.

Why they get papers retracted

고문 문구는 이제 제지 공장 관련 또는 공개되지 않은 AI 사용의 증거로 취급되며, 이 두 가지 모두 대부분의 저널에서 철회 프로세스를 촉발합니다.

지난 2년 동안 그 논리는 더욱 굳어졌습니다. 5~6년 전에는 이상한 표현이 포함된 논문이 수정되었을 수 있습니다. 편집자는 저자에게 용어를 수정하고 다시 게시하도록 요청했습니다. 오늘날에는 동일한 문구가 체계적인 문제의 파수꾼으로 취급됩니다. 기본 연구가 타당하더라도, 고문 문구가 존재한다는 것은 저자가 논문을 구입했거나 표절 탐지를 피하기 위해 공격적인 의역을 사용했거나 자신의 작업을 출판 가능한 표준에 맞게 교정하지 않았음을 암시합니다. 이들 중 어느 것도 좋은 설명이 아닙니다.

특정 저널에서는 정책을 명시적으로 밝혔습니다. IEEE, ACM, Elsevier 및 Springer은 의도 증명을 요구하지 않고 고문 문구를 철회 근거로 처리하도록 2024~2025년에 모두 업데이트된 편집 지침을 가지고 있습니다. 2026년 Wiley 편집 정책 업데이트에는 "저자가 제지 공장의 개입이 아닌 문서화된 번역 또는 편집 과정에서 발생한 대체 내용을 입증할 수 없으면 출판 후 발견된 고문 문구가 철회될 것입니다."라고 추가되었습니다.

철회는 또한 복합적인 방식으로 저자의 평판을 손상시킵니다. 철회된 논문은 저자의 기록에 남습니다. 자금 조달 기관을 확인합니다. 수색위원회가 확인합니다. 문구에 책임이 없는 공동 저자는 철회 태그가 지정됩니다. 고문 문구는 학문적 경력을 기능적으로 종료할 수 있는 몇 안 되는 편집 문제 중 하나이며, 특히 경력 초기 연구자의 경우 더욱 그렇습니다.

How journals are catching them now

The detection ecosystem has matured.

문제가 있는 Paper Screener. 이 용어를 만든 팀이 개발한 이 스크리너는 PubMed 및 기타 데이터베이스에서 알려진 고문 문구를 검색하는 무료 온라인 도구입니다. 저널의 편집자, 피어 리뷰어, 무결성 팀이 제출물과 출판된 논문을 스캔하는 데 사용됩니다. 이 도구는 정기적으로 업데이트되는 문구 목록(현재 5,000개 이상)을 유지 관리하고 해당 문구가 포함된 모든 문서에 플래그를 지정합니다.

피어 리뷰 전 편집 스캔. 몇몇 주요 출판사(IEEE, Elsevier, Springer)는 고문 문구 스캔을 제출 파이프라인에 통합했습니다. 제출물은 접수 시 스캔됩니다. 적중률이 있는 논문은 일반적으로 동료 검토가 시작되기 전에 설명 요청과 함께 저자에게 반환됩니다.

출판 후 모니터링. Problematic Paper Screener와 같은 도구는 이미 출판된 논문도 스캔합니다. 조회수는 출판사의 연구 무결성 팀의 조사를 촉발합니다. 조사는 발견된 내용에 따라 우려 표명, 정정 또는 철회로 이어질 수 있습니다.

리뷰어 인식. 피어 리뷰어는 자신의 분야에서 문제가 있는 문구를 찾아내는 훈련을 점점 더 많이 받고 있습니다. 주요 저널의 리뷰어 지침에는 이제 "의역 도구 손상을 나타낼 수 있는 특이한 기술 용어에 대한 검색"이 명시적으로 포함됩니다.

귀하의 논문이 고문 문구로 인해 철회될 예정이라면 일반적으로 출판 후 6~18개월 이내에 알게 될 것입니다. 종종 다른 사람이 해당 논문을 인용한 후, 이러한 인용을 추적하고 통지해야 할 때 피해가 가중됩니다.

How to avoid producing them yourself

몇 가지 습관은 작업에서 고문 문구를 방지합니다.

전체 방법이나 결과 섹션을 일반적인 자유 표현에 붙여넣지 마십시오. 이는 가장 위험이 높은 작업입니다. "고유성"(즉, 표절 탐지 회피)에 최적화된 무료 패러프레이저는 일반적으로 공격적인 동의어 대체를 사용합니다. 그들은 어떤 기술 용어가 현장 표준이고 어떤 용어가 상호 교환 가능한지에 대한 개념이 없습니다. 출력에는 기술적인 내용에 고문 문구가 포함됩니다.

기술 텍스트를 다른 말로 바꿔야 하는 경우 인용 인식 학술 문장을 사용하세요. 우리의 다른 말로 표현 도구와 같은 도구는 분야별 용어 및 인용 형식을 보존하도록 훈련되었습니다. 현장 표준 용어("딥 러닝", "랜덤 포레스트", "유방암", "구조 방정식 모델링")는 재작성 중에 유지됩니다. 주변 산문 만 변경됩니다.

제출하기 전에 모든 섹션을 읽어 보십시오. 특히, 익숙하지 않거나 직접 작성하지 않은 기술 용어를 검색하세요. 일반적으로 "인공 지능"이라고 쓰는 곳에 "위조 의식"이 보인다면 그것은 도구가 도입한 고문 문구입니다. 원래 용어를 복원합니다. 추적된 변경 사항AI 교정기를 통한 통과와 읽기를 결합하면 각 편집 내용이 거부할 수 있는 개별 변경 사항으로 나타나기 때문에 대체 항목을 더 쉽게 찾을 수 있습니다.

번역된 텍스트를 소스와 비교하여 확인하세요. AI 파이프라인을 통해 논문을 번역한 경우 영어 버전에서 모국어 분야에 적합한 영어로 작성한 내용과 일치하지 않는 기술 용어가 있는지 검색하세요. 번역 파이프라인은 특히 표절을 피하기 위해 사용되는 영어-러시아어-영어 체인의 경우 고문 문구의 일반적인 소스입니다.

제출 전에 문제가 있는 Paper Screener를 사용하세요. 무료입니다. 약 30초 정도 소요됩니다. 원고에 알려진 고문 문구가 있으면 표시해 줍니다. 패러프레이저를 사용한 적이 있다면 이 확인을 최종 제출 전 단계로 실행할 가치가 있습니다.

품질을 나타내는 지표로 "고유성 점수"를 신뢰하지 마십시오. 높은 "독창성" 또는 "고유성" 점수를 약속하는 도구는 일반적으로 잘못된 구문을 생성하는 동의어 대체를 통해 해당 점수를 얻습니다. 표절 탐지와 좋은 글쓰기는 같은 것이 아닙니다. 현장 표준 용어를 사용한 잘 인용된 문헌 검토는 현장 표준 용어가 여러 논문에서 공유되기 때문에 중간 정도의 유사성 점수를 가질 수 있습니다. 그래도 괜찮습니다.

의미적 의역 vs 동의어 대체

귀하의 작업을 보호하는 차이점은 근본적으로 다른 두 가지 패러프레이징 접근 방식의 차이입니다.

동의어 대체는 대부분의 무료 의역 도구가 수행하는 작업입니다. 이 도구는 문장을 가져와 단어별로 동의어를 찾아 대체합니다. "신경망이 높은 정확도를 달성했습니다"는 "신경 프레임워크가 높은 정확도를 달성했습니다"가 될 수 있습니다. 때로는 출력이 수용 가능합니다. 종종 그것은 고문스러운 문구를 만들어냅니다. 이 도구는 귀하의 분야에서 문구를 기술적으로 정확하게 만드는 것이 무엇인지 이해하지 못합니다.

의미론적 패러프레이징은 훌륭한 학문적 패러프레이징이 하는 일입니다. 이 도구는 문장의 의미를 이해하고 현장 표준인 기술 용어를 유지하면서 문장을 다시 작성합니다. "신경망이 높은 정확도를 달성했습니다"는 "우리의 신경망이 벤치마크에서 높은 정확도에 도달했습니다"가 될 수 있습니다. 도구가 "신경망"을 동의어화할 문구가 아닌 현장 표준 용어로 인식하므로 용어가 보존됩니다.

차이점은 구조적인 것이지 외관적인 것이 아닙니다. 의미론적 해석을 기반으로 구축된 도구는 의료 영역의 맥락을 인식하기 때문에 "유방암"을 보존할 것입니다. 동의어 대체 도구는 이를 "bosom peril"로 대체합니다. 단어 수준에서 "bosom"과 "peril"은 "breast"와 "cancer"의 사전 동의어이기 때문입니다.

일반적으로 기술 용어가 많이 포함된 단락을 테스트하여 패러프레이징 도구가 어떤 접근 방식을 사용하는지 알 수 있습니다. 메서드 섹션을 도구에 붙여넣습니다. 출력을 읽습니다. 기술 용어(딥 러닝, 랜덤 포레스트, 구조 방정식 모델링, 유방암)가 살아남은 경우 도구는 의미 의역을 사용하고 있습니다. 새로운 문구(심오한 학습, 불규칙한 산림지, 주요 상태 입증, 가슴 위험)가 표시되면 도구가 동의어 대체를 사용하고 있는 것이므로 학술 콘텐츠에 사용해서는 안 됩니다. 학술 수준의 의역에서 찾아야 할 사항에 대한 자세한 내용은 인용을 보존하는 의역 도구 비교를 참조하세요.

See the Full Paraphrasing Tool

Citation-aware academic paraphrasing that preserves technical terminology. Free tier includes every feature.

Frequently asked questions

Q: 제출하기 전에 내 논문에 고문 문구가 있는지 어떻게 알 수 있나요?

문제가 있는 종이 스크리너(Cabanac et al. 프로젝트 사이트에서 무료)를 통해 실행하십시오. 이 도구는 알려진 5,000개 이상의 고문 문구 목록과 비교하여 원고를 확인합니다. 조회수에는 수정된 용어가 표시됩니다. 해당 분야의 일반적인 어휘와 일치하지 않는 기술 용어에 대해 논문을 수동으로 검색할 수도 있습니다. 원고에 무료 의역 도구를 사용한 경우 일반적으로 위험이 가장 높은 섹션은 기술 용어가 가장 밀집된 방법과 결과입니다.

Q: 제출한 논문에 고문적인 문구가 있는 것을 발견하면 어떻게 해야 합니까?

피어 리뷰가 끝나기 전에 즉시 편집자에게 연락하세요. 무슨 일이 일어났는지 설명하세요(대체를 도입한 의역 도구를 사용했습니다). 수정된 원고를 제공합니다. 편집자는 일반적으로 사전 공개를 나중에 발견하는 것과 매우 다르게 처리합니다. 문제가 독립적으로 감지되기 ​​전에 조치를 취하면 대부분 수정된 재제출을 수락합니다. 논문이 이미 출판된 경우 저널의 연구 진실성 사무국에 연락하여 수정을 요청하세요. 일찍 조치를 취할수록 공식적인 철회 가능성이 낮아집니다.

질문: ChatGPT 및 Claude과 같은 LLM을 패러프레이징에 사용해도 안전한가요?

최신 LLM은 일반적으로 맥락을 이해하기 때문에 기술 용어를 보존하는 데 있어 전용 무료 패러프레이저보다 훨씬 낫습니다. 그러나 그들은 고문 문구에 면역되지 않습니다. 특정 프롬프트 패턴("동의어 사용", "다양성을 위해 다시 작성", "더 독특하게 만들기")은 단어 수준 대체 동작을 유발할 수 있습니다. 패러프레이징을 위해 LLM을 사용하는 경우 명시적으로 "모든 기술 용어 및 인용 형식을 보존"하라는 메시지를 표시하고 항상 소스와 비교하여 출력을 확인합니다. 출판 가능한 원고에 대한 고부담 의역의 경우 인용 인식 학술 의역은 일반 LLM 프롬프트보다 더 안전합니다.

Q: 문제가 있는 Paper Screener는 어떻게 최신 상태로 유지됩니까?

그 뒤에 있는 팀(툴루즈 대학의 Guillaume Cabanac이 이끄는)은 철회되고 플래그가 지정된 논문에 대한 법의학적 분석을 통해 수집된 문구의 공개 목록을 유지 관리합니다. 커뮤니티는 새로운 발견에 기여합니다. 제지 공장이 대체 패턴을 발전시키면서 새로운 문구가 추가됩니다. 현재 목록은 5,000개 항목을 초과하며 매달 증가하고 있습니다. 자신의 분야에서 목록에 없는 어려운 문구를 발견하면 이를 제공할 수 있습니다. 커뮤니티가 분야별 용어를 추가하면 스크리너가 더욱 유용해집니다.