학술 인용을 그대로 보존하는 AI 휴마나이저

우리는 베타 코호트의 박사후연구원(postdoc)에게서 한 장의 스크린샷을 받았습니다. 그녀는 오픈 액세스 면역학 저널에 투고하기 위해 원고를 준비 중이었고, 바로 이런 사례가 ‘학술 인용을 보존하는 AI 휴마나이저’가 범용 휴마나이저와 왜 다른 제품인지 보여 줍니다. 그녀는 거절 이메일에 다음과 같은 사유로 desk rejection(1차 서류 탈락)을 통보받았습니다. 규정 미준수: 참고문헌 서식. 그러나 그녀의 참고문헌 목록은 문제없었습니다.

그녀는 문제가 무엇인지 확인하려고 초록(abstract)을 열어 보았고, 결국 원인을 찾아냈습니다. 휴마나이즈 이전 초록에 APA 본문 인용이 다음처럼 들어가 있었습니다: "(Nakamura et al., 2024)". 그런데 그녀가 사용해 본 대중적인 휴마나이저는 이를 "Nakamura와 동료들이 2024년 연구에서 보여준 바와 같이"로 바꾸어 버렸습니다. 문장 자체는 훌륭합니다. 하지만 인용은 달라졌습니다.

편집자 screening 도구는 초록 속 ‘스토리텔링(reference) 인용’이, 논문 다른 부분에서 사용된 괄호형 인용과 일치하지 않는다는 점을 포착했습니다. 그 결과가 휴마나이저가 개선이라고 판단한 스타일 치환 때문에 초록 제출이 2주 지연된 것인지 여부는 아직 미지수로 남아 있습니다.

우리는 2025년 초부터 이 문제를 추적해 왔습니다. 통제된 테스트에서, 본문 인용이 포함된 휴마나이즈 학술 문단 200개를 대상으로 수행했을 때, Phrasly는 47%의 사례에서 인용 서식을 변경했고, Undetectable.ai는 53%에서, Quillbot의 휴마나이저는 38%에서 인용 서식을 바꾸었습니다.

더 자주 발생하는 문제는, 학술 논문에서 arguably(논쟁의 여지가 있지만) 가장 중요한 요소들로 여겨질 수 있는 부분, 즉 이탤릭이 포함된 참고문헌 항목과 DOI 같은 요소, 를 건드린다는 점입니다. 대부분의 저자들은 이런 부분조차 확인하지 않습니다. 대부분의 휴마나이저는 블로그 글을 쓰는 콘텐츠 마케터와 SEO 상품 설명을 만드는 사람들을 위해 만들어졌습니다. 하지만 학술 산문에는, 마케팅 중심 도구가 제대로 존중하도록 설계되지 않은 구조적 요구가 있습니다. 즉, 인용은 개작(rewrite) 후에도 그대로 살아남아야 한다는 조건입니다.

이 글에서는, 학술 인용을 유지하는 AI 휴마나이저가 왜 범용 휴마나이저와 ‘의미 있게’ 다른 제품인지, 내부적으로 citation-aware 보존이 실제로 어떻게 구현되는지, 실패할 때 발생하는 4가지 연구자 관점의 결과와, 원고를 신뢰하기 전에 어떤 휴마나이저든 실행해 볼 수 있는 5분 테스트를 다룹니다.

학술 인용을 보존하는 AI 휴마나이저란 무엇인가?

학술 인용을 보존하는 AI 휴마나이저는 개작(rewrite) 이전에 본문 인용, 참고문헌 목록 항목, 통계적 표현, 그리고 수식 라벨을 추출한 뒤, 이후에 그것들을 원문 그대로(verbtaim) 다시 삽입합니다. 따라서 APA, MLA, IEEE 참고문헌이 손상되지 않고 그대로 유지됩니다. 반면 범용 휴마나이저는 이 단계를 건너뛰고, 인용을 일반 토큰처럼 처리합니다. 이것이 Phrasly, Undetectable.ai, Quillbot 같은 도구들이 우리가 테스트한 학술 문단에서 38~53% 구간에서 인용 서식을 변경하는 이유입니다. 어떤 도구가 진짜로 ‘인용을 인식(citation-aware)’하는지 확인하려면, 무료 티어에서 5분 테스트를 실행해 보면 됩니다.

인용을 인식하는 AI 휴마나이저는 인용을 그대로 유지하려면 무엇을 하는가?

범용 휴마나이저는 사용자의 텍스트를 토큰들의 나열로 보고, 이를 다양한 방식으로 다시 써서 표면적으로 다른 결과를 만들어 냅니다. 따라서 그 안에 무엇이 있든, 설령 괄호형(예: 참고문헌), 이탤릭 처리된 요소(예: 저널 제목), 약어(예: DOI), 또는 수식 라벨이나 통계적 표현, 모두 개작의 대상이 될 수 있습니다.

인용을 인식하는 휴마나이저는 일부 요소를 그대로 둡니다. 이들은 그 요소들을 ‘우회’합니다. 이를 구체적으로 말하면, 다음을 인식합니다:

• 본문의 괄호형 인용. "(Smith, 2024)", "(Smith & Jones, 2024)", "(Smith et al., 2024, p. 47)", "[12]", 그리고 APA, MLA, Chicago, IEEE, Harvard, Vancouver, Turabian, AMA 전반에서 나타나는 수십 가지 형식 변형.
• 참고문헌 목록 항목. 이탤릭 처리된 저널 제목, 권(volume)과 호(issue) 사이의 구두점, “and” vs & 같은 연결 표기, 문장형(case)과 제목형(case)의 차이, 그리고 DOI로 끝나는 모든 줄.
• 통계적 표현. "p < 0.01," "95% CI [0.34, 0.58]," "n = 1,247," 그리고 신뢰구간, 오즈비, 효과크기(effect sizes)를 보고하는 관례.
• 기술적 표기. 수식 라벨(Eq. 3), 그림 참조(Fig. 2a), 표 참조(Table 1), 그리고 원고가 이들 사이를 탐색하기 위해 사용하는 교차참조 마커.
• 학문 분야 어휘. 방법 이름("PRISMA"), 장비 이름("CRISPR-Cas9"), 시험 등록 레지스트리("ClinicalTrials.gov NCT03945383"), 그리고 개작 대상이 되면 안 되는 고유명사.

이것들은 예외 케이스가 아닙니다. 우리가 편집용 데이터셋에서 확인한 바에 따르면, 평균 6,000단어 원고에는 47개의 본문 인용, 11개의 통계적 표현, 그리고 6개의 수식 또는 그림 참조가 포함됩니다. 이러한 요소 중 10%만 건드려도, 투고 전까지 수동으로 찾아내 수정해야 하는 6~7개의 오류가 생깁니다.

AI 휴마나이저는 어떻게 APA, MLA, IEEE 인용을 깨뜨리는가?

테스트 결과, 인용을 무시하는 휴마나이저는 매번 세 가지 방식으로 무너집니다.

실패 모드 1: 본문 인용이 내러티브 형태로 다시 써지는 경우. 이 글 맨 위의 Nakamura 사례가 그 예입니다. "(Smith, 2024)"는 "Smith가 2024년에 보여 준 바와 같이" 또는 "Smith의 2024년 연구는 ~을 시사했다" 같은 표현으로 바뀝니다. 새로운 문장은 휴마나이저의 학습 분포에서 더 자연스럽습니다. 그러면 인용의 유형이 바뀝니다(괄호형 → 내러티브형). 따라서 대부분의 저널 지침에 따라 문단 또는 절 전반에서 일관되게 사용되어야 하며, 저자의 함의된 목소리(저자성/authorial voice)도 달라집니다. 편집자들은 이 차이를 알아챕니다.

실패 모드 2: 참고문헌 목록 재서식화. 참고문헌 항목 "Smith, J. (2024). The structure of Cell, 187(5), 945-961. Https://doi.org/10.1016/j.cell.2024.05.012"은 저널 제목의 이탤릭이 제거되고, 권(volume) 번호의 강조가 사라지고, DOI 프리픽스가 바뀌거나, 저자 이니셜과 연도 사이의 구두점이 다른 스타일로 정규화되는 식으로 다시 작성됩니다. 기술적으로 보면 참고문헌은 여전히 해석/해결되지만, APA 7 템플릿과는 더 이상 일치하지 않습니다. 교정 편집자는 이를 플래그합니다.

실패 모드 3: 보호된 콘텐츠 주변이 ‘왜곡된 문구’로 둘러싸이는 경우. Cabanac 문제 논문 스크리너(Cabanac Problematic Paper Screener)는 동의어 치환 패턴을 포함하는 19,000편 이상의 논문을 플래그했습니다. 이 패턴은 패러프레이즈 기반 휴마나이저가 만들어 내는 문장 치환 방식과 일치합니다. Together States for United States. Bosom peril for breast cancer. Renal disappointment for kidney failure 같은 식의 ‘문구가 비틀린’ 표현이 인용을 둘러싸는 형태로 우리의 테스트 데이터에 나타나, 인용 자체는 그대로 살아남았더라도 편집자가 주변 맥락까지 신뢰하기 어려워집니다. 문제 논문 스크리너( Cabanac, Labbe, and Magazinov )는 현재 여러 출판사가 동료심사(peer review) 이전에 편집 검토가 필요한 논문을 선별하기 위해 사용하고 있습니다.

이 세 실패는 결합됩니다. 범용 휴마나이저가 반환한 논문은 본문 인용이 내러티브로 재작성된 형태(모드 1), 참고문헌 항목이 재서식된 형태(모드 2), 그리고 왜곡된 문구로 둘러싸인 주변 문장(모드 3)으로 가득합니다. 그리고 연구자가 이를 휴마나이즈 이전 상태로 되돌리기까지는 90분이 걸립니다. 이런 과정이 ‘할 만한 가치’가 있었는지 여부는 여전히 열린 질문입니다.

AI 휴마나이저가 인용을 보존하기 어려운 이유는 무엇인가?

대부분의 휴마나이저는 인용을 제대로 다루지 못합니다. 그 이유는 기본 언어 모델이 ‘인용문(citation)’이 무엇인지 알지 못하기 때문입니다. 모델은 인용을 그저 다른 토큰들의 연속으로 취급합니다(즉, "(Smith, 2024)" 같은 것과 동일한 방식으로 취급). 사용자가 토크나이저에게 "preserve citations"라고 요청하면 어느 정도는 그렇게 할 수 있습니다. 그러나 근본 모델은 ‘유창한 문장 생성’을 위해 학습되어 있습니다. 이 두 목표가 충돌할 때, 모델은 대개 유창한 문장을 우선합니다.

이 문제는 인용을 인식하는 휴마나이저로 해결할 수 있습니다. 개작(rewrite) 이전에 먼저 추출(extraction) 단계를 수행해, 인용 범위(citation spans), 통계적 표현, 수식 라벨, 그리고 참고문헌 목록 항목을 식별합니다. 그다음 휴마나이즈 단계에서는 이를 placeholder로 바꿔 처리하고, 마지막에 원래 범위를 그대로(verbtaim) 다시 삽입합니다. 이렇게 하면 모델이, 자신이 재작성할 수 있는 형태로 된 인용을 애초에 보지 않게 됩니다.

이와 동일한 아키텍처가, 문장 속에 사람의 이름, 브랜드 이름, 또는 숫자가 있을 때 기계 번역에서 올바른 답을 얻도록 해줍니다. 인용 처리도 같은 논리입니다. 생성 단계에서 무언가를 보호할 수 있다면, 생성 단계에 조심해서 처리해 달라고 요청하는 것보다 결과가 낫습니다.

인용이 깨질 때 발생하는 4가지 연구자 결과

인용을 무시하는 휴마나이저가 연구자에게 초래하는 비용은 네 가지 형태로 나타납니다. 우리는 지난 18개월 동안 각각을 확인했습니다.

결과 1: 기술 검토 단계에서의 리젝트(rejection). 저널의 자동 screening은 재서식된 초록 인용과 참고문헌 목록 간의 불일치를 포착합니다. 논문은 동료심사 이전에 저자에게 되돌려집니다. 최선의 경우: 2주 지연. 최악의 경우: 해당 이슈가 다른 수정들과 결합되어 투고가 가능한 기간(퍼블리싱 윈도우)을 벗어나 버릴 수 있습니다.

결과 2: 조작(fabrication)에 대한 심사자 의심. 심사자는 본문 인용이 참고문헌 목록 항목과 다르거나, 본문 일부로 재작성된 괄호형 인용을 봅니다. 그는/그녀는 자연스럽게 저자가 출처를 읽지 않았다고 가정합니다. 그리고 이는 우리가 감사를 수행한 원고들에서 "major revisions(대폭 수정)" 또는 "reject(게재 거절)" 결정으로 이어지는 가장 흔한 경로가 됩니다.

결과 3: 왜곡된 문구를 탐지하는 스크리너에서의 무결성(integrity) 플래그. 인용 주변의 동의어 치환 패턴이 Cabanac 스크리너 또는 출판사의 내부 버전에 의해 감지됩니다. 논문은 연구 무결성 검토(research integrity review)로 보내집니다. 기반 논문 자체가 좋은 경우에도 이 과정은 몇 주의 지연을 추가로 발생시킵니다. 또한 저자의 이름에 ‘기록’이 남습니다.

결과 4: 출판 후 철회(retraction). 드물지만 이론만은 아닙니다. 출판 후 감사(audit)에서, 휴마나이저가 만든 왜곡된 문구 또는 인용 재작성 내용이 편집 단계에서 잡히지 않아 철회로 이어진 사례가 관찰되었습니다. 현재까지 문제 논문 스크리너는 1,000건이 넘는 철회에 기여했으며, 그중 일부는 휴마나이저 유발 패턴을 포함합니다.

균형은 한쪽으로 치우쳐 있습니다. 유창한 재작성으로 얻는 이득은 낮습니다. 많은 경우 AI 탐지(AI detection) 점수가 약간 낮아지더라도, 그 변화는 무해할 가능성이 큽니다. 반면 인용이 깨질 때의 손실은 큽니다. 지연, 의심, 무결성 플래그, 혹은 더 나아가 철회까지 발생할 수 있습니다. 인용을 인식하는 휴마나이저는 손실을 피하면서도 이득을 유지합니다.

5분 만에 어떤 휴마나이저든 인용 보존을 테스트하는 방법

아래 테스트는 시장에 새로 나오는 모든 휴마나이저에 대해 우리가 수행하는 절차입니다. 5분이면 되고, 거의 모든 도구의 무료 티어에서 무료로 실행할 수 있습니다.

1단계. 아래 문단을 자신이 선택한 휴마나이저에 그대로 붙여 넣습니다. 여기에는 가장 흔한 4가지 인용 형식과 통계적 표현이 포함되어 있습니다.

The intervention reduced symptoms in 64% of participants
(Smith, 2024). Other studies (Jones & Lee, 2023; Patel et al.,
2024, p. 47) reported comparable effects. A recent meta-analysis
[12] confirmed the pattern across populations (n = 1,247,
p < 0.01). The mechanism remains debated; see Reference 14 for
a competing interpretation.

2단계. 휴마나이즈된 출력물을 읽습니다. 아래 다섯 요소가 모두 살아남았는지 확인합니다.

• 괄호형 "(Smith, 2024)"가 정확히 그대로.
• 다수 저자 "(Jones & Lee, 2023; Patel et al., 2024, p. 47)"가 정확히 그대로. 여기에는 & 기호, 세미콜론, 페이지 번호가 포함됩니다.
• 번호가 매겨진 인용 "[12]"가 정확히 그대로.
• 통계적 표현 "n = 1,247, p < 0.01"가 정확히 그대로.
• 교차참조 "Reference 14"가 "열네 번째 참고문헌" 같은 형태로 의역되지 않고 그대로.

3단계. 다섯 요소 중 하나라도 바뀌었다면, 해당 휴마나이저는 학술 글쓰기에서 중요한 의미의 ‘인용 인식(citation-aware)’ 기능을 갖추지 못한 것입니다. 마케팅 문구에는 써도 되지만, 원고에는 쓰지 마세요.

4단계. 이탤릭이 포함된 참고문헌 항목과 DOI가 들어 있는 두 번째 문단을 실행합니다.

Smith, J., & Jones, K. (2024). The structure of cellular
respiration in mitochondrial disease. Nature Reviews Molecular
Cell Biology, 25(3), 187-203. https://doi.org/10.1038/s41580-024-00712-3

이탤릭, & 기호, 권-호 형식(volume-issue format), DOI URL까지 모두 살아남았는지 확인합니다. 본문 인용은 처리할 수 있지만 참고문헌 항목은 처리하지 못한다면, 반쪽짜리 안전성입니다. 원고에는 완전한 보장이 필요합니다.

5단계. 마지막으로, 본인 원고에서 가져온 문단으로 최종 테스트를 실행합니다. 인공 입력(artificial input)에서 잘 작동하는 도구도, 더 조밀한 인용 패턴을 가진 실제 산문에서는 실패할 수 있습니다. 본인 텍스트로 검증하기 전에는 마감이 있는 상황에서 어떤 휴마나이저도 신뢰하지 마세요.

우리는 자체 휴마나이저를 이 테스트에 대하여, 그리고 휴마나이저 랭킹 페이지에서 비교한 방식으로 검증하며, 또한 Phrasly vs Undetectable.ai 비교에서 명시된 경쟁 제품들과도 함께 대조합니다. 두 글이 모두 위에서 설명한 동일한 테스트 방법을 사용하기 때문에, 우리의 수치는 도구 간 비교 가능하도록 정렬됩니다. 패러프레이징 도구(다른 범주)가 인용 보존이라는 동일한 과제를 얼마나 잘 처리하는지 확인하고 싶다면, 같은 아키텍처 패턴의 패러프레이징 측면을 다루는, 인용을 보존하는 패러프레이징 관련 노트를 참고하세요.

자주 묻는 질문

Q: 대부분의 AI 휴마나이저는 왜 학술 인용을 깨뜨리나요?

그것들은 연구자가 아니라 콘텐츠 마케터를 위해 설계되었습니다. 범용 휴마나이저는 모든 토큰을 잠재적 재작성 후보로 취급하기 때문에, 본문 인용은 내러티브 텍스트로 바뀌고, 참고문헌 목록 항목은 이탤릭이 제거되며 구두점은 정규화되고, 왜곡된 문구(tortured phrases)에 대한 동의어는 인용 주변으로 뭉쳐서 배치됩니다. 이 문제는 개작 이전에 인용을 추출해 넣은 뒤, 이후 다시 삽입하는 인용 인식 휴마나이저로 해결됩니다.

Q: 인용을 인식하는 휴마나이저면 제 논문을 ‘탐지 불가’로 만들기에 충분한가요?

인용 보존(citation preservation)과 탐지 우회(detection bypass)는 서로 다른 문제입니다. 인용 인식 휴마나이저의 목표는 인용을 보존하되, 탐지기가 찾는 종류의 표면 변화를 여전히 도입하는 것입니다. 휴마나이저가 주변 텍스트를 얼마나 공격적으로(aggressively) 다시 쓰는지가 탐지된 인용의 점수를 좌우하지만, 인용을 처리하는 ‘비율’ 자체에는 영향을 주지 않습니다. 대부분의 인용 인식 휴마나이저는 탐지 우회 측면에서 잘 작동합니다. 사용하려는 도구의 벤치마크 탐지 점수(공개되어야 함)와 함께, 인용을 처리하는 비율을 확인해 보세요.

Q: 휴마나이즈하기 전에 인용을 그냥 수동으로 추출하면 되지 않나요?

네, 일부 연구자들은 그렇게 합니다. 절차는 다음과 같습니다. 원고를 문서에 복사한 뒤, 각 인용을 placeholder(예: "[CITE_001]")로 수동 교체합니다. 그다음 휴마나이즈하고, 마지막에 원래 인용을 다시 삽입합니다. 이 방식은 소량의 텍스트에서는 잘 작동합니다. 완전한 원고 전체를 다룰 경우, 수동 작업이 휴마나이즈 단계보다 더 많은 시간이 걸릴 수 있습니다. 휴마나이즈 과정에서 placeholder를 빼먹기 아주 쉽습니다. 작업 시간이 몇 분을 넘어간다면, 도구를 사용해 자동화하는 방안을 고려하세요. 여기서 설명하는 파이프라인을 자동화하기 위해 1,500단어가 넘는 어떤 문서라도 도구를 활용하는 이점이 있습니다.

Q: 휴마나이저가 진짜로 인용을 인식하는지, 아니면 단지 그렇게 주장하는지 어떻게 알 수 있나요?

위의 ‘5분 테스트’를 그대로 실행해 보세요. 혼합 APA, 번호형, 통계형 인용이 포함된 문단을 복사해 도구에 넣습니다. 입력과 비교했을 때 모든 요소가 정확히 그대로 보이면, 해당 휴마나이저는 인용을 인식하는 것입니다. 어떤 것이든 조금이라도 바뀌면, "citation-aware"라는 라벨은 사실상 마케팅에 불과합니다. 인용 보존이 가능하다고 광고하는 대부분의 도구는 실제로는 파이프라인의 추출(extraction) 단계를 구현하지 않았을 수 있습니다. 이 테스트를 실행하면 어떤 도구가 그렇지 않은지 가려낼 수 있습니다.

Q: 이 문제가 지도교수에게 제출하는 학위논문 챕터에도 해당하나요, 아니면 저널 원고에만 해당하나요?

둘 다 해당합니다. 다만 이유가 다릅니다. 저널 원고에서는 인용의 불일치가 기술 검토 단계에서의 리젝트로 이어질 수 있습니다. 학위논문 챕터에서는, 지도교수나 심사위원이 인용이 흘러(드리프트) 갔다고 보며, 그것을 AI 사용의 증거이거나 부주의의 증거로 해석하고, 무결성(integrity) 문제를 제기하거나 챕터를 다시 작업하라고 요구할 수 있습니다. 드리프트는 너무 사소해서 우연처럼 보이지만, 주의 깊은 독자에게는 충분히 눈에 띄기 때문에 일관되게 관찰됩니다. 인용을 인식하는 휴마나이저는 두 맥락 모두에서 이 실패 모드를 제거합니다.