환각 인용 감사: 제출 전 점검

제출 전 환각 인용 감사는, 깔끔한 모니터 화면과 연구윤리 위반 플래그 사이의 차이를 이제 만들어냅니다. 그리고 그 중요성이 방금 수치로 정량화되었습니다. 콜럼비아 팀인 막심 토파즈(Maxim Topaz)는 PubMed Central에 색인된 250만 편 이상의 생의학 논문을 감사해, 우리 모두가 은밀히 두려워하던 사실을 드러냈습니다. 동원 생성형 AI 도구가 평균적인 연구자의 초안 작성 워크플로에 포함되기 시작한 바로 그 시점에, 동료심사를 거친 생의학 인쇄물에 포함되는 가짜 참고문헌의 수가 급격히 증가했습니다. 2026년 상반기(처음 7주) 동안 PubMed에서 인용된 논문 277편 중 1편은, 해당 4개 데이터베이스(PubMed, Crossref, OpenAlex, Google Scholar) 어디에서도 찾을 수 없는 최소 1개 참고문헌을 인용하고 있었습니다. 2년 전에는 비율이 2,828편 중 1편이었습니다. 즉, 문헌에 섞여 들어가는 가짜 인용의 발생률이 12배로 증가한 셈이며, 증가 폭이 가장 크게 나타난 시점은 2024년 중순부터 일정대로 시작됩니다.

토파즈 감사가 지금까지 확보된 가장 “깨끗한” 수치이긴 하지만, 이것이 유일한 지표는 아닙니다. arXiv는 명확한 AI 생성 오류(환각 인용 포함)를 게시한 저자에게 1년 제출 금지 조치를 발표했습니다. 또한 GPTZero는 NeurIPS 2025의 승인 논문 4,841편을 분석해, 3~5명의 전문 심사자가 검토한 이후에도 53편에서 최소 100개의 확인된 환각 인용이 발견되었다고 보고했습니다. 디킨 대학교(Deakin University)의 연구는 GPT-4o가 생성한 참고문헌의 56%가 가짜이거나 오류를 포함했으며, 가짜의 64%는 DOI와 함께 제공되었고 그 DOI는 실제지만 전혀 무관한 논문으로 연결되는 형태였다고 밝혔습니다. 이 유형이야말로 가장 잡기 어렵습니다.

좋은 소도 있습니다. 제출 전 환각 인용 감사는 참고문헌 목록의 크기에 따라 대략 20분에서 2시간까지 소요되며, 편집자나 심사자가 보기 전에 이러한 오류의 거의 전부를 잡아냅니다. 이 글이 바로 그 감사 방법입니다. 2026년에 환각 인용이 실제로 어떤 모습인지, 4개 데이터베이스를 활용한 검증 워크플로, 제출 전 체크리스트(단계별), 작업을 자동화하는 도구, 그리고 이미 심사 중인 원고에서 이를 발견했을 때 무엇을 해야 하는지를 다룹니다.

환각 인용 감사란 무엇인가?

환각 인용 감사란, 제출 전에 원고의 모든 참고문헌을 PubMed, Crossref, OpenAlex, Google Scholar와 대조해 조작되었거나 서로 맞지 않는 인용을 편집자나 심사자가 보기 전에 찾아내는 점검입니다. 참고문헌 목록 규모에 따라 20분에서 2시간까지 걸리며, 이런 오류의 대부분을 잡아냅니다. 이유는 명확합니다. 2026년 상반기 7주 동안 PubMed 색인 논문 277편 중 1편은, 위 네 데이터베이스 어디에도 존재하지 않는 최소 1개 참고문헌을 인용했습니다. 이는 2023년의 2,828편 중 1편 대비 12배 증가한 수치입니다.

환각 인용이 이제 ‘스크리닝 문제’가 된 이유

2024년 하반기쯤부터 편집자들은 기술 화면에서 환각 인용이 등장하는 것을 알아차리기 시작합니다. 2026년 중반에는 주요 의학·생명과학 저널들이 사내 심사 전 절차나 동료심사자 안내 문서에 ‘참고문헌 존재 여부 확인’을 포함합니다. 토파즈 감사 결과를 게재한 Lancet의 서신은, 그 자체로 저널의 유입(심사 대상 수락) 체계를 강화하겠다는 대중적 약속의 일부이기도 합니다.

이 문제가 운영적으로 중요한 이유는, 환각 인용이 더 이상 단순 부주의한 오류로 취급되지 않기 때문입니다. 연구윤리 위반 플래그로 취급됩니다. “저자들이 1년을 잘못 적었다”에서 “저자들이 이 출처를 읽지 않았다. 해당 출처는 존재하지 않으니까”로의 인식 전환은 짧습니다. 그리고 편집자들은 이제 그 판단을 내리도록 훈련받습니다. 대부분의 저널에서는 60개 항목 목록에서 인용 1개만 문제가 있으면 원고가 튕겨 나갈 수 있습니다. 가장 엄격한 저널들(Lancet, BMJ, 여러 Nature Portfolio 계열)에서는 기관의 연구윤리 사무실로 회부되는 트리거가 될 수 있습니다.

arXiv 정책도 같은 점을 더 날카롭게 말합니다. 환각 인용이 포함된 논문을 제출하는 어떤 저자든 arXiv에서 1년간 제출이 금지될 수 있습니다. 금지 이후에는 모든 다음 arXiv 제출 건이 arXiv가 수락하기 전에 평판이 있는 장소에서의 동료심사를 통과해야 합니다. 단 하나의 검증되지 않은 인용에 근거한 영구적인 평판 비대칭입니다. “가짜 인용의 PubMed 문제”는 단순히 PubMed의 문제가 아닙니다.

환각 인용은 실제로 어떤 모습인가

대부분의 저자는 환각 인용을 “명백히 망가진” 것으로 떠올립니다. 예컨대 제목이 깨져 있거나, 존재하지 않는 저널명이거나, 미래로 설정된 연도입니다. 이런 것들은 존재하며, 문제의 가장 쉬운 30%에 해당합니다. 더 어려운 70%는 그럴듯해 보이며 빠른 시각 점검을 통과합니다.

우리는 다음 네 가지 반복 패턴을 봅니다.

패턴 1: 실제 저자, 실제 저널, 그럴듯한 제목, 그러나 그런 논문은 없음. 모델은 어떤 저자들이 어디에서 어떤 주제를 다루는지를 학습 데이터로부터 배웠습니다. 출력은 진짜 참고문헌처럼 읽힙니다. DOI가 있다면, 확인 시 해석되지 않거나(리졸브 실패) 다른 논문으로 연결됩니다.

패턴 2: 실제 논문, 하지만 잘못된 저자 또는 잘못된 연도. 모델은 논문 자체가 존재한다는 사실을 알고 있었지만 메타데이터 필드를 불일치하게 매칭했습니다. Google Scholar에서 제목 검색은 통과할 수 있지만, DOI 조회에서는 실패합니다. 인용된 주장이 실제 논문에 실제로 존재할 수도 있으므로(다른 저자 또는 다른 연도로) 이것이 가장 잡기 어려운 경우가 되곤 합니다.

패턴 3: 실제 DOI, 하지만 무관한 논문. 디킨 연구가 이 유형입니다. 모델은 그럴듯한 인용을 만들어냈고, DOI도 정상적으로 리졸브되지만, 그것이 가리키는 작업은 완전히 무관합니다. DOI가 실제라는 점은 시각적으로도 확인되지만, 연결된 논문을 읽어봐야 문제가 드러납니다. 이 유형이 가짜 인용의 64%에 해당합니다.

패턴 4: 인용을 둘러싼 ‘고장 난 문장’ 사슬. Cabanac Problematic Paper Screener는 패러프레이징 소프트웨어가 생성한 문장(비틀린 표현들)을 포함한 19,000편이 넘는 논문을 플래그했습니다. 이런 문장들은 대개 ‘만들어진 인용’을 중심으로 군집해 나타납니다. 예컨대 “Joined Together States”(미국의 United States에 대한 왜곡), 유방암의 “bosom peril”, 신부전의 “kidney disappointment” 같은 식입니다. 인용 주변의 문장이 패러프레이즈(문장 재작성)로 세탁된 듯 읽히면, 그 인용 자체도 환각일 가능성이 더 큽니다. 인용을 보존하는 패러프레이징에 대한 우리의 노트는, 애초에 패턴 4를 만들어내는 기술적 격차를 다룹니다. 패턴 4는 독립적이지 않으며, 패턴 1~3과 상관관계가 있습니다.

이러한 패턴이 바로 “단일 데이터베이스 점검”만으로는 부족한 이유입니다. 제목만으로 Google Scholar를 확인하면 패턴 2와 3을 놓칩니다. DOI만으로 Crossref를 보면 패턴 1을 놓칩니다. 4개 데이터베이스 워크플로가 존재하는 이유는, 각 데이터베이스가 서로 다른 실패 양상을 잡아내기 때문입니다.

AI 인용을 검증하는 방법: 4개 데이터베이스 워크플로

우리는 환각 인용을, PubMed, Crossref, OpenAlex, Google Scholar 어느 곳에도 존재하지 않는 것으로 정의합니다. 제출 전 감사에서는 이 네 소스를 사용합니다. 각각이 다른 세 소스의 빈틈을 보완하기 때문입니다.

PubMed. 생의학 및 임상 문헌에 대한 커버리지가 가장 좋습니다. 참고문헌에 PMID가 있다면 PMID 조회를 사용하세요. 그렇지 않다면 해당 참고문헌의 제목과 첫 번째 저자의 성(last name)으로 조회합니다. PubMed는 Crossref가 수용하는 “실존하지만 잘못된” 인용의 상당수를 거부합니다.

Crossref. 모든 분야에서 DOI에 대한 커버리지가 가장 좋습니다. 이 doi.crossref.org 조회 또는 공개 API인 api.crossref.org/works/[DOI]를 통해 DOI로 참고문헌을 조회하세요. 작동하지 않으면 그것은 확실히 환각입니다. 작동한다면, 제목·저자·연도를 대조해 보세요.

OpenAlex. 가장 넓은 커버리지를 가지며 무료입니다. PubMed와 Crossref에서 누락되는 인용(인문학, 컴퓨터과학 학술대회 논문, 지역 저널 등)을 밝혀내는 데 유리합니다. 제목으로 인용을 찾고 저자가 맞는지 확인하세요. OpenAlex는 DOI로 출판되기 전 ‘프리프린트’로만 존재하는 인용도 표면화하므로 특히 유용합니다.

Google Scholar. 가장 광범위하지만 정확도는 낮습니다. 마지막에 사용하세요. PubMed, Crossref, OpenAlex, Google Scholar 어디에도 나타나지 않는 참고문헌은 기능적으로 거의 확실히 환각입니다. 반대로 Google Scholar에는 나타나지만 구조화된 데이터베이스에는 전혀 없는 참고문헌은 의심스럽습니다. 존재할 수도 있습니다(회색문헌, 학위논문, DOI가 없는 학술대회 진행문, working paper 등). 그러나 제출 전에는 인용을 수동으로 확인해야 합니다.

워크플로는 수동으로 진행할 경우 참고문헌 1개당 대략 1분 정도가 걸립니다. 참고문헌 60개 논문은 한 시간의 작업입니다. 200개 참고문헌의 체계적 문헌고찰은 거의 세 시간에 가깝습니다. 감사는 번거롭지만 기계적으로 수행할 수 있어 자동화의 자연스러운 대상이 됩니다. 도구는 바로 다음 절에 있습니다.

제출 전 감사: 단계별로 보기

초안 작성 과정에서 생성형 AI 도구에 ‘가까이’ 있었던 모든 원고에 적용할 수 있는 반복 가능한 체크리스트입니다. 총 8단계이며, 유료 도구가 필요하지 않습니다.

1. 참고문헌 목록을 평면 형식으로 추출합니다. 참고문헌 관리 도구(Zotero, Mendeley, EndNote, Paperpile)에서 BibTeX 또는 RIS로 내보내세요. 관리 도구 없이 Word에서 작성된 논문이라면, 참고문헌 목록을 일반 텍스트 파일에 붙여넣습니다. 각 항목에 번호를 매기세요. 어떤 참고문헌이 검증되었는지 추적하려면 이 번호가 필요합니다.

2. 제목을 모르는 참고문헌을 표시합니다. 해당 논문을 떠올릴 수 없다면, 거의 확실히 읽지 않았을 가능성이 큽니다. 환각 참고문헌은 거짓일 위험이 가장 높습니다. 가장 철저한 점검을 위해서는 그것들을 표시해 두세요.

3. 모든 DOI를 해결(리졸브)합니다. 각 DOI를 https://doi.org/[DOI]에 붙여넣습니다. DOI가 리졸브되지 않으면 해당 참고문헌은 환각입니다. 리졸브된다면, 도착(연결) 논문의 제목과 저자를 자신의 인용과 비교합니다. 불일치는 패턴 3 환각입니다.

4. DOI가 아닌 모든 참고문헌을 PubMed 또는 Crossref에서 확인합니다. 제목 검색과 첫 번째 저자 성(last name). 논문이 존재하면 기록을 위해 PMID 또는 DOI를 캡처하세요. 어느 데이터베이스에도 없으면 5단계로 에스컬레이션합니다.

5. 에스컬레이션된 참고문헌을 OpenAlex와 Google Scholar에서 교차 확인합니다. Crossref와 PubMed에서 실패했다면, OpenAlex와 Google Scholar 조회가 결정적입니다. 네 데이터베이스 모두에서 실패하면 참고문헌이 환각이라는 증거가 됩니다. Google Scholar에만 나타나는 참고문헌이라면 연결된 소스를 수동으로 살펴보세요.

6. 프리프린트는 프리프린트와 출판된 버전 모두를 확인합니다. 흔한 2024년 중반 이후 패턴입니다. 모델은 실제 프리프린트를 인용하지만, 같은 작업에 대한 가상의 저널 출판물을 만들어냅니다. 프리프린트 인용이 있다면 arXiv, bioRxiv, medRxiv, SSRN에서 프리프린트를 명시적으로 확인하세요.

7. 본문 인용 주장(인텍스트 claim)을 소스와 대조해 점검합니다. 실제 논문을 열고, 그 인용이 당신이 인용하기 위해 주장하는 특정 내용이 최소 참고문헌의 10% 이상(또는 체계적 문헌고찰의 경우 전부)을 지지하는지 확인하세요. 디킨 연구의 오류율 56%에는, 인용된 논문이 존재하지만 그 주장을 지지하지 않는 패턴 2 사례가 포함됩니다.

8. 감사 결과를 문서화합니다. 감사 로그(어떤 참고문헌이 검증되었는지, 어떤 데이터베이스에서, 어떤 날짜에)를 저장하세요. 저널이 동료심사 중에 묻는다면, 그때 제출할 근거가 생깁니다. 심사자가 특정 인용을 문제 삼으면, 검증 단계를 근거로 제시할 수 있습니다.

감사 실행 비용은 2시간입니다. 건너뛰었을 때 들킬 경우 비용은 기술 화면에서의 리젝부터 arXiv 금지까지 범위가 넓습니다. 감사를 실행하세요.

감사를 자동화하는 도구

여덟 단계를 모두 수동으로 할 수 있습니다. 하지만 도구를 쓰면 더 빠릅니다.

Crossref 공개 API. 무료이며 가입이 필요 없습니다. api.crossref.org/works/[DOI] 엔드포인트는 정규(canonical) 제목, 저자, 연도가 포함된 JSON을 반환합니다. 참고문헌 목록을 순회하며 이 엔드포인트에 요청하는 20줄짜리 Python 스크립트만으로도, 참고문헌 1개당 수 초 내에 패턴 1과 3을 잡아낼 수 있습니다. 가장 가벼운 수준의 자동화이며, 보통 참고문헌 60개짜리 논문이면 충분합니다.

Scite (scite.ai). 참고문헌을 검증하고, 이후 논문들이 그 작업을 지지하는지 또는 반박하는지 보고합니다. 다른 도구보다 패턴 2(실제 논문이지만 잘못된 주장)를 더 잘 잡습니다. 이유는 실제 콘텐츠를 기반으로 상호작용하기 때문입니다. 무료 티어가 있고, 전체 통합에는 유료 버전이 필요합니다.

문제가 되는 논문 스크리너 (Cabanac, Labbe, Magazinov). 무료이고 오픈입니다. 주로 ‘게시 이후(post-publication)’ 스크리닝이지만, 그 탐지 도구 모음은 패턴 4에 대해 제출 전 사전 검증에 유용합니다. dbrech.irit.fr/pls/apex/f?p=9999:1에서 검색하세요. 인용 주변 문장이 페이퍼 밀(paper-mill) 출력처럼 보일 정도로 패러프레이즈 세탁이 되었는지 확인하는 데 유용합니다.

참고문헌 관리자에 내장된 참고문헌 점검기. Zotero가 환각 참고문헌을 감지하면, 그 "Find Available PDF" 기능은 작동하지 않습니다. Mendeley의 메타데이터 채우기 기능도 같은 효과가 나타납니다. 이는 의도된 환각 검사기가 아니지만, 통상적으로 사용할 때 가장 쉬운 문제들을 식별해 줍니다.

저희 proofreader. 저희 AI 검수 도구는 4개 데이터베이스 감사를 한 번의 패스로 실행해 환각 및 불일치 인용을 하이라이트하고, 원고와 함께 저장할 수 있는 정리된 로그를 내보냅니다. 연구 논문을 위한 더 넓은 AI 교정 도구 모음의 일부로 이 도구를 제공합니다. 여기에는 깔끔한 참고문헌 감사와 함께 제공되는 문법, 인용 형식 설정, 추적 변경(tracked-changes) 프로세스까지 관련된 사항이 포함됩니다.

전체 교정보다 먼저 독립적으로 확인하려면, 무료 AI citation checker는 브라우저에서 바로 붙여넣은 참고문헌 목록을 대상으로 Crossref, Semantic Scholar 및 다른 공개 레지스트리를 상대로 같은 존재 여부 확인을 수행하며, 회원가입도 필요하지 않습니다.

대부분의 경우 Crossref API 스크립트와 수동 에스컬레이션 목록만으로도 대부분의 저자에게 문제의 90%를 잡아냅니다. 도구는 특히 체계적 문헌고찰, 제출이 많은 연구 집단, 그리고 하나의 놓친 환각 인용의 비용이 큰 경우(예: Lancet 또는 NEJM 제출, 이전 플래그 이후 arXiv에 다시 올린 재게시물)에서 가치가 커집니다.

환각 인용을 발견했을 때 무엇을 할 것인가

당신도 하나는 찾게 될 것입니다. 저희 경험에 따르면, LLM을 거친 참고문헌 목록 대부분에는 최소 1개가 들어 있습니다. 원고의 단계에 따라 선택지는 두 가지입니다.

제출 전. 가장 쉬운 경우입니다. 해당 인용을 제거하거나, 실제로 주장을 뒷받침하는 진짜 참고문헌으로 대체하거나, 주변 문장을 다시 써서 뒷받침되지 않는 주장이 제거되도록 하세요. 변경 사항을 감사 로그에 기록합니다.

동료심사 중. 환각임이 확인되는 즉시, 담당 편집자에게 서면으로 알리세요. 수정된 참고문헌 목록과 함께 설명도 제공해야 합니다. 즉, 무엇을 발견했는지, 어떻게 발견했는지, 남은 참고문헌을 어떻게 검증했는지입니다. 편집자는 심사 과정에서 잡힌 저자보다 스스로 고쳐온 저자에게 훨씬 더 잘 반응합니다.

승인됐지만 아직 출판되지 않음. 바로 생산(퍼블리케이션) 편집자에게 연락하세요. 대부분의 출판사는 교정(proofs) 단계에서, 일상적인 편집 수정이 아니라 ‘무결성 자체수정(integrity self-correction)’으로 제시되는 늦은 정정을 받아들일 수 있습니다.

출판됨. 저널에 연락해 정정 공지(Erratum) 또는 중대한 경우 Corrigendum을 요청하세요. 환각 인용이 논문에서 실질적인 주장(s substantive claim)을 뒷받침한다면, 수정이 그 주장 자체로까지 확장되어야 할 수도 있습니다. 많은 사람이 피하고 싶은 길이 바로 이것이며, 이 글의 감사가 그것을 막아주는 경로입니다.

참고문헌 목록에 손을 댄(예: 패러프레이저나 인용 생성기처럼) 어떤 AI 도구를 사용했다면, 해당 원고에 AI 공개 진술(AI disclosure statement)을 포함하세요. 또한 커버 레터에서 감사를 실행했고 스스로 수정했다는 점을 공개할 수도 있습니다. 경고를 주기보다는 전문적인 조치로 들릴 가능성이 큽니다.

자주 묻는 질문

Q: 2026년 환각 인용은 얼마나 흔한가요?

콜럼비아 분석(Topaz et al, Lancet 2026)에 따르면, 2026년 상반기(처음 7주) 동안 PubMed 색인 논문 277편 중 1편은 최소 1개 이상의 참고문헌을 포함했으며, 그 인용은 최소 1개 이상이었습니다. 즉, 2023년의 2,828편 중 1편 대비 12배 증가한 추세입니다. 이 경향은 계속 올라가고 있습니다. 엄격한 동료심사 체계가 있는 컨퍼런스에서는, GPTZero의 NeurIPS 2025 분석이 승인 논문 4,841편 중 53편에서 최소 100개의 환각 인용을 발견했으며, 이는 컨퍼런스 전체 대비 약 1% 수준입니다.

Q: 왜 64%에 해당하는 DOI 유형이 가장 찾기 어려운가요?

LLM이 참고문헌을 환각할 때, 때때로 학습 데이터에서 나온 ‘실제 DOI’를 가져다 붙여서, 인용된 내용과는 다른 논문으로 연결되게 만들기도 합니다. DOI는 리졸브되고 다른 논문도 존재하며, 빠른 시각 점검만으로는 괜찮아 보일 수 있습니다. 그러나 인용된 논문으로 연결되는 링크를 클릭한 다음에야, 인용된 참고문헌의 제목·저자 또는 심지어 내용이 실제로는 그 인용과 일치하지 않는다는 사실을 깨닫게 됩니다. 디킨 연구는 GPT-4o로 생성된 가짜 인용의 64%에 대해서도 이것이 사실임을 보여줍니다. DOI를 해결하는 것만으로는 부족하며, 연결된 논문이 실제로 그 인용에 해당하는지까지 검증이 보완되어야 합니다.

Q: arXiv는 환각 인용 하나만으로 정말 1년간 제게 금지할까요?

예, 과실이 명확한 경우에 해당합니다. 토마스 디터리히(Thomas Dietterich)는 LLM 출력을 확인하지 않고 그대로 붙여 넣었다가 환각 인용, 남아 있는 챗봇 플레이스홀더 텍스트, 데이터 문제로 이어진 사례를 다루기 위한 2026년 5월 arXiv 정책을 공지했습니다. arXiv는 진짜로 다투어지는 경우나 경계선(bordered) 사례는 범위 밖이라고 명시했습니다. 금지 기간이 끝난 뒤에는, 이후 모든 arXiv 제출 건이 먼저 평판이 있는 장소에서 동료심사를 통과해야 arXiv가 다시 수락할 수 있습니다.

Q: 참고문헌 목록을 ChatGPT나 Claude에 그냥 돌려서 확인하면 되지 않나요?

아니요. 환각 인용을 만든 것과 동일한 모델이 검증 과정에서도 또 환각을 일으킬 수 있기 때문입니다. 저희는 LLM이 만들어진 DOI가 “유효하다”고 자신 있게 "confirm"하는 것을 보았습니다. 점검은 다른 LLM이 아니라, 권위 있는 메타데이터를 가진 외부 구조화 데이터베이스(PubMed, Crossref, OpenAlex, Google Scholar)로 해야 합니다.

Q: 참고문헌이 Google Scholar에만 있다면 어떻게 해야 하나요?

Google Scholar에는 나타나지만 PubMed, Crossref, OpenAlex에는 나타나지 않는 참고문헌은 확정적 환각이라기보다 의심스럽습니다. 일부 실제 자료(학위논문, DOI가 없는 학술대회 진행문, working paper, 지역 저널 등)는 구조화 데이터베이스 커버리지가 없이 Google Scholar에만 나타날 수 있습니다. 연결된 소스를 수동으로 살펴보세요. 논문을 열어 주장 자체를 검증할 수 있다면, 참고문헌은 실제이되 색인이 충분하지 않은 것이므로 확신을 가지고 인용해도 됩니다. 소스를 열 수 없거나 링크가 깨져 있다면, 환각으로 간주하고 제거하거나 대체하세요.

학술지 투고용 참고문헌 점검 교정기

PubMed, Crossref, OpenAlex, Google Scholar를 대상으로 한 번의 처리로 환각된 인용을 점검하고, 기록용으로 다운로드 가능한 검증 로그를 제공합니다.