Audit Rujukan Halusinasi: Semakan Pra-Penyerahan

Audit rujukan halusinasi pra-penyerahan kini menjadi pembeza antara skrin meja yang bersih dan bendera integriti penyelidikan, dan sebab ia penting baru sahaja dikuantifikasikan. Maxim Topaz, pasukan dari Columbia yang mengaudit 2.5 juta artikel bioperubatan yang diindeks dalam PubMed Central, telah mendedahkan perkara yang diam-diam kita semua risaukan. Bilangan rujukan palsu yang dimasukkan ke dalam penerbitan bioperubatan yang disemak rakan sebaya meningkat dengan mendadak, tepat ketika alat penjanaan generatif menjadi sebahagian daripada aliran kerja penulisan biasa bagi penyelidik.

Satu daripada setiap 277 artikel yang dipetik dalam tujuh minggu pertama 2026 memetik sekurang-kurangnya satu rujukan yang tidak wujud di mana-mana sahaja dalam PubMed, Crossref, OpenAlex, atau Google Scholar. Dua tahun lebih awal, kadarnya ialah 1 dalam 2,828. Kita melihat peningkatan 12 kali ganda dalam kadar rujukan palsu yang merayap masuk ke dalam literatur, dengan lonjakan paling ketara bermula tepat mengikut jadual pada pertengahan 2024.

Audit Topaz ialah angka paling bersih yang kita ada, namun ia bukan satu-satunya. ArXiv mengumumkan larangan penyerahan selama setahun untuk penulis yang menyiarkan kertas dengan ralat yang dijana AI secara jelas, termasuk rujukan halusinasi. Analisis GPTZero terhadap 4,841 artikel NeurIPS 2025 yang diterima mengenal pasti sekurang-kurangnya 100 rujukan halusinasi yang disahkan dalam 53 artikel selepas ia disemak oleh tiga hingga lima pengulas pakar. Kajian Universiti Deakin terhadap rujukan yang dijana GPT-4o mendapati 56 peratus sama ada palsu atau mengandungi ralat, dan 64 peratus daripada rujukan palsu itu disertakan dengan DOI yang memaut kepada artikel sebenar tetapi tidak berkaitan, jenis yang paling sukar dikesan.

Berita baiknya ialah audit rujukan halusinasi pra-penyerahan mengambil antara 20 minit hingga dua jam, bergantung pada saiz senarai rujukan anda, dan ia hampir pasti menangkis kesilapan-kesilapan ini sebelum editor atau pengulas melihatnya. Ini ialah catatan audit. Kami membincangkan rupa rujukan halusinasi pada 2026, aliran kerja pengesahan berasaskan empat pangkalan data, senarai semakan pra-penyerahan langkah demi langkah, alat yang mengautomasikan kerja, serta apa yang perlu dilakukan jika anda menemui satu rujukan dalam manuskrip yang sudah berada dalam semakan.

Apakah Audit Rujukan Halusinasi?

Audit rujukan halusinasi ialah semakan pra-penyerahan yang mengesahkan setiap rujukan dalam manuskrip anda terhadap PubMed, Crossref, OpenAlex, dan Google Scholar untuk mengesan rujukan yang direka atau tidak sepadan sebelum editor atau pengulas melihatnya. Bergantung pada saiz senarai rujukan anda, ia mengambil antara 20 minit hingga dua jam, dan ia hampir menghapuskan semua ralat tersebut. Ia penting kerana dalam tujuh minggu pertama 2026, satu daripada setiap 277 artikel yang diindeks PubMed memetik sekurang-kurangnya satu rujukan yang tidak wujud di mana-mana dalam empat pangkalan data tersebut, peningkatan 12 kali ganda berbanding kadar 2023 iaitu satu dalam 2,828.

Mengapa rujukan halusinasi kini menjadi isu saringan

Sekitar separuh kedua 2024, editor mula melihat rujukan yang halusinasi muncul pada skrin teknikal mereka. Menjelang pertengahan 2026, semua jurnal perubatan dan sains hayat terkemuka memasukkan semakan kewujudan rujukan dalam prosedur pra-penilaian dalaman atau panduan untuk pengulas rakan sebaya. Surat Lancet yang menerbitkan audit Topaz itu, sebahagiannya, merupakan komitmen awam untuk mengukuhkan proses penerimaan jurnal tersebut.

Sebab perkara ini penting dari sudut operasi ialah rujukan halusinasi kini tidak lagi dianggap sebagai kesilapan cuai. Ia dianggap sebagai bendera integriti penyelidikan. Jarak daripada "penulis tersilap setahun" kepada "penulis tidak membaca sumber ini kerana ia tidak wujud" adalah pendek, dan editor kini dilatih untuk melakukannya. Dalam kebanyakan jurnal, satu rujukan dalam senarai 60 entri sudah cukup untuk menolak manuskrip; bagi yang paling ketat (Lancet, BMJ, beberapa tajuk Nature Portfolio), ia boleh mencetuskan rujukan kepada pejabat integriti penyelidikan institusi.

Dasar arXiv menyampaikan perkara yang sama dengan bentuk yang lebih tegas. Mana-mana penulis yang menyiarkan kertas yang mengandungi rujukan halusinasi boleh dikenakan larangan daripada arXiv selama setahun. Selepas larangan itu, setiap penyerahan arXiv seterusnya mesti melalui semakan rakan sebaya di venue yang bereputasi sebelum arXiv akan menerimanya semula. Ini mewujudkan ketidakseimbangan reputasi yang kekal berdasarkan satu rujukan yang tidak disemak. Isu rujukan palsu PubMed bukan sekadar isu PubMed.

Bagaimana rujukan halusinasi benar-benar kelihatan

Kebanyakan penulis membayangkan rujukan halusinasi sebagai sesuatu yang jelas rosak: tajuk yang cacat, nama jurnal yang tidak wujud, tahun yang disetkan pada masa hadapan. Rupa-rupa tersebut ada, dan ia merupakan 30 peratus paling mudah dikesan dalam masalah ini. Selebihnya 70 peratus lebih sukar, ia kelihatan sah dan bertahan selepas semakan visual pantas.

Kami melihat empat corak berulang.

Corak 1: penulis sebenar, jurnal sebenar, tajuk munasabah, tetapi tiada kertas seperti itu. Model membina rujukan daripada data latihan yang mengajarnya penulis mana menerbitkan di mana dan topik apa yang mereka fokus. Outputnya dibaca seperti rujukan sebenar. DOI, jika ada, sama ada tidak berjaya diselesaikan atau menyelesaikan kepada kertas yang berbeza.

Corak 2: kertas sebenar, penulis salah atau tahun salah. Model tahu kertas itu wujud tetapi tersilap memadankan medan metadata. Rujukan itu melepasi carian tajuk Google Scholar, tetapi gagal dalam carian DOI. Ini selalunya paling sukar untuk dikesan kerana dakwaan yang dipetik mungkin sebenarnya ada dalam kertas sebenar (di bawah penulis atau tahun yang berbeza).

Corak 3: DOI sebenar, tetapi kertas yang tidak berkaitan. Dapatan kajian Deakin. Model menghasilkan rujukan yang kelihatan meyakinkan dan melekatkan DOI yang boleh diselesaikan, namun kepada karya yang sama sekali tidak berkaitan. Pemeriksaan visual menunjukkan DOI itu wujud, tetapi hanya dengan membaca kertas yang dipaut barulah isu itu terserlah. Inilah jenis yang merangkumi 64 peratus.

Corak 4: rangkaian frasa yang dipintal mengelilingi rujukan. Penganalisis Cabanac Problematic Paper Screener telah menandai lebih daripada 19,000 kertas yang mengandungi frasa yang dipintal, dihasilkan melalui perisian parafrasa, sering kali bergumpal bersama rujukan yang diada-adakan. "Joined Together States" untuk United States, "bosom peril" untuk kanser payudara, "kidney disappointment" untuk kegagalan buah pinggang. Jika prosa di sekeliling rujukan terbaca seperti parafrasa yang sudah dilapangkan, rujukan itu lebih berkemungkinan turut halusinasi. Nota kami tentang parafrasa yang memelihara rujukan merangkumi jurang teknik yang melahirkan Corak 4 sejak awal. Corak 4 berkait dengan Corak 1 hingga 3, bukan berdiri sendiri.

Corak-coraak inilah sebab semakan satu pangkalan data sahaja tidak mencukupi. Carian Google Scholar yang hanya menggunakan tajuk terlepas Corak 2 dan 3. Carian Crossref yang hanya menggunakan DOI terlepas Corak 1. Aliran kerja empat pangkalan data wujud kerana setiap pangkalan data menangkap mod kegagalan yang berbeza.

Cara mengesahkan rujukan AI: aliran kerja berasaskan empat pangkalan data

Kami mentakrifkan rujukan halusinasi sebagai rujukan yang tidak wujud dalam mana-mana PubMed, Crossref, OpenAlex, atau Google Scholar. Untuk audit pra-penyerahan kami, kami bergantung pada empat sumber ini kerana setiap satu meliputi ruang kosong yang tidak ditutup oleh tiga yang lain.

PubMed. Liputan terbaik untuk kesusasteraan biomedikal dan klinikal. Jika rujukan anda mempunyai PMID, gunakan carian PMID. Jika tidak, cari rujukan berdasarkan tajuk dan nama akhir pengarang pertama. PubMed akan menolak banyak rujukan sebenar tetapi tersalah yang diterima oleh Crossref.

Crossref. Liputan terbaik untuk DOI merentas semua bidang. Cari rujukan berdasarkan DOI melalui carian doi.crossref.org ini atau melalui API awam mereka di api.crossref.org/works/[DOI]. Jika ia tidak berfungsi, rujukan itu pasti halusinasi. Jika ia berfungsi, semak tajuk, pengarang, dan tahun.

OpenAlex. Liputan paling luas, percuma, dan ia mendedahkan rujukan yang tidak diliputi oleh PubMed dan Crossref (kemanusiaan, prosiding persidangan sains komputer, jurnal serantau). Cari rujukan berdasarkan tajuk dan pastikan pengarangnya betul. OpenAlex juga berguna kerana ia memaparkan rujukan yang wujud sebagai preprint tetapi belum lagi menjadi penerbitan yang mempunyai DOI.

Google Scholar. Gunakan di bahagian akhir, kerana ia menawarkan liputan paling luas tetapi ketepatan paling rendah. Rujukan yang tidak muncul dalam PubMed, Crossref, OpenAlex, atau Google Scholar secara fungsional hampir pasti halusinasi. Rujukan yang hanya muncul dalam Google Scholar tetapi tidak dalam pangkalan data berstruktur lain adalah mencurigakan: ia mungkin wujud (literatur kelabu, tesis, prosiding tanpa DOI) tetapi rujukan itu perlu disemak secara manual sebelum penyerahan.

Aliran kerja ini mengambil kira-kira satu minit setiap rujukan jika dibuat secara manual. Kertas 60 rujukan ialah satu jam kerja. Tinjauan sistematik 200 rujukan lebih dekat kepada tiga jam. Audit ini membosankan tetapi mekanikal, dan kerana itulah ia menjadi sasaran semula jadi untuk automasi; alat tersedia dalam bahagian seterusnya.

Audit pra-penyerahan, langkah demi langkah

Senarai semakan yang boleh diulang kami gunakan untuk setiap manuskrip yang melalui atau menghampiri alat penjanaan AI semasa proses draf. Lapan langkah, tiada satu pun memerlukan alat berbayar.

1. Ekstrak senarai rujukan kepada format rata. Eksport dari pengurus rujukan anda (Zotero, Mendeley, EndNote, Paperpile) sebagai BibTeX atau RIS. Jika manuskrip anda ditulis dalam Word tanpa pengurus rujukan, tampal senarai rujukan ke dalam fail teks biasa. Nomborkan setiap entri. Anda akan memerlukan penomboran untuk menjejak rujukan mana yang telah disahkan.

2. Tanda sebarang rujukan yang tajuknya tidak anda kenali. Jika seseorang tidak dapat membayangkan kertas itu, hampir pasti dia tidak pernah membacanya. Rujukan halusinasi berada pada risiko tertinggi untuk menjadi palsu. Untuk semakan paling menyeluruh, tandainya.

3. Selesaikan setiap DOI. Tampal setiap DOI ke dalam https://doi.org/[DOI]. Jika DOI tidak dapat diselesaikan, rujukan itu halusinasi. Jika ia dapat diselesaikan, bandingkan tajuk dan pengarang kertas destinasi dengan petikan anda. Ketidaksepadanan ialah halusinasi Corak 3.

4. Sahkan setiap rujukan bukan-DOI dalam PubMed atau Crossref. Carian tajuk ditambah nama akhir pengarang pertama. Jika kertas itu wujud, catat PMID atau DOI untuk rekod anda. Jika kertas itu tidak wujud dalam kedua-dua pangkalan data, beralih ke langkah 5.

5. Saling-sahkan rujukan yang ditingkatkan dalam OpenAlex dan Google Scholar. Jika rujukan gagal dalam Crossref dan PubMed, carian OpenAlex dan Google Scholar menjadi penentu. Kegagalan dalam keempat-empat pangkalan data ialah bukti bahawa rujukan itu halusinasi. Jika rujukan muncul hanya dalam Google Scholar, periksa sumber yang dipaut secara manual.

6. Untuk preprint, sahkan kedua-dua preprint dan sebarang versi yang diterbitkan. Corak biasa pertengahan 2024 dan seterusnya: model memetik preprint yang benar tetapi mereka-reka penerbitan jurnal fiksyen untuk kerja yang sama. Periksa arXiv, bioRxiv, medRxiv, dan SSRN secara jelas untuk sebarang rujukan preprint.

7. Lakukan semakan spot terhadap dakwaan dalam teks berbanding sumber. Buka kertas sebenar dan semak sama ada ia menyokong dakwaan khusus yang anda petik sekurang-kurangnya 10 peratus daripada rujukan anda (atau semuanya, untuk kes tinjauan sistematik). Kadar ralat 56 peratus kajian Deakin merangkumi kes Corak 2 apabila kertas yang dipetik wujud tetapi tidak menyokong dakwaan tersebut.

8. Dokumentasikan audit. Simpan log audit (rujukan mana yang telah disahkan, terhadap pangkalan data yang mana, pada tarikh apa). Jika jurnal memintanya semasa semakan rakan sebaya, anda ada bukti. Jika pengulas mencabar rujukan tertentu, anda boleh merujuk langkah pengesahan anda.

Kos untuk menjalankan audit ialah dua jam. Kos untuk melangkauinya, jika anda terkantoi, berjulat daripada penolakan saringan teknikal hingga larangan arXiv. Jalankan audit.

Alat yang mengautomasikan audit

Anda boleh melakukan semua lapan langkah secara manual. Anda akan menjadi lebih pantas dengan bantuan alat.

API awam Crossref. Percuma, tiada pendaftaran diperlukan. Endpoint api.crossref.org/works/[DOI] mengembalikan JSON dengan tajuk kanonikal, pengarang, dan tahun. Skrip Python 20 baris yang melawati senarai rujukan anda dan mencapai endpoint ini menangkap Corak 1 dan 3 dalam beberapa saat bagi setiap rujukan. Ini automasi paling ringan yang mungkin dan biasanya mencukupi untuk kertas 60 rujukan.

Scite (scite.ai). Mengesahkan rujukan dan melaporkan sama ada kertas seterusnya memetik karya tersebut secara menyokong atau secara menentang. Menangkap Corak 2 (kertas sebenar, dakwaan salah) lebih baik berbanding alat lain kerana ia berinteraksi dengan kandungan sebenar. Ia mempunyai peringkat percuma; versi berbayar diperlukan untuk integrasi penuh.

Problematic Paper Screener (Cabanac, Labbe, Magazinov). Percuma, terbuka, dan sebahagian besarnya merupakan penyaring selepas penerbitan, tetapi set pengesanannya berguna untuk pra-penyerahan bagi Corak 4. Cari di dbrech.irit.fr/pls/apex/f?p=9999:1. Berguna untuk mengesahkan bahawa prosa di sekeliling rujukan anda tidak diparafrasakan hingga kelihatan seperti output paper-mill.

Pemeriksa rujukan yang dibina dalam pengurus rujukan. Jika Zotero mengesan rujukan halusinasi, fungsi "Find Available PDF" tidak akan berfungsi. Ciri Mendeley untuk mengisi metadata mempunyai kesan yang sama. Ini bukan pemeriksa halusinasi yang bertujuan, tetapi ia tetap mengenal pasti masalah paling mudah apabila anda menggunakannya secara normal.

Pemeriksa kami proofreader. Pemeriksa rencana AI kami berfungsi dengan menjalankan audit berasaskan empat pangkalan data dalam satu laluan, menyerlahkan rujukan halusinasi dan yang tidak sepadan, serta mengeksport log yang bersih untuk anda simpan bersama manuskrip. Kami menyediakan alat ini sebagai sebahagian daripada rangkaian alat pembacaan-bukti AI yang lebih luas untuk kertas penyelidikan, merangkumi proses tatabahasa berkaitan, pemformatan sitasi, dan penjejakan perubahan yang wujud bersama audit rujukan yang bersih.

Untuk semakan kendiri sebelum penyuntingan penuh, pemeriksa sitasi AI percuma kami menjalankan semakan kewujudan yang sama terhadap Crossref, Semantic Scholar dan daftar terbuka lain pada mana-mana senarai rujukan yang ditampal, terus dalam pelayar tanpa perlu mendaftar.

Kebanyakannya, skrip API Crossref dan senarai eskalasi manual akan menangkis 90 peratus masalah bagi kebanyakan penulis. Alat menjadi bernilai untuk tinjauan sistematik, untuk kumpulan penyelidikan dengan banyak penyerahan, serta untuk kes apabila kos satu halusinasi yang terlepas adalah besar (penyerahan Lancet atau NEJM, penyiaran semula arXiv selepas bendera sebelum ini).

Apa yang perlu dilakukan jika anda menemui rujukan halusinasi

Anda akan menemuinya. Dalam pengalaman kami, hampir setiap senarai rujukan yang menyentuh LLM mempunyai sekurang-kurangnya satu. Bergantung pada peringkat manuskrip anda, anda ada dua pilihan.

Pra-penyerahan. Kes paling mudah. Buang rujukan itu, atau gantikan dengan rujukan sebenar yang benar-benar menyokong dakwaan tersebut, atau ubah ayat di sekelilingnya supaya dakwaan yang tidak disokong itu dibuang. Dokumentasikan perubahan dalam log audit anda.

Sedang dalam semakan rakan sebaya. Maklumkan editor yang mengendalikan secara bertulis sebaik sahaja anda mengesahkan halusinasi tersebut. Sediakan senarai rujukan yang telah dibetulkan dan penjelasan: apa yang anda temui, bagaimana anda menemuinya, serta apa yang telah anda lakukan untuk mengesahkan rujukan yang selebihnya. Editor biasanya bertindak lebih baik terhadap penulis yang membetulkan sendiri berbanding penulis yang ditangkap oleh pengulas.

Diterima tetapi belum diterbitkan. Hubungi editor produksi segera. Kebanyakan penerbit akan menerima pembetulan lewat pada peringkat pruf jika ia dibentangkan sebagai pembetulan diri berasaskan integriti, bukan suntingan rutin.

Diterbitkan. Hubungi jurnal dan minta erratum atau, dalam kes yang serius, corrigendum. Jika rujukan halusinasi menyokong dakwaan substantif dalam kertas, pembetulan mungkin perlu meluas hingga ke dakwaan itu sendiri. Inilah laluan yang paling ingin dielakkan; inilah laluan yang audit cegah.

Penyataan pendedahan AI dalam manuskrip anda jika anda menggunakan sebarang alat AI yang menyentuh senarai rujukan, seperti parafraser atau penjana sitasi. Anda juga boleh mendedahkan dalam surat litup bahawa anda menjalankan audit dan membetulkan sendiri. Kedengarannya seperti tindakan profesional, bukan sesuatu yang menggerunkan.

Soalan Lazim

S: Sejauh manakah lazimnya rujukan halusinasi pada 2026?

Analisis Columbia (Topaz et al, Lancet 2026) mendapati satu daripada 277 artikel yang diindeks PubMed dan diterbitkan dalam tujuh minggu pertama 2026 mengandungi sekurang-kurangnya satu rujukan. Itu peningkatan 12 kali ganda berbanding kadar 2023 iaitu satu dalam 2,828. Trendnya semakin meningkat. Dalam persidangan dengan semakan rakan sebaya yang ketat, analisis GPTZero NeurIPS 2025 mendapati sekurang-kurangnya 100 rujukan halusinasi dalam 53 daripada 4,841 artikel yang diterima, sekitar 1 peratus bagi persidangan.

S: Mengapa variasi DOI 64 peratus ialah yang paling sukar dikesan?

Apabila LLM menghalusinasikan rujukan, ia kadang-kadang meletakkan DOI sebenar daripada data latihan yang menunjuk kepada kertas lain berbanding yang dipetik. DOI itu berjaya diselesaikan, kertas lain itu wujud, dan semakan visual pantas nampak OK. Hanya selepas mengklik pautan ke kertas yang dipetik barulah seseorang menyedari bahawa tajuk, pengarang, atau bahkan kandungan rujukan yang dipetik tidak sepadan dengan sitasi. Kajian Deakin menunjukkan bahawa ini benar bagi 64 peratus rujukan palsu yang dijana dengan GPT-4o. Hanya menyelesaikan DOI tidak mencukupi dan mesti ditambah dengan pengesahan bahawa kertas yang dipaut memang sepadan dengan rujukan.

S: Adakah arXiv benar-benar melarang saya selama setahun untuk rujukan halusinasi?

Ya, apabila kecuaian itu jelas. Thomas Dietterich mengumumkan dasar arXiv Mei 2026 yang bertujuan menangani kes apabila penulis menampal output LLM tanpa menyemaknya, yang membawa kepada rujukan halusinasi, teks placeholder chatbot yang tertinggal, atau data. ArXiv secara jelas menyatakan kes yang benar-benar dipertikaikan atau berada pada sempadan adalah di luar skop. Selepas larangan tamat, semua penyerahan arXiv yang akan datang mesti terlebih dahulu melepasi semakan rakan sebaya di venue yang bereputasi sebelum arXiv menerimanya semula.

S: Bolehkah saya hanya menjalankan senarai rujukan saya melalui ChatGPT atau Claude untuk semaknya?

Tidak. Model yang sama yang menghalusinasikan rujukan juga boleh menghalusinasikan pengesahan. Kami telah melihat LLM dengan yakin "mengesahkan" bahawa DOI yang dibuat itu sah. Semakan mesti dibuat terhadap pangkalan data berstruktur luaran (PubMed, Crossref, OpenAlex, Google Scholar) yang mempunyai metadata autoritatif, bukan terhadap satu LLM yang lain.

S: Bagaimana jika sesuatu rujukan hanya wujud dalam Google Scholar?

Rujukan yang muncul dalam Google Scholar tetapi tidak dalam PubMed, Crossref, atau OpenAlex adalah lebih mencurigakan berbanding disahkan halusinasi. Sesetengah sumber sebenar (tesis, prosiding persidangan tanpa DOI, working paper, jurnal serantau) muncul dalam Google Scholar tanpa liputan pangkalan data berstruktur. Periksa sumber yang dipaut secara manual. Jika anda boleh membuka kertas dan mengesahkan dakwaan, rujukan itu adalah benar tetapi kurang diindeks; sitasnya dengan yakin. Jika anda tidak dapat membuka sumber atau pautan rosak, anggap ia halusinasi dan buang atau ganti.

Pemeriksa Rujukan Untuk Penghantaran Jurnal

Audit petikan yang direka khayal secara sekali laluan terhadap PubMed, Crossref, OpenAlex, dan Google Scholar, dengan log pengesahan yang boleh dimuat turun untuk rekod Anda.