Audit Sitasi Halusinasi: Pemeriksaan Pra-Pengajuan

Audit sitasi halusinasi pra-pengajuan kini menjadi pembeda antara layar meja kerja yang bersih dan bendera terkait integritas riset, dan alasan mengapa hal ini penting baru saja dikuantifikasi. Maxim Topaz, tim dari Columbia yang mengaudit 2,5 juta artikel biomedis yang terindeks di PubMed Central, telah menemukan apa yang sebenarnya kita takutkan selama ini. Jumlah referensi palsu yang ikut dimasukkan ke dalam publikasi biomedis sejawat meningkat tajam, tepat ketika alat-alat generatif AI mulai menjadi bagian dari alur kerja draf rata-rata peneliti.

Satu dari setiap 277 naskah yang disitasi pada tujuh minggu pertama tahun 2026 memuat setidaknya satu referensi yang tidak dapat ditemukan di mana pun di PubMed, Crossref, OpenAlex, atau Google Scholar. Dua tahun sebelumnya, proporsinya adalah satu banding 2.828. Kita melihat peningkatan 12 kali lipat pada laju referensi palsu yang akhirnya masuk ke literatur, dengan lonjakan terbesar dimulai tepat sesuai jadwal pada pertengahan 2024.

Audit Topaz adalah angka paling bersih yang kita miliki, tetapi bukan satu-satunya. ArXiv mengumumkan larangan pengajuan selama satu tahun bagi penulis yang memublikasikan naskah dengan kesalahan yang jelas dihasilkan AI, termasuk sitasi halusinasi. Analisis GPTZero terhadap 4.841 naskah yang diterima NeurIPS 2025 mengidentifikasi sedikitnya 100 sitasi halusinasi yang terkonfirmasi pada 53 naskah setelah divetting oleh tiga hingga lima peninjau ahli. Studi Universitas Deakin tentang referensi yang dihasilkan GPT-4o menemukan bahwa 56 persen di antaranya palsu atau mengandung kesalahan, dan 64 persen dari yang palsu dikemas dengan DOI yang mengarah ke sebuah artikel nyata tetapi tidak berhubungan, variasi yang paling sulit ditangkap.

Kabar baiknya, audit sitasi halusinasi pra-pengajuan memerlukan waktu antara 20 menit hingga dua jam, bergantung pada ukuran daftar referensi Anda, dan hampir semua kesalahan ini tertangkap sebelum editor atau peninjau melihatnya. Postingan ini berisi audit tersebut. Kami membahas seperti apa sitasi halusinasi dalam praktiknya pada 2026, alur verifikasi berbasis empat database, daftar periksa pra-pengajuan langkah demi langkah, alat-alat yang mengotomatisasi pekerjaan, serta apa yang harus dilakukan jika Anda menemukan satu sitasi halusinasi dalam naskah yang sudah sedang ditinjau.

Apa itu Audit Sitasi Halusinasi?

Audit sitasi halusinasi adalah pemeriksaan pra-pengajuan yang memverifikasi setiap referensi dalam naskah Anda terhadap PubMed, Crossref, OpenAlex, dan Google Scholar untuk menangkap sitasi yang direkayasa atau tidak sesuai sebelum editor atau peninjau melihatnya. Bergantung pada ukuran daftar referensi, audit ini memakan waktu antara 20 menit hingga dua jam, dan menangkap hampir semua kesalahan tersebut. Hal ini penting karena dalam tujuh minggu pertama tahun 2026, satu dari 277 naskah yang terindeks PubMed mengutip setidaknya satu referensi yang tidak ada di mana pun dalam empat database tersebut, kenaikan 12 kali lipat dibanding laju 2023, yaitu satu banding 2.828.

Mengapa sitasi halusinasi kini menjadi masalah penyaringan

Sekitar paruh kedua tahun 2024, para editor mulai melihat referensi halusinasi muncul di layar teknis mereka. Pada pertengahan 2026, semua jurnal medis dan ilmu hayat terkemuka menyertakan pemeriksaan keberadaan referensi dalam prosedur pra-review internal atau pedoman bagi peninjau sejawat. Surat dari The Lancet yang memublikasikan audit Topaz merupakan, sebagian, komitmen publik untuk memperkuat proses penerimaan surat jurnal tersebut.

Alasan mengapa ini penting secara operasional adalah bahwa sitasi halusinasi tidak lagi diperlakukan sebagai kesalahan ceroboh. Sitasi tersebut diperlakukan sebagai bendera terkait integritas riset. Jarak dari "penulis keliru soal tahun" menjadi "penulis tidak membaca sumber ini karena sumber tersebut tidak ada" relatif singkat, dan para editor kini dilatih untuk mengambil lompatan itu. Pada sebagian besar jurnal, membuat satu referensi dalam daftar berisi 60 entri sudah cukup untuk menolak naskah; pada yang paling ketat (The Lancet, BMJ, beberapa judul Nature Portfolio), hal itu dapat memicu rujukan ke kantor integritas riset institusi.

Kebijakan arXiv menyampaikan poin yang sama dalam bentuk yang lebih tegas. Setiap penulis yang mengajukan naskah berisi referensi halusinasi dapat dilarang mengajukan ke arXiv selama satu tahun. Setelah larangan tersebut, semua pengajuan arXiv berikutnya harus melalui peninjauan sejawat di venue yang bereputasi sebelum arXiv bersedia menerimanya. Asimetri reputasional permanen ini didasarkan pada satu sitasi yang tidak diperiksa. Masalah pubmed pada sitasi palsu tidak hanya problem PubMed.

Seperti apa sitasi halusinasi sebenarnya

Kebanyakan penulis membayangkan sitasi halusinasi sebagai sesuatu yang jelas rusak: judul yang cacat, nama jurnal yang tidak ada, tahun yang disetel di masa depan. Pola-pola seperti itu memang ada, dan merupakan bagian paling mudah (sekitar 30 persen) dari persoalan.

Adapun 70 persen yang lebih sulit terlihat sah dan tetap lolos dari pemeriksaan visual cepat.

Kami melihat empat pola yang berulang.

Pola 1: penulis nyata, jurnal nyata, judul masuk akal, tetapi tidak ada artikel seperti itu. Model merakit sitasi dari data pelatihan yang mengajarinya penulis mana yang menerbitkan di mana dan pada topik apa. Luaran tersebut terbaca seperti referensi asli. DOI, bila ada, baik tidak dapat diselesaikan maupun mengarah ke artikel lain.

Pola 2: artikel nyata, penulis salah atau tahun salah. Model mengetahui bahwa artikel itu ada, tetapi mencocokkan bidang metadata yang salah. Sitasi lolos pada pencarian judul di Google Scholar, tetapi gagal saat lookup DOI. Ini sering menjadi yang tersulit dideteksi, karena klaim yang disitasi sebenarnya mungkin memang ada di artikel nyata (dengan penulis atau tahun yang berbeda).

Pola 3: DOI nyata, artikel tidak berhubungan. Temuan studi Deakin. Model menghasilkan sitasi yang tampak masuk akal dan menempelkan DOI yang memang dapat diselesaikan, namun mengarah ke karya yang sama sekali tidak terkait. Pemeriksaan visual menunjukkan bahwa DOI tersebut nyata, tetapi hanya dengan membaca artikel yang ditautkan barulah masalahnya terlihat. Ini adalah variasi yang mencakup 64 persen.

Pola 4: rangkaian frasa yang disiksa di sekitar sitasi. Cabanac Problematic Paper Screener telah menandai lebih dari 19.000 naskah yang memuat frasa hasil “penyiksaan” yang dihasilkan lewat perangkat lunak parafrasa, sering kali mengelompok pada sitasi yang dibuat. "Joined Together States" untuk United States, "bosom peril" untuk kanker payudara, "kidney disappointment" untuk kegagalan ginjal. Jika prosa di sekitar sebuah sitasi terbaca seperti parafrasa yang “dicuci”, maka sitasinya juga lebih mungkin halusinasi. Catatan kami tentang parafrasa yang mempertahankan sitasi membahas celah teknik yang menjadi penyebab munculnya Pola 4 sejak awal. Pola 4 berkorelasi dengan Pola 1 hingga 3, bukan sesuatu yang independen.

Pola-pola inilah alasan mengapa pemeriksaan berbasis satu database saja tidak cukup. Pencarian Google Scholar yang hanya memeriksa judul melewatkan Pola 2 dan 3. Pencarian Crossref yang hanya memeriksa DOI melewatkan Pola 1. Alur kerja berbasis empat database ada karena setiap database menangkap mode kegagalan yang berbeda.

Cara memverifikasi sitasi AI: alur kerja berbasis empat database

Kami mendefinisikan referensi halusinasi sebagai referensi yang tidak ada di mana pun dalam PubMed, Crossref, OpenAlex, atau Google Scholar. Untuk audit pra-pengajuan kami, kami bergantung pada empat sumber ini karena masing-masing menutup celah yang tidak tertutup oleh tiga sumber lainnya.

PubMed. Cakupan terbaik untuk literatur biomedis dan klinis. Jika referensi Anda memiliki PMID, gunakan lookup PMID. Jika tidak, carikan referensi berdasarkan judul dan nama belakang penulis pertama. PubMed akan menolak banyak sitasi yang benar tetapi salah (dibanding Crossref).

Crossref. Cakupan terbaik untuk DOI di semua bidang. Lakukan lookup referensi berdasarkan DOI menggunakan lookup https://doi.org/[DOI] ini atau melalui API publik mereka di api.crossref.org/works/[DOI]. Jika tidak berhasil, maka itu pasti halusinasi. Jika berhasil, periksa judul, penulis, dan tahun.

OpenAlex. Cakupan terluas, gratis, dan dapat menemukan sitasi yang tidak tercakup oleh PubMed dan Crossref (humaniora, prosiding konferensi ilmu komputer, jurnal regional). Carikan referensi berdasarkan judul dan pastikan penulisnya benar. OpenAlex juga berguna karena menampilkan sitasi yang ada sebagai preprint tetapi belum terbit sebagai publikasi yang sudah diberi DOI.

Google Scholar. Gunakan di akhir, sebagai pemeriksaan dengan cakupan terluas namun presisi terendah. Referensi yang tidak muncul di mana pun dalam PubMed, Crossref, OpenAlex, atau Google Scholar secara fungsional hampir pasti halusinasi. Referensi yang muncul hanya di Google Scholar tetapi tidak ada di database terstruktur mana pun patut dicurigai: referensi itu mungkin ada (literatur abu-abu, tesis, prosiding non-DOI), tetapi sitasinya perlu pemeriksaan manual sebelum pengajuan.

Alur kerja ini memakan waktu sekitar satu menit per referensi jika dilakukan secara manual. Naskah dengan 60 referensi memakan waktu satu jam. Tinjauan sistematis dengan 200 referensi lebih dekat ke tiga jam. Audit ini membosankan tetapi mekanis, sehingga menjadi target alami untuk otomasi; alat-alatnya ada di bagian berikutnya.

Audit pra-pengajuan, langkah demi langkah

Sebuah daftar periksa yang dapat diulang yang kami gunakan pada setiap naskah yang bersinggungan dengan alat generatif AI saat penyusunan draf. Ada delapan langkah, dan tidak ada yang memerlukan alat berbayar.

1. Ekstrak daftar referensi ke format yang datar. Ekspor dari manajer referensi Anda (Zotero, Mendeley, EndNote, Paperpile) dalam BibTeX atau RIS. Jika naskah Anda disusun di Word tanpa manajer, tempelkan daftar referensi ke dalam berkas teks biasa. Nomori setiap entri. Anda akan memerlukan penomoran ini untuk melacak referensi mana saja yang sudah diverifikasi.

2. Tandai setiap referensi yang judulnya tidak Anda kenali. Jika Anda tidak bisa membayangkan artikel tersebut, hampir pasti Anda tidak benar-benar membacanya. Referensi halusinatif memiliki risiko tertinggi untuk salah (palsu). Untuk pemeriksaan paling menyeluruh, tandai semuanya.

3. Selesaikan setiap DOI. Tempelkan setiap DOI ke https://doi.org/[DOI]. Jika DOI tidak dapat diselesaikan, referensinya halusinasi. Jika dapat diselesaikan, bandingkan judul dan penulis dari artikel tujuan dengan sitasi Anda. Ketidaksesuaian adalah halusinasi tipe Pola 3.

4. Verifikasi setiap referensi non-DOI di PubMed atau Crossref. Pencarian judul plus nama belakang penulis pertama. Jika artikel itu ada, catat PMID atau DOI untuk arsip Anda. Jika tidak ada di salah satu dari dua database tersebut, lanjutkan ke langkah 5.

5. Lakukan pemeriksaan silang referensi yang dielevasi di OpenAlex dan Google Scholar. Jika sebuah referensi gagal di Crossref dan PubMed, pemeriksaan OpenAlex dan Google Scholar adalah lookup yang menentukan. Jika gagal di semua empat database, bukti Anda bahwa referensi tersebut halusinasi. Jika sebuah referensi hanya muncul di Google Scholar, periksa secara manual sumber yang ditautkan.

6. Untuk preprint, verifikasi preprint dan versi publikasinya yang terbit. Pola yang umum pada periode pertengahan 2024 dan setelahnya: model mengutip preprint yang nyata, tetapi mengarang publikasi jurnal fiktif dari karya yang sama. Periksa arXiv, bioRxiv, medRxiv, dan SSRN secara eksplisit untuk setiap referensi preprint.

7. Lakukan spot-check klaim dalam teks terhadap sumbernya. Buka artikel yang sebenarnya dan pastikan bahwa klaim spesifik yang Anda sitasi didukung oleh minimal 10 persen referensi Anda (atau semuanya, untuk kasus tinjauan sistematis). Tingkat kesalahan 56 persen dari studi Deakin mencakup kasus Pola 2 ketika artikel yang disitasi memang ada, tetapi tidak mendukung klaim tersebut.

8. Dokumentasikan audit. Simpan log audit (referensi mana saja yang diverifikasi, database mana, dan pada tanggal berapa). Jika jurnal bertanya saat peninjauan sejawat, Anda punya buktinya. Jika seorang peninjau menantang sitasi tertentu, Anda dapat menunjuk langkah verifikasi yang Anda lakukan.

Biaya menjalankan audit adalah dua jam. Biaya untuk melewatkannya, jika Anda terjebak, berkisar dari penolakan pada technical-screen hingga larangan di arXiv. Jalankan audit.

Alat yang mengotomatisasi audit

Anda bisa menjalankan delapan langkah tersebut secara manual. Anda akan lebih cepat dengan bantuan alat.

Crossref public API. Gratis, tanpa perlu pendaftaran. Endpoint api.crossref.org/works/[DOI] mengembalikan JSON berisi judul kanonik, penulis, dan tahun. Skrip Python 20 baris yang menelusuri daftar referensi Anda dan memukul endpoint ini dapat menangkap Pola 1 dan 3 dalam hitungan detik per referensi. Ini adalah otomasi paling ringan yang mungkin, dan biasanya cukup untuk naskah dengan 60 referensi.

Scite (scite.ai). Memverifikasi referensi dan melaporkan apakah paper berikutnya menyokong atau justru bertentangan dengan pekerjaan tersebut. Menangkap Pola 2 (artikel nyata, klaim salah) lebih baik daripada alat lain karena ia berinteraksi dengan konten yang sebenarnya. Memiliki paket gratis; versi berbayar diperlukan untuk integrasi penuh.

Problematic Paper Screener (Cabanac, Labbe, Magazinov). Gratis, terbuka, dan sebagian besar merupakan penyaring setelah publikasi, tetapi kumpulan detektornya berguna untuk pra-pengajuan terkait Pola 4. Cari di dbrech.irit.fr/pls/apex/f?p=9999:1. Berguna untuk memastikan bahwa prosa di sekitar sitasi Anda tidak “dicuci” parafrasenya sampai terlihat seperti keluaran paper-mill.

Reference checker yang terintegrasi ke dalam manajer referensi. Jika Zotero mendeteksi referensi halusinasi, fungsi "Find Available PDF" tidak akan berjalan. Fitur Mendeley untuk melengkapi metadata memiliki efek yang sama. Ini bukanlah pemeriksa halusinasi yang disengaja, tetapi tetap mengidentifikasi masalah paling mudah saat Anda menggunakannya seperti biasanya.

proofreader kami. Proofreader AI kami bekerja dengan menjalankan audit berbasis empat database dalam satu kali proses, menyoroti referensi yang halusinatif maupun yang tidak sesuai, lalu mengekspor log yang bersih agar dapat Anda simpan bersama naskah. Kami menyediakan alat ini sebagai bagian dari rangkaian alat proofreading AI yang lebih luas untuk artikel riset, mencakup proses tata bahasa terkait, pemformatan sitasi, serta pelacakan perubahan yang menyertai audit referensi yang bersih.

Untuk pemeriksaan mandiri sebelum penyuntingan naskah secara menyeluruh, pemeriksa sitasi AI gratis kami menjalankan pemeriksaan keberadaan yang sama terhadap Crossref, Semantic Scholar, dan registri terbuka lainnya pada daftar referensi yang ditempelkan, langsung di peramban tanpa perlu mendaftar.

Pada sebagian besar kasus, skrip Crossref API dan daftar eskalasi manual akan menangkap 90 persen masalah untuk kebanyakan penulis. Alat menjadi bernilai untuk tinjauan sistematis, untuk grup riset dengan banyak pengajuan, dan untuk situasi ketika biaya satu sitasi halusinasi yang terlewat sangat besar (pengajuan ke Lancet atau NEJM, atau unggahan ulang arXiv setelah sebelumnya ditandai).

Apa yang harus dilakukan jika Anda menemukan sitasi halusinasi

Anda akan menemukan satu. Berdasarkan pengalaman kami, hampir semua daftar referensi yang menyentuh LLM setidaknya memiliki satu. Tergantung tahap naskah Anda, ada dua pilihan.

Pra-pengajuan. Kasus paling mudah. Hapus sitasinya, atau ganti dengan referensi nyata yang benar-benar mendukung klaim tersebut, atau tulis ulang kalimat di sekitarnya sehingga klaim yang tidak didukung dihilangkan. Dokumentasikan perubahan itu dalam log audit Anda.

Saat dalam peninjauan sejawat. Beri tahu editor yang menangani secara tertulis segera setelah Anda mengonfirmasi halusinasi. Sertakan daftar referensi yang telah dikoreksi dan penjelasan: apa yang Anda temukan, bagaimana Anda menemukannya, dan apa yang telah Anda lakukan untuk memverifikasi referensi yang tersisa. Editor biasanya merespons jauh lebih baik penulis yang melakukan koreksi mandiri daripada penulis yang ketahuan oleh peninjau.

Diterima tetapi belum dipublikasikan. Hubungi editor produksi segera. Sebagian besar penerbit akan menerima koreksi terlambat pada tahap proof jika disajikan sebagai koreksi mandiri terkait integritas, bukan sebagai suntingan rutin.

Sudah dipublikasikan. Hubungi jurnal dan minta erratum atau, pada kasus serius, corrigendum. Jika sitasi halusinasi mendukung klaim substantif di dalam artikel, koreksinya mungkin perlu diperluas hingga klaim itu sendiri. Inilah jalur yang paling ingin dihindari; jalur ini dicegah oleh audit.

Pernyataan pengungkapan AI pada naskah Anda jika Anda menggunakan alat AI apa pun yang menyentuh daftar referensi, seperti paraphraser atau generator sitasi. Anda juga dapat mengungkapkan di surat pengantar bahwa Anda menjalankan audit dan melakukan koreksi mandiri. Ini terdengar seperti tindakan profesional, bukan sesuatu yang mengkhawatirkan.

Pertanyaan yang sering diajukan

Q: Seberapa umum sitasi halusinasi pada 2026?

Analisis Columbia (Topaz et al, Lancet 2026) menemukan bahwa satu dari 277 naskah yang terindeks PubMed dan terbit dalam tujuh minggu pertama tahun 2026 memuat setidaknya satu referensi. Artinya, terjadi peningkatan 12 kali lipat dibanding laju 2023, yaitu satu banding 2.828. Tren terus naik. Pada konferensi dengan peninjauan sejawat yang ketat, analisis GPTZero NeurIPS 2025 menemukan sedikitnya 100 sitasi halusinasi pada 53 dari 4.841 naskah yang diterima, sekitar 1 persen dari konferensi.

Q: Mengapa variasi DOI sebesar 64 persen adalah yang paling sulit ditangkap?

Ketika LLM menghalusinasi sebuah referensi, ia kadang menaruh DOI nyata dari data pelatihannya yang mengarah ke artikel lain, bukan ke artikel yang disitasi. DOI tersebut tetap terselesaikan, artikel lainnya ada, dan pemeriksaan visual cepat tampak baik-baik saja. Baru setelah mengeklik tautan ke artikel yang direferensikan, Anda menyadari bahwa judul, penulis, atau bahkan isi dari referensi yang disitasi tidak cocok dengan sitasinya. Studi Deakin menunjukkan bahwa ini benar untuk 64 persen sitasi palsu yang dihasilkan dengan GPT-4o. Hanya dengan menyelesaikan DOI tidak cukup, perlu dilengkapi verifikasi bahwa artikel yang ditautkan memang sesuai dengan sitasinya.

Q: Apakah arXiv benar-benar akan melarang saya selama satu tahun untuk sitasi halusinasi?

Ya, jika kelalaiannya jelas. Thomas Dietterich mengumumkan kebijakan arXiv bulan Mei 2026 yang bertujuan menangani kasus ketika penulis menempel keluaran LLM tanpa memeriksanya, yang menyebabkan referensi halusinasi, sisa teks placeholder chatbot, atau data. ArXiv juga telah menyatakan dengan tegas bahwa kasus yang benar-benar disengketakan atau berada di ambang batas berada di luar cakupannya. Setelah masa larangan berakhir, semua pengajuan arXiv ke depan harus terlebih dahulu lolos peninjauan sejawat di venue yang bereputasi sebelum arXiv bersedia menerimanya kembali.

Q: Bisakah saya sekadar menjalankan daftar referensi saya lewat ChatGPT atau Claude untuk mengeceknya?

Tidak. Model yang sama yang menghalusinasi referensi juga dapat menghalusinasi proses verifikasinya. Kami telah melihat LLM secara yakin "mengonfirmasi" bahwa DOI yang dibuat itu valid. Pemeriksaan harus dilakukan terhadap database terstruktur eksternal (PubMed, Crossref, OpenAlex, Google Scholar) yang memiliki metadata otoritatif, bukan terhadap LLM lain.

Q: Bagaimana jika sebuah referensi hanya ada di Google Scholar?

Referensi yang muncul di Google Scholar tetapi tidak ada di PubMed, Crossref, atau OpenAlex patut dicurigai, bukan dianggap halusinasi yang terkonfirmasi. Beberapa sumber nyata (tesis, prosiding konferensi tanpa DOI, working paper, jurnal regional) muncul di Google Scholar tanpa cakupan pada database terstruktur. Periksa secara manual sumber yang ditautkan. Jika Anda bisa membuka artikel dan memverifikasi klaimnya, referensi tersebut nyata tetapi kurang terindeks; sitasikan dengan penuh keyakinan. Jika Anda tidak bisa membuka sumber atau tautannya rusak, perlakukan sebagai halusinasi dan hapus atau ganti.

Proofreader Pemeriksa Referensi untuk Pengajuan Jurnal

Audit sitasi berhalusinasi sekali-pindai terhadap PubMed, Crossref, OpenAlex, dan Google Scholar, dengan log verifikasi yang dapat diunduh untuk catatan Anda.