Audyt cytowań zmyślonych: kontrole przed złożeniem

Audyt cytowań zmyślonych przed złożeniem pracy to dziś różnica między „czystym” ekranem w biurze a oznaczeniem w obszarze rzetelności badań, a istotność tego zjawiska właśnie została policzona. Maxim Topaz, zespół z Columbii, który przeanalizował 2,5 miliona artykułów biomedycznych indeksowanych w PubMed Central, odkrył to, czego wszyscy skrycie się obawialiśmy. Liczba fałszywych odwołań włączanych do recenzowanych publikacji biomedycznych gwałtownie wzrosła dokładnie w momencie, gdy narzędzia generatywnej AI stały się częścią standardowego procesu redakcyjnego przeciętnego badacza.

Jeden z 277 artykułów cytowanych w pierwszych siedmiu tygodniach 2026 roku zawiera co najmniej jedno odwołanie, którego nie da się znaleźć nigdzie w PubMed, Crossref, OpenAlex ani w Google Scholar. Dwa lata wcześniej było to 1 na 2 828. Mamy więc do czynienia z 12-krotnym wzrostem odsetka fałszywych cytowań trafiających do literatury, przy czym największa skala wzrostu zaczyna się dokładnie w połowie 2024 roku.

Audyt Topaza daje najczystszy dostępny wskaźnik, ale nie jest jedynym. ArXiv ogłosił roczny zakaz składania prac autorom, którzy publikują teksty z jednoznacznymi błędami wygenerowanymi przez AI, w tym z cytowaniami zmyślonymi. Analiza GPTZero dla 4 841 przyjętych artykułów NeurIPS 2025 wykazała co najmniej 100 potwierdzonych cytowań zmyślonych w 53 pracach, po tym jak zostały one zweryfikowane przez trzech do pięciu ekspertów-recenzentów. Badanie z Deakin University dotyczące referencji wygenerowanych przez GPT-4o wykazało, że 56 procent stanowiło fikcję lub zawierało błędy, a 64 procent tych fałszywych cytowań zostało „oprawionych” DOI, które prowadziło do prawdziwego, ale całkowicie niepowiązanego artykułu, i to właśnie ta odmiana jest najtrudniejsza do wykrycia.

Dobra wiadomość jest taka, że audyt cytowań zmyślonych przed złożeniem trwa od 20 minut do dwóch godzin, zależnie od wielkości listy referencji, i wychwytuje prawie wszystkie te błędy, zanim editor albo recenzent je zobaczy. To jest właśnie ten audyt. Pokazujemy, jak wyglądają cytowania zmyślone w 2026 roku, przedstawiamy czterobazowy schemat weryfikacji, procedurę kontrolną krok po kroku przed złożeniem, narzędzia automatyzujące pracę oraz co zrobić, jeśli znajdziesz takie cytowanie w manuskrypcie, który jest już w trakcie recenzji.

Co to jest audyt cytowań zmyślonych?

Audyt cytowań zmyślonych to kontrola przed złożeniem, która weryfikuje wszystkie referencje w Twoim manuskrypcie względem PubMed, Crossref, OpenAlex oraz Google Scholar, aby wykryć sfabrykowane lub niepasujące cytowania zanim zobaczy je editor albo recenzent. W zależności od rozmiaru Twojej listy referencji trwa od 20 minut do dwóch godzin i wychwytuje prawie wszystkie te błędy. Liczy się to, ponieważ w pierwszych siedmiu tygodniach 2026 roku jeden na 277 artykułów indeksowanych w PubMed zawiera co najmniej jedno odwołanie, którego nie ma nigdzie w obrębie tych czterech baz, to 12-krotny wzrost względem wskaźnika z 2023 roku, kiedy było to 1 na 2 828.

Dlaczego cytowania zmyślone stały się obecnie problemem do screeningu

W mniej więcej drugiej połowie 2024 roku editorzy zaczynają dostrzegać w swoich zestawieniach technicznych pojawiające się cytowane odniesienia typu „hallucinated”. W połowie 2026 roku wszystkie wiodące czasopisma medyczne i nauk o życiu włączają sprawdzanie istnienia referencji do swoich wewnętrznych procedur przedrecenzyjnych albo wytycznych dla recenzentów. List Lancet, który opublikował audyt Topaza, był częściowo publicznym zobowiązaniem do wzmocnienia własnego procesu intake.

Operacyjnie liczy się to, że cytowanie zmyślone nie jest już traktowane jako lekkomyślny błąd. Jest traktowane jako flaga dotycząca integralności badań. Skok od „autorzy pomylili się o rok” do „autorzy nie przeczytali tego źródła, bo ono nie istnieje” jest krótki, a editorzy są teraz szkoleni, by to tak interpretować. W większości czasopism wystarczy jedno nieprawidłowe odniesienie w 60-pozycyjnej liście, aby odesłać manuskrypt; w najostrzejszych (The Lancet, BMJ, kilka tytułów Nature Portfolio) może to uruchomić skierowanie sprawy do biura ds. integralności badań w instytucji.

Polityka arXiv podkreśla ten sam punkt w ostrzejszej formie. Każdy autor składający pracę zawierającą zmyślone odwołanie może otrzymać zakaz składania w arXiv na rok. Po zakazie każda kolejna publikacja w arXiv musi przejść recenzję w renomowanym miejscu, zanim arXiv ją zaakceptuje. To trwała asymetria reputacyjna oparta na pojedynczym niezweryfikowanym cytowaniu. Problem fałszywego cytowania w PubMed nie jest wyłącznie problemem PubMed.

Jak naprawdę wyglądają cytowania zmyślone

Większość autorów wyobraża sobie cytowanie zmyślone jako coś ewidentnie „zepsutego”: nieprawidłowo sformatowany tytuł, nazwa czasopisma, które nie istnieje, rok ustawiony w przyszłości. Tego typu przykłady istnieją i stanowią najłatwiejsze 30 procent całego problemu. Trudniejsze 70 procent wygląda wiarygodnie i przetrwa szybkie oględziny.

Widzimy cztery powtarzające się wzorce.

Wzorzec 1: prawdziwi autorzy, prawdziwe czasopismo, wiarygodny tytuł, brak takiego artykułu. Model złożył cytowanie na podstawie danych treningowych, które nauczyły go, jacy autorzy publikują gdzie i na jakie tematy. Wynik brzmi jak prawdziwa referencja. DOI, jeśli występuje, albo nie działa, albo prowadzi do innego artykułu.

Wzorzec 2: prawdziwy artykuł, błędny autor albo błędny rok. Model wiedział, że praca istnieje, ale dopasował błędne pole metadanych. Cytowanie przechodzi wyszukiwanie tytułu w Google Scholar, ale nie przechodzi sprawdzania DOI. To często jest najtrudniejsze do wychwycenia, ponieważ cytowane twierdzenie może w rzeczywistości znajdować się w prawdziwym artykule (u innego autora lub w innym roku).

Wzorzec 3: prawdziwe DOI, niepowiązany artykuł. Badanie Deakin. Model przygotował cytowanie wyglądające wiarygodnie i dołączył DOI, które rozwiązuje się poprawnie, ale prowadzi do całkowicie niepowiązanej pracy. Oględziny wskazują, że DOI jest „prawdziwe”, natomiast dopiero lektura połączonego artykułu ujawnia problem. To odmiana stanowiąca 64 procent przypadków.

Wzorzec 4: „łańcuch” przekształconych sformułowań wokół cytowania. Problematic Paper Screener firmy Cabanac został oznaczony jako zawierający ponad 19 000 artykułów, w których pojawiają się „sfałszowane” (w sensie jakości językowej) frazy generowane przez oprogramowanie do parafrazowania, często skupione wokół wymyślonych cytowań. „Joined Together States” zamiast United States, „bosom peril” zamiast breast cancer, „kidney disappointment” zamiast kidney failure. Jeśli tekst wokół cytowania brzmi jak parafraza „przepuszczona przez maszynę”, cytowanie również częściej okazuje się zmyślone. Nasza notatka o parafrazowaniu, która zachowuje cytowania, omawia lukę techniczną, która sprawia, że Wzorzec 4 powstaje w pierwszej kolejności. Wzorzec 4 jest skorelowany ze Wzorcami 1–3, a nie jest od nich niezależny.

Te wzorce są powodem, dla którego jedno sprawdzenie w jednej bazie nie wystarcza. Wyszukiwanie w Google Scholar tylko po tytule pomija Wzorce 2 i 3. Wyszukiwanie w Crossref tylko po DOI pomija Wzorzec 1. Schemat obejmujący cztery bazy istnieje dlatego, że każda z nich wychwytuje inny typ porażki.

Jak weryfikować cytowania z AI: schemat czterobazowy

Definiujemy zmyślone odwołanie jako takie, którego nie ma w żadnej z baz: PubMed, Crossref, OpenAlex ani Google Scholar. Do naszych audytów przed złożeniem opieramy się na tych czterech źródłach, ponieważ każde z nich wypełnia luki w pozostałych trzech.

PubMed. Najlepsze pokrycie literatury biomedycznej i klinicznej. Jeśli jedna z Twoich referencji ma PMID, użyj wyszukiwania po PMID. W przeciwnym razie wyszukaj referencję po tytule i nazwisku pierwszego autora. PubMed odrzuci wiele prawdziwych, ale niepasujących cytowań, które Crossref zaakceptuje.

Crossref. Najlepsze pokrycie DOI we wszystkich dziedzinach. Wyszukaj referencję po DOI, korzystając z tego sprawdzenia doi.crossref.org albo przez ich public API pod adresem api.crossref.org/works/[DOI]. Jeśli to nie działa, to jest to z pewnością cytowanie zmyślone. Jeśli działa, sprawdź tytuł, autorów i rok.

OpenAlex. Najszersze pokrycie, darmowe, i wychwytuje cytowania, które nie są uwzględnione w PubMed i Crossref (humanistyka, konferencyjne publikacje z informatyki, czasopisma regionalne). Wyszukaj referencję po tytule i upewnij się, że autorzy się zgadzają. OpenAlex jest też przydatny, ponieważ ujawnia cytowania istniejące jako preprinty, ale jeszcze nieopublikowane jako prace z DOI.

Google Scholar. Używaj na końcu, jako najbardziej „wszechstronne” pokrycie, ale o najniższej precyzji. Referencja niewidoczna w żadnym z PubMed, Crossref, OpenAlex ani Google Scholar jest funkcjonalnie z pewnością zmyślona. Referencja, która pojawia się tylko w Google Scholar i w żadnej ze zdyscyplinowanych baz, budzi podejrzenia: może istnieć (szara literatura, rozprawa, publikacje z konferencji bez DOI), ale cytowanie wymaga ręcznej weryfikacji przed złożeniem.

Schemat trwa mniej więcej jedną minutę na referencję, jeśli wykonujesz go ręcznie. Artykuł z 60 referencjami to godzina pracy. Systematyczny przegląd z 200 referencjami jest bliżej trzem godzinom. Audyt jest żmudny, ale mechaniczny, a to czyni go naturalnym celem automatyzacji; narzędzia są w sekcji „o jeden przystanek dalej”.

Audyt przed złożeniem, krok po kroku

Powtarzalna checklista, którą stosujemy do każdego manuskryptu, który w trakcie redagowania miał styczność z narzędziami generatywnej AI. Osiem kroków, żaden nie wymaga płatnego narzędzia.

1. Wyodrębnij listę referencji do formatu płaskiego. Eksportuj z menedżera bibliografii (Zotero, Mendeley, EndNote, Paperpile) jako BibTeX lub RIS. Jeśli manuskrypt był tworzony w Wordzie bez menedżera, wklej listę referencji do zwykłego pliku tekstowego. Numeruj każdą pozycję. Numeracja będzie potrzebna do śledzenia, które referencje zostały zweryfikowane.

2. Oznacz każdą referencję, której tytułu nie rozpoznajesz. Jeśli nie da się sobie wyobrazić, że ta praca istnieje, to prawie na pewno jej nie czytałeś. Cytowania zmyślone są obarczone najwyższym ryzykiem fałszywości, dlatego dla najpełniejszej kontroli warto je oznaczyć.

3. Rozwiąż każdy DOI. Wklej każdy DOI do https://doi.org/[DOI]. Jeśli DOI nie rozwiązuje się, to referencja jest zmyślona. Jeśli rozwiązuje się, porównaj tytuł i autorów docelowej pracy z Twoim cytowaniem. Niedopasowania są zmyśleniami typu Wzorzec 3.

4. Zweryfikuj każdą referencję bez DOI w PubMed lub Crossref. Wyszukiwanie po tytule plus nazwisko pierwszego autora. Jeśli praca istnieje, zapisz dla swoich potrzeb PMID lub DOI. Jeśli nie ma jej ani w jednym, ani w drugim miejscu, przejdź do kroku 5.

5. Przeprowadź cross-check oznaczonych referencji w OpenAlex i Google Scholar. Jeśli referencja nie przechodzi w Crossref i PubMed, decydujące jest sprawdzenie w OpenAlex oraz Google Scholar. Porażka we wszystkich czterech bazach jest dowodem, że referencja jest zmyślona. Jeśli referencja pojawia się tylko w Google Scholar, ręcznie obejrzyj źródło, do którego prowadzi link.

6. Dla preprintów zweryfikuj zarówno preprint, jak i opublikowaną wersję. Typowy wzorzec od połowy 2024 roku: model cytuje prawdziwy preprint, ale wymyśla fikcyjną publikację w czasopiśmie dla tego samego dzieła. Sprawdź wprost arXiv, bioRxiv, medRxiv i SSRN pod kątem każdej referencji-preprintu.

7. Zrób szybki spot-check twierdzenia w tekście względem źródła. Otwórz rzeczywisty artykuł i sprawdź, czy wspiera konkretne twierdzenie, które cytujesz, w co najmniej 10 procentach Twoich referencji (albo we wszystkich, w przypadku scenariusza systematycznego przeglądu). Wskaźnik błędów 56 procent w badaniu Deakin obejmuje przypadki Wzorca 2, w których cytowany artykuł istnieje, ale nie wspiera przywołanego twierdzenia.

8. Zarchiwizuj przebieg audytu. Zapisz log audytu (które referencje zostały zweryfikowane, względem jakich baz i w jakiej dacie). Jeśli czasopismo pyta o to w trakcie recenzji, masz dowody. Jeśli recenzent zakwestionuje konkretne cytowanie, można wskazać krok weryfikacji.

Koszt wykonania audytu to dwie godziny. Koszt pominięcia go, jeśli zostaniesz przyłapany, rozciąga się od odrzucenia na etapie screeningu technicznego po zakaz na arXiv. Wykonaj audyt.

Narzędzia automatyzujące audyt

Możesz wykonać wszystkie osiem kroków ręcznie. Z narzędziami zrobisz to szybciej.

Public API Crossref. Darmowe, bez rejestracji. Punkt końcowy api.crossref.org/works/[DOI] zwraca JSON z kanonicznym tytułem, autorami i rokiem. Skrypt Pythona liczący 20 linii, który przechodzi przez Twoją listę referencji i uderza w ten endpoint, wychwytuje Wzorce 1 i 3 w ciągu sekund na referencję. To najlżejsza możliwa automatyzacja i zwykle wystarcza dla artykułu z 60 referencjami.

Scite (scite.ai). Weryfikuje referencje i raportuje, czy kolejne prace cytują dane badanie w sposób wspierający, czy raczej przeczący. Dobrze wychwytuje Wzorzec 2 (prawdziwa praca, błędne twierdzenie) lepiej niż pozostałe narzędzia, bo odwołuje się do rzeczywistej treści. Ma darmowy poziom; wersja płatna jest potrzebna do pełnej integracji.

Problematic Paper Screener (Cabanac, Labbe, Magazinov). Darmowy, otwarty, w dużej mierze to narzędzie działające po publikacji, ale jego zestaw detektorów przydaje się przed złożeniem dla Wzorca 4. Wyszukaj na dbrech.irit.fr/pls/apex/f?p=9999:1. Jest przydatny do potwierdzania, że tekst wokół Twoich cytowań nie został przepuszczony przez parafrazowanie w taki sposób, że wygląda jak wynik z „paper-mill”.

Sprawdzarki referencji wbudowane w menedżery bibliografii. Jeśli Zotero widzi cytowanie zmyślone, funkcja „Find Available PDF” nie zadziała. Funkcja Mendeley’ego do uzupełniania metadanych działa w podobny sposób. To nie jest celowy checker cytowań zmyślonych, ale identyfikuje najłatwiejsze problemy, gdy używasz go standardowo.

Nasz proofreader. Nasz proofreader AI działa, uruchamiając audyt czterobazowy w jednym przebiegu, podświetlając cytowania zmyślone i niepasujące oraz eksportując czysty log, który możesz zapisać razem z manuskryptem. Udostępniamy to narzędzie jako część szerszego zestawu narzędzi do proofreadingu AI dla artykułów naukowych, obejmujących powiązane procesy: gramatykę, formatowanie cytowań i śledzone zmiany, a wszystko to w kontekście czystego audytu referencji.

Na potrzeby samodzielnego sprawdzenia przed pełną korektą nasz darmowy sprawdzacz cytowań AI wykonuje tę samą kontrolę istnienia w Crossref, Semantic Scholar i innych otwartych rejestrach dla każdej wklejonej listy piśmiennictwa, bezpośrednio w przeglądarce i bez rejestracji.

W większości przypadków skrypt z Crossref API oraz ręcznie przygotowana lista eskalacji wychwytują 90 procent problemów dla większości autorów. Narzędzia zyskują największą wartość w systematycznych przeglądach, w zespołach badawczych z wieloma złożeniami oraz wtedy, gdy koszt pominięcia pojedynczego zmyślonego cytowania jest duży (złożenie do Lancet lub NEJM, ponowne udostępnienie w arXiv po wcześniejszym oznaczeniu).

Co zrobić, jeśli znajdziesz cytowanie zmyślone

Z pewnością je znajdziesz. Z naszych obserwacji wynika, że prawie każda lista referencji, która miała kontakt z LLM-em, zawiera co najmniej jedno takie cytowanie. Zależnie od etapu Twojego manuskryptu masz dwie opcje.

Przed złożeniem. Najłatwiejszy przypadek. Usuń cytowanie albo zastąp je prawdziwą referencją, która faktycznie wspiera twierdzenie, albo przeredaguj zdanie w otoczeniu tak, aby niepodparte twierdzenie zostało usunięte. Udokumentuj zmianę w swoim logu audytu.

W trakcie recenzji. Powiadom handling editor na piśmie, jak tylko potwierdzisz zmyślenie. Przedstaw skorygowaną listę referencji oraz wyjaśnienie: co znalazłeś, jak to znalazłeś i co zrobiłeś, aby zweryfikować pozostałe referencje. Edytorzy reagują znacznie lepiej na autorów, którzy sami korygują, niż na autorów, których złapie recenzent.

Przyjęte, ale jeszcze nieopublikowane. Skontaktuj się od razu z edytorem produkcyjnym. Większość wydawców zaakceptuje spóźnioną korektę na etapie proofs, jeśli zostanie ona przedstawiona jako autopoprawka dotycząca integralności, a nie jako rutynowa edycja.

Opublikowane. Skontaktuj się z czasopismem i poproś o erratum, a w poważnych przypadkach o corrigendum. Jeśli cytowanie zmyślone wspiera merytoryczne twierdzenie w artykule, korekta może wymagać rozszerzenia także na samo twierdzenie. To ścieżka, której najczęściej chcesz uniknąć, i właśnie temu zapobiega audyt.

Oświadczenie o ujawnieniu użycia AI w Twoim manuskrypcie, jeśli korzystałeś z jakichkolwiek narzędzi AI, które dotykały listy referencji, takich jak parafrazery czy generatory cytowań. Możesz też ujawnić w liście przewodnim, że uruchomiłeś audyt i dokonałeś autopoprawki. Brzmi to jak profesjonalny krok, a nie jak sygnał alarmowy.

Najczęściej zadawane pytania

P: Jak powszechne są cytowania zmyślone w 2026 roku?

Analiza z Columbii (Topaz i in., Lancet 2026) wykazała, że jeden na 277 artykułów indeksowanych w PubMed i opublikowanych w pierwszych siedmiu tygodniach 2026 zawierał co najmniej jedno cytowanie. To 12-krotny wzrost względem wskaźnika z 2023 roku, który wynosił 1 na 2 828. Trend rośnie. Na konferencjach z restrykcyjną recenzją GPTZero w analizie NeurIPS 2025 stwierdziło co najmniej 100 cytowań zmyślonych w 53 z 4 841 przyjętych prac, około 1 procenta dla konferencji.

P: Dlaczego odmiana DOI stanowiąca 64 procent przypadków jest najtrudniejsza do wykrycia?

Gdy LLM tworzy zmyślone cytowanie, czasem umieszcza prawdziwy DOI z danych treningowych, który prowadzi do innego artykułu niż ten, który rzekomo został zacytowany. DOI rozwiązuje się, drugi artykuł istnieje, a szybkie oględziny wyglądają „OK”. Dopiero po kliknięciu w link do zacytowanej pracy uświadamiasz sobie, że tytuł, autorzy, a nawet treść zacytowanego odniesienia nie odpowiadają cytowaniu. Badanie Deakin ilustruje, że tak było dla 64 procent fałszywych cytowań wygenerowanych przy użyciu GPT-4o. Samo „rozwiązywanie” DOI jest niewystarczające, trzeba to uzupełnić o weryfikację, czy wskazany artykuł faktycznie odpowiada cytowaniu.

P: Czy arXiv naprawdę zablokuje mnie na rok za cytowanie zmyślone?

Tak, gdy zaniedbanie jest jednoznaczne. Thomas Dietterich ogłasza politykę arXiv z maja 2026 roku, która ma przeciwdziałać przypadkom, w których autorzy wklejają wynik działania LLM-a bez sprawdzania, co prowadziło do zmyślonych referencji, pozostawionych placeholderów czatu lub danych. ArXiv jasno wskazał, że naprawdę sporne lub graniczne przypadki nie wchodzą w zakres. Po wygaśnięciu zakazu wszystkie przyszłe złożenia do arXiv muszą najpierw przejść recenzję w renomowanym miejscu, zanim arXiv ponownie je zaakceptuje.

P: Czy mogę po prostu przepuścić moją listę referencji przez ChatGPT lub Claude, żeby to sprawdzić?

Nie. Ten sam model, który stworzył zmyślone cytowanie, może również zmyślić weryfikację. Widzieliśmy, jak LLM-y z pełnym przekonaniem „potwierdzają”, że wygenerowane DOI są ważne. Sprawdzenie musi opierać się na zewnętrznych, uporządkowanych bazach danych (PubMed, Crossref, OpenAlex, Google Scholar) z autorytatywnymi metadanymi, a nie na innym LLM.

P: Co jeśli referencja istnieje tylko w Google Scholar?

Referencja widoczna w Google Scholar, ale w żadnej z baz PubMed, Crossref czy OpenAlex, jest raczej podejrzana niż potwierdzona jako zmyślona. Niektóre realne źródła (rozprawa, materiały konferencyjne bez DOI, working paper, czasopismo regionalne) pojawiają się w Google Scholar bez pokrycia przez zdyscyplinowane bazy. Ręcznie obejrzyj źródło, do którego prowadzi link. Jeśli możesz otworzyć artykuł i zweryfikować twierdzenie, referencja jest realna, ale niedoszacowana indeksacyjnie, cytuj ją z zaufaniem. Jeśli nie możesz otworzyć źródła lub link jest nieaktywny, traktuj to jako zmyślenie i usuń albo zastąp.

Korektor weryfikujący referencje do zgłoszeń do czasopism

Jednoprzebiegowa weryfikacja zmyślonych cytowań względem PubMed, Crossref, OpenAlex i Google Scholar, z możliwością pobrania dziennika weryfikacji do Państwa rejestrów.