Akademik Atıfları Korumayı Başaran AI İnsanlaştırıcı

Beta grubumuzdaki bir doktora sonrası araştırmacıdan (postdoc) bir ekran görüntüsü aldık. Açık erişimli bir immünoloji dergisine başvuru hazırlıyordu ve bu, akademik atıfları koruyan bir AI insanlaştırıcının; genel amaçlı olanlardan neden farklı bir ürün olduğunu gösteren tam da türden bir senaryo. Reddedilme e-postasında şu gerekçeyle bir “masa başı reddi” (desk rejection) almıştı: uyumsuz referans biçimlendirmesi. Referans listesine baktık; her şey yerindeydi. Sorunun ne olduğuna anlamak için özeti açtı ve yalnızca burada sorunla karşılaştı. İnsanlaştırmadan önce, özet içinde yer alan bir APA atfı şunu okuyordu: "(Nakamura et al., 2024)"; ancak denediği popüler insanlaştırıcı bunu "Nakamura ve çalışma arkadaşlarının 2024 tarihli çalışmasında gösterildiği gibi" ifadesine dönüştürmüş. Bu gerçekten akıcı bir anlatım; fakat bu farklı bir atıf.

Editörün tarama aracı, özet içinde kullanılan hikâyeleştirme (storytelling) temelli atfın; makalenin diğer bölümlerindeki parantez içi atıflarla eşleşmediğini fark etti. Sonuç, insanlaştırıcının bir “iyileştirme” olduğunu düşündüğü üslup ikamesi nedeniyle özete başvuru sürecinde iki haftalık bir gecikmeye mi yol açtı, yoksa başka bir şey mi oldu, şimdilik açık bir soru.

2025’in başından beri bu sorunu izliyoruz. 200 insanlaştırılmış akademik paragraf üzerinde, metin içinde atıf içeren kontrollü bir test yaptık. Bu testte Phrasly, olguların %47’sinde atıf biçimlendirmesini değiştirdi; Undetectable.ai %53’ünde değiştirdi; Quillbot’un insanlaştırıcısı ise %38’inde değiştirdi. Dahası, araçlar yalnızca görece ikincil görünen unsurlara değil; çoğu yazarın bile kontrol etmeye zahmet etmediği, bir akademik makalenin en kritik öğelerinden sayılabilecek unsurlara dokunuyor: italik içeren referans listesi girişleri ve DOI’ler. Çoğu insanlaştırıcı, içerik pazarlamacıları için blog yazıları ve SEO ürün açıklamaları üretenler düşünülerek geliştirilmiş. Ancak akademik üslubun, pazarlama odaklı hiçbir aracın özellikle saygı göstermeyi tasarlamadığı yapısal bir gereksinimi var: atfın yeniden yazım sonrasında bozulmadan hayatta kalması.

Bu yazı; akademik atıfları koruyan bir ai insanlaştırıcının neden genel amaçlı bir insanlaştırıcıdan anlamlı ölçüde farklı bir ürün olduğunu, “atıf farkındalıklı korumanın” arka planda gerçekte nasıl göründüğünü, yanlış gittiğinde ortaya çıkan dört araştırmacı sonucu ile herhangi bir insanlaştırıcıya güvenmeden önce uygulanabilecek beş dakikalık bir testin nasıl yapılacağını açıklıyor.

Akademik Atıfları Korumayı Başaran Bir AI İnsanlaştırıcı Nedir?

Akademik atıfları koruyan bir AI insanlaştırıcı, yeniden yazım öncesinde metin içi atıfları, referans listesi girişlerini, istatistiksel ifadeleri ve denklem etiketlerini ayıklar; ardından bunları yeniden yazım bittikten sonra birebir (verbatim) yeniden ekler. Böylece APA, MLA ve IEEE referansları eksiksiz biçimde korunur. Genel amaçlı insanlaştırıcılar bu adımı atlar ve atıfları sıradan belirteçler (tokens) gibi ele alır; bu nedenle Phrasly, Undetectable.ai ve Quillbot gibi araçlar, test ettiğimiz akademik paragrafların %38 ila %53’ünde atıf biçimlendirmesini değiştirir. Herhangi bir aracın gerçekten atıf farkındalığına sahip olup olmadığını doğrulamak için, ücretsiz sürümünde beş dakikalık bir test yapabilirsiniz.

Atıf farkındalıklı bir AI insanlaştırıcı, atıflarınızı bozulmadan nasıl korur?

Genel amaçlı insanlaştırıcı, metni yeniden yazacağı çeşitli dönüşümler üretmek için bir belirteçler dizisi (token) olarak ele alır. Bu yaklaşım, orada ne varsa, metinde parantez içinde yer alan bir öğe (ör. referans), italik bir öğe (ör. dergi adı), bir akronim (ör. DOI) ya da denklem etiketi veya istatistiksel bir ifade, yeniden yazım için potansiyel aday sayılacağı anlamına gelir.

Atıf farkındalıklı bir insanlaştırıcı ise bazı şeyleri dokunulmadan bırakır. Onların etrafında çalışır. Somut olarak şunları tanır:

• Metin içi parantez atıfları. "(Smith, 2024)", "(Smith & Jones, 2024)", "(Smith et al., 2024, p. 47)", "[12]" ve APA, MLA, Chicago, IEEE, Harvard, Vancouver, Turabian ve AMA boyunca görülen düzinelerce biçim varyantı.
• Referans listesi girişleri. İtalik dergi adları, cilt ile sayı arasındaki noktalama işaretleri, "and" ile "&" kullanımı, makale başlıklarında sentence-case ile title-case ayrımı ve DOI ile biten herhangi bir satır.
• İstatistiksel ifadeler. "p < 0.01," "95% CI [0.34, 0.58]," "n = 1,247," ve güven aralığı, odds oranı ve etki büyüklüğü raporlamaya ilişkin standartlar.
• Teknik gösterim. Denklem etiketleri (Eq. 3), şekil atıfları (Fig. 2a), tablo atıfları (Table 1) ve bunlar arasında gezinmek için kullanılan çapraz başvuru belirteçleri.
• Disiplin dili. Yöntem adları ("PRISMA"), enstrüman adları ("CRISPR-Cas9"), deneme kayıtları ("ClinicalTrials.gov NCT03945383") ve yeniden yazımın müdahale etmemesi gereken özel isimler.

Bunlar “uç” senaryolar değildir. Editöryel veri setimizde, ortalama 6.000 kelimelik bir makalede 47 metin içi atıf, 11 istatistiksel ifade ve 6 denklem ya da şekil atfı vardır. Bu öğelerin bile yalnızca %10’una dokunan bir insanlaştırıcı, gönderim öncesinde bulunup manuel olarak geri alınması gereken makale başına 6 ila 7 hata üretir.

AI insanlaştırıcılar APA, MLA ve IEEE atıflarını nasıl bozar?

Testlerimizde, atıf kör (citation-blind) insanlaştırıcılar her seferinde üç yolla bozulur.

Hata biçimi 1: metin içi atıfların anlatı formuna dönüştürülmesi. Bu makalenin başındaki Nakamura örneği. "(Smith, 2024)" "Smith’in 2024’te gösterdiği gibi" ya da "Smith’in 2024 çalışması benzer etkiler olduğunu düşündürüyor" biçimine dönüşür. Yeni anlatı dili, insanlaştırıcının eğitim dağılımına daha uygundur. Bu; atıf türünü (parantezden anlatıya) değiştirir; dolayısıyla çoğu derginin talimatlarına göre, paragraf ya da bölüm boyunca tutarlı bir şekilde kullanılmasını gerektirir ve aynı zamanda ima edilen yazar sesi değişir. Editörler bunu fark eder.

Hata biçimi 2: referans listesi biçimlendirmesi. Referans girişi "Smith, J. (2024). The structure of Cell, 187(5), 945-961. Https://doi.org/10.1016/j.cell.2024.05.012" italik dergi adı kaldırılarak, cilt numarasının vurgusu kaybedilerek, DOI ön ekinin değiştirilerek ya da yazar baş harfleri ile yıl arasındaki noktalamanın başka bir stile göre normalize edilerek yeniden yazılır. Teknik olarak referans hâlâ çözünür, ancak artık APA 7 şablonuyla eşleşmez. Kopya editörleri işaretler.

Hata biçimi 3: korunan içeriğin etrafındaki işkence görmüş ifadeler. Cabanac Problematic Paper Screener, paraphrase tabanlı insanlaştırıcıların ürettiği eş anlamlı yer değişimi kalıplarını içeren 19.000’den fazla makaleyi işaretlemiştir. Birlikte Birleşik Devletler. Memede tehlike (bosom peril) için meme kanseri. Böbrek hayal kırıklığı (renal disappointment) için böbrek yetmezliği. Bu tür işkence görmüş ifadelerle çevrili atıflar, test verilerimizin etrafını sarmalayarak, atıf bizzat eksiksiz hayatta kalsa bile editörlerin atfa güvenmesini zorlaştırır. Problematic Paper Screener (Cabanac, Labbe ve Magazinov) artık bazı yayınevleri tarafından akran değerlendirmesinden önce editöryel inceleme için makaleleri işaretlemek amacıyla kullanılmaktadır.

Üç hata birlikte görülür. Genel amaçlı bir insanlaştırıcıdan dönen makale; metin içi atıfların anlatı biçimine dönüştürüldüğü (mod 1), referans girişlerinin yeniden biçimlendirildiği (mod 2) ve etrafında işkence görmüş anlatıların yer aldığı (mod 3) unsurlarla doludur. Üstelik araştırmacının bunu insanlaştırma öncesi hâline tamamen geri getirmesi 90 dakika sürer. Bunun değerli olup olmadığı ise hâlâ açık bir sorudur.

Atıfları korumak bir AI insanlaştırıcı için neden zordur?

Çoğu insanlaştırıcı atıfları doğru ele almaz; çünkü altta yatan dil modeli, bir atfın ne olduğunu bilmez. Atıfları sadece diğer belirteç dizileri gibi görür (yani "(Smith, 2024)"). Birine tokenizer’ın "atıfları korumasını" istediğinizde, bunu... bir ölçüde yapacaktır. Ancak altta yatan model akıcı düzyazı üretmek üzere eğitilmiştir. Bu hedefler arasında bir çatışma olduğunda, model genellikle akıcı düzyazıyı tercih eder.

Bu sorun, atıf farkındalıklı bir insanlaştırıcıyla çözülebilir. Yeniden yazım öncesinde bir ayıklama (extraction) aşaması çalıştırırız: burada atıf bölümlerini, istatistiksel ifadeleri, denklem etiketlerini ve referans listesi girişlerini tanımlar; insanlaştırma adımında bunları yer tutucularla (placeholders) değiştiririz; ardından en sonunda özgün bölümleri birebir yeniden ekleriz. Böylece model, yeniden yazabileceği biçimde hiçbir atıf görmez.

Bu, makine çeviride bir kişinin adı, bir marka adı veya cümledeki bir sayı söz konusu olduğunda doğru yanıtı alabilmemize olanak tanıyan mimariye benzer. İnsanlaştırma için de benzer bir mantık geçerlidir: bir şeyi üretken (generative) süreçten korursak, üretken süreçten dikkatli olmasını istemeye çalışmaktan daha iyi sonuç veririz.

Yanlış gittiğinde dört araştırmacı sonucu

Atıf kör bir insanlaştırıcının araştırmacıya maliyeti dört biçimde ortaya çıkar. Her birini son 18 ay içinde gördük.

Sonuç 1: teknik tarama reddi. Bir derginin otomatik taraması; yeniden biçimlendirilmiş özet atıfları ile referans listesi arasında bir tutarsızlık yakalar. Makale, akran değerlendirmesinden önce yazarlara geri gönderilir. En iyi senaryo: iki haftalık gecikme. En kötü senaryo: sorun başka revizyonlarla birleşir ve makale yayımlanma penceresinin dışına düşer.

Sonuç 2: hak uydurma (fabrication) şüphesi. Hakem, metin içindeki bir atfın referans listesi girişinden farklı olduğunu ya da parantez içi bir atfın metnin bir parçası gibi yeniden yazıldığını görür. Hakem doğal olarak yazarın kaynağı okumadığını varsayar. Laboratuvar incelememizde audit ettiğimiz makalelerde "major revisions" ya da "reject" kararına ulaşmanın en yaygın yolu artık budur.

Sonuç 3: işkence görmüş ifade tarayıcıdan bütünlük (integrity) işareti. Atfın etrafındaki eş anlamlı yer değiştirme kalıpları, Cabanac tarayıcısı veya yayınevinin dahili bir sürümü tarafından tespit edilir. Makale, araştırma bütünlüğü incelemesi için gönderilir. Altta yatan makale iyi olsa bile bu, gecikmeye haftalar ekleyebilir. Ayrıca yazarın adında iz bırakacaktır.

Sonuç 4: yayımdan sonra geri çekilme (retraction). Nadir ama kuramsal değil. Yayımdan sonra yapılan denetimlerde, editöryel süreçte yakalanmayan ve insanlaştırıcıların eklediği işkence görmüş ifadeler ya da atıf yeniden yazımları nedeniyle geri çekilmeye yol açan makaleler gözlemlendi. Bugüne kadar Problematic Paper Screener, 1.000’den fazla geri çekilmede yardımcı oldu; bunların bir kısmı insanlaştırıcı kaynaklı kalıpları içeriyor.

Denge tek taraflıdır. Akıcı yeniden yazım kazanımı düşüktür: birçok durumda zararsız olacak şekilde AI tespitinde hafif bir azalmaya yol açar. Atıf bozulmasıyla ilişkili kayıp yüksektir: gecikme, şüphe, bütünlük işareti ya da daha da kötüsü geri çekilme. Atıf farkındalıklı bir insanlaştırıcı, kaybı önlerken kazanımı korur.

Atıf korumayı 5 dakikada her insanlaştırıcıda nasıl test edebilirsiniz?

Piyasaya çıkan her yeni insanlaştırıcıda uyguladığımız test budur. Beş dakika sürer ve neredeyse her aracın ücretsiz sürümünde ücretsiz olarak yapılabilir.

Adım 1. Aşağıdaki paragrafı, seçtiğiniz insanlaştırıcıya kopyalayın. En yaygın dört atıf biçimini ve bir istatistiksel ifadeyi içerir.

The intervention reduced symptoms in 64% of participants
(Smith, 2024). Other studies (Jones & Lee, 2023; Patel et al.,
2024, p. 47) reported comparable effects. A recent meta-analysis
[12] confirmed the pattern across populations (n = 1,247,
p < 0.01). The mechanism remains debated; see Reference 14 for
a competing interpretation.

Adım 2. İnsanlaştırılmış çıktıyı okuyun. Aşağıdakilerden her birinin korunup korunmadığını kontrol edin:

• Parantez içi "(Smith, 2024)" ifadesi birebir.
• Çok yazarlı "(Jones & Lee, 2023; Patel et al., 2024, p. 47)" ifadesi birebir; & işareti, noktalı virgül ve sayfa numarası dahil.
• Numaralı atıf "[12]" birebir.
• İstatistiksel ifade "n = 1,247, p < 0.01" birebir.
• Çapraz başvuru "Reference 14"; "the fourteenth reference" ya da benzeri bir şeye çevrilmeden/yeniden ifade edilmeden.

Adım 3. Bu beş unsurdan herhangi biri değiştiyse, o insanlaştırıcı akademik yazım açısından önemli olan anlamda atıf farkındalığına sahip değildir. Onu pazarlama metinlerinde kullanın; bir manuskriptte kullanmayın.

Adım 4. İtalik ve DOI içeren bir referans listesi girdisi barındıran ikinci bir paragraf çalıştırın:

Smith, J., & Jones, K. (2024). The structure of cellular
respiration in mitochondrial disease. Nature Reviews Molecular
Cell Biology, 25(3), 187-203. https://doi.org/10.1038/s41580-024-00712-3

İtaliğin, & işaretinin, cilt-sayı formatının ve DOI URL’sinin hepsinin korunup korunmadığını kontrol edin. Metin içi atıfları idare edebilen ancak referans girişlerini yapamayan bir insanlaştırıcı “yarım güvenlidir”. Manuskriptiniz ise tam garantiyi gerektirir.

Adım 5. Manuskriptinizden bir paragrafla son testi yapın. Yapay (artificial) girdilerde çalışan araçlar, daha yoğun atıf örüntüleri içeren gerçek düzyazıda başarısız olabilir. Kendi metninizi doğrulamadan, teslim tarihine bakarak hiçbir insanlaştırıcıya güvenmeyin.

Bu testi, kendi insanlaştırıcımızı bu insanlaştırıcı sıralama sayfamızda ve Phrasly vs Undetectable.ai karşılaştırmasında listelenen adlandırılmış rakiplerle birlikte uygulayarak dokümante ediyoruz. Sayılarımız araçlar arasında karşılaştırılabilir; çünkü her iki yazı da yukarıda tarif edilen aynı test yöntemini kullanır. Parafraz (başka bir kategori) araçlarının, atıfları koruma gibi aynı zorluğu ele almada nasıl performans gösterdiğini görmek isteyenler için; parafraz tarafındaki aynı mimari örüntüyü de kapsayan, atıfları koruyan parafraz notumuza bakın.

Sık sorulan sorular

S: Neden çoğu AI insanlaştırıcı akademik atıfları bozar?

Araştırmacılar için değil, içerik pazarlamacıları için tasarlanmışlardır. Genel amaçlı insanlaştırıcılar tüm belirteçleri yeniden yazım adayı olarak gördüğü için metin içi atıflar anlatı metnine dönüşebilir; referans listesi girişlerinden italikler kaldırılabilir ve noktalama farklı bir biçime normalleştirilebilir; ayrıca işkence görmüş ifadeler için eş anlamlılar atfın etrafında kümelenebilir. Bu sorun, yeniden yazımdan önce atıfları ayıklayan ve sonrasında geri yerleştiren atıf farkındalıklı bir insanlaştırıcıyla çözülür.

S: Atıf farkındalıklı bir insanlaştırıcı, makalemi tespit edilemez (undetectable) hâle getirmek için yeterli mi?

Atıfları koruma ile tespit bypass’ı ayrı problemlerdir. Atıf farkındalıklı bir insanlaştırıcının hedefi, atıflarınızı korumak; aynı zamanda dedektörlerin aradığı türden yüzey varyasyonlarını da üretmektir. İnsanlaştırıcının çevre metni ne kadar agresif biçimde yeniden yazdığı, tespit edilen atfın puanını belirler; ancak insanlaştırıcının atıfları ele alma oranını etkilemez. Çoğu atıf farkındalıklı insanlaştırıcı, tespit bypass konusunda iyi performans gösterir. Kullanılan aracın tespit benchmark puanlarını (bunlar yayımlanmış olmalıdır) ve atıfları ele alma oranını birlikte inceleyin.

S: İnsanlaştırmadan önce atıflarımı manuel olarak çıkarabilir miyim?

Evet, bazı araştırmacılar bunu yapar. Süreç şudur: ilgilendiğiniz manuskripti bir dokümana kopyalayın ve her bir atfı bir yer tutucu ile manuel olarak değiştirin ("[CITE_001]"), insanlaştırın; ardından özgün atıfları yeniden ekleyin. Bu yöntem az miktarda metin için çalışır. Tam bir manuskript söz konusu olduğunda ise manuel iş, insanlaştırma adımından daha fazla zaman alabilir. İnsanlaştırma sırasında yer tutucuları düşürmek oldukça kolaydır. Görev birkaç dakikadan uzun sürüyorsa, bir araçla otomatikleştirmeyi düşünün. 1.500 kelimeden uzun herhangi bir doküman, burada tarif edilen pipeline’ı otomatikleştirmek için bir araç kullanmaktan fayda görebilir.

S: Bir insanlaştırıcının gerçekten atıf farkındalıklı mı olduğunu, yoksa sadece öyle iddia ettiğini nasıl anlarım?

Yukarıdaki bölümde tarif edilen beş dakikalık testi uygulayın. Karışık APA, numaralı ve istatistiksel atıflar içeren bir paragrafı kopyalayın ve aracı üzerinden çalıştırın. Tüm öğeler girdiyle aynı şekilde görünüyorsa, insanlaştırıcı atıf farkındalıdır. Herhangi bir şey herhangi bir biçimde değiştiyse, "atıf farkındalıklı" etiketi yalnızca pazarlamadır. Kendi pazarlama metinlerinde atıf korumayı yapabildiğini söyleyen çoğu araç, pipeline’ın ayıklama bölümünü aslında uygulamamıştır; bu testi yapmak, hangilerinin gerçekten yaptığına dair bir yol gösterir.

S: Bu durum, danışmanımın onayına sunduğum tez bölümleri için de geçerli mi, yoksa sadece dergi manuskriptleri için mi?

Farklı nedenlerle her ikisi için de geçerlidir. Dergi manuskriptlerinde tutarsız atıflar teknik tarama reddine yol açabilir. Tez bölümlerinde ise sonuç şudur: danışmanınız ya da komiteniz, atıflardaki kaymayı görür; bunun ya AI kullanımının kanıtı ya da özensizlik olduğuna inanır; bütünlük (integrity) hakkında kaygı dile getirir ya da bölümün yeniden çalışılmasını ister. Kayma o kadar küçüktür ki tesadüf gibi görünür; ancak dikkatli bir okuyucu tarafından fark edilebilecek kadar tutarlıdır. Atıf farkındalıklı bir insanlaştırıcı, her iki bağlamda da hata biçimini ortadan kaldırır.