AI Tespitinde Perpleksite Nedir? (Ve Neden Makaleniz İşaretlendi)

Makaleniz %82 AI tarafından üretilmiş olarak işaretlendi. Onu kendiniz yazdınız — geç saatler, üç kez yeniden yazma, danışmanınızın geri bildirimlerini dahil ettiniz. Ama dedektör sizin çabanızı umursamıyor. O, perpleksiteyi umursuyor.

Perpleksite, AI tespitinde en önemli ölçüttür. Bu, hükmün arkasındaki sayıdır. Ve çoğu araştırmacı bunun ne anlama geldiğini veya neden kendilerine karşı çalıştığını bilmiyor.

Beş büyük dedektör aracılığıyla akademik yazımın perpleksite puanlamasının nasıl etkilendiğini test etmek için üç ay harcadık. İşte bulduğumuz şeyler — ve bunun bir sonraki gönderiminiz için neden önemli olduğu.

Perpleksite sade İngilizce ile: AI ne kadar şaşırdı?

Perpleksite, bir metin parçasının bir dil modeli için ne kadar öngörülebilir olduğunu ölçer. Hepsi bu. Hiçbir gizem yok, hiçbir kara kutu sihri yok. Sadece bir sayıdır ve bir soruya cevap verir: "AI bu metindeki her kelimeye ne kadar şaşırdı?"

Bunu şöyle düşünün. "Hasta ___'ya alındı" yazarsak, çoğu dil modeli "hastane" kelimesini neredeyse kesinlikle tahmin eder. Düşük sürpriz. Düşük perpleksite.

Ama "Hasta arboretuma alındı" yazarsak — bu beklenmedik. Yüksek sürpriz. Yüksek perpleksite.

Bir belgeyi bir araya getirdiğinizde, perpleksite puanı her kelime seçiminin ortalama öngörülebilirliğini yansıtır. Beklenen, istatistiksel olarak olası kelime dizileriyle dolu bir metin düşük bir perpleksite puanı alır. Alışılmadık ifadeler, şaşırtıcı kelime dağarcığı ve öngörülemez bir yapı içeren bir metin yüksek bir puan alır.

AI tarafından üretilen metin genellikle düşük uçta kümelenir. Dil modelleri, tasarım gereği en istatistiksel olarak olası bir sonraki kelimeyi seçer. Bu, onların çalışma şeklidir. Bu nedenle çıktıları — tanım gereği — diğer dil modellerine son derece öngörülebilir.

İnsan yazımı daha dağınıktır. Alışılmadık kelime kombinasyonları kullanırız. Beklenmedik bir yere giden cümleler yazarız. Hiçbir olasılık dağılımının tahmin edemeyeceği stilistik tuhaflıklarımız vardır. Bu dağınıklık daha yüksek perpleksite olarak kendini gösterir.

Düşük perpleksite = AI benzeri. Ama bu o kadar basit değil.

Eğer hikaye burada bitseydi, AI tespiti basit olurdu. Düşük perpleksite, AI'nin yazdığı anlamına gelir. Yüksek perpleksite, bir insanın yazdığı anlamına gelir. Kapatıldı.

Ama hikaye burada bitmiyor. Hatta yakın bile değil.

Akademik yazım doğası gereği düşük perpleksitelidir. Standartlaştırılmış terminoloji kullanırız. Katı yapısal geleneklere uyarız. Yöntem bölümleri, aynı alandaki makalelerde neredeyse aynı şekilde okunur çünkü bir Batı blot protokolünü tanımlamanın yalnızca bu kadar çok yolu vardır.

Yayınlanmış makalelerden 30 insan yazımı yöntem bölümünü test ettik — hiçbir AI katılımı olmadan. Ortalama perpleksite puanları, AI tarafından üretilen metinle önemli ölçüde örtüştü. 30'un on ikisi, yalnızca perpleksiteye dayanarak en az bir büyük dedektör tarafından işaretlenecekti.

Sorun net. Perpleksiteye dayalı tespit, öngörülebilir metnin makine tarafından üretildiğini varsayıyor. Ama dünyanın en titiz insan yazımı metinlerinden bazıları — hakemli akademik yazı — doğası gereği öngörülebilirdir.

Özenle yazılmış makaleniz, tamamen meşru nedenlerle düşük perpleksite puanı alabilir:

• Disiplin spesifik kelime dağarcığı. Tıbbi, hukuki ve mühendislik metinleri, kesinlik talep ettiği için kesin terminolojiyi yeniden kullanır. Anlamı değiştirmeden "anjiyoplasti" kelimesini bir eşanlamlı ile değiştiremezsiniz.
• Formüle edilmiş bölüm yapıları. "Veriler toplandı..." ifadesi, binlerce insan yazımı makalede yer alır. Bu bir gelenektir, üretim değil.
• Resmi dil. Akademik yazım, argo ifadelerden, kısaltmalardan ve gündelik ifadelerden kaçınır — tam olarak perpleksite puanlarını artıracak türden bir varyasyon.
• Ana dili İngilizce olmayan kalıplar. ESL araştırmacıları genellikle daha düşük perpleksite metni üretir çünkü öğrenilmiş şablonlara ve yaygın ifadelere daha fazla güvenirler. Bu önyargının tüm büyük araçlar arasındaki AI tespit doğruluğunu etkilediğini gördük.

Dedektörler perpleksite puanlarını nasıl kullanır

Hiçbir ciddi AI dedektörü yalnızca perpleksite kullanmaz. Modern araçlar, bunu birkaç başka sinyal ile birleştirir — ama perpleksite hala belkemiğidir.

İşte tipik bir iş akışı. Dedektör, metninizi kendi dil modeli aracılığıyla işler. Tüm belge boyunca kelime başına perpleksiteyi hesaplar. Ardından dağılımı insan ve AI metni için bilinen temel değerlerle karşılaştırır.

Eğer metninizin perpleksite dağılımı AI temel değerine benziyorsa — düşük değerler etrafında sıkı kümelenme — işaretlenir. Eğer insan temel değerine benziyorsa — daha geniş yayılma ve daha yüksek varyans — geçer.

Bazı dedektörler daha ileri gider. Cümle düzeyinde perpleksiteyi hesaplarlar, kısmi AI kullanımını gösterebilecek kaymaları ararlar. Diğerleri, perpleksiteyi patlayıcılıkla birleştirir — bu, yazınızdaki cümle düzeyindeki varyasyonu ölçen ilgili bir ölçüttür.

Eşikler araca göre değişir. GPTZero, iç ölçeğinde yaklaşık 40'ın altında puanları işaretleyen, agresif bir perpleksite kesme noktası kullanır. Turnitin'in uygulaması daha temkinlidir ama yine de aynı ilkeye bağlıdır.

Bu araçların hiçbiri, türü iyi bir şekilde hesaba katmaz. Yaratıcı bir deneme ve bir yöntem bölümü temelde farklı temel perpleksite aralıklarına sahiptir. Bunları aynı eşiklerle ele almak, şu anda akademik kurumları rahatsız eden yanlış pozitif sorununu üretir.

Neden özenle yazılmış makaleniz düşük perpleksite puanı alabilir

Araştırmacılardan sürekli olarak bunu duyuyoruz: "Her kelimeyi kendim yazdım. Neden işaretlendi?"

Çünkü iyi bir yazarsınız. Cidden.

İyi organize edilmiş, net, cilalı akademik yazı düşük perpleksiteye eğilim gösterir. Belirli bir dil kaydında yazmayı öğrendiniz. Alanınızdaki gelenekleri içselleştirdiniz. Tanınabilir kalıpları takip eden metinler üretiyorsunuz — çünkü dergi hakemleriniz ve danışmanlarınız sizi bunu yapmaya eğitti.

İroni acı vericidir. Akademik gelenekler içinde ne kadar iyi yazarsanız, metninizin perpleksiteye dayalı bir dedektöre AI çıktısına ne kadar benzediği o kadar artar. Uzmanlığınız, aleyhinize kanıt haline gelir.

Ana dili İngilizce olmayan kişiler bu sorunun daha dik bir versiyonu ile karşılaşır. İkinci bir dilde yazmak, ezberlenmiş ifadeler ve standart yapılar üzerinde daha fazla güvenmek anlamına gelir. Ortaya çıkan metin genellikle bir ana dil konuşucusunun gündelik taslağından daha net ve daha resmi olarak doğru olur — ve bu nedenle perpleksitede daha düşük puan alır.

Bu kalıbı yüzlerce el yazmasında belgeledik. Bu, yazımınızda bir hata değil. Tespit metodolojisinde bir hata.

İnsanlaştırıcı araçlar perpleksiteyi doğal olarak nasıl artırır

Düşük perpleksite sizi işaretliyorsa, çözüm onu artırmaktır. Ama rastgele değil — perpleksiteyi akademik yazım gibi hala ses getiren şekillerde artırmalısınız.

İyi bir AI insanlaştırıcısının yaptığı budur. Metninizdeki düşük perpleksite kalıplarını tanımlar ve hedefli varyasyonlar ekler:

• Cümle yapısı çeşitliliği. Üç ardışık özne-yüklem-nesne cümlesi yerine, birini soru olarak, diğerini karmaşık bir yapı olarak yeniden yapılandırır ve üçüncüsünü olduğu gibi bırakır.
• Kelime dağarcığı varyasyonu. Eşanlamlı döndürme değil — bu kaba ve dedektörler bunu görür. Gerçek varyasyon, anlamı korurken daha az istatistiksel olarak olası ifadeleri seçmektir. "Bulgular şunu önermektedir" ifadesi "Verilerimizden çıkan şey" haline gelir — aynı anlam, daha yüksek perpleksite.
• Geçiş bozulması. AI metni "Ayrıca," "Dahası," ve "Bununla birlikte" ifadelerini sever. Bir insanlaştırıcı, bu kalıpları tamamen atarak, bağlantı için tireler kullanarak veya paragraf akışını yeniden yapılandırarak bu kalıpları bozar.
• Ritim varyasyonu. Kısa cümle. Sonra bir nitelik üzerinden geçerek noktaya inen uzun bir cümle. Sonra orta. Bu tür ritmik düzensizlik, insan yazarlar için güçlü bir perpleksite sinyalidir.

Metin insanlaştırıcımızı bu ayarlamaları akademik kaydı koruyarak yapmak için geliştirdik. Yazınızı gündelik hale getirmez — yazınızı öngörülemez bir şekilde sizin hale getirir.

Manuel insanlaştırma da işe yarar. Kendi başınıza yapmak isterseniz, üç şeyi değiştirmeye odaklanın: cümle uzunluğu, paragraf açılış kalıpları ve geçiş kelimeleri. Bu bile perpleksite puanınızı çoğu dedektör eşiğini geçecek kadar değiştirebilir.

Perpleksite puanı size ne söyleyebilir ve ne söyleyemez

Bir perpleksite puanı istatistiksel bir ölçümdür. Başka bir şey değil. Yazarlığı belirleyemez. Niyeti tespit edemez. Resmi yazan bir araştırmacı ile resmi üreten bir dil modeli arasındaki farkı söyleyemez.

Söyleyebileceği şey, metninizin bir dil modeli için ne kadar öngörülebilir göründüğüdür. Bu faydalı bir bilgidir — ama bunun kanıtı değildir.

Araştırmacıların perpleksiteyi, p-değerlerini anladıkları gibi anlamaları gerektiğini düşünüyoruz: daha büyük bir analizde bir veri noktası olarak, bir hüküm olarak değil. Düşük bir perpleksite puanı, AI yazarlığını kanıtlamaz; 0.06'lık bir p-değeri de bir hipotezi çürütmez. Bağlam önemlidir.

Akademik çalışmanızda tespit puanlarını yönetmek için pratik stratejiler için, akademik yazımda AI tespitini nasıl ele alacağınız konusundaki tam kılavuzumuza bakın.

Yazınız sizindir. Tek bir ölçüt — ne kadar matematiksel olarak şık olursa olsun — bunu değiştiremez.

Araştırmacılar için AI Metin İnsanlaştırıcı

Akademik yazınızdaki doğal varyasyonu artırın. Atıfları, teknik terimleri ve akademik tonu korur.

Sıkça Sorulan Sorular

S: İnsan yazımı için iyi bir perpleksite puanı nedir?

Perpleksite değerleri, hesaplamak için kullanılan dil modeline bağlı olduğundan evrensel bir "iyi" puan yoktur. Genel olarak, insan yazımı metinleri, AI tarafından üretilen metinlerden daha yüksek ve daha değişken perpleksite gösterir. Testlerimizde, insan akademik yazımı, aynı konulardaki GPT-4o çıktısından %30-80 daha yüksek ortalama perpleksite puanı aldı. Ama tür çok önemlidir — yaratıcı bir deneme, tamamen insan yazımı olsa bile bir laboratuvar raporundan farklı bir puan alır.

S: Kendi metnimin perpleksite puanını kontrol edebilir miyim?

Bazı araçlar doğrudan perpleksite verilerini gösterir. GPTZero, detaylı görünümünde cümle başına perpleksiteyi gösterir. Ayrıca, ham puanlar almak için GPT-2 Çıktı Dedektörü veya Hugging Face'in perpleksite hesaplayıcısı gibi açık kaynaklı araçları kullanabilirsiniz. Tek bir perpleksite ölçümüne güvenmek yerine metninizi birden fazla araçla kontrol etmenizi öneririz.

S: AI metnini yeniden ifade etmek perpleksitesini değiştirir mi?

Bu, nasıl yeniden ifade ettiğinize bağlıdır. Basit eşanlamlı değişimi, cümle yapısı — ki bu birincil etkendir — aynı kaldığı için perpleksite puanlarını pek değiştirmez. Gerçek yeniden yapılandırma — cümle sırasını değiştirmek, uzunluğu değiştirmek, paragraf akışını değiştirmek — perpleksiteyi önemli ölçüde artırabilir. Metin insanlaştırıcımız tam olarak bunu yapacak şekilde tasarlanmıştır, anlamınızı ve akademik tonunuzu korurken.

S: Perpleksite, AI dedektörlerinin kullandığı tek ölçüt mü?

Hayır. Çoğu modern dedektör, perpleksiteyi patlayıcılık (cümle uzunluğu varyasyonu), entropi (kelime öngörülemezliği) ve büyük veri setleri üzerinde eğitim almış sınıflandırıcı tabanlı yaklaşımlar ile birleştirir. Perpleksite temeldir, ama tek sinyal değildir. Bununla birlikte, testlerimizde metnin işaretlenip işaretlenmeyeceğinde en etkili tek faktör olarak kalmıştır.