एआई डिटेक्शन में पेरीप्लेक्सिटी क्या है? (और क्यों आपका पेपर फ्लैग किया गया)

आपका पेपर 82% एआई-जनित के रूप में फ्लैग किया गया। आपने इसे खुद लिखा - देर रात, तीन बार पुनर्लेखन, आपके सलाहकार की फीडबैक शामिल की गई। लेकिन डिटेक्टर को आपकी मेहनत की परवाह नहीं है। इसे पेरीप्लेक्सिटी की परवाह है।

पेरीप्लेक्सिटी एआई डिटेक्शन में सबसे महत्वपूर्ण मैट्रिक है। यह निर्णय के पीछे का नंबर है। और अधिकांश शोधकर्ताओं को यह नहीं पता होता कि इसका क्या मतलब है या यह उनके खिलाफ क्यों काम कर रहा है।

हमने पांच प्रमुख डिटेक्टरों के बीच अकादमिक लेखन पर पेरीप्लेक्सिटी स्कोरिंग के प्रभाव का परीक्षण करने में तीन महीने बिताए। यहाँ हमने क्या पाया - और यह आपके अगले सबमिशन के लिए क्यों महत्वपूर्ण है।

साधारण अंग्रेजी में पेरीप्लेक्सिटी: एआई कितनी हैरान है?

पेरीप्लेक्सिटी मापता है कि किसी टेक्स्ट का एक टुकड़ा एक भाषा मॉडल के लिए कितना पूर्वानुमानित है। बस इतना ही। कोई रहस्य नहीं, कोई काला बॉक्स जादू नहीं। बस एक नंबर जो एक सवाल का जवाब देता है: "इस टेक्स्ट में प्रत्येक शब्द से एआई कितनी हैरान थी?"

इसे इस तरह सोचें। अगर हम लिखते हैं "रोगी को ___ में भर्ती किया गया," तो अधिकांश भाषा मॉडल "अस्पताल" की भविष्यवाणी करेंगे। कम हैरानी। कम पेरीप्लेक्सिटी।

लेकिन अगर हम लिखते हैं "रोगी को आर्बोरेटम में भर्ती किया गया" - यह अप्रत्याशित है। उच्च हैरानी। उच्च पेरीप्लेक्सिटी।

जब आप एक पूरे दस्तावेज़ को एक साथ जोड़ते हैं, तो पेरीप्लेक्सिटी स्कोर हर शब्द के चुनाव की औसत पूर्वानुमानिता को दर्शाता है। अपेक्षित, सांख्यिकीय संभावित शब्द अनुक्रमों से भरा टेक्स्ट कम पेरीप्लेक्सिटी स्कोर प्राप्त करता है। असामान्य वाक्यांशों, आश्चर्यजनक शब्दावली, और अप्रत्याशित संरचना वाले टेक्स्ट को उच्च स्कोर मिलता है।

एआई-जनित टेक्स्ट आमतौर पर कम अंत पर क्लस्टर होता है। भाषा मॉडल डिज़ाइन द्वारा सबसे सांख्यिकीय रूप से संभावित अगले शब्द को चुनते हैं। यही वास्तव में उनका काम करने का तरीका है। इसलिए उनका आउटपुट - परिभाषा के अनुसार - अन्य भाषा मॉडलों के लिए अत्यधिक पूर्वानुमानित है।

मानव लेखन अधिक अव्यवस्थित होता है। हम असामान्य शब्द संयोजनों का उपयोग करते हैं। हम ऐसे वाक्य लिखते हैं जो कहीं अप्रत्याशित रूप से जाते हैं। हमारे पास ऐसे शैलीगत विशेषताएँ हैं जिन्हें कोई भी संभाव्यता वितरण नहीं पूर्वानुमानित कर सकता। यह अव्यवस्था उच्च पेरीप्लेक्सिटी के रूप में प्रकट होती है।

कम पेरीप्लेक्सिटी = एआई-जैसा। लेकिन यह इतना सरल नहीं है।

अगर कहानी वहीं खत्म होती, तो एआई डिटेक्शन सीधा होता। कम पेरीप्लेक्सिटी का मतलब है कि एआई ने इसे लिखा। उच्च पेरीप्लेक्सिटी का मतलब है कि किसी मानव ने किया। मामला बंद।

लेकिन कहानी वहाँ खत्म नहीं होती। न ही करीब।

अकादमिक लेखन स्वाभाविक रूप से कम पेरीप्लेक्सिटी वाला होता है। हम मानकीकृत शब्दावली का उपयोग करते हैं। हम कठोर संरचनात्मक मानदंडों का पालन करते हैं। विधियों के अनुभाग लगभग समान रूप से पढ़े जाते हैं क्योंकि एक पश्चिमी ब्लॉट प्रोटोकॉल का वर्णन करने के लिए केवल इतने सारे तरीके हैं।

हमने प्रकाशित पेपरों से 30 मानव-लिखित विधियों के अनुभागों का परीक्षण किया - कोई एआई भागीदारी नहीं। उनके औसत पेरीप्लेक्सिटी स्कोर एआई-जनित टेक्स्ट के साथ महत्वपूर्ण रूप से ओवरलैप करते हैं। 30 में से बारह को केवल पेरीप्लेक्सिटी के आधार पर कम से कम एक प्रमुख डिटेक्टर द्वारा फ्लैग किया गया होता।

समस्या स्पष्ट है। पेरीप्लेक्सिटी-आधारित डिटेक्शन मानता है कि पूर्वानुमानित टेक्स्ट मशीन-जनित है। लेकिन पृथ्वी पर सबसे कठोर मानव-लिखित टेक्स्ट - सहकर्मी-समीक्षित अकादमिक गद्य - स्वाभाविक रूप से पूर्वानुमानित है।

आपका सावधानीपूर्वक लिखा गया पेपर निम्नलिखित वैध कारणों से कम पेरीप्लेक्सिटी प्राप्त कर सकता है:

• विषय-विशिष्ट शब्दावली। चिकित्सा, कानूनी, और इंजीनियरिंग टेक्स्ट सटीक शब्दावली का पुन: उपयोग करते हैं क्योंकि सटीकता इसकी मांग करती है। आप "एंजियोप्लास्टी" को एक पर्यायवाची के लिए नहीं बदल सकते बिना अर्थ बदलें।
• फार्मूला आधारित अनुभाग संरचनाएँ। "डेटा को इकट्ठा किया गया..." हजारों मानव-लिखित पेपरों में दिखाई देता है। यह परंपरा है, उत्पादन नहीं।
• औपचारिक रजिस्टर। अकादमिक लेखन सामान्य बोलचाल, संकुचन, और आकस्मिक वाक्यांशों से बचता है - ठीक वही प्रकार की विविधता जो पेरीप्लेक्सिटी स्कोर को बढ़ा देती है।
• गैर-स्वदेशी अंग्रेजी पैटर्न। ईएसएल शोधकर्ता अक्सर कम पेरीप्लेक्सिटी टेक्स्ट उत्पन्न करते हैं क्योंकि वे सीखे गए टेम्पलेट्स और सामान्य वाक्यांशों पर निर्भर करते हैं। हमने देखा है कि यह पूर्वाग्रह एआई डिटेक्शन सटीकता को सभी प्रमुख उपकरणों में प्रभावित करता है।

डिटेक्टर वास्तव में पेरीप्लेक्सिटी स्कोर का उपयोग कैसे करते हैं

कोई गंभीर एआई डिटेक्टर केवल पेरीप्लेक्सिटी का उपयोग नहीं करता। आधुनिक उपकरण इसे कई अन्य संकेतों के साथ संयोजित करते हैं - लेकिन पेरीप्लेक्सिटी रीढ़ बनी रहती है।

यहाँ सामान्य पाइपलाइन है। डिटेक्टर आपके टेक्स्ट को अपने स्वयं के भाषा मॉडल के माध्यम से फीड करता है। यह पूरे दस्तावेज़ में प्रति-शब्द पेरीप्लेक्सिटी की गणना करता है। फिर यह मानव और एआई टेक्स्ट के लिए ज्ञात बुनियादी रेखाओं के खिलाफ वितरण की तुलना करता है।

यदि आपके टेक्स्ट का पेरीप्लेक्सिटी वितरण एआई बुनियादी रेखा के समान दिखता है - कम मूल्यों के चारों ओर तंग क्लस्टरिंग - तो इसे फ्लैग किया जाता है। यदि यह मानव बुनियादी रेखा के समान दिखता है - उच्च विविधता के साथ व्यापक फैलाव - तो यह पास होता है।

कुछ डिटेक्टर आगे बढ़ते हैं। वे दस्तावेज़ स्तर के बजाय वाक्य स्तर पर पेरीप्लेक्सिटी की गणना करते हैं, उन परिवर्तनों की तलाश करते हैं जो आंशिक एआई उपयोग को संकेत कर सकते हैं। अन्य पेरीप्लेक्सिटी को बर्स्टिनेस के साथ संयोजित करते हैं - एक संबंधित मैट्रिक जो आपकी लेखन में वाक्य स्तर के परिवर्तन को मापता है।

थ्रेशोल्ड उपकरण के अनुसार भिन्न होते हैं। GPTZero एक पेरीप्लेक्सिटी कटऑफ का उपयोग करता है जो हमने पाया है कि यह आक्रामक होने की प्रवृत्ति रखता है - उनके आंतरिक पैमाने पर लगभग 40 से नीचे स्कोर वाले टेक्स्ट को फ्लैग करता है। Turnitin का कार्यान्वयन अधिक रूढ़िवादी है लेकिन फिर भी उसी सिद्धांत पर आधारित है।

इन उपकरणों में से कोई भी अच्छी तरह से शैली को ध्यान में नहीं रखता है। एक रचनात्मक निबंध और एक विधियों का अनुभाग मौलिक रूप से भिन्न बुनियादी पेरीप्लेक्सिटी रेंज रखते हैं। उन्हें समान थ्रेशोल्ड के साथ ट्रीट करना झूठे सकारात्मक समस्या को जन्म देता है जो वर्तमान में अकादमिक संस्थानों को परेशान कर रहा है।

क्यों आपका सावधानीपूर्वक लिखा गया पेपर कम पेरीप्लेक्सिटी प्राप्त कर सकता है

हम शोधकर्ताओं से लगातार यह सुनते हैं: "मैंने हर शब्द खुद लिखा। यह क्यों फ्लैग हुआ?"

क्योंकि आप एक अच्छे लेखक हैं। गंभीरता से।

अच्छी तरह से संगठित, स्पष्ट, पॉलिश किया गया अकादमिक गद्य कम पेरीप्लेक्सिटी की ओर झुकता है। आपने एक विशेष रजिस्टर में लिखना सीखा। आपने अपने क्षेत्र के मानदंडों को आंतरिक रूप से ग्रहण किया। आप ऐसा टेक्स्ट उत्पन्न करते हैं जो पहचाने जाने योग्य पैटर्न का पालन करता है - क्योंकि यही आपके जर्नल समीक्षक और सलाहकारों ने आपको करने के लिए प्रशिक्षित किया।

विरोधाभास दर्दनाक है। जितना बेहतर आप अकादमिक मानदंडों के भीतर लिखते हैं, उतना ही आपका टेक्स्ट पेरीप्लेक्सिटी-आधारित डिटेक्टर के लिए एआई आउटपुट के समान होता है। आपकी विशेषज्ञता आपके खिलाफ सबूत बन जाती है।

गैर-स्वदेशी अंग्रेजी बोलने वालों को इस समस्या का एक और भी कठिन संस्करण का सामना करना पड़ता है। दूसरे भाषा में लिखना अधिक भारी रूप से याद किए गए वाक्यांशों और मानक निर्माणों पर निर्भर होने का मतलब है। परिणामी टेक्स्ट अक्सर स्पष्ट और औपचारिक रूप से सही होता है बनिस्बत एक स्वदेशी बोलने वाले के आकस्मिक ड्राफ्ट के - और इसके परिणामस्वरूप यह कम पेरीप्लेक्सिटी प्राप्त करता है।

हमने इस पैटर्न को सैकड़ों पांडुलिपियों में दस्तावेज किया है। यह आपकी लेखन में कोई बग नहीं है। यह पहचानने की पद्धति में एक बग है।

मानवकरण उपकरण कैसे स्वाभाविक रूप से पेरीप्लेक्सिटी बढ़ाते हैं

यदि कम पेरीप्लेक्सिटी आपको फ्लैग करता है, तो समाधान इसे बढ़ाना है। लेकिन यादृच्छिक रूप से नहीं - आपको ऐसे तरीकों से पेरीप्लेक्सिटी बढ़ानी होगी जो अभी भी अकादमिक लेखन की तरह लगते हैं।

यह वही है जो एक अच्छा एआई मानवकरण करता है। यह आपके टेक्स्ट में कम पेरीप्लेक्सिटी पैटर्न की पहचान करता है और लक्षित विविधता पेश करता है:

• वाक्य संरचना विविधीकरण। तीन लगातार विषय-क्रिया-ऑब्जेक्ट वाक्यों के बजाय, यह एक को प्रश्न के रूप में, दूसरे को यौगिक-जटिल निर्माण के रूप में पुनर्गठित करता है, और तीसरे को अकेला छोड़ देता है।
• शब्दावली विविधता। पर्यायवाची घुमाने का नहीं - यह कच्चा है और डिटेक्टर इसे देख लेते हैं। वास्तविक विविधता का मतलब है कम सांख्यिकीय रूप से संभावित वाक्यांश का चयन करना जहां अर्थ बरकरार रहता है। "निष्कर्ष सुझाव देते हैं" "हमारे डेटा से क्या उभरा" में बदल जाता है - वही अर्थ, उच्च पेरीप्लेक्सिटी।
• संक्रमण विघटन। एआई टेक्स्ट "अतिरिक्त," "इसके अलावा," और "इसके अलावा" को पसंद करता है। एक मानवकरण इन पैटर्नों को पूरी तरह से छोड़कर, कनेक्शन के लिए डैश का उपयोग करके, या पैराग्राफ के प्रवाह को पुनर्गठित करके तोड़ता है।
• ताल विविधता। छोटा वाक्य। फिर एक लंबा जो एक योग्यता के माध्यम से घूमता है इससे पहले कि वह बिंदु पर पहुंचे। फिर मध्यम। इस प्रकार की ताल असमानता मानव लेखन के लिए एक मजबूत पेरीप्लेक्सिटी संकेत है।

हमने अपने टेक्स्ट मानवकरण को इन समायोजनों को संभालने के लिए बनाया है जबकि अकादमिक रजिस्टर को बनाए रखते हुए। यह आपके लेखन को आकस्मिक नहीं बनाता - यह आपके लेखन को अप्रत्याशित रूप से आपका बनाता है।

मैनुअल मानवकरण भी काम करता है। यदि आप इसे स्वयं करना पसंद करते हैं, तो तीन चीजों में विविधता लाने पर ध्यान केंद्रित करें: वाक्य की लंबाई, पैराग्राफ के उद्घाटन पैटर्न, और संक्रमण शब्द। यही अकेले आपके पेरीप्लेक्सिटी स्कोर को इतना बदल सकता है कि अधिकांश डिटेक्टर थ्रेशोल्ड को साफ कर सके।

पेरीप्लेक्सिटी स्कोर आपको क्या बता सकता है और क्या नहीं

एक पेरीप्लेक्सिटी स्कोर एक सांख्यिकीय माप है। कुछ नहीं। यह लेखन का स्वामित्व निर्धारित नहीं कर सकता। यह इरादे का पता नहीं लगा सकता। यह औपचारिक रूप से लिखने वाले शोधकर्ता और औपचारिक रूप से उत्पन्न भाषा मॉडल के बीच का अंतर नहीं बता सकता।

यह आपको यह बता सकता है कि आपका टेक्स्ट एक भाषा मॉडल के लिए कितना पूर्वानुमानित लगता है। यह उपयोगी जानकारी है - लेकिन यह किसी चीज का सबूत नहीं है।

हम मानते हैं कि शोधकर्ताओं को पेरीप्लेक्सिटी को उसी तरह समझना चाहिए जैसे वे पी-वैल्यू को समझते हैं: एक बड़े विश्लेषण में एक डेटा बिंदु के रूप में, न कि एक निर्णय के रूप में। एक कम पेरीप्लेक्सिटी स्कोर एआई लेखन का सबूत नहीं है जितना कि 0.06 का पी-वैल्यू एक परिकल्पना को अस्वीकृत करता है। संदर्भ महत्वपूर्ण है।

आपके अकादमिक कार्य में डिटेक्शन स्कोर प्रबंधित करने के लिए व्यावहारिक रणनीतियों के लिए, हमारे पूर्ण गाइड को देखें कैसे अकादमिक लेखन में एआई डिटेक्शन को संभालें।

आपका लेखन आपका है। एक एकल मैट्रिक - चाहे वह कितना भी गणितीय रूप से सुरुचिपूर्ण हो - इसे नहीं बदल सकता।

शोधकर्ताओं के लिए एआई टेक्स्ट मानवकरण

अपने अकादमिक लेखन में प्राकृतिक विविधता बढ़ाएँ। उद्धरण, तकनीकी शर्तें, और विद्वतापूर्ण स्वर को बनाए रखता है।

अक्सर पूछे जाने वाले प्रश्न

प्रश्न: मानव लेखन के लिए एक अच्छा पेरीप्लेक्सिटी स्कोर क्या है?

कोई सार्वभौमिक "अच्छा" स्कोर नहीं है क्योंकि पेरीप्लेक्सिटी मान उस भाषा मॉडल पर निर्भर करते हैं जिसका उपयोग उन्हें गणना करने के लिए किया जाता है। सामान्यतः, मानव-लिखित टेक्स्ट एआई-जनित टेक्स्ट की तुलना में उच्च और अधिक परिवर्तनशील पेरीप्लेक्सिटी दिखाता है। हमारे परीक्षण में, मानव अकादमिक लेखन ने समान विषयों पर GPT-4o आउटपुट की तुलना में 30-80% उच्च औसत पेरीप्लेक्सिटी स्कोर किया। लेकिन शैली बहुत महत्वपूर्ण है - एक रचनात्मक निबंध एक प्रयोगशाला रिपोर्ट से भिन्न स्कोर करेगा, भले ही दोनों पूरी तरह से मानव-लिखित हों।

प्रश्न: क्या मैं अपने टेक्स्ट का पेरीप्लेक्सिटी स्कोर जांच सकता हूँ?

कुछ उपकरण सीधे पेरीप्लेक्सिटी डेटा प्रदर्शित करते हैं। GPTZero अपने विस्तृत दृश्य में प्रति-वाक्य पेरीप्लेक्सिटी दिखाता है। आप GPT-2 आउटपुट डिटेक्टर या हगिंग फेस के पेरीप्लेक्सिटी कैलकुलेटर जैसे ओपन-सोर्स उपकरणों का उपयोग करके कच्चे स्कोर प्राप्त कर सकते हैं। हम अनुशंसा करते हैं कि आप अपने टेक्स्ट की जांच करने के लिए कई उपकरणों के खिलाफ जांचें बजाय किसी एक पेरीप्लेक्सिटी माप पर निर्भर रहने के।

प्रश्न: क्या एआई टेक्स्ट का पैराफ्रेज़िंग करना इसकी पेरीप्लेक्सिटी को बदलता है?

यह इस बात पर निर्भर करता है कि आप कैसे पैराफ्रेज़ करते हैं। सरल पर्यायवाची प्रतिस्थापन पेरीप्लेक्सिटी स्कोर को मुश्किल से हिलाता है क्योंकि वाक्य संरचना - जो प्राथमिक चालक है - वही रहती है। वास्तविक पुनर्गठन - वाक्य क्रम बदलना, लंबाई में विविधता लाना, पैराग्राफ के प्रवाह को बदलना - पेरीप्लेक्सिटी को महत्वपूर्ण रूप से बढ़ा सकता है। हमारा टेक्स्ट मानवकरण इसे ठीक से करने के लिए डिज़ाइन किया गया है जबकि आपके अर्थ और अकादमिक स्वर को बरकरार रखते हुए।

प्रश्न: क्या पेरीप्लेक्सिटी एकमात्र मैट्रिक है जिसका उपयोग एआई डिटेक्टर करते हैं?

नहीं। अधिकांश आधुनिक डिटेक्टर पेरीप्लेक्सिटी को बर्स्टिनेस (वाक्य-लंबाई विविधता), एंट्रॉपी (शब्दावली अप्रत्याशितता), और बड़े डेटा सेट पर प्रशिक्षित वर्गीकरण-आधारित दृष्टिकोणों के साथ संयोजित करते हैं। पेरीप्लेक्सिटी आधार है, लेकिन यह एकमात्र संकेत नहीं है। यह कहा जा रहा है, हमारे परीक्षण में यह यह निर्धारित करने में सबसे प्रभावशाली कारक बना रहा कि टेक्स्ट को फ्लैग किया गया या साफ किया गया।