2026 সালে AI ডিটেক্টর কতটা নির্ভুল? পরীক্ষিত নির্ভুলতা ও false positive

আমাদের নেটওয়ার্কের এক PhD শিক্ষার্থীর thesis introduction তার university-এর detection system-এর কাছে 67% AI-generated হিসেবে flagged হয়েছিল। তিনি চার মাস ধরে প্রতিটি শব্দ নিজেই লিখেছিলেন। কোনো AI tools নয়, কোনো grammar checkers নয়, এমনকি spellcheck-ও নয়।

score কমাতে তিনি দুই সপ্তাহ ধরে sections পুনর্লিখন করেন। এতে কাজ হয়েছিল, কিন্তু rewritten versionটি original-এর চেয়ে খারাপ ছিল।

আমরা ঠিক কতটা reliable these tools আসলে, তা খুঁজে বের করার সিদ্ধান্ত নিয়েছিলাম। তাই আমরা পাঁচটি tool test করেছিলাম।

সংক্ষিপ্ত উত্তর

2026 সালে AI ডিটেক্টরগুলো যথেষ্ট নির্ভুল, যাতে অধিকাংশ অপরিবর্তিত, সম্পূর্ণ AI-উৎপাদিত লেখা ধরা পড়ে, এবং সেগুলো যথেষ্ট অনির্ভুলও, তাই কোনো স্কোরকেই প্রমাণ হিসেবে ধরা উচিত নয়। আমরা যে প্রতিটি ডিটেক্টর পরিমাপ করেছি, তার মধ্যে তিনটি ফল বারবার দেখা গেছে। ChatGPT, Claude, বা Gemini থেকে পাওয়া কাঁচা আউটপুট নির্ভরযোগ্যভাবে চিহ্নিত হয়। মানবিক একাডেমিক লেখা কখনও কখনও AI হিসেবে চিহ্নিত হয়, যা ডিটেক্টর বিক্রেতারাও স্বীকার করেন। আর সম্পাদিত বা humanized লেখা বিশ্ববিদ্যালয়গুলো যতটা ধরে নেয়, তার চেয়ে অনেক বেশি বার পাস করে: 2,000টি একাডেমিক নথির ওপর আমাদের সর্বশেষ benchmark-এ, humanized লেখা Turnitin's AI detection-এ সর্বোচ্চ 92.33% নথিতে clear করেছে।

আমাদের পরীক্ষার পদ্ধতি: 5টি ডিটেক্টরের মধ্যে 50টি নমুনা

আমরা 50টি টেক্সট নমুনা সংগ্রহ করেছি, প্রতিটি 500 থেকে 800 শব্দের মধ্যে। নমুনাগুলো পাঁচটি শ্রেণিতে বিভক্ত ছিল:

• 10টি সম্পূর্ণ মানব-লিখিত একাডেমিক টেক্সট - 2018–2022 সালের প্রকাশিত জার্নাল প্রবন্ধ, যা LLM ব্যাপকভাবে উপলব্ধ হওয়ার আগে লেখা হয়েছিল
• 10টি সম্পূর্ণ AI-উৎপাদিত টেক্সট - একাডেমিক প্রম্পট ব্যবহার করে GPT-4o দ্বারা তৈরি, কোনো সম্পাদনা ছাড়া
• 10টি AI-উৎপাদিত টেক্সট, হালকা ম্যানুয়াল সম্পাদনা সহ - যথার্থতা ও কণ্ঠস্বরের জন্য মানব সংশোধনসহ AI খসড়া
• 10টি AI-উৎপাদিত টেক্সট, আমাদের text humanizer দিয়ে প্রক্রিয়াকৃত - পূর্ণ মানবিকীকরণ প্রক্রিয়া এবং ম্যানুয়াল পর্যালোচনা
• 10টি মানব-লিখিত টেক্সট, যেগুলো অ-স্থানীয় ইংরেজি বক্তাদের লেখা - গবেষকদের দ্বারা প্রকাশিত প্রবন্ধ, যাঁরা তাঁদের দ্বিতীয় বা তৃতীয় ভাষায় লিখেছেন

আমরা প্রতিটি নমুনা Turnitin's AI detection module, GPTZero, Copyleaks, ZeroGPT, এবং Originality.ai-এর মাধ্যমে চালিয়েছি। প্রতিটি টুল একটি AI সম্ভাব্যতা স্কোর দিয়েছে। আমরা প্রতিটি স্কোর নথিভুক্ত করেছি এবং নির্ভুলতার মেট্রিকস গণনা করেছি।

ফলাফলগুলো আমাদের বিস্মিত করেছে। এই কারণে নয় যে টুলগুলো পুরোপুরি ব্যর্থ হয়েছিল, বরং ব্যর্থতার ধরনগুলো ছিল অত্যন্ত অসংগতিপূর্ণ।

Turnitin AI detection: নির্ভুলতার ফলাফল

Turnitin 10টির মধ্যে 9টি সম্পূর্ণ AI-উৎপন্ন লেখা সঠিকভাবে শনাক্ত করেছে, এবং সেগুলোকে 80%-এর উপরে স্কোর দিয়েছে। এটি স্পষ্ট AI আউটপুটের ক্ষেত্রে যথেষ্ট ভালো পারফরম্যান্স।

যেখানে এটি হোঁচট খেয়েছে: false positives. আমাদের 10টি মানব-লিখিত একাডেমিক টেক্সটের মধ্যে 3টি Turnitin-এর AI indicator-এ 20%-এর উপরে স্কোর করেছে। একটি, chemistry journal থেকে নেওয়া একটি formal literature review, 38% স্কোর করেছে।

মানব-সদৃশ করা টেক্সটের ক্ষেত্রে Turnitin-এর পারফরম্যান্স উল্লেখযোগ্যভাবে কমে গেছে। 10টির মধ্যে মাত্র 3টি humanized sample 20%-এর threshold-এর উপরে স্কোর করেছে। বাকি 7টি 2% এবং 17%-এর মধ্যে স্কোর করেছে।

Non-native English writing ছিল সবচেয়ে দুর্বল category. 10টি non-native sample-এর মধ্যে 4টি 20%-এর উপরে flagged হয়েছে। একটি 52% স্কোর করেছে। এগুলো ছিল real published papers by real human researchers.

Turnitin's overall accuracy in our test: 72%. এটি গ্রহণযোগ্য মনে হতে পারে, যতক্ষণ না আপনি বুঝতে পারেন যে 28% error rate মানে প্রায় 4টির মধ্যে 1টি judgment ভুল হতে পারে।

GPTZero vs Copyleaks vs ZeroGPT: head-to-head

আমরা আমাদের পূর্ণ নমুনা সেটের বিপরীতে তিনটি সর্বাধিক জনপ্রিয় স্বতন্ত্র AI ডিটেক্টর পরীক্ষা করেছি।

GPTZero ছিল সবচেয়ে আক্রমণাত্মক ডিটেক্টর। এটি 10টির মধ্যে 10টি কাঁচা AI টেক্সট শনাক্ত করেছে, নিখুঁত recall। কিন্তু এটি 4টি মানব-লিখিত টেক্সট এবং 5টি non-native English টেক্সটকেও প্রধানত AI-generated হিসেবে চিহ্নিত করেছে। আমাদের পরীক্ষায় এর false positive rate ছিল সর্বোচ্চ, 12%।

Copyleaks আরও সংযত পদ্ধতি গ্রহণ করেছে। এটি 10টির মধ্যে 8টি AI টেক্সট সঠিকভাবে শনাক্ত করলেও, মাত্র 1টি মানব-লিখিত sample ভুলভাবে চিহ্নিত করেছে। humanized text-এ এটি 10টির মধ্যে 4টি ধরতে পেরেছে, ফলে humanization-এর বিরুদ্ধে এটি সর্বোত্তম performer, কিন্তু তারপরও অর্ধেকের বেশি মিস করেছে।

ZeroGPT ছিল সবচেয়ে কম নির্ভরযোগ্য। এটি 10টির মধ্যে 7টি AI টেক্সট সঠিকভাবে চিহ্নিত করেছে, কিন্তু 3টি মানব-লিখিত টেক্সটও ভুলভাবে চিহ্নিত করেছে। আরও খারাপ হলো, এর scores ওঠানামা করেছে, আমরা একই sample দু'বার চালিয়ে 30% সময় ভিন্ন ফল পেয়েছি। detection tool-এ consistency গুরুত্বপূর্ণ, এবং ZeroGPT তা দিতে পারেনি।

Originality.ai raw AI text-এ ভালো পারফর্ম করেছে (9/10 detected) এবং human text-এ false positive rate কম ছিল (1/10 incorrectly flagged)। humanized text-এ এটি 5টির মধ্যে 10টি ধরেছে, মাঝারি অবস্থানে।

এখানে অস্বস্তিকর সারাংশটি হলো, কোনো detector-ই সব sample category জুড়ে 80%-এর বেশি overall accuracy অর্জন করতে পারেনি।

আমাদের 2,000-দলিলের বেঞ্চমার্ক, সম্পাদিত পাঠ্য কতবার শনাক্তকরণ এড়িয়ে যায়

শনাক্তকরণের নির্ভুলতা সাধারণত অপরিবর্তিত AI আউটপুটের বিরুদ্ধে প্রতিবেদন করা হয়, যা সম্পাদিত পাঠ্যের ওপর ডিটেক্টরগুলির কার্যকারিতাকে অতিরঞ্জিত করে। ব্যবধানটি পরিমাপ করতে, আমরা ProofreaderPro's academic humanizer ব্যবহার করে একাডেমিক দলিলগুলোকে মানবসুলভ করি এবং সেগুলোকে প্রতিটি ডিটেক্টরের মানক ইন্টারফেসের মাধ্যমে জমা দিই। কোনো দলিল তখনই উত্তীর্ণ হয়, যখন ফেরত আসা AI সম্ভাবনা ডিটেক্টরের নিজস্ব ফ্ল্যাগিং থ্রেশহোল্ডের নিচে থাকে।

উৎস পাঠ্যের প্রতি অর্থগত বিশ্বস্ততা প্রতিটি রানে 94% এর উপরে ছিল। কর্পাসটি STEM, সামাজিক বিজ্ঞান, এবং মানবিক বিদ্যা জুড়ে 2,000টি একাডেমিক দলিল অন্তর্ভুক্ত করে, এবং আমরা প্রতিটি বেঞ্চমার্ক রানের সঙ্গে পরিসংখ্যান হালনাগাদ করি। পূর্ণ পদ্ধতিগত বিবরণ আমাদের AI humanizer comparison-এ আছে।

নির্ভুলতা-সংক্রান্ত দাবির জন্য এর তাৎপর্য সরাসরি, যে ডিটেক্টর নির্ভরযোগ্যভাবে অপরিবর্তিত মডেল আউটপুট ধরতে পারে, তা-ও সম্পাদিত পাঠ্যের বৃহৎ অংশ মিস করতে পারে। শনাক্তকরণ স্কোর পৃষ্ঠতলগত পরিসংখ্যান বর্ণনা করে, এবং সংশোধন সেই পরিসংখ্যানগুলিকে পরিবর্তন করে।

সনাক্তকরণ বিক্রেতারা তাদের নিজস্ব নির্ভুলতা সম্পর্কে যা বলেন

বিক্রেতাদের নথিপত্র বিশ্ববিদ্যালয় পর্যায়ের চর্চার তুলনায় অনেক বেশি সতর্ক। Turnitin-এর প্রকাশিত নির্দেশনায় বলা হয়েছে যে তাদের AI writing indicator false positives তৈরি করতে পারে, বিশেষ করে এর নিম্নতর reporting threshold-এর আশেপাশে, এবং কোম্পানিটি indicator-টিকে অসদাচরণের প্রমাণের বদলে একজন প্রশিক্ষকের সঙ্গে আলোচনার সূচনা-বিন্দু হিসেবে বর্ণনা করে। GPTZero নিজস্ব নির্ভুলতার পরিসংখ্যান প্রকাশ করে এবং flagged প্রতিটি document-এর মানবিক পর্যালোচনার সুপারিশ করে। OpenAI 2023 সালে তাদের অফিসিয়াল AI text classifier বন্ধ করে দেয়, কারণ তারা সিদ্ধান্তে পৌঁছায় যে এর নির্ভুলতা ব্যবহারযোগ্য হওয়ার জন্য খুব কম। যখন এসব system তৈরি করা কোম্পানিগুলো ব্যবহারকারীদের manualভাবে flags যাচাই করতে বলে, তখন একটি percentage-কে প্রমাণ হিসেবে ধরা তাদের নিজেদের দাবির সীমা ছাড়িয়ে যায়।

যেটা নিয়ে কেউ কথা বলে না, সেই false positive সমস্যা

False positive হলো AI detection-এর নীরব সংকট। যখন কোনো detector ভুলভাবে মানব-লিখিত টেক্সটকে AI-generated বলে চিহ্নিত করে, তখন প্রমাণের দায় লেখকের ওপর এসে পড়ে। "Prove you didn't use AI" প্রায় অসম্ভব একটি দাবি।

আমাদের পরীক্ষায় এমন ধারাবাহিক প্যাটার্ন পাওয়া গেছে যেখানে মানব টেক্সটকে ভুলভাবে flag করা হয়েছে:

উচ্চমাত্রায় কাঠামোবদ্ধ আনুষ্ঠানিক লেখা। আপনার prose যত বেশি সংগঠিত এবং পরিশীলিত হবে, detector ততই সেটিকে flag করার সম্ভাবনা বেশি। স্পষ্ট topic sentence, যৌক্তিক paragraph progression, সামঞ্জস্যপূর্ণ terminology, এই সবই ভালো মানব-লেখা এবং AI output উভয়ের মধ্যেই থাকা common pattern।

সূত্রবদ্ধ section. Methods section, procedural description, এবং literature review শাখাভিত্তিক template অনুসরণ করে। প্রতিটি researcher একইভাবে লেখে, "data were collected using semi-structured interviews"। Detector convention আর generation-এর পার্থক্য করতে পারে না।

কম-entropy vocabulary. কিছু ক্ষেত্র, যেমন law, medicine, engineering, সীমিত synonym option-সহ বিশেষায়িত vocabulary ব্যবহার করে। যখন আপনাকে নির্দিষ্ট term বারবার ব্যবহার করতে হয়, তখন আপনার টেক্সট perplexity-based detector-এর কাছে আরও "predictable" মনে হয়।

Non-native English. আমরা বারবার এটির কাছে ফিরে আসি, কারণ এটিই সবচেয়ে উদ্বেগজনক finding। যারা তাদের দ্বিতীয় ভাষায় গবেষণাপত্র লেখেন, তারা কম lexical diversity এবং বেশি সূত্রবদ্ধ কাঠামোসহ টেক্সট তৈরি করেন, ঠিক সেই pattern যেগুলো detector AI-এর সঙ্গে যুক্ত করে। এর ফলে একটি discriminatory outcome তৈরি হয়, যেটি অধিকাংশ institution এখনো যথাযথভাবে মোকাবিলা করেনি।

গবেষকেরা AI tools ব্যবহার করলে এর অর্থ কী

যদি আপনি AI-কে writing assistant হিসেবে ব্যবহার করেন, drafting, restructuring, polishing, তাহলে detection landscape একটি বাস্তব সমস্যা তৈরি করে। এমনকি আপনি পুরোপুরি হাতে লিখেছেন এমন text-ও flag হতে পারে। AI-assisted text প্রায় নিশ্চিতভাবেই flag হবে, যদি না আপনি সেটিকে humanize করার জন্য কিছু পদক্ষেপ নেন।

এই testing-এর ভিত্তিতে আমাদের recommendations:

কোনো একক detector-এর verdict-এ ভরসা করবেন না। আমরা এমন sample দেখেছি যা একটি tool-এ 5% এবং অন্যটিতে 68% score করেছে। যদি আপনার institution একটি detector ব্যবহার করে, compliance-এর জন্য সেটিই গুরুত্বপূর্ণ, কিন্তু একটি single score AI use-এর প্রমাণ নয়।

Strategically humanize করুন। Raw AI output detectable। ভালোভাবে humanized text সাধারণত detectable নয়। আপনি যদি AI assistance ব্যবহার করে থাকেন, তাহলে আপনার draft-কে একটি quality humanization tool দিয়ে চালান এবং আপনার নিজস্ব voice যোগ করুন। আমাদের testing দেখিয়েছে, এই combination পাঁচটি tool-এ detection score 15%-এর নিচে নামিয়ে আনে।

আপনার draft সংরক্ষণ করুন। আপনার কাজের intermediate version সেভ করুন। Browser history, ChatGPT conversation logs, annotated PDFs, handwritten notes, এগুলো সবই আপনার writing process-এর প্রমাণ হিসেবে কাজ করে, যদি কখনও আপনার কাজ নিয়ে প্রশ্ন ওঠে।

উন্নত institutional policies-এর পক্ষে কথা বলুন। AI detection tools, academic dishonesty-এর sole evidence হিসেবে কাজ করার মতো যথেষ্ট reliable নয়। যদি আপনার university একটি Turnitin AI score-কে proof হিসেবে বিবেচনা করে, data-সহ আপত্তি তুলুন। এ ধরনের studies শেয়ার করুন।

Flagged text কীভাবে handle করবেন, তার practical steps-এর জন্য আমাদের guide দেখুন, how researchers are bypassing AI detection without cheating।

AI detection arms race ধীর হচ্ছে না। Detectors উন্নত হবে। কিন্তু AI-assisted writing tools-ও উন্নত হবে। Long-term solution হলো better detection নয়, বরং এমন better policy যা স্বীকার করে writing বাস্তবে এখন কীভাবে হয়।

আপনার work বাস্তব। আপনার ideas বাস্তব। একটি flawed algorithm-এর উচিত নয় এর বিচারক হওয়া।

প্রায় জিজ্ঞাসিত প্রশ্নাবলি

Q: কোন AI detector সবচেয়ে নির্ভুল?

আমাদের পরীক্ষায়, Turnitin এবং Originality.ai, সামগ্রিক নির্ভুলতায় সর্বোচ্চ ফলাফলের জন্য সমানে ছিল, যথাক্রমে 72% এবং 74%, সব নমুনা বিভাগের জুড়ে। তবে, টেক্সটের ধরনের ওপর নির্ভুলতা উল্লেখযোগ্যভাবে ভিন্ন হয়েছে। Raw AI output ধরতে Turnitin সবচেয়ে ভালো ছিল, কিন্তু non-native English টেক্সটে false positives বেশি ছিল। Originality.ai আরও ভারসাম্যপূর্ণ ছিল, তবে humanized text-এ কম কার্যকর। কোনো একক detector সব বিভাগের জুড়ে 80%-এর বেশি নির্ভুলতা অর্জন করতে পারেনি, এবং academic integrity-সংক্রান্ত সিদ্ধান্ত নিতে ব্যবহৃত টুলগুলোর জন্য এটি একটি উল্লেখযোগ্য সীমাবদ্ধতা।

Q: AI detectors কি academic writing-এ কাজ করে?

কিছু ধরনের academic writing-এ এগুলো অন্যগুলোর তুলনায় ভালো কাজ করে। Academic style-এ raw, unedited AI output সাধারণত ধরা পড়ে, আমাদের পরীক্ষায় detection rates 70% থেকে 100% পর্যন্ত ছিল। কিন্তু formal human-written academic text উদ্বেগজনক হারে false positives তৈরি করে, আমাদের পরীক্ষায় সর্বোচ্চ 12% পর্যন্ত। বিশেষায়িত vocabulary-সহ technical field এবং non-native English writer-রা অসমভাবে বেশি প্রভাবিত হন। সংক্ষেপে, AI detectors academic writing-এ কাজ করে, কিন্তু standalone evidence হিসেবে ব্যবহারের জন্য যথেষ্ট নির্ভরযোগ্যভাবে নয়।

Q: AI detectors কতবার human writing-কে flag করে?

আমাদের 20টি human-written sample-এর পরীক্ষায়, 10টি native English এবং 10টি non-native, 9টি sample, অর্থাৎ 45%, অন্তত একটি detector-এ 20%-এর বেশি AI score পেয়েছে। তিনটি human-written text অন্তত একটি tool-এ 50%-এর বেশি score করেছে। প্রতি detector false positive rate 4% থেকে 12% পর্যন্ত ছিল। আপনি যদি formal academic prose লিখছেন এমন একজন non-native English speaker হন, তবে false positive হওয়ার সম্ভাবনা আরও বেশি। এ কারণেই আমরা AI tools ব্যবহার করেছেন কি না, তা নির্বিশেষে draft এবং process evidence সংরক্ষণ করার পরামর্শ দিই।

Q: AI detectors কি humanized বা edited text-এ কাজ করে?

Raw output-এর তুলনায় অনেক কম নির্ভরযোগ্যভাবে। আমাদের 2,000-document benchmark-এ, একটি academic humanizer দ্বারা processed text সবচেয়ে শক্তিশালী setting-এ Turnitin-এর AI detection 92.33% পর্যন্ত document-এ pass করেছে। Detection statistical pattern-এর ওপর নির্ভর করে, এবং substantive revision সেগুলো সরিয়ে দেয়।

Q: AI detection score কি misconduct-এর প্রমাণ হিসেবে ব্যবহার করা যেতে পারে?

Vendor-রা নিজেরাই বলে, না। Turnitin তার indicator-কে আরও পর্যালোচনার জন্য একটি signal হিসেবে উপস্থাপন করে, এবং genuine human writing-এ false positives সব major detector জুড়েই নথিভুক্ত। একটি score হলো আরও কাছ থেকে দেখার একটি কারণ, এর বেশি কিছু নয়।

AI Proofreader for Research Papers

Proofread and polish your manuscript with tracked changes. Built for academic writing.