چرا آشکارسازهای هوش مصنوعی نویسندگان غیرمادری را خطاکارانه (مثبتِ کاذب) نشانه میگیرند؟
مثبتهای کاذبِ آشکارسازهای هوش مصنوعی سختتر از همه به نویسندگان غیربومی انگلیسی ضربه میزند. مطالعه استنفورد را ببینید، توضیح بدهیم چرا این اتفاق میافتد، و اگر بهاشتباه برچسب خوردید چه باید کرد.
شما همه کلماتِ مقالهتان را خودتان نوشتهاید. منابعتان را نقل کردید، آن را دو بار ویرایش کردید، و با وجدان راحت آن را ارسال کردید. گزارش برگشت و روی آن برچسب «احتمالاً هوش مصنوعی» خورد؛ حالا تلاش میکنید علیه آنچه درباره نوشته خودتان ادعا شده، «عدم صحت» را ثابت کنید. اگر انگلیسی زبان دومِ شماست، این اتفاق بدِ شانسیِ نادر نیست. یک الگوی مستند است.
و این هم حقیقتِ ناخوشایند: مثبتِ کاذبِ آشکارسازهای هوش مصنوعی بسیار محتملتر است که به یک نویسنده غیربومی انگلیسی بخورد تا به یک نویسنده بومی. این نه به خاطر «بدتر بودن» نوشتن غیربومی است. بلکه این ابزارها «بافت آماری زبان» را میسنجند، و نوشتنِ دقیق و محتاطانه در زبان دوم، اتفاقاً، ویژگیهایی دارد که با متنهای ماشینیای که برای شناساییشان آموزش دیدهاند همپوشانی پیدا میکند.
این یک شکایت حاشیهای از دانشجویانِ سرخورده نیست. نتیجهٔ پژوهشهای داوریشده است، دلیل این است که چندین دانشگاه بزرگ این ابزارها را عقب کشیدند، و همین است که دادگاهها و مدیران دانشگاهی اکنون خروجیِ آشکارسازها را با احتیاط واقعی میسنجند. این دقیقاً چیزی است که شواهد میگویند، و اگر آشکارساز شما را اشتباه بزند، چه باید کنید.
یافتههای مطالعه استنفورد درباره سوگیری آشکارسازها
قویترین شواهد مربوط به یک مطالعه در سال ۲۰۲۳ است که توسط «لیانگ و همکاران» در استنفورد انجام شد؛ در ژورنال Cell Press با عنوان «به زبان ساده، آشکارسازهای GPT علیه نویسندگان غیربومی انگلیسی سوگیری دارند» منتشر شده است: "GPT detectors are biased against non-native English writers."
پژوهشگران، نوشتهها را از میان هفت آشکارسازِ پرکاربرد عبور دادند. برای مقالات نوشتهشده توسط گویندگان غیربومی انگلیسی، برداشتهشده از یک کورپوس TOEFL، آشکارسازها بهطور متوسط حدود ۶۱٪ را بهعنوان تولیدشده با هوش مصنوعی علامت زدند. برای مقالاتِ نویسندگان بومی انگلیسی، نرخ مثبتِ کاذب حدود ۵٪ بود. تقریباً از هر پنج نویسنده؟ نه: تقریباً از هر پنج مقاله؟ یعنی: تقریباً یکی از هر پنج مقالهٔ غیربومی، حدود ۱۹٫۸٪، بهطور یکنواخت (توسط همهٔ آشکارسازهای حاضر در آزمایش) بهعنوان هوش مصنوعی علامت خورد. در همه موارد، اینها مقالههای انسانی بودند.
مکانیزمِ ماجرا بخشِ جالب است، چون توضیح میدهد چرا این سوگیری «در دلِ» کارکرد سیستم نشسته و تصادفی نیست. بسیاری از آشکارسازها بر سیگنالی به نام «پِرپلکسیته» (perplexity) تکیه میکنند؛ معیاری از اینکه انتخابهای واژگانیِ یک متن برای یک مدل زبانی تا چه حد «غافلگیرکننده» است. نوشتنِ پر از کلمات رایج و عبارتبندی قابل پیشبینی، پِرپلکسیته را پایین میآورد، و پِرپلکسیتهٔ پایین از نگاه آشکارساز «ماشینی» به نظر میرسد. نویسندگان زبان دوم اغلب از واژگان محدودتر و قراردادیتر استفاده میکنند، نه چون ایدههایشان ساده است، بلکه چون با زبانی که زبان اولشان نیست با دقت مینویسند. آشکارساز «سطحِ نرم و یکنواخت» را میبیند و آن را مصنوعی مینامد.
هستهٔ مسئلهٔ عدالت همینجاست. همان عادتهایی که متنِ دقیقِ زبان دوم را شفاف و درست میکند، عادتهایی است که این ابزارها برای مجازاتشان ساخته شدهاند.
چرا نوشتنِ غیربومی مثبتِ کاذبِ آشکارساز هوش مصنوعی را فعال میکند
ارزش دارد کمی مکث کنیم که چرا این اتفاق رخ میدهد، چون فهمیدنِ آن بخشی از تلخیِ برچسب بد را کم میکند.
یک گویندهٔ بومی وقتی سریع مینویسد، ضربالمثلها، انتخابهای واژگانی غیرعادی، ریتمهای نامعمول و گاهی میانبرهای دستوری را پراکنده وارد متن میکند. این غیرقابلپیشبینی بودن، به پِرپلکسیتهٔ بالا تبدیل میشود و برای آشکارساز «انسانی» خوانده میشود. یک نویسندهٔ غیربومی، یا بهراستی هر نویسندهٔ دانشگاهیِ منضبط، اغلب ساختارهای دقیق و استاندارد و واژگان کنترلشده را ترجیح میدهد. مدلهای زبانی بزرگ هم دقیقاً همین ساختارهای استاندارد و واژگان کنترلشده را دوست دارند. آشکارساز نمیتواند تفاوت میان یک انسانِ دقیق و یک ماشینِ دقیق را تشخیص دهد، چون در همان محوری که اندازه میگیرد، آنها شبیه هم دیده میشوند.
هیچکدام از اینها به معنای «کیفیت پایینتر» نوشتن نیست. شفافیت فضیلتِ نثر دانشگاهی است، نه نقص. فقط یعنی آشکارساز چیزِ اشتباهی را میسنجد و از آن نتیجهگیریِ مطمئن میکند.
این اطمینان خطرناک است. ابزاری که درصدی تیز و روشن بیرون میدهد احساسِ اقتدار میسازد، حتی وقتی آن عدد روی سیگنالی استوار است که بهطور نظاممند، یک جمعیت کامل از نویسندگان واقعی را در تنگنا میگذارد.
دانشگاههایی که از آشکارسازهای هوش مصنوعی عقب نشستند
نهادها این مشکل را زود تشخیص دادند و چندین مورد واکنش نشان دادند.
در آگوست ۲۰۲۳، دانشگاه وندربیلت آشکارسازِ هوش مصنوعی Turnitin را غیرفعال کرد و توضیحی بهطور غیرمعمول دقیق برای این کار منتشر نمود. در آن اشاره شده بود که ادعای نرخ مثبتِ کاذب حدود ۱٪ در مقایسه با کل یک مقاله، عددِ معنیداری نخواهد بود؛ چون حدود ۷۵۰۰۰ ارسال در سال وجود داشت. اما اینکه نشان داده شده این ابزار نتایجِ سوگیرانهای علیه نویسندگان غیربومی انگلیسی تولید میکند، و نیز اینکه فرایندهایش شفافیت ندارد، باعث میشود حدود ۷۵۰ مقاله بهاشتباه علامت بخورد. ایالت میشیگان (Michigan State)، دانشگاه تگزاس در آستین (University of Texas at Austin)، نورثوسترن (Northwestern) و دانشگاه پیتسبرگ (University of Pittsburgh) نیز اقدامات مشابهی انجام دادند. دانشگاه دَمفول سمِی (Southern Methodist University) در دسامبر ۲۰۲۳ عقب نشست و دانشگاه واترلو در سپتامبر ۲۰۲۵ پیروی کرد، پس از اینکه متنِ نوشتهشده توسط انسان را کاملاً «هوش مصنوعی» امتیازدهیشده یافت.
راهنماییهای Turnitin هم محتاطانه است. نشانگر AI آن، اعداد را از بازهٔ ۱ تا ۱۹٪ تنزل میدهد و بهجای عدد از ستاره (*) استفاده میکند، زیرا مثبتهای کاذب در انتهای پایینترِ مقیاس بیشتر دیده میشوند. همچنین بهطور صریح هشدار میدهد که این امتیاز بهتنهایی نباید برای تصمیمگیری دربارهٔ سلامتِ یکپارچگی دانشگاهی به کار رود. این یعنی یک فروشنده دارد به نهادها میگوید خروجیِ خودش را بهعنوان «دلیل» تلقی نکنند؛ و این یک نشانهٔ جدی است از اینکه یک عددِ واحد تا چه حد ارزش وزنی دارد.
اگر مدرسهٔ شما هنوز از این ابزارها استفاده میکند، دلیلِ وحشت نیست. دلیل این است که حقوقتان را بدانید و شواهد را نگه دارید؛ که پایینتر به آن برمیگردیم.
پروندههای واقعی، روشن و بیپرده
چند اختلاف به خبرها راه یافتهاند و ارزش دارد دقیقاً همانگونه که بودهاند درک شوند؛ چون جزئیات مهماند و تیترها معمولاً آنها را مخدوش میکنند.
در پروندهٔ اوریون نیوبی (Orion Newby) در دانشگاه آدلْفی (Adelphi University)، مقالهٔ یک دانشجو بهعنوان کاملاً تولیدشده با هوش مصنوعی علامت خورد. یک قاضی فدرال به موضوع رسیدگی کرد و این یافته را «بیاساس» دانست و دستور داد از پروندهٔ دانشجو حذف شود؛ طبق گزارش فوریه ۲۰۲۶. بررسی میکنیم که این رأی چه چیزهایی را ایجاد کرد و چه چیزهایی را ایجاد نکرد در رأی Newby v. Adelphi. در UC Davis، ویلیام کوارترمن (William Quarterman) توسط GPTZero علامت خورد و نامش را با استفاده از تاریخچهٔ نسخههای Google Docs پاک کرد؛ نشان داد مقاله در طول زمان نوشته شده است. این یک حلوفصل اداری بود، نه یک دعوای حقوقی.
یک نکته باید روشن گفته شود، چون بسیاری از خلاصههای آنلاین آن را اشتباه میگویند. هیچکدام از این پیامدها، حکمهای حقوقی علیه شرکت Turnitin نبودند، و در هیچکدام از این موارد، هیچ دانشجویی «Turnitin را شکایت کرد و پیروز شد». اختلافها بر سر این بود که مدرسه چگونه از یک برچسب استفاده کرده است؛ و درس ماجرا دربارهٔ فرایند و شواهد است، نه اینکه یک فروشندهٔ آشکارساز در دادگاه «بازنده» شده باشد. اگر دقیق و درست چارچوببندی شود، جمعبندیِ توانمندساز این است: امتیاز یک آشکارساز یک ادعا است، نه یک حکم نهایی؛ و نویسندگانِ معتبر بهطور موفقیتآمیز آن را به چالش کشیدهاند.
با اطمینان بنویسید، با پرچم یا بدون پرچم
ویراستار و انسانی ساز آکادمیک ما به پژوهشگران غیر بومی کمک می کند تا انگلیسی روان و طبیعی بنویسند، در حالی که معنا و استنادات حفظ می شود، و استفاده از AI مسئولانه و با افشا انجام می گردد.
ProofreaderPro.ai را رایگان امتحان کنیداگر بهاشتباه برچسب خوردهاید چه باید بکنید
اگر یک آشکارساز کاری را که خودتان نوشتهاید علامت بزند، وضعیت قابل بازیابی است؛ و نویسندگانی که آن را خوب حل میکنند معمولاً همان چند کارِ کلیدی را انجام میدهند.
پیشنویسها و تاریخچهٔ نسخهها را نگه دارید. Google Docs و Word هر دو ویرایشهای گذرزمانی را ثبت میکنند و این خط زمانی، قویترین تکهٔ شاهدی است که میتوانید ارائه دهید، دقیقاً همانطور که در پروندهٔ UC Davis انجام شد. با ادب بپرسید چه امتیازی باعث فعال شدن برچسب شده و ارزیاب چگونه آن را تفسیر میکند؛ چون عددی که سرکوب شده یا در مرز قرار دارد، پشتوانهٔ ضعیفی برای هر تصمیمی است. اگر لازم است «پروندهٔ عدالت» را در متن بنویسید، به پژوهش و احتیاط نهادیِ ذکرشده در بالا ارجاع بدهید. راهنمای گامبهگام ما دربارهٔ نحوهٔ تجدیدنظر در برچسبِ مثبتِ کاذبِ تشخیص هوش مصنوعی کل فرایند را از ابتدا تا انتها پوشش میدهد.
در ادامه هدف فریب دادن ابزار نیست. هدف این است که به انگلیسی طبیعی و با اعتمادبهنفس بنویسید تا نثرِ دقیقِ خودتان کمتر اشتباه خوانده شود و هرگونه کمکِ هوش مصنوعی را مطابق با چیزی که نهاد شما میخواهد، آشکار کنید. انسانیساز متنِ هوش مصنوعی ما دقیقاً برای همین ساخته شده است، و اگر انگلیسی را بهعنوان زبان دوم مینویسید، راهنمای اختصاصی ما برای انسانیساز هوش مصنوعی برای پژوهشگران ESL فرایند را با جزئیات بیشتری توضیح میدهد. هدف، اجرای عدالت برای کاری است که پیشتر انجام دادهاید، نه پنهانکاری.
قبل و بعد: اصلاحِ «بافتِ تخت» که آشکارساز را تحریک میکند
وقتی بتوانید آن را روی یک پاراگراف واقعی ببینید، اعتماد به نظریه آسانتر میشود. در ادامه یک بخش از نتایج میآید که یک پژوهشگر ESL با کمک یک دستیار هوش مصنوعی برای روانسازی انگلیسی نوشته است. متن تمیز و خواناست، اما باز هم توسط آشکارساز علامت خورده است.
قبل (بهعنوان احتمالاً AI علامت خورده):
"The results demonstrate that the intervention significantly reduced recovery time by 27% across all cohorts (Chen et al., 2021). This substantial improvement clearly highlights the effectiveness of the proposed approach. The findings confirm the hypothesis and underscore the importance of early intervention."
سه جمله با طولی تقریباً یکسان: هر بند با همان سرعت راه میافتد. واژگان امن و قابل پیشبینی است. این یکنواختی همان چیزی است که آشکارساز بهعنوان پِرپلکسیتهٔ پایین و کمبروزنی (low burstiness) میخواند، و همین بافت، همان بافتی است که بخش زیادی از نوشتنِ معتبرِ غیربومی را هم علامت میزند.
بعد (ویرایششده با صدای نویسنده):
"Recovery time fell by 27% across the three cohorts (Chen et al., 2021), a bigger drop than we had expected (n = 214). The effect held, though it was weaker in the oldest group. That pattern points to a real benefit from early intervention, but with a sample this size we would not push the claim further than the data allows."
این دو را پشت سر هم بخوانید؛ دومی شبیه کسی است که واقعاً کار را خودش انجام داده است.
چه تغییر کرد، و چرا مهم است. همهٔ دادههای باربر را نگه داشتیم: عدد ۲۷٪، ارجاع (Chen et al., 2021)، تعداد کُهورتها، و اندازهٔ نمونه. هیچ چیز از شواهد جابهجا نشد. چیزی که اضافه کردیم «تنوع» بود. طول جملهها اکنون بین بلند و کوتاه و بلند نوسان میکند که burstiness را بالا میبرد. انتخاب واژگان کمپیشبینیتر شده است، و این هم پِرپلکسیته را بالا میبرد. همچنین ابهامگذاری را به جای خود برگرداندیم: «points to»، «we would not push the claim further». پیشنویسهای AI این احتیاط را حذف میکنند، و ابزارهای بیشازحد روانسازیشده هم همین کار را میکنند؛ و این یکی از دلایلی است که انگلیسیِ پالایششدهٔ غیربومی به سمت پروفایلِ AI میل میکند.
این یک ویرایشِ کیفی است، نه یک ترفند. نسخهٔ بعد، ادعایی سنجیدهتر و قابل دفاعتر از نسخهٔ قبل است؛ چون نسخهٔ قبل با «demonstrate» و «confirm the hypothesis» جلوتر از حد لازم رفته بود. نکتهای که مدام تکرار میکنیم همین است: ویرایشی که ریسکِ برچسبِ کاذبِ شما را پایین میآورد، معمولاً همان ویرایشی است که از داوری همترازِ هم (peer review) هم جان سالم به در میبرد. یک انسانیساز آکادمیک میتواند این پاسِ اول را انجام دهد، بدون آنکه ارجاعات و اعدادتان آسیب ببینند، اما همچنان باید هر خط را خودتان بخوانید.
یک احتیاط. هیچ ویرایشِ واحدی تضمین نمیکند که امتیاز پاک و تمیز باشد، و آشکارسازها همچنان تغییر میکنند (Turnitin در آگوست ۲۰۲۵ «تشخیص humanizer» را اضافه کرد). هدفتان نوشتنی باشد که نشاندهندهٔ استدلال خودتان است، بفهمید پِرپلکسیته دقیقاً چه چیزی را میسنجد، و کمکهای AI را مطابق با سیاست ژورنال یا دانشگاهتان آشکار کنید.
سوالات متداول
س: چرا آشکارسازهای هوش مصنوعی نویسندگان غیرمادری انگلیسی را علامت میزنند؟
بیشتر آشکارسازها میسنجند انتخاب واژگانیِ یک متن تا چه حد قابل پیشبینی است، و نوشتن دقیقِ زبان دوم معمولاً از واژگان رایج و استاندارد استفاده میکند که بهصورت پِرپلکسیتهٔ پایین خوانده میشود. این نرمیِ آماری شبیه متنِ ماشینی به نظر میرسد و باعث میشود حتی وقتی هر کلمه را یک انسان نوشته است، ابزار «مثبتِ کاذب» تشخیص هوش مصنوعی رخ دهد. سوگیری در همان چیزی ساخته میشود که آشکارساز اندازه میگیرد، نه در کیفیت نوشتار.
س: مطالعه استنفورد درباره سوگیری آشکارسازها چه یافتهای داشت؟
مطالعهٔ ۲۰۲۳ استنفورد در Patterns هفت آشکارساز را آزمود و دریافت که حدود ۶۱٪ از مقالات TOEFLِ غیربومی را بهعنوان AI علامت زدهاند، در مقایسه با حدود ۵٪ برای نویسندگان بومی. تقریباً ۲۰٪ از مقالات غیربومی بهطور یکنواخت (توسط همهٔ آشکارسازها) علامت خورده بودند. همهٔ این مقالهها را انسان نوشته بود.
س: اگر بهاشتباه بهعنوان AI علامت خوردم چه باید بکنم؟
تاریخچه پیشنویستان را از Google Docs یا Word نگه دارید، چون یک جدول زمانیِ قابل مشاهدهٔ نوشتنِ شما قویترین شاهدی است که در اختیار دارید. بپرسید چه امتیازی باعث فعال شدن برچسب شده، دربارهٔ مثبتهای کاذب پژوهش را نقل کنید، و یک فرایند روشن برای درخواست تجدیدنظر دنبال کنید. امتیاز یک آشکارساز یک ادعا است که میتوانید آن را به چالش بکشید، نه حکم نهایی.
س: آیا دانشگاهها استفاده از آشکارسازهای هوش مصنوعی را متوقف کردهاند؟
چندین مورد آنها را محدود یا غیرفعال کردهاند. وندربیلت در سال ۲۰۲۳ آشکارساز AI شرکت Turnitin را به دلیل نگرانی دربارهٔ مثبتهای کاذب و سوگیری غیرفعال کرد، و میشیگان استیت، UT آستین، نورثوسترن، پیتسبرگ، SMU و واترلو نیز اقدامات مشابهی انجام دادند. بسیاری از نهادهایی که هنوز از آشکارسازها استفاده میکنند، امتیاز را اکنون بهعنوان یک سیگنال واحد، نه مدرک قطعی، در نظر میگیرند.
س: آیا نوشتن به انگلیسی سادهتر، ریسک برچسب خوردن بهعنوان AI را افزایش میدهد؟
تا حدی بله. آشکارسازها واژگان سادهتر و قابلپیشبینیتر را بهعنوان پِرپلکسیتهٔ پایین میخوانند؛ همان سیگنال آماریای که آن را به AI نسبت میدهند. به همین دلیل است که نوشتنِ روشنِ ESL اغلب مثبتهای کاذب ایجاد میکند. راهحل این نیست که واژگان را مصنوعی و ساختگی بالا ببریم، بلکه باید تنوع طبیعی جملهها و ابهامگذاریها و صدای خودتان را به متن برگردانید.
س: آیا میتوانم با ویرایشِ نوشتنِ خودم، بهجای استفاده از یک انسانیساز، یک برچسب کاذب AI را اصلاح کنم؟
اغلب میتوانید. پیشنویستان را با صدای بلند بخوانید، طول جملهها را تغییر دهید، و محدودیتهایی را که واقعاً در نظر دارید دوباره به متن برگردانید؛ این کار burstiness را افزایش میدهد و متن شبیه چیزی میشود که خودتان نوشتهاید. یک ابزار میتواند این پاسِ اول را سریعتر کند، اما هدف باید «صدای واقعی» باشد، و باید همچنان هر کمک AI را مطابق با سیاست ژورنال یا دانشگاهتان آشکار کنید.
به انگلیسی آکادمیک شفاف و طبیعی بنویسید و موارد مثبت کاذبی را کاهش دهید که بیش از همه به نویسندگان غیر بومی آسیب می زند، با حفظ معنا و استنادات.
Moe یک مهندس NLP با PhD در پردازش زبان طبیعی است. تحقیقات او زبانشناسی محاسباتی، تجزیه و تحلیل متن و یادگیری ماشین را پوشش میدهد و مستقیماً به مدلهای ویرایش و انسانیسازی پشت ProofreaderPro وارد میشود. او در مورد بخشی از فرآیند می نویسد که اکثر مردم هرگز نمی بینند: چگونه یک مدل زبان جمله ای را می خواند، آن را نمره می دهد و تصمیم می گیرد چه چیزی را تغییر دهد.
