پاک‌کننده رایگان واژه‌های AI

مدل‌های زبانی بزرگ هر واژه را بر پایه احتمال انتخاب می‌کنند، و دو لایه آموزش این احتمال‌ها را به سمت واژگانی کج می‌کنند که این ابزار علامت می‌زند. لایه اول پیش‌آموزش است: مدل‌ها از پیکره‌ای عظیم یاد می‌گیرند که در آن نثر صیقل‌خورده و ویرایش‌شده، مانند کتاب‌ها، روزنامه‌نگاری و متن‌های بازاریابی، بیش‌نمایی شده است. در آن پیکره، فعل‌های دراماتیک و استعاره‌های تزئینی شیوه‌ای هستند که نویسندگان حرفه‌ای با آن کیفیت را نشان می‌دهند، بنابراین مدل delve، tapestry و pivotal را به‌عنوان واژه‌هایی با ارزش بالا جذب می‌کند.

لایه دوم، یادگیری تقویتی از بازخورد انسانی، یا RLHF است، و همین لایه دلیل تبدیل شدن این الگو به یک اثر انگشت است. پس از پیش‌آموزش، مدل پاسخ‌های نامزد را تولید می‌کند و ارزیابان انسانی رتبه‌بندی می‌کنند که کدام را ترجیح می‌دهند؛ یک مدل پاداش جداگانه یاد می‌گیرد آن رتبه‌بندی‌ها را پیش‌بینی کند، و سپس مدل زبانی برای بیشینه‌سازی همان تأیید پیش‌بینی‌شده بهینه می‌شود [Ouyang et al., 2022]. ارزیابان به‌طور مداوم پاسخ‌هایی را ترجیح می‌دادند که مطمئن، جامع و شیوا به نظر می‌رسیدند، و ارزان‌ترین راه برای این‌که یک مدل چنین به نظر برسد، واژگانی است: فعل‌های چشمگیر، صفت‌های تأکیدی، گذارهای مرتب و نشانه‌گذاری‌شده. هر دور بهینه‌سازی، احتمال را بیشتر روی همان مجموعه کوچک واژه‌های پاداش‌گرفته متمرکز کرد، فشردگی‌ای که پژوهشگران آن را mode collapse می‌نامند. به همین دلیل، هر مدل مربوط به دوران ChatGPT، صرف‌نظر از فروشنده، به همان صدا همگرا می‌شود.

این اثر انگشت اکنون در مقیاس جمعیتی قابل اندازه‌گیری است. یک تحلیل در 2025 در Science Advances واژگان مازاد را در بیش از 15 million چکیده PubMed ردیابی کرد و دریافت که صدها واژه پس از انتشار ChatGPT جهش کرده‌اند، و delve، underscore، meticulous، boast و showcase از قوی‌ترین نشانه‌ها بودند [Kobak et al., 2025]. نکته قابل توجه این است که این روند پیش از 2022 آغاز شده بود: LLMs این واژگان را اختراع نکردند، بلکه آن‌ها را تقویت کردند، و اکنون آن‌ها را دوباره به نوشتار انسانی بازمی‌گردانند، زیرا نویسندگان ناخودآگاه سبکی را که ابزارهایشان تولید می‌کنند، پذیرفته‌اند. داوران و استادان سالی صدها دست‌نوشته می‌خوانند؛ آن‌ها الگو را در صفحه اول تشخیص می‌دهند، و نثرهایی که به‌شدت علامت‌گذاری شده‌اند، چه AI واقعاً در آن‌ها دخیل بوده باشد چه نه، با دقت بیشتری خوانده می‌شوند.