Що таке незрозумілість у виявленні штучного інтелекту? (І чому вашу газету помітили)

Ваш документ повернувся з позначкою, що 82% створено ШІ. Ви написали це самі — пізно ввечері, три переписування, відгуки вашого радника включені. Але детектор не зважає на ваші зусилля. Це піклується про здивування.

Здивування є найважливішим показником у виявленні ШІ. Це число за вироком. І більшість дослідників поняття не мають, що це означає або чому це працює проти них.

Ми провели три місяці, перевіряючи, як підрахунок балів за незрозумілість впливає на академічне письмо за допомогою п’яти основних детекторів. Ось що ми знайшли — і чому це важливо для вашого наступного подання.

Здивування простою англійською: наскільки здивований ШІ?

Здивування вимірює, наскільки фрагмент тексту є передбачуваним для мовної моделі. Ось і все. Ні таємниці, ні магії чорної скриньки. Просто число, яке відповідає на одне запитання: «Наскільки ШІ був здивований кожним словом у цьому тексті?»

Подумайте про це таким чином. Якщо ми напишемо «Пацієнта госпіталізували до ___», більшість мовних моделей майже з упевненістю передбачать «лікарню». Низький сюрприз. Низька збентеженість.

Але якщо ми напишемо «Хворий потрапив до дендропарку» — це несподівано. Високий сюрприз. Висока розгубленість.

Коли ви об’єднуєте цілий документ, оцінка здивування відображає середню передбачуваність кожного вибору слова. Текст, повний очікуваних, статистично вірогідних послідовностей слів, отримує низьку оцінку здивування. Високу оцінку отримує текст із незвичною фразою, дивовижною лексикою та непередбачуваною структурою.

Текст, створений штучним інтелектом, має тенденцію групуватися в нижньому кінці. Мовні моделі вибирають найбільш статистично ймовірне наступне слово за дизайном. Буквально так вони працюють. Таким чином, їх результат — за визначенням — дуже передбачуваний для інших мовних моделей.

Людське письмо більш брудне. Ми використовуємо незвичні словосполучення. Ми пишемо речення, які йдуть кудись несподівано. У нас є стилістичні примхи, які не передбачить жоден розподіл ймовірностей. Цей безлад проявляється як більша збентеженість.

Низький рівень здивування = схожий на ШІ. Але це не так просто.

Якби історія на цьому закінчилася, виявлення ШІ було б простим. Низький рівень здивування означає, що це написав ШІ. Високе здивування означає, що це зробила людина. Справу закрито.

Але на цьому історія не закінчується. Навіть близько.

Академічне письмо за своєю природою не викликає здивування. Ми використовуємо стандартизовану термінологію. Ми дотримуємося жорстких структурних умовностей. Розділи методів читаються майже однаково в усіх статтях в тій самій галузі, оскільки існує дуже багато способів описати протокол Вестерн-блот.

Ми перевірили 30 розділів методів, написаних людиною, з опублікованих статей — без участі ШІ. Їхні середні показники здивування значно збігалися з текстом, створеним ШІ. Дванадцять із 30 були б позначені принаймні одним головним детектором лише на основі здивування.

Проблема зрозуміла. Виявлення на основі здивування передбачає, що передбачуваний текст створено машиною. Але деякі з найбільш суворо написаних людьми текстів на землі — рецензована академічна проза — передбачувані за своєю природою.

Ваша ретельно написана стаття може викликати низьке здивування з цілком законних причин:

• Словниковий запас спеціальної дисципліни. У медичних, юридичних та інженерних текстах повторно використовується точна термінологія, тому що точність цього вимагає. Ви не можете замінити «ангіопластику» на синонім, не змінивши значення.
• Структури формульних розділів. «Дані зібрано за допомогою...» з’являється в тисячах рукотворних документів. Це умовність, а не покоління.
• Офіційний реєстр. В академічному письмі уникають розмовних слів, скорочень і невимушених фраз — саме тих різновидів, які викликають здивування.
• Нерідні шаблони англійської мови. Дослідники ESL часто створюють текст з меншою складністю, оскільки вони покладаються на вивчені шаблони та загальні фрази. Ми помітили, що це упередження впливає на точність виявлення ШІ в усіх основних інструментах.

Як детектори насправді використовують показники здивування

Жоден серйозний детектор ШІ не використовує лише здивування. Сучасні інструменти поєднують його з декількома іншими сигналами, але здивування залишається основою.

Ось типовий конвеєр. Детектор передає ваш текст через власну мовну модель. Він обчислює здивування за словом у всьому документі. Потім він порівнює розподіл із відомими базовими лініями для людського тексту та тексту ШІ.

Якщо розподіл здивування вашого тексту схожий на базову лінію штучного інтелекту — тісна кластеризація навколо низьких значень — його позначають. Якщо це схоже на базову лінію людини — ширший розкид із вищою дисперсією — це пройде.

Деякі детектори йдуть далі. Вони обчислюють збентеження на рівні речення, а не на рівні документа, шукаючи зміни, які можуть вказувати на часткове використання ШІ. Інші поєднують заплутаність із бурхливістю — пов’язаним показником, який вимірює варіації на рівні речень у вашому написанні.

Пороги відрізняються залежно від інструменту. GPTZero використовує обмеження здивування, яке, як ми виявили, має тенденцію бути агресивним — позначає текст із балами нижче приблизно 40 за внутрішньою шкалою. Реалізація Turnitin є більш консервативною, але все ще базується на тому ж принципі.

Жоден із цих інструментів не враховує жанр. Творче есе та методичний розділ мають принципово різні базові діапазони здивування. Ставлення до них із однаковими пороговими значеннями створює проблему хибного позитивного результату, яка зараз мучить академічні установи.

Чому ваша ретельно написана стаття може викликати низьке здивування

Ми постійно чуємо це від дослідників: «Я сам написав кожне слово. Чому воно позначилося?»

Тому що ти хороший письменник. Серйозно.

Добре організована, чітка, відшліфована академічна проза має тенденцію до низького рівня здивування. Ви навчилися писати в певному регістрі. Ви засвоїли умовності своєї сфери. Ви створюєте текст, який слідує впізнаваним шаблонам, тому що це те, чому ваші журнальні рецензенти та консультанти навчали вас робити.

Іронія болюча. Чим краще ви пишете в рамках академічних умов, тим більше ваш текст нагадує вихід штучного інтелекту на детектор на основі здивування. Ваш досвід стає доказом проти вас.

Люди, для яких англійська мова не є рідною, стикаються з ще крутішою версією цієї проблеми. Писати іншою мовою означає більше покладатися на запам’ятовані фрази та стандартні конструкції. Отриманий текст часто є чіткішим і формально правильнішим, ніж звичайна чернетка носія мови — і, як наслідок, він має нижчий бал за незрозумілість.

Ми задокументували цю закономірність у сотнях рукописів. Це не помилка у вашому написанні. Це помилка в методології виявлення.

Як інструменти гуманізації природним чином посилюють здивування

Якщо вас помічають через низьку збентеженість, рішенням є її підвищення. Але не випадково — вам потрібно збільшити здивування способами, які все ще звучать як академічне письмо.

Це те, що робить хороший штучний інтелект. Він визначає шаблони з низьким рівнем здивування у вашому тексті та вводить цільові варіації:

• Урізноманітнення структури речення. Замість трьох послідовних підмет-дієслово-об’єкт речень, воно перебудовує одне як питання, інше як складно-складну конструкцію, а третє залишає окремо.
• Варсія лексики. Не обертання синонімів — це грубо, і детектори це бачать. Справжня дисперсія означає вибір менш статистично вірогідного висловлювання, де значення залишається незмінним. «Висновки свідчать» стає «Що випливає з наших даних» — те саме значення, більше здивування.
• Порушення переходу. ШІ-текст любить "Додатково", "Крім того" та "Більше того". Гуманізатор порушує ці шаблони, повністю видаляючи переходи, використовуючи тире для з’єднання або змінюючи структуру потоку абзаців.
• Зміна ритму. Коротке речення. Потім довгий, який завершується кваліфікацією, перш ніж приземлитися на точку. Потім середній. Такий вид ритмічної нерегулярності є сильним сигналом здивування для авторства людини.

Ми створили наш text-humanizer, щоб вносити ці коригування, зберігаючи академічний реєстр. Це не робить ваші письма невимушеними — це робить ваші письма непередбачуваними вашими.

Ручна гуманізація теж працює. Якщо ви віддаєте перевагу робити це самостійно, зосередьтеся на зміні трьох речей: довжини речення, шаблонів відкриття абзацу та слів переходу. Одне лише це може змінити вашу оцінку здивування настільки, щоб очистити більшість порогів детектора.

Про що може і про що не може розповісти оцінка здивування

Оцінка здивування – це статистичний показник. більше нічого. Він не може визначити авторство. Він не може виявити намір. Він не може відрізнити дослідника, який пише формально, від мовної моделі, яка створює формально.

Він може сказати вам, наскільки передбачуваним ваш текст здається мовній моделі. Це корисна інформація, але вона ні про що не свідчить.

Ми вважаємо, що дослідники повинні розуміти збентеження так, як вони розуміють p-значення: як одну точку даних у більш широкому аналізі, а не як вирок. Низька оцінка здивування не більше доводить авторство ШІ, ніж p-значення 0,06 спростовує гіпотезу. Контекст має значення.

Щоб дізнатися про практичні стратегії керування результатами виявлення у вашій навчальній роботі, перегляньте наш повний посібник як використовувати виявлення штучного інтелекту в академічному письмі.

Твоє написання – твоє. Одна метрика — якою б математично елегантною вона не була — не може цього змінити.

AI Text Humanizer for Researchers

Increase natural variance in your academic writing. Preserves citations, technical terms, and scholarly tone.

Часті запитання

З: Яка хороша оцінка здивування для людського письма?

Немає універсальної оцінки «добре», оскільки значення здивування залежать від мовної моделі, яка використовується для їх обчислення. Як правило, текст, написаний людиною, виявляє вищу та різноманітнішу здивованість, ніж текст, створений ШІ. Під час нашого тестування академічне письмо людини показало на 30–80% вищі середні здивування, ніж результат GPT-4o на ті самі теми. Але жанр має величезне значення — творче есе відрізнятиметься від лабораторного звіту, навіть якщо обидва повністю написані людиною.

З: Чи можу я перевірити оцінку здивування свого тексту?

Деякі інструменти безпосередньо відображають дані здивування. GPTZero показує здивування кожного речення в детальному вигляді. Ви також можете використовувати інструменти з відкритим кодом, такі як GPT-2 Output Detector або калькулятор здивування Hugging Face, щоб отримати вихідні результати. Ми рекомендуємо перевіряти ваш текст кількома інструментами, а не покладатися на якесь одне вимірювання здивування.

З: Чи змінює перефразування тексту штучного інтелекту його здивування?

Це залежить від того, як ви перефразуєте. Проста заміна синонімів ледь змінює бали здивування, оскільки структура речення, яка є основним рушієм, залишається незмінною. Справжня реструктуризація — зміна порядку речень, зміна довжини, зміна послідовності абзаців — може значно посилити здивування. Наш text-humanizer створений саме для цього, зберігаючи ваш зміст і академічний тон недоторканими.

З: Чи єдиний метричний AI-детектор використовує здивування?

Ні. Більшість сучасних детекторів поєднують заплутаність із розривом (варіація довжини речень), ентропією (непередбачуваність словникового запасу) і підходами на основі класифікаторів, навченими на великих наборах даних людини та тексту ШІ. Розгубленість є основою, але це не єдиний сигнал. Тим не менш, під час нашого тестування це залишалося єдиним найвпливовішим фактором у тому, чи був текст позначений чи очищений.