AI检测中的困惑是什么？ （以及为什么你的论文被标记）

你的论文被标记为 82% 是由 AI 生成的。 你自己写的，深夜，重写了三次，并纳入了你顾问的反馈。 但检测器并不关心你的努力。 它关心困惑。

困惑度是人工智能检测中最重要的一个指标。 这是判决背后的数字。 大多数研究人员不知道这意味着什么，也不知道为什么它对他们不利。

我们花了三个月的时间测试了五个主要检测器的困惑度评分如何影响学术写作。 以下是我们的发现 - 以及为什么它对您下次提交的内容很重要。

困惑用简单的英语来说：人工智能有多惊讶？

困惑度衡量一段文本对于语言模型的可预测性。 就是这样。 没有神秘，没有黑匣子魔法。 只需一个数字就能回答一个问题：“人工智能对本文中的每个单词有多惊讶？”

这样想吧。 如果我们写“病人入院___”，大多数语言模型会几乎肯定地预测“医院”。 低惊喜。 低困惑度。

但如果我们写“病人被送入植物园”，那就出乎意料了。 高惊喜。 高度困惑。

当您将整个文档串在一起时，困惑度分数反映了每个单词选择的平均可预测性。 充满预期的、统计上可能的单词序列的文本获得较低的困惑度分数。 一篇具有不寻常措辞、令人惊讶的词汇和不可预测的结构的文本会得到很高的评价。

人工智能生成的文本往往集中在低端。 语言模型根据设计选择统计上最有可能的下一个单词。 这就是他们的工作方式。 因此，根据定义，它们的输出对于其他语言模型来说是高度可预测的。

人类的书写更加混乱。 我们使用不寻常的单词组合。 我们写的句子会到达意想不到的地方。 我们有任何概率分布都无法预测的风格怪癖。 这种混乱表现为更高的困惑。

低困惑度 = 类似人工智能。 但事情没那么简单。

如果故事到这里就结束了，那么人工智能检测就会很简单了。 低复杂度意味着人工智能编写了它。 高度困惑意味着人类做到了。 案件结案。

但故事并没有就此结束。 甚至还差得远。

学术写作本质上是低困惑的。 我们使用标准化术语。 我们遵循严格的结构惯例。 同一领域的论文中，方法部分的读法几乎相同，因为描述蛋白质印迹实验方案的方法只有这么多。

我们测试了已发表论文中的 30 个人工编写的方法部分，没有任何人工智能参与。 他们的平均困惑度得分与人工智能生成的文本显着重叠。 仅凭困惑度，这 30 个中的 12 个就会被至少一个主要探测器标记出来。

问题很清楚。 基于困惑度的检测假设可预测的文本是机器生成的。 但地球上一些最严格的人类书写文本，经过同行评审的学术散文，本质上是可以预测的。

你精心撰写的论文可以得到较低的困惑度，原因完全合法：

• 特定学科词汇。 医学、法律和工程文本重复使用精确的术语，因为精确性要求如此。 您不能在不改变含义的情况下将“血管成形术”替换为同义词。
• 公式化的章节结构。 “数据是使用...收集的”出现在数千篇人工撰写的论文中。 这是惯例，而不是一代。
• 正式的语体。 学术写作避免口语、缩写和随意的措辞，正是这种会提高困惑分数的差异。
• 非母语英语模式。 ESL 研究人员经常生成较低复杂性的文本，因为他们依赖于学习的模板和常见的措辞。 我们已经看到这种偏差影响所有主要工具的人工智能检测准确性。

检测器实际上如何使用困惑度分数

没有哪个严肃的人工智能探测器会单独使用困惑度。 现代工具将其与其他几个信号结合起来，但困惑仍然是支柱。

这是典型的管道。 检测器通过其自己的语言模型提供您的文本。 它计算整个文档中每个单词的困惑度。 然后，它将分布与人类和人工智能文本的已知基线进行比较。

如果你的文本的困惑度分布看起来像人工智能基线，围绕低值紧密聚集，它就会被标记。 如果它看起来像人类的基线，分布更广、方差更大，它就通过了。

有些探测器走得更远。 他们在句子级别而不是文档级别计算困惑度，寻找可能表明部分人工智能使用的变化。 其他人将困惑度与突发性结合起来，这是一个衡量写作中句子级别变化的相关指标。

阈值因工具而异。 GPTZero 使用了一种复杂度截止值，我们发现这种截止值往往具有侵略性，标记内部评分低于大约 40 分的文本。 Turnitin 的实现更加保守，但仍然遵循相同的原则。

这些工具都不能很好地解释流派。 创意论文和方法部分具有根本不同的基线困惑范围。 用相同的阈值对待它们会产生目前困扰学术机构的误报问题。

为什么你精心撰写的论文可以得分低困惑度

我们经常从研究人员那里听到这样的话：“我自己写了每个词。为什么它会失效？”

因为你是个好作家。 严重地。

组织良好、清晰、优美的学术散文往往不会令人困惑。 您学会了在特定的寄存器中书写。 你已经内化了你所在领域的惯例。 您生成的文本遵循可识别的模式 - 因为这就是您的期刊审稿人和顾问训练您做的事情。

讽刺是痛苦的。 你在学术惯例中写得越好，你的文本就越类似于人工智能输出到基于困惑度的检测器。 你的专业知识会成为对你不利的证据。

非英语母语人士面临着这个问题的更严重的版本。 用第二语言写作意味着更多地依赖记忆的短语和标准结构。 由此产生的文本通常比母语人士的随意草稿更清晰、更正式正确，因此在困惑度方面得分较低。

我们已经在数百份手稿中记录了这种模式。 这不是你写作中的错误。 这是检测方法中的一个错误。

人性化工具如何自然地增加困惑度

如果低困惑度让你被标记，解决方案就是提高困惑度。 但不是随机的，你需要以听起来仍然像学术写作的方式增加困惑。

这就是优秀的人工智能人性化工具所做的事情。 它识别文本中的低复杂度模式并引入有针对性的变化：

• 句子结构多样化。 它不是三个连续的主谓宾句子，而是将一个句子重组为疑问句，另一个重组为复合复合体结构，并保留第三个句子。
• 词汇差异。 不是同义词旋转，这是很粗糙的，检测器会看穿它。 真正的方差意味着选择统计上可能性较小的措辞，而含义保持完整。 “研究结果表明”变成了“我们的数据中出现了什么”，含义相同，但困惑度更高。
• 转换中断。 AI 文本喜欢“此外”、“此外”和“此外”。 人性化者通过完全放弃过渡、使用破折号进行连接或重组段落流来打破这些模式。
• 节奏变化。 短句。 然后是一段长距离的比赛，在到达终点之前要经过资格赛。 然后中等。 这种节奏的不规则性对于人类作者来说是一个强烈的困惑信号。

我们构建了 text humanizer 来处理这些调整，同时保留学术注册。 它不会让你的写作变得随意，它会让你的写作变得不可预测。

手动人性化也有效。 如果您喜欢自己做，请重点改变三件事：句子长度、段落开头模式和过渡词。 仅此一点就可以改变您的困惑度分数，足以清除大多数检测器阈值。

困惑度分数可以告诉你什么，不能告诉你什么

困惑度分数是一种统计测量。 而已。 它无法确定作者身份。 它无法检测意图。 它无法区分正式编写的研究人员和正式生成的语言模型之间的区别。

它可以告诉您的是您的文本对于语言模型的可预测程度。 这是有用的信息，但它并不能证明任何事情。

我们认为研究人员应该像理解 p 值一样理解困惑度：将其视为更大分析中的一个数据点，而不是一项结论。 低困惑度分数并不能证明人工智能作者身份，就像 0.06 的 p 值不能反驳假设一样。 背景很重要。

有关在学术工作中管理检测分数的实用策略，请参阅我们关于如何在学术写作中处理 AI 检测 的完整指南。

你的写作是你的。 单一指标，无论数学上多么优雅，都无法改变这一点。

常见问题

问：人类写作的困惑度分数多少才算合适？

没有通用的“好”分数，因为困惑度值取决于用于计算它们的语言模型。 一般来说，人类书写的文本比人工智能生成的文本表现出更高、更多变的复杂性。 在我们的测试中，人类学术写作在相同主题上的平均困惑度比 GPT-4o 输出高出 30-80%。 但类型非常重要，一篇创意论文与实验室报告的得分不同，即使两者完全是由人写的。

问：我可以检查自己文本的困惑度分数吗？

有些工具直接显示困惑度数据。 GPTZero 在其详细视图中显示了每个句子的困惑度。 您还可以使用 GPT-2 输出检测器或 Hugging Face 的困惑度计算器等开源工具来获取原始分数。 我们建议根据多种工具检查您的文本，而不是依赖任何单一的困惑度测量。

问：释义人工智能文本会改变其困惑度吗？

这取决于你如何解释。 简单的同义词替换几乎不会改变困惑度分数，因为句子结构（主要驱动因素）保持不变。 真正的重组，改变句子顺序、改变长度、改变段落流程，会显着增加困惑。 我们的 text humanizer 旨在做到这一点，同时保持您的含义和学术语气完好无损。

问：困惑度是 AI 检测器使用的唯一指标吗？

大多数现代检测器将困惑度与突发性（句子长度变化）、熵（词汇不可预测性）以及在人类和人工智能文本的大型数据集上训练的基于分类器的方法结合起来。 困惑是基础，但不是唯一的信号。 也就是说，在我们的测试中，它仍然是文本是否被标记或清除的最有影响力的因素。

面向研究人员的 AI Text Humanizer

提升您学术写作的自然差异性。保留引文、技术术语和学术语气。