一篇三千字的稿子投出去，第二天收到回信：AI 生成概率 87%，请说明写作过程。作者把同一份文件分别送进另外两个检测工具，一个给出 12%，一个给出 61%。三个数字都标着置信度，没有一个能对上。这类争执在投稿、毕业论文、内容审核里反复出现，多数讨论停在「它准不准」，很少往下问一句：它到底在测什么。
把四种常见检测方式拆开看，各自的适用范围和失效条件就清楚了，一份检测报告能当什么用、不能当什么用，也就有了答案。
同一份文本，三个分数为什么对不上
检测工具输出的数字看着像概率，多数并没有经过校准。它更接近一个打分：把文本喂进模型算一个分，再按经验阈值切一刀。阈值定在哪里，各家不一样，有的拿 0.5 当分界，有的要 0.8 才判。同一段文本落在 0.6，前者说 AI，后者说人写。
分数还和文本长度绑得很紧。五百字以内的样本统计量不够，调换两个段落的顺序，结论就可能翻面；三万字的长文看着稳定，稳定的是同一种偏差，不代表判断正确。模型评估指标里反复强调的「在什么样本上算」，放到这里同样成立：脱离测试集谈一个百分比，没有意义。
四种检测方式，各自在测什么
按原理分类比按品牌分类有用。同一个品牌换过版本可能换过原理，不同品牌也可能用同一套开源方案，只看名字判断不出差别。
| 检测方式 | 对什么有效 | 为什么会误判 |
|---|---|---|
| 困惑度与句长起伏 | 通篇平铺、句长高度均匀的长文 | 公文、学术稿、翻译稿本来就规整，指标与机器重合 |
| 在生成文本上训练的分类器 | 训练时见过的那几代模型、同一语种 | 模型换代后特征漂移，跨语种跨文体几乎失效 |
| 文本水印 | 平台自己嵌入水印、且未经改动的输出 | 复制、改写、翻译、截图都会把水印破坏掉 |
| 元数据与调用日志 | 平台内部的生成记录 | 站外工具拿不到，本地编辑也留不下痕迹 |
这四种方式没有一个在识别作者本人。它们测的是文本的统计外观，或者文本之外留下的痕迹。外观可以模仿，痕迹可以抹掉，漏判和误判于是成了同一个机制的两面。
规范写作本来就长得像机器写的
困惑度衡量的是「这段文字有多容易被预测」。用词常见、句式规整、连接词齐全，困惑度就低。低困惑度既可能来自模型，也可能来自公文、学术论文、说明书、翻译稿，以及把英语当第二语言写的人。
句长起伏是另一个指标。人写作时句子长短交错，情绪上来会突然短促；被格式规训过的文体恰好相反，一段里每句都是三十字上下。这类文本在检测器眼里和模型输出几乎分不开。
2023 年有一项针对非母语者英语作文的测试，过半样本被至少一个检测器判为 AI 生成。误判的代价落在写作者身上：要自证一件没做过的事，而对方手里握着一个两位数的百分比。
模型换代一次，旧结论就作废
分类器是在特定几代模型的输出上训练的。新一代模型的句长分布、用词习惯、标点偏好都会变，训练时学到的边界随之失效。厂商会跟着更新，中间那段时间的判定最不可靠，这类现象在数据漂移里描述得很清楚：输入分布变了，旧模型还按老边界划线。
改写是最省事的绕过方式。换掉几个连接词、拆开两个长句、加一处口语，判定能从 90% 掉到 20%。它测的是表层特征，跟内容由谁写没有关系。真按这个思路去「过检测」，等于把精力花在骗一个本身不准的指标上。
还有一种更隐蔽的失真：检测器在自己见过的文本上表现很好，换一批就掉下来。这和评估污染是同一类问题，训练样本与测试样本重叠，分数虚高。
它测不出来的四类情况
人机混写。人定框架、模型填段落、人再改一遍，这类文本没有统一的统计特征，检测器给不出稳定结论，只能给一个中间值。
短文本。一段产品文案、一条动态、一封邮件，样本量撑不起任何统计判断，结论接近噪声。
中文。多数检测器的训练语料以英文为主，中文阈值往往是迁移过来的，同一个分数在两种语言里含义不同。
有意规避。改写、翻译往返、人工重排段落，任何一步都能让特征失真。工具越被当成关卡，绕过它的成本就越低。
报告可以当线索，不能当证据
合理的用法是筛查：一批稿子里挑出几篇可疑的，再去看写作过程。把它当判决，误差方向是不对称的——漏判放过了真正的代写，误判却要一个没作弊的人自证清白。
能说明问题的材料在过程里：文档的版本历史、素材的原始出处、提纲的修改痕迹、作者能不能把论证链条完整讲一遍。这些东西造假成本高，也比一个百分比更经得起追问。
对写作者，结论朴素：具体案例、真实数据、自己的判断，这三样在不在，和用没用工具是两件事。内容空的话，改多少遍还是空。
速查：一份检测报告值不值得看
- 先看样本长度，五百字以内的分数基本不用参考
- 看它有没有交代阈值和训练语料，交代不出就当参考值
- 同一工具、同一批文本纵向比，比跨工具横比有意义
- 分数高只说明「像」，不说明「是」，要落到过程材料上
- 中文文本的判定，普遍比英文更不可靠
