什么是污染检测？题目有没有漏进训练

考题如果提前漏进了训练数据，考试就变味了：模型就不再解题，转而背答案。污染检测就是检查题目有没有被模型「背过」的一套方法，它是 AI 大模型评测可信度的守门人。

污染是怎么漏进去的

三条常见通道。第一是网络抓取：基准题目和解答公开挂在网页、论坛、代码仓库里，被训练数据一网打尽。第二是流程疏漏：团队本想拿一小撮题目做内部验证，不小心混进了预训练语料。第三是二手汇编：题目被收进各种「题库大全」再传播，绕了好几手，源头早已无从追溯。题库越出名，暴露时间越长，污染概率就越高。还有一类特殊通道：评测题目被用作提示词示例、教材案例，或者出现在开源项目的测试数据里，传播路径难以追踪。

背过题的模型会露哪些马脚

最典型的是「答案完美、过程异常」：把题目里的数字换掉，模型照旧给出原答案，或者解题步骤明明没推完却结论正确。其次是格式痕迹：输出里带着题库网页的排版残留，比如选项编号错位、题干截断处照抄。还有记忆性口误：把相邻题目的内容串进当前回答。这些马脚单独出现都不足以定罪，但多条同时命中，就值得拉响警报。此外可以观察响应速度与篇幅异常：背过的题目常常秒回长答案，现场推理的题目则慢一些，这个信号在批量测试时相当明显。

常用的检测手法

一类是改写对照：把原题换个数字、换个说法重新问，背过原题的模型往往在新题上垮掉，成绩落差远超正常波动。一类是补全试探：给模型看题干前半句，让它续写，若能一字不差背出题目和答案，基本可以断定见过原文。还有一类是成员推断，通过模型对文本的困惑度判断它是否在训练时见过这段内容。文心一言和纳米AI的团队在公开材料里都讨论过类似的防污染实践，可见这已是行业标配动作。

三种手法各自怎么下手、什么结果算命中，列在一起看。

污染检测速查表

• 改写对照：换数字换说法，看成绩塌不塌
• 补全试探：给题干前半句，看能否原文续写
• 难度对照：污染题满分、同源新题失分，重点怀疑
• 流程要求：训练与评测数据建立隔离台账

普通读者能做什么

不必亲手跑检测，但可以养成两个习惯：一是看评测报告时留意有没有污染排查的说明，规范的团队会主动交代；二是把分数当线索，用真实任务验一验，尤其是长文本记忆能力这类容易藏污染的科目，可以参考置信区间判断波动是否正常，结合刷分的四个信号一起看。污染一旦坐实，相关分数就应整体作废，改用未暴露的新题重测；若想彻底绕开公共题库的水土问题，长期方案是走向自建评测，让自己的考卷不流通、不公开，从源头降低暴露风险。

污染问题还会随时间放大。一套基准发布得越久、名气越大，被写进教程、博客和问答社区的概率就越高，哪怕训练数据严格隔离，模型的「生态环境」也早已被题目浸透——后来的模型是拿被污染的资料教出来的，判分者也是看着这些资料成长的。所以成熟的评测机构会把换题当成常规动作，老题退役、新题补位，并保留一份只在自己手里流转的私有集用于交叉验证。对读者来说，判断一份榜单的新鲜度也是基本功：题库三年没换过的基准，其前排分数今天的参考价值要打上问号。

关于污染检测，问得最多的三个

• 题目公开和污染是什么关系？：公开是污染的主要通道，但公开不等于必然污染，要看模型训练数据里是否真的收录了题目。
• 改写题目能一劳永逸吗？：不能，改写只是提高背题成本，持续更新题库加定期检测才是可持续的做法。
• 被污染的分数还能用吗？：原则上作废，若只影响个别题目，剔除后重算总分并注明，是一种务实的补救。