什么是评估污染？为什么跑分可能虚高

看到"某大模型在榜单上超过人类水平"这类说法，第一反应应该是追问一句：它有没有见过这套题？评估污染（benchmark contamination，也叫基准污染）描述的正是一个核心风险——用来打分的测试题提前进入了模型的训练数据，于是高分反映的是一次记忆重现，而非真实的解题能力。理解了它，你再看任何跑分都不会被单一数字牵着走。

评估污染到底在污染什么

大模型的训练语料主要来自公开互联网，评测机构发布的标准测试集一旦被论文、博客、问答网站反复引用转载，就会以各种形式混进语料。模型在训练阶段"看过"这些题，到了评测阶段自然能答对——这时的分数衡量的是记忆和检索，而非泛化能力。污染的危害，是它让评测结果失去了区分度：两个模型分数接近，可能只是因为它们背过同一批题，真实的能力差距被抹平了。

污染从哪几个口子进来

第一条口子是训练语料规模。为了让模型掌握更多语言和知识，训练数据动辄以万亿 token 计，从海量网页里逐一剔除所有测试题，在工程上几乎不可行。第二条口子是测试集流传。像 MMLU、C-Eval、GSM8K 这类常用基准被广泛引用，题目原文和答案解析很容易被贴进论坛、笔记和公开仓库，同一道题被复制几十次再正常不过。第三条口子是变体难识别。把题目换个说法、改几个数字，内容逻辑没变，却会被当成"新题"放过，模型照样能凭见过的套路作答。

一份榜单值不值得信，看这几点

判断是否存在污染，不需要你会读模型论文，几组信号就够了。

把这四组对照起来看，比单看一个数字可靠得多。

分数虚高带来的不只是"排名失真"，它会沿着决策链往下传导：开发者照着榜单选基座模型，团队照着分数调参，用户照着分数挑工具。一旦榜单被污染，后面每一步都在为一个被记忆撑高的数字优化，最后落到真实任务时才发现货不对板。这也是评估污染在评测领域里尤其值得警惕的原因。

去污染为什么没法一劳永逸

去污染确实有成熟做法：对训练数据做 n-gram 去重、设置时间窗口只收某日期之前的网页、用发布时间之后的全新测试集。但这些手段各有边界。去重能挡掉逐字相同的文本，挡不住改写后的题目；时间窗口能降低老题混入的概率，却无法处理测试集在窗口前就被搬运的情况；全新构造的题成本高、更新慢，做不到每次都覆盖。换句话说，去污染是把风险压低，无法把它降为零。只要评测方法公开、模型训练语料不透明，污染就只能被控制，很难被彻底排除。

普通用户该怎么用分数

速查：看跑分前的三个动作

• 先问题目新旧：优先相信基于新题、公开去污染方式的评测。
• 再看是否可复现：只报总分、不给方法的榜单，参考价值有限。
• 最后自己实测：用你的真实任务跑几轮，这是最不会被"训练过"的测试集。

榜单更适合做初筛，不适合做最终裁决。想真正判断一个模型适不适合你，可以参考评测套件的设计逻辑，了解分数是怎么组织起来的；也要留意评测方差，明白同一个模型多测几次结果会波动；还要结合评测的性价比，别为边际的提升付出过高成本。分数背后对应的是大语言模型在这套题上的表现，它概括不了模型在你这套真实任务里的样子。