污染是怎么发生的？题目混进训练

拿大模型去答一道榜单原题，对答如流，这未必是实力，可能是题目早就混进了训练数据。污染是怎么发生的？考题经由几条不起眼的通道进入语料，评测的区分度随之被蚕食。这篇把通道一条条摆出来，讲清楚每条通道上污染怎么落地。

污染的三条常见通道

第一条是网页抓取：评测集公开发布后，题目连同答案被各类站点转载，抓取语料时一并收入。第二条是论文与技术报告：题目样本常作为示例写进报告，训练语料里恰好包含这些文档。第三条是社区讨论：答题截图、复现笔记散落在论坛里，同样会被收进语料。三条通道的共性是「公开」二字，公开即有回流风险。

三条通道的堵法各不相同：网页通道靠训练前查重过滤，配合站点的转载规范；论文通道靠作者的发布纪律，样本题尽量做改写；社区通道最难堵，只能靠监测与快速响应。共同的原则是缩短公开与防护之间的时间差——题目发布后越早建立防护，回流进语料的窗口越小。对使用评测结果的读者来说，记住通道清单还有另一层用处：看到「我们训练时做了去污染处理」的说法时，可以追问一句处理覆盖了哪条通道，含糊其辞的声明价值有限。污染治理没有一劳永逸的方案，它注定是持续运营的一部分。

公开榜单最容易中招

榜单越有名，中招越快：题目会被做成题解文章、教学视频字幕、问答帖，形式越多样，越难被简单的查重拦住。在纳米AI这类搜索工具里搜一道榜单原题，能直观看到转载规模。一个可带走的判断是：公开发布超过一年、且被广泛讨论的题集，默认要怀疑其中存在污染，解读分数时留个心眼。

训练侧的过滤责任

负责任的团队会在训练前对语料做查重过滤，把与已知评测集高度重合的文本剔除，DeepSeek 等模型的技术报告里提到过这类处理。但过滤只能覆盖已知的公开题集，自建私有题集是否被间接渗入，谁也说不准，这正是机制层的难点：通道多、成本低、痕迹隐蔽。

污染发生后还能信几分

污染不等于分数作废，但解释力要打折：受影响题目的分数反映的是记忆而非推理。安全类题目的泄露后果更重，处理流程见安全题库维护；对齐类题目同样怕答案范式外流，见对齐评测方法；排查手段见重叠检测，刻意为之的极端情况则属于刷分操作的范畴。

评估污染影响时，时间线是最有用的工具：把题目首次公开发布的时间、被转载的时间、语料抓取的时间排成一条线，就能判断某个模型的训练窗口是否覆盖了暴露期。覆盖得越早越久，污染嫌疑越大。再配合题组得分对比——暴露题组与未暴露题组的分差异常放大，就是污染的间接证据。这些证据单看都不足以定案，拼在一起就有说服力了。

对普通读者来说，实用策略是交叉验证：把同一模型在不同来源榜单上的分数摆在一起，看相对名次是否稳定。真实力在各家题集上表现大体一致，背题出来的分数一到新题集就现出原形。看到某模型在某张榜单上异常突出时，先找第二张榜单印证，再下结论，这个习惯能过滤掉大多数污染造成的假象。

污染通道速查表

• 网页抓取：转载页混入语料
• 论文报告：示例题随文档入库
• 社区讨论：题解截图分散传播
• 共同点：一旦公开就有回流风险

换个问法再问题目污染三句

• 模型背下了答案，还能测出什么？：测不出推理，只能测出记忆，这道题在这份成绩单里已无信息量。
• 私有题集就一定干净吗？：不一定，若题目风格与公开题集高度相似，仍可能被间接波及。
• 发现污染后分数怎么处理？：剔除受影响题目重算总分，或整批换题重测，二选一看污染占比。