查大模型榜单前，先默认一件事：榜单可能不干净。「榜单一定没污染」错在把题集当成了真空环境——公开的题目会被爬取、讨论、仿写，慢慢流进训练数据，分数里掺进记忆成分。正确做法是把榜单当待验证的参考，用交叉验证自证，榜单干净要自己验。
污染不是阴谋论，而是公开系统的自然结果：题目一旦公开，就进入公共语料池，后来的模型很可能在训练时见过原题或近似题。
判断信号之外，还可以做一次主动实验：从榜单里抽二十道老题，找一位没参与过原题判分的同事改写题面但不改考点，重跑后对比成绩。改写后普遍明显掉分的题集，背题嫌疑就大；成绩基本持平的，才更接近真本事。这个实验一两个小时能做完，比争论「有没有污染」有说服力得多。
交叉验证的私藏题怎么攒？从业务日志里挑、从内部文档里编、从同事的实际失败案例里提炼，三条路并行，攒下的题记得走隔离登记流程，别让私藏题也流出去。攒题的速度不用快，重要的是持续——每月三五道，一年就是四五十道，足够支撑一轮可靠的交叉验证。
对榜单维护方也可以有预期管理：换题频率、清洗说明、版本标注，这三样做得越齐，越值得长期引用；底账里记下每次换题的时间，方便日后对齐。反过来，从不说明方法论的榜单，无论名次多热闹，引用时都降一档处理。你的信任是要花成本的，花在透明的来源上。
最后把立场说全：防污染并非要推翻榜单，只是让榜单回到该在的位置——趋势参考。趋势对了，具体名次差一两位并不致命；趋势错了，名次排得再细也会把人带偏。
污染是怎么混进榜单的
三条路径：原题直接被爬走收录进语料；题解与讨论帖变相泄露思路；仿写题带着同样的模板进入语料。第三条最隐蔽，模型没见过原题，却见过同款。
三个信号帮你判断
信号一：老题成绩显著高于新题，落差随题目年龄拉大。信号二：只改几个词就大幅掉分，说明在背原题而不是会做题。信号三：不同机构的独立测试结果系统性偏差，某几家总是异常高。
| 信号 | 看到什么 | 说明什么 |
|---|---|---|
| 老题明显高于新题 | 落差随题目年龄一起拉大 | 老题在网络上暴露更久，回流进语料的窗口更长 |
| 只改几个词就大幅掉分 | 题面一改，成绩断崖式下滑 | 在背原题，而不是真会做这类题 |
| 独立测试系统性偏差 | 某几家机构的结果总是异常高 | 题集或口径存在共同来源，独立性不足 |
正确做法：交叉验证
自留一批私藏题与公开榜同跑，两套分数趋势一致就可以放心引用；一旦背离，以私藏题为准。讯飞星火、智谱清言等模型发新版本时，也观察它在私藏题上的表现是否与公开榜同步，几次之后你就有了一套自己的判断基准。
对榜单保持核对习惯
引用榜单时记录版本与日期，关注维护方是否定期换题、是否公布清洗说明。长期不更新题目的榜单，参考价值要主动降级。
收个尾：榜单像公共成绩单，私藏题像随堂测验，两者对得上，成绩单才可信。养成每次引用先对照的习惯，污染的影响就会被压到最小，选型的地基也就稳了。
相关阅读：榜单排名和选型决策有什么区别？讲排名的边界，「跑分高就是好模型」错在哪？一个例子讲透讲分数的边界，误区系列还有「评测一次就够」错在哪？通俗版解释、「差 0.5 分就是有差距」错在哪？与「AI 裁判很客观」错在哪？看三个漏洞。
自查清单
- 手上有多少道从未公开的私藏题？
- 最近一次新旧题对照是什么时候？
- 引用的榜单多久没换题了？
末句提醒：信榜单之前，先让它过一遍你的题。
关于「榜单一定没污染」再多问三句
- 私藏题太少怎么办？：几十道也够用，重点是覆盖关键场景并持续积累。
- 怎么发现背题痕迹？：改写题面重跑，成绩大幅下滑就是信号。
- 污染榜完全不能用吗？：可用但要降权，趋势比分数高低更有参考价值。
