评测集和训练集的隔离有什么区别？

聊大模型评测绕不开一条纪律：评测集和训练集的隔离。对比两种做法区别很明显：隔离做法把考题与练习题严格分开，分数反映真实能力；混用做法让模型提前见过考题，分数虚高却经不起上线检验。结论先说：任何想引用的分数，都必须建立在隔离成立的前提上，否则一切比较都没有意义。

训练集是模型学习时看过的材料，评测集是考卷。隔离的意思是考卷不进学习材料：一旦泄漏，模型背下答案，测出的就不是能力而是记忆。

隔离还有个常被误解的地方：它防的不只是恶意抄题，更多是无意的扩散。评测题被写进博客、被拿去公开演示、被贴在问答社区，都是常见路径；出题人往往没有恶意，题目却回不来了。所以纪律的核心在于管住每一道题的出口——发布前先问一句，这道题公开之后，还能用多久。一个可执行的细节：题面里带时间戳与出题人缩写，溯源时省一半力气。

私藏题的维护也有讲究。它不能永远不换：业务在变，老私藏题会慢慢偏离真实场景；也不能换太勤：换完就没了历史可比性。稳妥的节奏是每年更新两三成，保留七八成作为连续基线，新旧题分开记录成绩，每道题记录服役期，超过两年的重新审一遍是否还贴合场景。这样既有趋势可看，又有新鲜度可用，两头都占得住。

团队协作里再加一条：题库权限单独管理，出入库留记录。评测数据和企业其他数据一样，需要有人对它的生命周期负责，出了泄漏能查到环节、能补题、能声明哪些历史分数作废。把责任落到人，纪律才不会停在文档里；新同事入职时先讲这条纪律，比事后补救有效得多。

隔离到底在防什么

防两件事：一是背题，模型记住原题与答案，分数虚高；二是影子泄漏，网络上的题解、讨论、仿写变相把考题喂给了训练流程。

混用之后分数怎么失真

失真通常表现为两种：分数普遍偏高，且越公开的榜单失真越明显；题目越老失真越大，因为老题有更长时间流入网络。新题成绩与老题成绩一对照，落差就能说明问题。

隔离的三条操作纪律

第一，题集来源登记，每道题记录进入时间与出处；第二，定期换血，保留一批从不公开的私藏题；第三，分数发布前做泄漏排查，发现疑似原题立即剔除。用秘塔AI搜索可以快速查题面是否早已公开流传，用扣子搭一个自动查重的流程也不难。

复现别人结果时的检查点

引用别人的分数先核对三件事：题集版本号、测试日期、是否声明做过泄漏清洗。三者缺一，引用就要打折扣。

收个尾：隔离纪律听起来是约束，其实是保护——它保护的是你未来引用的每一个分数。今天守住题目出口，明天引用结论时才有底气；纪律每松一寸，分数的水分就多一分。

相关阅读：横评和纵向对比有什么区别？分界点在哪讲对比口径，均分和分数分布有什么区别？适用场景分开讲讲读数方式，另外三篇也值得收藏：开源评测和闭源评测有什么区别？、一次性评测和持续评测有什么区别？与模型对比和版本回归有什么区别？。

自查清单

• 考题出处与入库时间登记了吗？
• 保留了一批不公开的私藏题吗？
• 发布分数前做过泄漏排查吗？

末句提醒：分数只有在隔离成立时才算数。

关于评测集和训练集的隔离，问得最多的三个

• 私藏题要占多大比例？：两三成即可，关键场景再单独留一批。
• 老题还能继续用吗？：可以，但要与私藏题分数对照，落差大就退役换新。
• 发现泄漏怎么办？：剔除并补新题，同时标注历史分数不再可比。