什么是盲测集？不公开的题目，一个例子讲透

你可能听说过，AI 模型的部分考题是不公开的——这就是盲测集：一批保密的题目，只在评测时使用，不对外发布。它的目的只有一个：让模型没法提前准备，量出真实水平。用 Kimi 查评测资料、用秘塔AI搜索搜榜单解读时，你会经常撞见这个词，下面用一个例子把它讲透。

题目为什么不能公开

假设一张考卷提前泄题，考试就失去了意义。模型的训练同样如此：公开基准的题目流传很广，很容易混进训练数据，模型面对原题就像开卷考试。盲测集把题目锁起来，从源头切断「提前背题」这条路。打个比方，它像驾考的保密题库——考生只知道考纲，不知道当次抽中哪几道。类比有一处失效：驾考题库再保密，题型和难度是公开且稳定的，而盲测集往往连题型分布都刻意模糊。

一份盲测集长什么样

举一个简化的例子：评测方收集一千道新题，题材覆盖推理、写作、数理，全部对外保密；每次评测随机抽出一部分给模型作答，人工或裁判按固定规则打分；用完的题目分期退役，再补入新题。整个过程里，参与者只能看到成绩，看不到题目原文。

盲测集的生命周期

一份盲测集通常经历四步：私下出题与审核、封存编目、定期抽取使用、用量到达阈值后退役。退役的原因和固定题集被用坏是同一件事——接触的人多了、答题记录多了，保密价值就衰减。编目时会记录难度标定和覆盖标签，抽题时按配比抽取，避免某次评测恰好偏科，配比还会按考察目标动态调整，某期偏重推理、某期偏重写作，读榜前看一眼当期说明，免得错把偏科当全能。退役不是销毁，多数会封存留档，供日后比对复现。这也解释了一个现象：有些模型在公开榜上分数惊人，一到保密新题就回落，差距就出在这里。圈内有过公开基准发布数月即被刷穿的案例，从此保密成了许多新基准的标配。它与固定题集的关系，可以看什么是固定题集？一套题测到底，别再混淆了；与动态换题的路线对照，见什么是动态评测？题库常换常新，一次讲明白。

四个阶段各自守住的底线，一步一行看过去。

盲测分数能全信吗

盲测解决了背题问题，但没解决所有问题：题目本身的覆盖面、判分规则的主观性、样本量大小，都会影响结论。看到盲测成绩，合理的读法是把它当作权重较高的一份证据，而不是最终审判。换句话说，盲测提的是地板，不是天花板：它保证没背题，保证不了别的。读懂一份盲测报告，比多看十份公开榜更接近真相，前提是报告愿意交代题目来源与配比——从真实用户日志脱敏筛选、请行业专家命题、评测团队自写，三条路并行来源最稳。涉及对战名次时，还会用到人来参与的评测与排位算法，见什么是人机对比评测？人和机器一起评与什么是 Elo 等级分？对战的排位。

盲测集自查清单

• 题目是否全程保密，参与者能否接触原文。
• 题目覆盖的能力面够不够广，会不会偏科。
• 样本量多大，退役机制是否明确。

三项齐了，这份盲测成绩才值得认真对待。

所以，看到盲测成绩别急着下结论，先问三件事：谁出的题、怎么判的分、样本有多少。答得上来，这份分数才算真正被你读懂了。

聊聊盲测集的常见疑问

• 盲测集和保密协议是一回事吗？：不是，前者管题目本身不公开，后者管参与人员的行为约束，两者常搭配使用。
• 模型厂商会接触盲测题吗？：规范的做法不会，厂商只收到成绩反馈，这也是盲测价值的前提。
• 盲测集用完就废了吗？：通常达到使用量或暴露风险阈值后退役，新题补位，这套流程与动态换题思路一致。