什么是固定题集？一套题测到底，别再混淆了

评测一个 AI 模型最省事的办法是什么？准备一套固定的题目，所有人用同一套卷。这就是固定题集：一批预先出好、长期不再改动的考题，谁来得早谁来晚，做的都是同一份卷子。你在通义千问和文心一言之间纠结选哪个时，看到的许多榜单分数，正是这么测出来的。

一套题用到底是什么意思

固定题集有三个特征：题出好后封存不动、判分规则写死、公开给所有模型按同一规则作答。打个比方，它像健身房里一台定重的器械——所有人都举同样的重量，成绩可以直接比较。这个类比有一处失效：器械重量不会被人记住，而题目会被模型「背」下来，用得越久，失效得越明显。

固定题集的好处与隐患

好处很实在：省事、省钱、可比。同一套题，今年测和明年测、你家测和我家测，结果能摆在一张表上比。隐患也在这里：题目公开太久，厂商会在训练数据里反复练习相似题，分数节节攀升，真实能力却未必跟进，这叫基准饱和，也常被叫作刷榜。

模型为什么会背题

大模型的训练要吞下海量文本，公开基准的题目和解析在网上流传，很容易被一并吞进去。模型未必逐字背下答案，但记住了解题套路，再遇到原题就像开卷考试。更麻烦的是背题难以检测：模型不会承认背过，只能在全新题上重新考一遍才见分晓，背题还分深浅，逐字背出答案的少，记住解题套路的多，后者更难察觉。所以看到某款模型在某老基准上的分数一年翻倍，先别急着惊叹，很可能是题目被练穿了。历年数据可查是固定题集的额外好处，能看到一款模型迭代以来走了什么路线；但跨年对比前，先确认题目还是不是原来那套，严谨的评测报告会附上换题前后的对照数据，名次挪动多大、哪几款受影响最明显，这些细节比单一分数诚实得多。一套维护良好的固定题集，还会定期公布使用记录与暴露评估，这类自我说明也是它公信力的一部分。你在榜单之间来回横跳拿不定主意时，先弄清分数出自什么样的题，比多看十个榜单都有用。想知道社区怎么应对，可以看题库常换常新的什么是动态评测？题库常换常新，一次讲明白，以及干脆保密题目的什么是盲测集？不公开的题目，一个例子讲透。

换一套题分数还作数吗

固定题集测的是这套题上的表现，换一套同类题，名次可能小幅波动，也可能明显变化。所以读榜单要养成一个习惯：固定题集的分数适合横向比较同一时间的多个模型，纵向跨年比较则要留个心眼，题型和判分规则是否变过，比分数涨跌更值得先确认。题型本身的门道，见什么是基准测试的题型？从选择到开放。

固定题集自查清单

• 这套题发布多久了？越老越要警惕背题。
• 判分是机器规则还是人工？规则是否公开。
• 榜单是否注明题目版本号？没有版本号难以复现。

三问下来再决定信不信这个分数。

记住一句话：固定不等于过时，透明才让分数可比。固定题集像一把公开的尺子，尺子本身没毛病，关键是别拿一把被磨旧的尺子去量新东西。

关于固定题集的三个常问问题

• 固定题集会被用坏吗？：会，公开越久被练习得越充分，区分度越低，社区通常靠换新题来续命。
• 它和人来打分的评测有什么不同？：它靠机器判分、规则固定，人来评的那种玩法见什么是人机对比评测？人和机器一起评。
• 固定题集适合测什么能力？：适合有明确答案的能力，比如知识问答和基础推理，开放能力要靠别的题型补。