什么是基准测试的题型？从选择到开放

给大模型出一张考卷，第一个要决定的就是题型。所谓基准测试的题型，指的是评测里每道题怎么呈现、模型怎么作答、答案怎么判分。你平时用豆包或 Kimi 写文案、查资料时体验到的强弱差别，背后就是一张张由不同题型拼成的基准考卷测出来的。题型选得对不对，直接决定这个分数能不能反映真实水平。

三类最常遇到的题型

第一类是选择题：题目给出若干选项，模型只需要挑一个，判分像批答题卡，机器对一眼答案就完成。第二类是填空或简答题：模型给出简短答案，判分规则预先写好，命中关键内容就得分。第三类是开放题：让模型写一段分析、拟一份方案，没有唯一标准答案，往往要请人来评，或者让另一个模型来评。

三类题型在作答、判分和分数含义上的差别。

打个比方，这就像学校考试里的客观题与主观题：选择题公平、快、批卷便宜；主观题贴近真实能力，却难有统一判分。类比到这里大体成立，但有一处失效：学校考卷考完就收，而基准考卷会被反复重考，题型带来的捷径（比如背答案）会随时间放大，这是校园类比覆盖不到的部分。

选择题为什么受欢迎

选择题便宜、稳定、可重复，今天测和下周测结果几乎一样，所以不少早期知名基准都主打选择题。缺点同样明显：真实使用中没人给你四个选项让你挑；模型可能靠排除法蒙对，也可能在训练里见过这道题，分数里难免掺水。近年不少团队改用动态评测来补这个洞，题库常换常新的思路可以看什么是动态评测？题库常换常新，一次讲明白。

开放题难在哪

开放题更像真实任务：写介绍、给建议、续一段代码思路。麻烦出在判分——同一道题一百个人能写出一百个版本，谁好谁差没有死的答案。于是评测方常引入人工评分或让模型当裁判，这套玩法在什么是 AI 裁判？用模型评模型一篇里展开。对普通读者来说，记住一点就够：开放题分数更接近真实体验，但误差也更大。所以读开放题成绩时，样本量比题型本身更要紧，几十道题的开放题榜单波动起来像过山车。同一个模型在选择榜靠前、开放榜靠后，是常有的事，多半不是有人动手脚，而是题型在筛选不同的能力。选择题的天花板也容易摸到：选项就四个，猜中的底线是四分之一，分数越接近天花板，区分度越低，出题方就会考虑换题型。看基准成绩单之前，把题型这一层想清楚，后面的数字才有的放矢。

题型和题集是什么关系

题型回答「题怎么出」，题集回答「题从哪来、一共有多少」，两者拼起来才是一份完整考卷。同一批素材可以做成选择题，也可以改写成开放题，结论可能完全不同。想了解题库本身的组织方式，可以看什么是固定题集？一套题测到底，别再混淆了，以及题目保密的什么是盲测集？不公开的题目，一个例子讲透。

题型速查表

• 选择题：判分快、成本低，适合大规模海选。
• 填空简答：介于两者之间，判分规则要写得细。
• 开放题：贴近真实体验，判分靠人或模型评。

看榜单先看题型再看分数，顺序别反。

带走一个判断：题型决定分数的性质。选择题分数高更多说明应试能力强，开放题分数高才更接近用起来顺手。下次看到基准成绩单，先问一句：这个分数是哪种题型算出来的？

基准测试的题型快问快答三则

• 一份基准只能用一种题型吗？：不是，成熟基准常常多种题型混搭，各考一面。
• 选择题分数高就代表模型强吗？：不一定，可能蒙对或背过，要结合开放题成绩一起看。
• 开放题的分数是谁打的？：多由人工或模型裁判给出，抽检保密题的做法可参考盲测集的思路。