评估基准是什么？给模型的统一考卷

每隔几天就有新模型发布，各家都晒成绩单，都说自己领先——成绩单上的数字从哪来？答案就是评估基准：一套对所有模型统一的考卷，同样的题、同样的评分标准，模型之间才有了横向比较的可能。AI 模型的能力宣传靠不靠谱，基准分数是最常用的第一道参照。这篇讲清基准怎么出题、怎么自动评分、常见题型有哪些，以及这套考卷的软肋——题目可能被背过。

从自说自话到同题同尺

没有统一基准的年代，比较模型能力是笔糊涂账：你说你家会写诗，我说我家会算数，谁也说服不了谁。基准把比较变成了标准化考试：固定的题库，固定的评分规则，任何模型来考都按同一套流程走，分数天然可比。一套基准通常由两部分组成：标准化题库，覆盖某个能力维度的成百上千道题；自动评分，把模型的回答按规则折成分数。发布新模型时晒的那张成绩表，一行一个能力项，读的就是各套基准的分数。不过分数只是入口，想把「考分高」与「真好用」区分开，基准与任务一篇做过对照，先建立这个意识再看数字。

常见题型：客观题、代码题与开放题

基准的题型大体三类。客观题最省事：选择题、知识问答题，答案唯一，对就是对、错就是错，评分零争议，常用来考知识与逻辑推理。代码题有自己的一把尺：给一道编程题配一组测试用例，模型写出的代码跑一遍，用例通过率就是分数，会就是会，蒙不过去。开放题最麻烦：写作、总结、对话这类没有唯一答案的任务，早期靠人工评，现在流行让一个强模型当裁判逐份打分，效率高但裁判自身的口味会带进结果。一个综合性的评测套件往往把多类题型拼在一起，组合方式见评测套件一篇；面向中文能力的专项考卷，见中文评测一篇。

自动评分：尺子怎么刻

自动评分的刻度因题型而异。客观题用精确匹配：答案逐字比对，没有发挥空间。代码题看运行结果：不以代码长相论英雄，用例全过满分、过一半得一半。开放题的分最难刻，常用的办法是让裁判模型按预先写好的评分标准逐项打分，再汇总成总分；为了让裁判稳定，题目与评分标准都要写得具体——「回答是否友好」这种模糊标准，同一份回答两次评出的分都能差一截。评分环节是整条评测链路里最容易失真的地方：尺子歪一点，排在后面的模型排序就全乱了，这也是严肃评测都公布评分细则的原因。想对评分失真有手感，可以让豆包把两三个模型在公开榜单上的分数整理成对照表，再让 DeepSeek 解释开放题里模型裁判打分为什么会不稳定。

软肋：题库可能被背过

基准最大的软肋出在考卷的公开性。基准的题目大多随论文或数据集公开，而模型的训练数据来自海量网络文本——考题混进训练数据的情况难以完全杜绝，模型背过原题再上考场，分数自然漂亮，真本事却没那么多，这就是评测污染，机制见评测污染一篇。打个比方：模拟卷提前发给了考生，还附了答案。应对思路也围绕这一点展开：一类是动态换题，题库定期更新或从真实场景里现取现考，不给背题留时间，做法见动态评测一篇；一类是私下留卷，考题不公开、只在受控环境下跑。所以读分数有个基本姿势：新模型在自家宣传里挑的基准、分数高出同行一大截的项，都值得多看一眼是不是熟悉的旧卷。分数好看与能力过硬之间，隔着一整套需要审视的环节，这也是同一批模型在不同榜单上排位常常打架的原因。

评估基准速查

• 构成：标准化题库加自动评分，同题同尺才可比
• 题型三类：客观题精确匹配、代码题看用例、开放题靠裁判模型
• 评分细则决定尺子的准头，是评测链路最易失真的一环
• 软肋：考题混进训练数据即评测污染，分数虚高
• 应对：动态换题、私下留卷，读分多留个心眼

关于评估基准的三问三答

• 基准分数高，用起来就一定好吗？：不一定。基准考的是卷面上的能力，实际使用还要看任务类型、中文场景、响应速度这些卷子外的因素；分数当参考线用，别当结论用，两者怎么互补见基准与任务一篇。
• 怎么判断一个模型是不是背过题库？：常见线索有两条：在旧基准上分数虚高、换成新题或改个问法后分数明显下滑；严谨的评测方也会披露题目构成与去重手段，披露越完整的越可信。
• 自己想测模型，要自己出卷吗？：测通用能力直接用公开基准跑分即可；测自家业务场景建议自建小题库——公开基准覆盖不了你的场景，自建考卷与公开套件并不冲突，互为补充。