什么是评测套件？Agent 能力的考卷

给 AI 智能体改了提示词、换了模型、加了工具之后，怎么知道它是变好了还是变差了？靠感觉不靠谱，靠评测套件才有数。评测套件就是一组固定的测试题目加统一的评分规则，让智能体反复「考试」，用分数说话。它像驾照考试：项目固定、标准统一、谁考都一样。

智能体行业发布模型时都配基准成绩，同一个道理：能力要用同一张考卷量出来。

给智能体出一张考卷

出题先从真实任务里挑。把你让智能体做过的典型活——检索汇总、写周报、整理表格——各挑几个代表样本，配上「标准答案」或「评分要点」，就是最朴素的考卷。题目要覆盖三类：必须做对的常规题、容易出错的高频坑、边角情况下的压力题。

题量不用大。十来道精心挑的题，反复测，比一百道随手攒的题管用得多。Kimi、通义千问这类助手能力迭代快，自己攒的小考卷反而比公开榜单更贴近你的实际用法。

考卷里都有什么题

常见三种题型。结果题：只看最终交付对不对，比如提取的表格数值是否正确，评分是二值或打分。过程题：看中间步骤是否合理，比如有没有先检索再动笔，适合审查轨迹。压力题：故意给模糊指令、缺材料、改需求，看它是会追问还是会硬编。

三类题型的分工，一张表看完：

每道题都要有明确的判分依据，写清「什么样算对、什么样算半对」。判分可以人工，也可以让另一个大模型当裁判，后者快但要抽查防止裁判跑偏。

考完分数怎么用

分数的价值在对比：改提示词前测一遍、改完再测一遍，两张成绩单一比，改动有没有好处一目了然。评测套件要和发布流程绑定——新版本分数不比旧版差，才允许上线，这就是常说的回归评测。

注意别为了刷分而调教：如果系统只对考卷上的题目表现好，套件就失去了意义。偶尔补充新题、轮换旧题，能防止这种「应试化」。

类比哪里失效：考卷会跟着换

学校考纲几年一换，智能体的考卷要随任务变：业务加了新场景，考卷就该补新题；旧坑被修平了，对应的题可以退役。考卷是活的资产，不是一次成型的固定件。

失效的还有「一考定终身」：人类考试分数大体稳定，智能体输出却有随机性，同一道题两次跑结果可能不同。所以重要题目要多测几次取多数，单次成绩不作数。

落笔前想通的一件事

没有评测套件的智能体系统，每次改动都在赌运气。哪怕只有五道题，只要固定、可重复、有判分标准，你的每次调整就从「感觉变好了」升级成「分数证明变好了」。

评测套件速查

• 题目来自真实任务，覆盖常规、易错、压力三类
• 每题带判分依据，人工或模型裁判均可
• 改动前后各测一遍，分数不降才上线

今天就挑三个最常翻车的任务写成考题，两周后你就有一张能用的考卷。

延伸阅读：题目拆多细才好判分，见什么是拆解粒度？任务分多细合适；判分要看执行过程，参考什么是 Agent 可观测性？盯住执行过程；错题怎么重看，见什么是回放调试？重看每一步，一次讲明白；重复施测为什么不出乱，看什么是幂等设计？重复执行不出乱。

关于评测套件，问得最多的三个

• 多少道题才够用？：起步十道左右就有效，关键是覆盖你最高频的三类任务，之后随场景增加，宁缺毋滥。
• 用模型当裁判可靠吗？：对格式、要点类题目相当可靠，对主观风格类题目要抽一部分人工复核，防止裁判偏好带偏整套系统。
• 评测和监控是什么关系？：评测是定期考试，监控是日常巡诊，考卷抓能力变化，巡诊抓单次执行异常，两件事都要做。