什么是 Agent 评测？多步任务的考卷

查资料、订日程、填表格，一步连着一步才叫干活；Agent 评测考的就是智能体的多步任务完成能力，和一张卷子答到底的传统基准不是一路。海螺AI、扣子这类产品把智能体推到日常，能力到底行不行，就靠这类考卷说话。

一步答题和多步干活

传统基准像笔试：一道题一个答案，考知识与方法。Agent 评测像实操考核：给模型一个目标、一组工具和一个环境，让它自己拆步骤、调用工具、核对结果，直到任务收尾。打个比方，笔试考背菜谱，实操考做出一桌菜——中间买什么料、先炒哪个，都得自己拿主意。类比失效之处：厨房里的意外可以靠人救场，而 Agent 考场通常不允许人插手，错了就一直错下去，环境设计因此格外讲究。

多步任务怎么打分

打分颗粒比传统基准粗：要么任务完成、要么没完成，中间状态通常不给满分。常见指标有三个：完成率，多少任务彻底办成；步数效率，办成一件事绕了多少弯路；工具调用正确率，该查的查了没有、该填的填对没有。部分任务允许部分给分，比如结果对但过程啰嗦，口径要看榜单说明。工具调用还能细分：参数填对没有、报错后会不会重试、结果拿到后用没用上，都能单独统计。环境里还会故意埋故障：工具突然报错、资料中途更新，看它随机应变还是一条道走到黑。严格的口径让这类榜单的水分相对少，因为糊弄不过去。两者考的东西不同，分数自然也不能互相换算。智能体的热潮有多高，这类考卷的关注度就有多高。答题榜像简历，Agent 成绩像试用期表现，前者好看不等于后者能干。看榜时把同环境下测出的成绩放一起比，比跨榜对照靠谱得多。

三个指标各量一层，失分的样子也不一样：

差一步算成功吗

不算，这正是 Agent 评测严格的地方：订到了机票但选错日期，查到了资料但漏了关键一条，都按失败计。这种严格有道理——真实工作里，差一步就是没干完。也因为有这套口径，Agent 分数普遍比答题分数低不少，别拿它和问答榜直接比高低。

分数离真实工作还有多远

还有距离。考场环境再逼真也是预先搭好的，真实世界的不确定性更野；工具集也有限，真实工作里你用的软件它未必接得上。所以读 Agent 分数的合理姿势是看趋势与相对差距，分数高低只有相对意义。代码类的多步开发任务同属此列，判分基础见什么是代码评测？跑通才算数，一个例子讲透；推理链条的可靠性则与数学考卷相关，见什么是数学评测？对错分明，看完就会判断；看图操作界面的任务，涉及跨模态能力，见什么是多模态评测？看图听音的考试；行业内的专属流程则归领域考卷管，见什么是领域评测？行业专属考卷，通俗版解释。

Agent 评测速查表

• 考法：给目标给工具，多步自主完成。
• 指标：完成率、步数效率、工具调用正确率。
• 口径：差一步即失败，分数天然偏低。

别拿 Agent 分数和问答分数直接比。

多步任务的分数，比答题分数更接近工作现场。下次挑带智能体功能的产品，与其看答题榜名次，不如找它最近的 Agent 成绩单，那里才是干活能力的直接证据。

关于 Agent 评测，问得最多的三个

• 智能体和普通聊天模式差别大吗？：差别在于自主拆步和调用工具，考法完全不同，成绩也不能互换。
• 评测环境里的工具是怎么给的？：由考场预先接入的一组受控工具，和真实软件生态不完全一样。
• 中文环境的多步任务有专门考法吗？：有，题库与语言习惯相关，见什么是中文评测？中文题库的特点。