什么是自建评测？自己的考卷，一个例子讲透

公开榜单五花八门，名次靠前的模型到了自己手头的活儿上未必好用。自建评测做的事很朴素：用你业务里的真实任务当题目，用你认可的标准判分，测出「这个模型在我的活儿上行不行」。对 AI 大模型选型来说，这份私有成绩单往往比公开名次更有参考价值，尤其在垂直行业，通用榜单前列的模型未必打得过行业特调的二三线选手，这种错位只有自己的考卷能照出来。

一张考卷由三样材料组成

从机制上看，进来的是三样东西：从真实任务里挑出的题目、每道题的标准答案或评分要点、一套判分规则。中间发生的事，是把待测模型逐题跑一遍，按规则打分。出去的是一张私有成绩单——总分之外，更有用的是分项分，比如语气得体度、格式遵守率、术语准确率。三样材料里最值钱的是标准答案，它决定考卷测出来的东西是不是你真在意的；判分规则次之，题目本身反而最不容易出错。

为什么公开榜单替不了它

公开基准测的是通用能力，而业务各有各的刁钻处：客服话术的分寸、行业术语的准确、内部格式的遵守，通用考卷几乎不覆盖。就像招人要看岗位匹配而不只看学历，选模型也得看它在你的任务上的实际表现。还有一个现实原因：公开题库被各家用力训练，名次的水分越来越大，私有考卷没有这个困扰。若再担心题目随使用外泄，可以配合盲测集的做法，不公开的题目加私有考卷，测出来的分数更接近真实水平。

一个例子：电商售后质检的考卷

假设经营一家电商，想让模型做售后回复质检。先收真题：从历史工单里挑一百条有代表性的回复，覆盖退款、催发货、投诉三类。再定标准答案：请资深主管给每条工单写一份满分回复，并附几条常见错误。然后定判分：关键词命中交给脚本判，语气是否得体这类主观项列成清单人工判。接着小规模试跑，把区分度差的题目换掉，随后固定题库和判分标准，作为长期基线。挑题有个技巧：优先收录历史上人工客服容易出错的工单，难例的区分度天然高。

判分规则怎么立才稳

能自动就自动：关键词、格式、长度这类硬指标交给脚本，把运行环境和阈值固定下来，确保换个人跑也能出同样的分。主观项不要让机器硬判，列成三到五条的清单人工打分，比如有没有先安抚情绪、有没有给出明确时限。两条经验值得记：判分标准要写下来，别留在出题人脑子里；同一道题让两个人各判一次，分歧大的题说明标准没写清，回去补标准而不是怪判分的人。

三笔代价，先算再建

出题贵：真题收集和标准答案撰写都吃人力，这是最大的一笔。覆盖窄：一百道题只能守住你关心的场景，模型通用能力的短板它看不见。维护累：业务变了考卷就得跟着改，题目和答案都要有人管。所以动手前先算投入产出：结论若只影响一两次选型，搭一个十几道题的快测就够了，不值得建全套题库；大批量跑题本身也有调用成本，跑题前可以先弄清批处理不一定省钱的误区，别被「量大必省」带着走。

什么场景值得建，一张表看

若模型来自服务商交付，考卷结论还可以写进服务约定里，怎么约定可参考SLA 服务等级承诺的思路，把分数门槛和处置方式提前讲清。考卷也不只测云端模型，量化压缩后再上卡的本地模型同样要过这套题，部署取舍可参考量化部署的思路。

正确姿势是分工：公开榜单看通用能力的下限和趋势，自建考卷看业务匹配度，两边结论打架时以自建为准。有一条纪律要守住：别把公开题目搬进私有考卷，既防版权麻烦，也防分数虚高。想深究题目怎么出才科学，先拆岗位能力再配题——把业务能力拆成几项，每项配对应的题目，比拍脑袋凑题可靠得多。

考卷会老化，运营是长跑

业务话术更新了、产品上了新功能、工单里出现了新类型，考卷都要跟着升级，建议每季度做一次题目盘点。判分标准同样会老化，当初认可的表达方式过一年可能显得生硬，可以抽旧题重判，观察分数漂移。还有一条容易被忽视：把每次选型的评测结论和后续真实使用体验对照归档，日积月累就能校准考卷分数与实际表现之间的换算关系，这份经验比题库本身更值钱。

自建评测速查

• 题源从真实工单、文档、代码里挑，别凭空编
• 先五十道跑通再扩，人工容易出错的难例优先收录
• 硬指标脚本判，主观项写清单人工判
• 题目和标准锁定后不轻动，换题留记录
• 公开榜单看下限，私有考卷看匹配，打架时以考卷为准

三个常被问到的问题

自建评测和 A/B 测试是一回事吗？不是一回事。A/B 测试拿真实流量对比两种方案的实际效果，自建评测用固定题库离线打分。题库胜在便宜、可重复，真实流量胜在信号直接。成熟团队往往先跑题库筛掉明显不行的，再拿剩下的一两个做小流量验证。

私有考卷会被模型公司背走吗？外部泄漏的风险其实有限，主要风险在内部扩散。控制题库文件的接触范围，判分脚本和标准答案分开存放，比担心外部泄漏更实际。考卷不对外提交完整题面，泄漏面就小。

只有十几道题，能测出结论吗？能测方向，测不出名次。十几道题适合回答「这个模型能不能用」这种及格线问题；要比较两个水平接近的模型谁更好，题目量得往上翻几倍才有说服力，否则分差大概率落在噪声里。