AI 评测：自动评测还是人工评测

AI 评测先回答一个问题：要覆盖面和迭代速度，还是判断能不能上线。前者用自动评测，后者靠人工。两者是分层关系，自动跑回归，人工守门禁。真正决定评测质量的，是标准有没有写到可判定的程度，工具只排在第二位。

自动评测能测什么，测不了什么

自动评测分三类。规则类：格式是否合规、字段是否齐全、长度是否超限，脚本就能判。指标类：分类任务看准确率与召回，抽取任务看字段级匹配，转写任务看字错率，这些有标准答案。模型裁判类：用另一个大模型按评分细则打分，适合开放式回答，但必须校准。

它测不了的是“读起来可不可信”。一句话事实全对但语气傲慢，或者结论正确却漏了关键前提，自动指标都给不出分。把这类维度硬塞进自动评测，最后得到的是一个漂亮但和用户体验无关的数字。

多步任务的评测还要看中间过程，不能只看最终答案对不对，方法可参考什么是 Agent 评测。转写这类有客观对照的任务，字错率的算法和测试集设计见AI 录音转写对比，思路可以迁移到其他序列型任务。

人工评测贵在哪，怎么省

贵在三个地方：写标准、培训评分者、复核分歧。省的办法不是少评，而是把评测单元做小。不要让人打“整体质量一到五分”，改成一组可判定的判断：这条回答有没有编造？有没有答非所问？关键数字对不对？三个问题各给是或否，比一个总分稳定得多。

评分标准要写到“两个人独立看完能给出同一个结论”的程度。零分、一分、二分各对应什么表现，用例子写，不用形容词写。“较好”“一般”这种词，十个人有十种理解。

写完先拿二十到三十条试评，两个人盲评，算一致率。分歧集中在哪一档，就回去补那一档的定义，补完再评一遍。这一步花掉的时间，比正式评五十条之后发现标准不可用要划算得多。

两者怎么配合

分层：每次提交自动跑一遍回归集，卡住格式、事实、拒答率这类硬指标；版本上线前人工抽检高风险场景，每个场景不少于若干条，重点看自动指标覆盖不到的表达与逻辑。自动负责“没变坏”，人工负责“够不够好”。

抽样要分层，不要随机。按场景、按难度、按用户类型分层，线上发现的 badcase 全量入集。评测集一旦确定就冻结，不能进训练数据，否则下一轮的数字会虚高，而且虚高的部分恰好是你最想验证的部分。

这张表的用法是先定目的，再定方式。很多团队反过来，先买了评测平台，再想拿它测什么，最后所有任务都用同一套指标，选型结论自然不可信。

它做不到什么

自动评测无法判断“这句话是否可信”，也发现不了标准之外的新问题。人工评测有评分者偏差：知道模型名字会给品牌加分，先看 A 后看 B 会有顺序效应，连续评三十条会疲劳，后十条明显打得更松。两者都替代不了真实用户行为数据，点击、追问、放弃这些信号，评测集里没有。

还有一条：评测通过不等于线上没问题。评测集是你想到的场景，线上是用户想到的场景。上线后要留一条反馈通道，把真实 badcase 定期回收进评测集，否则半年后评测集和真实使用会完全脱节。

三个容易做错的地方

一是用同一个模型既生成又裁判，偏好会被放大，它给自己家的输出打分更松。二是评测集和训练集重叠，分数虚高。三是指标选得太多，十几个数字摆在一起，没人知道该看哪个，最后挑一个顺眼的汇报。选两三个主指标，其余作为诊断项，出问题时再看。

选型场景的评测还有一层：不同模型擅长的任务不同，用一套题打分会把差异抹平。按任务类型分别打分，再按你的实际流量加权，结论才有意义，具体思路见程序员怎么选 AI。

评测速查

• 先定评测要支撑哪个决定，再选方式
• 标准用例子写，不用形容词写
• 先试评三十条算一致率，再正式评
• 评测集冻结，绝不进训练

三个追问

自动评测的分数涨了，能说明模型变好了吗？不一定。先查三处：评测集有没有漏进训练数据、提示词是不是针对评测集调过、指标口径有没有变宽。三处都干净，分数才算数。

评测集要多大才够？看场景数，不看总数。每个核心场景先凑够能稳定复现问题的条数，几十条起步就能跑通流程，之后再扩。一开始就冲几千条，多半是标准还没定好，白标一遍。

评分者要不要知道模型名字？不要。盲评，并且打乱顺序，否则品牌预期和位置效应会一起污染分数。评完再揭晓，还能顺带看出团队对各家产品的先入印象有多强。