自动判分和人工抽检有什么区别？

AI 评测的量一旦上来，判分方式就成了关键。结论先行：走量靠自动判分，把关靠人工抽检，两者是上下游关系而非二选一；比例配对、偏差及时修，判分质量才立得住。自动判分和人工抽检的分工，从适用范围、质量特征、协作方式三个维度讲。

维度一：适用范围不同

自动判分适合答案形态规整的题：选择题、要点命中、代码用例，规则写得清就能跑。开放创作、专业判断类的题，机器给分不可靠，要靠人工。另外先分清判的是能力还是风格，口径不同标准也不同，见能力评测和风格评测有什么区别。

维度二：质量特征不同

自动判分快而稳，但错误是系统性的：模板有偏，整批答案跟着偏。人工抽检准而慢，但个体差异大：评审者状态、水平都会影响打分。换句话说，自动判分的风险在模板，人工抽检的风险在人，两者恰好互补。

维度三：协作方式怎么配

常见配法是机判全量加人工抽检：抽检比例按题型定，机判争议多的题型抽两成，稳定题型抽百分之五。抽检发现系统性偏差时，回修机判模板并重跑受影响批次；组合链路的分数还要逐环节抽检，见单模型评测和组合评测有什么区别。调试机判模板时，拿智谱清言与 DeepSeek 各判一批对照，更容易发现模板带偏。

落地：三个不能省

一是抽检记录留档，谁复核的、改了什么分都要可查；二是机判模板版本化管理，改模板必须换版本号；三是偏差超阈值触发报警，别让小偏积累成大偏，模板偏了整批分数失真，与题库污染的甄别思路见评测污染和训练过拟合有什么区别。结果对外公布时还有一层口径问题，见公开榜单和内部评测有什么区别；判分稳了之后，分数与实际任务的落差另算，见基准分和实际任务有什么区别。

比例与节奏怎么排

比例不是拍脑袋定的，跟着机判的稳定度走。新模板上线初期，抽检比例可以拉到三到五成，等连续几批的一致性都落在可接受区间，再逐步降到一成左右。节奏上按批而不是按天：同一批题一次性抽完，发现偏差能立即回修模板并整批重跑，跨天分批反而容易把同一处偏差拖成系统性错误。另一个常被忽略的动作是留痕：模板版本、抽检样本、分歧记录都要归档，下次出现同类分歧时，翻记录比重新争论快得多。用 Kimi 或 DeepSeek 做机判模板的初稿、再让人工校验规则本身，是不少团队的起步方式，但规则最终必须由人签字，机器只负责执行。

还有一个容易忽略的细节：抽检样本要覆盖到不同题型与不同长度的输入，只抽一类题，抽检的结论就只对那一类成立。分歧样本单独归档，每季度回看一次，能发现模板里长期存在的小偏差。

把这些动作固化成流程文档，新人接手时不必重新摸索，抽检的比例也不必每次临时商量。

判分分工速查表

• 规整题自动判，开放题人工判
• 抽检比例按题型风险分层
• 偏差回修模板，受影响批次重跑
• 抽检记录与模板版本留档

关于自动判分和人工抽检的三个常问问题

• 抽检比例多少才够？：看机判稳定度，新模板多抽，跑稳后递减，但任何题型不建议低于一成。
• 人工抽检也出错怎么办？：双人独立复核再比对，分歧大的样本升级第三人仲裁。
• 机判和人评分歧大说明什么？：先怀疑评分细则没写清，再怀疑机判模板带偏，最后才是模型能力问题。