人工评测的流程怎么排？多人盲评

机器判分搞不定的细腻差别，最终还是要靠人来评：一段回复有没有分寸感、一个方案贴不贴近真实需求，人眼仍是最可靠的尺子。但人工评测的代价是慢、贵、且人自带偏好，所以流程设计的核心就两件事——藏名字的盲评，加上多人交叉。AI 大模型评测里最贵的不是算力，是人评的人力。

盲评为什么要藏名字

人一旦知道回答出自哪家模型，判断立刻失真：大厂光环让分数虚高，口碑差的被压分，这是被反复验证的认知偏差。盲评把名字、版本号、排名等一切线索抹掉，评委只看到两份匿名回答，凭内容本身打分。比对类评测还要随机调换左右位置，防止有人偏爱固定一侧。藏名字看着简单，却是整个人评流程里性价比最高的一道工序，缺了它，后面所有人力的价值都要打折。藏名字的完整版还要藏顺序：回答的呈现顺序随机打乱，避免先入为主的锚定效应。

一轮人评的完整排期

按时间轴走五步。第一天定标：评委培训，统一过一遍评分细则，用样题试评并当面对齐分歧。第二到三天评前批：每人独立评分配到的匿名回答，不交流、不回看他人结果。第四天合分：系统汇总，标出分歧大的条目。第五天仲裁：分歧条目由资深评委集体裁决，裁决结论回写细则。最后是质检抽样：随机抽一成条目复核，一致性不达标的评委批次要排查原因。进来的是匿名回答池，出去的是带一致性指标的分数表，中间每一环都留痕。

一轮人评按五天排下来，每一步交出的东西都不一样。

意见不一致时怎么处理

先分清两类分歧。随机分歧：同一评委对同一回答两次打分都不一样，说明题目或标准太模糊，该改标尺。系统分歧：评委之间稳定地差出方向，比如有人整体偏严，这类用归一化处理或按统一锚点校准。真正的裁决流程是：分歧超阈值的条目进入仲裁队列，由两人以上复评，仍无法收敛的标注为「无共识」，宁可不采分，也不硬凑一个数字。分歧率本身就是健康指标，长期偏高的批次说明细则有洞。

人评排期检查单

• 回答全部匿名，左右位置随机调换
• 评前培训与试评对齐，样题留档
• 独立评审期间禁止交流分数
• 分歧条目走仲裁，结论回写细则

人评与机器评测的分工

人评贵，要花在刀刃上：开放题的最终裁决、新题库的标尺建立、裁判模型的校准参照，这三处离不开人。大批量筛选、客观题打分、日常回归这类活儿交给机器。两者衔接的关键是定期对表：抽一批人评结果与机器结果比对，偏差扩大就重新校准。人评建立的标尺若要交给模型执行，需先过裁判模型校准；标尺本身的成文规则见评分细则，题目源头的设计逻辑见开放题参考答案。当人评结论要与对战成绩互相印证时，Elo 体系的数据基础可参考Elo 计算。

评委本身的选拔和培训同样重要。评委要熟悉目标场景——让没写过代码的人评代码回答，评出来的只是表面工整度；培训要用真实样例反复对齐，直到评委对边界案例的判断收敛。排期上还有个实用技巧：把最难的题目排在评委状态较佳的时段，并在每批之间安排休息，疲劳状态下的一致性会断崖式下跌。人评是重人力的活儿，把人力花在刀刃上的前提，是先保护好这些刀刃。

关于人工评测流程的三个常问问题

• 几个评委才够？：每条回答至少两人独立评，关键批次三人以上，人数多少要与一致性指标联动看。
• 评委疲劳会毁掉数据吗？：会，单次评审时长要设上限，批次之间强制休息，疲劳期数据宁可作废。
• 人评结果能直接对外发布吗？：可以，但要附上人数、一致性指标和盲评说明，缺了这些的人评分数说服力有限。