什么是人机对比评测？人和机器一起评

评测大模型，一定要机器说了算吗？不一定。让真人参与打分，把人的判断和机器的判断一起纳入成绩单，这就是人机对比评测。你比较豆包和腾讯元宝哪个更对胃口时，依据的许多对战类榜单，背后正是这种人和机器一起评的机制。

人也要进场打分

纯机器判分快而便宜，但真实使用者在意的很多东西——回答顺不顺口、解释贴不贴心、语气讨不讨喜——很难写成死规则。人机对比评测的做法是：让模型两两同题作答，由真人评判哪边更好，或者由人给单个回答按维度打分。打个比方，这像菜品测评：仪器能测出咸度和温度，好不好吃还得人来尝。类比失效之处在于，菜的偏好相对稳定，而人对模型答案的偏好会随任务场景大幅摆动，同一份回答写代码时嫌啰嗦，写文案时嫌干巴。

人打分慢又贵怎么办

全员人工评审成本高，常见折中有三种：抽样评审，只抽一部分结果由人把关；众包评审，把任务拆给大批经过筛选的普通人；混合评审，机器初筛加人工复核。抽样比例和评审员质量，直接决定这份成绩单的可信度——抽检太少，问题答案漏网；评审员太杂，标准就散了。

三种折中方式的做法、代价和适用题型，可以并排对照。

打分的人怎么挑

评审员的背景要和任务匹配：评代码要有工程经验，评文案要懂目标读者。规范的项目还会做一致性检验——同一道题让多人独立评，意见差距太大的题目回炉重评或作废，避免个别评审员把榜单带偏。一致性数据本身也是榜单公信力的一部分，靠谱的榜单会公开它。

机器分和人的分怎么合

两条路线并不互斥：有的榜单用人的对战结果算排位，算法常用 Elo，见什么是 Elo 等级分？对战的排位；胜负本身的统计口径，见什么是胜率？两两对比的战绩，看完就会判断。近年也流行让模型代替人当评审来降低成本，这套机制在什么是 AI 裁判？用模型评模型里有完整展开，它和真人评审的关系正是人机对比的进阶话题。读这类榜单时，先看它把人放在哪个环节：人在终审环节的榜单，通常比纯机器跑分的更贴近体验。两条成绩单打架时，多数项目以人的那条为准做最终定盘。评审员自己也常被考：先给几道已知答案的样题，答对了才有资格上场，报酬与质量挂钩，敷衍打分会被系统识别剔除。人机对比的题目多为开放型：写作、建议、解释，凡是没有标准答案的场合，人的话语权就大。三种折中方式还可以叠加使用，许多榜单按题目类型分配不同的评审组合，长文本交给少数资深评审，短回答交给大池子。同一段回答，不同背景的人给出的名次常不一致，这本身就是评测要量化的东西。评审指南写得越细，评审员之间的分歧越小，这份成绩单的含金量就越高。

人机评测速查表

• 谁来评：真人评审、众包评审或模型裁判，看榜单说明。
• 怎么合：对战算排位，或分维度加权。
• 信不信：看抽样比例、一致性检验与评审员背景。

三项说明写得越清楚，榜单越值得参考。

下一次看到人机评测的排名，不妨先想想：打分的都有谁？是哪些人、多少人、怎么校准过一致？想清这三点，你读榜单的眼光就和大多数读者不一样了。

关于人机对比评测，问得最多的三个

• 真人评审会不会各有所爱？：会，所以要靠多人独立评审加一致性检验来拉平。
• 人和机器的分能直接相加吗？：一般不能直接加，更多是两条成绩单并列看，或者用人对战结果驱动排位。
• 题目保密重要吗？：同样重要，保密题的机制见什么是盲测集？不公开的题目，一个例子讲透。