什么是 AI 裁判？用模型评模型，一次讲清

让一个模型当考官，给别的模型打分，听起来像学生互改作业，却是如今评测大模型的主流做法之一，这个考官被称为 AI 裁判。Kimi 和通义千问这类模型都参与过被评或作评的角色，下面按流程把这件事讲清楚。

让模型当考官的流程

典型流程四步：先备题，给出题目和判分标准；再收集各模型的回答；然后把题目、回答、评分规则一起交给裁判模型；最后由裁判输出分数或胜负判断。裁判常见的两种姿势：给单个回答按维度打分，或对两个回答直接判谁更好，后者在对战榜单里更常见。

和人工评审比快在哪

人工评审一批回答要几天，裁判模型几分钟就能跑完，成本还低得多。打分也稳定——不会像人一样早上严苛下午宽松，同一条规则反复执行不走样。打个比方，人工评审像请专家会诊，AI 裁判像自动分拣线：快、便宜、标准统一。类比失效之处：分拣线不会看走眼，而裁判模型自己也会犯错，这是最要紧的差别。成本低还意味着可以反复评：同一批回答换裁判再评一遍，两版结果一对照，裁判靠不靠谱就现形了。不过稳定性是双刃剑，规则里隐藏的偏向也会被同样稳定地执行下去。有的项目还会把裁判的原始评语一并公开，方便外部核对其打分理由站不站得住。换裁判复评是另一个常用验证：换个裁判分数大变，说明原裁判问题不小。流程里规则写得越细，裁判发挥的空间越小，分数就越可复现；只给一句「评一下好坏」，裁判就只能靠感觉。抽检结果通常会写进评测报告，报告里连抽检都没有的，机器分数只能当线索。还有一类是评审成本本就高的长回答，人工只评争议部分，其余交给裁判，各取所长。评测方还会按题目难度选配裁判，简单题用轻量裁判，难题用旗舰裁判，预算与质量各得其所。线索与结论之间，隔着的正是这几道检查。

AI 裁判能信几分

它能信，但要有条件。主要风险有三：偏爱长回答、偏爱华丽措辞；对同一家的模型可能手下留情；遇到超出自身水平的题目，判断力会掉线。所以规范的做法都要配人工抽检：随机抽一部分裁判结果由人复核，偏差明显就调规则或换裁判。裁判的偏向问题已成独立课题，见什么是裁判偏好？裁判自己的毛病。

三种偏差各自的表现和对应的检查手段，一栏对齐。

什么时候必须请人出马

三类场景别全托付给裁判：高水平创作类回答，裁判未必识货；涉及价值观取舍的题目，裁判自身的立场会渗进来，这类考题的思路见什么是对齐评测？价值观的考卷，通俗版解释；红线类行为判断，风险高，最终把关要靠人，相关机制见什么是安全评测？红线测试，新手版入门。对战名次的折算则常用 Elo，见什么是 Elo 等级分？对战的排位，胜负统计口径见什么是胜率？两两对比的战绩，看完就会判断。

AI 裁判自查清单

• 裁判是谁家的模型，和参赛选手有无亲缘关系。
• 评分规则是否公开，输出是分数还是胜负。
• 有没有人工抽检，抽检比例多少。

三条有两条含糊，这份机器评分就先存疑。

三句话总结读法：看裁判是谁、看规则是否公开、看有没有人工抽检。三者齐备，AI 裁判的分数可以放心当参考；缺了哪条，就把它降级成线索而非结论。

关于 AI 裁判的三个常问问题

• 裁判模型会被收买吗？：谈不上收买，但它对特定风格和亲缘模型的偏心是实测存在的，靠抽检和换裁判来压。
• 一个裁判够吗？：重要榜单常用多个裁判模型投票，分歧大的题目转人工。
• 裁判水平不够怎么办？：超出裁判能力的回答会误判，这也是人工抽检存在的理由。