什么是裁判偏好？裁判自己的毛病

AI 裁判打分看起来铁面无私，其实也有自己的毛病：偏爱某种类型的答案、某些位置的表达，这就是裁判偏好。你用智谱清言或文心一言时感受不到它的存在，但榜单名次的悄悄错位，常常就是它干的。

裁判会偏爱什么样的答案

实测里反复出现的偏好有几种：偏爱更长的回答，写得长容易被认为更用心；偏爱条目化、加粗、排比这类工整的格式；偏爱自信果断的语气，哪怕内容一般；先出场的回答也常占便宜，这叫位置偏差。打个比方，裁判像一位偏爱工整卷面的老师，字好看的学生多少占些便宜。类比失效之处在于：老师偏心是稳定的个人习惯，而裁判模型的偏好会随题目类型、回答组合悄悄变化，更难一眼看穿。

偏好从哪里来

根源在于裁判自己也是训练出来的模型：它见过的数据、它被调教时接受的打分示范，都带着倾向。如果裁判在训练时被教着认为「详细即优质」，它就会系统性给长回答加分。偏好并非谁的恶意，而是训练痕迹的自然外露，认清这一点，才不会把责任全推给某一款裁判。

偏好怎么被量出来

常用的测法是构造对照实验：内容相同、只改长度或格式的两个回答交给裁判打分，看它是否系统性偏向某一边；或者交换两个回答的出场顺序，看结果是否跟着位置走。这类实验做下来，偏好的方向和幅度都能估出个数，公开的评测报告里常附这类分析。这类实验的结论大多指向同一个方向：偏好真实存在，幅度可测，且随裁判不同而不同。位置偏差尤其隐蔽：把两个回答调换顺序再评，结论翻转的比例可观，这是对照实验抓出来的经典案例。选裁判时避开与选手同源的模型，能少掉一大截亲缘偏心；公开偏好测试结果也是一招，把裁判的短处亮出来，读榜的人自己会打折。这些偏好单看哪一条都不起眼，叠在一起足以让两份质量相当的回答差出明显分差。同一道题换一款裁判，得分结构就可能变样，这不是玄学，是两套训练痕迹的差别。没有哪种校正手段能一劳永逸，组合使用、定期复测才是常态，校正之后还要再测一遍确认效果，改了规则不验证，等于没改。毛病不致命，不知道它有毛病才致命；裁判也要被裁判，这才是评测成熟的样子。

把偏好关进笼子的办法

校正手段大致四类：评分规则里明确写出「长度不计入优劣」之类的硬约束；交换位置各评一次取平均，抵消位置偏差；多个裁判模型投票，稀释单一偏好；定期用人工标注校准裁判。裁判本身的工作机制见什么是 AI 裁判？用模型评模型，它直接影响对战成绩的统计，见什么是胜率？两两对比的战绩，看完就会判断。偏好被放大后还会牵动价值观类评测的公正性，见什么是对齐评测？价值观的考卷，通俗版解释。

四类校正手段各管一种毛病，配错了等于没改。

裁判偏好速查表

• 常见偏好：偏长、偏工整格式、偏自信语气、偏先出场。
• 测法：只改一个变量的对照实验。
• 校正：硬约束、位置对调、多裁判投票。

读机器评分的榜单前，先想想裁判有没有被校准过。

偏好不可根除，只能被看见。看见它的存在，你就不会把裁判的口味当成模型的实力——这一层想明白，你读榜单时已经比多数人清醒。

换个问法再问裁判偏好三句

• 人工评审有没有类似偏好？：有，人也会偏长、偏工整，只是形式不同，两者都要靠流程设计来拉平。
• 偏好能完全消除吗？：目前做不到，只能测量、公开并设法抵消。
• 它和模型抗干扰能力是一回事吗？：不是一回事，考模型自身稳定性的思路见什么是鲁棒性评测？抗干扰能力，别再混淆了。