让大模型给大模型打分，听起来公平，「AI 裁判很客观」的想法却经不起推敲。错在哪？裁判模型也是训练出来的，带着自己的偏好：偏爱长答案、熟悉的措辞、工整的结构。正确做法是把裁判当工具而非法官，人机结合打分，并定期给裁判做校准。
先看三个可观察的漏洞：其一，长度偏好，同样的内容写得更长更容易拿高分；其二，风格偏好，裁判对某些表达方式表现出系统性偏袒；其三，自我偏好，裁判给同家族模型的回答打分偏高，这类现象在多项公开研究里都被记录过。
自我偏好值得单独展开：让同一家族的模型既当裁判又当选手，偏心几乎是结构性的——它们共享训练语料与表达习惯，天然互有好感。规避办法很直白：裁判与选手异源，评测报告里注明裁判是哪家，读者自行判断立场；评分维度也尽量拆细，总分越笼统，偏好越容易藏。
顺序效应也有廉价的解法：所有对比都评两轮，第二轮交换回答顺序，取平均。多花一倍机器时间，换掉一大块系统性偏差，这笔账怎么算都划算；评分模板里直接写死「两轮制」，执行就不会走样。
人机分工的边界要写进流程：裁判负责给分与排序，人负责定标准、裁争议、看趋势。人只做机器做不了的事，才不会被几百份回答淹没；机器只做人放权的事，才不会越界变成终审。
校准频率建议：裁判或被评模型任何一方换版本时，立刻跑一次校准集；平时每月抽二十题人工复核。校准集要覆盖长答案、代码、对话等易偏题型，偏心往往就藏在这些地方。
最后给裁判一个定位：它是放大镜，放大人工看不过来的量；不是标尺，标尺仍要人来做。
裁判模型的偏好从哪来
裁判由语料训练而来，语料里的高分范文塑造了它的口味；指令微调又让它倾向详尽、礼貌、结构化的回答。这些偏好不等于错误，但会让某些风格的回答系统性吃亏或占便宜。
三个可观察的偏心现象
把同一答案扩写一倍再送评，分数常不降反升；把两个回答的顺序匿名互换，分数随之波动；裁判评价自家改写稿时格外宽容。三件事都可以自己复现，复现完你就不敢只信裁判了。
| 偏心现象 | 怎么复现 | 会造成什么偏差 |
|---|---|---|
| 长度偏好 | 把同一答案扩写一倍再送评，看分数升不升 | 啰嗦但信息量没变的回答占便宜，简洁的被压分 |
| 顺序效应 | 把两个回答匿名互换顺序再评一次，看结论稳不稳 | 排在前面或后面的回答被系统性偏袒 |
| 自我偏好 | 让裁判评自家改写稿，与评别家稿对照 | 同家族模型的回答打分偏高，横向比较失真 |
正确做法：人机结合评分
裁判初筛加人工抽查是性价比最高的组合：裁判把几百份回答分档，人只复核档位边界上的样本。再配一条纪律——裁判与被评对象尽量不同源，比如用智谱清言当裁判去评即梦AI 生成的文案和另一家的改写稿，回避自我偏好。
给裁判做校准
定期抽一小批样本做人工评分，与裁判分数对比，偏移大了就调整评分提示词或更换裁判。校准记录留档，裁判换版本时还能对比前后一致性。
把整篇收进一句话：裁判模型的价值在规模化，人的价值在定标准，两者各守各的边界，评测就又快又稳。边界一乱，要么慢，要么偏，通常两个都占。
相关阅读：「评测一次就够」错在哪？通俗版解释讲重测节奏，「差 0.5 分就是有差距」错在哪？讲分数波动，还有「自己测的不算数」错在哪？新手版入门、「评测集越大越好」错在哪？别再混淆了与「不同语言的分数能直接比」错在哪？。
自查清单
- 裁判与被评模型是不是同一家？
- 交换顺序重评过吗？
- 人工校准最近一次是什么时候？
末句提醒：裁判可以打草稿，判词要人来签。
换个问法再问AI裁判客观性三句
- 裁判模型还能用吗？：能用，放在初筛和分档上，别让它独自终审。
- 评分顺序有影响吗？：有，互换顺序重评是最低成本的去偏手段。
- 什么时候必须人工判分？：档位边界、争议样本和首次引入新题型时。
