裁判模型是怎么校准的？内部门道在这

让大模型给大模型打分，能省下成吨的人力，但裁判自己也会偏：偏爱长回答、偏爱某种句式、甚至偏爱自己同类写出来的风格。裁判模型校准就是把它的评分习惯拉回正轨的过程，这门手艺决定着大规模 AI 评测能不能又快又准。

裁判为什么会偏

偏好来自三处。训练数据的痕迹：裁判模型读过的文本决定了它的审美，行文工整、结构漂亮的回答天然讨喜，哪怕内容空洞。位置效应：两个回答放一起比，摆在前面的更容易被选中，这是位置偏见。自我偏爱：裁判模型倾向给与自己风格相近的回答高分，同类之间惺惺相惜。还有一个隐蔽问题：裁判对「正确但啰嗦」和「简洁但遗漏」的取舍没有稳定标准，同一道题今天判 A 明天判 B。这些偏好单条都不致命，叠加起来却足以让两个本应持平的模型差出可观的分数。

校准的具体做法

四板斧按顺序上。第一换位置重评：同一对回答正反各评一次，结论不一致的丢弃或复评，消掉位置偏见。第二改细则为指令：把评分细则转成裁判的系统指令，等级描述带示例，让裁判有据可依。第三温度收低：采样参数调到接近确定性，压住评分抖动。第四难度分层抽检：对裁判大量放行，对高分段和低分段的边缘样本重点复核。DeepSeek 与通义千问的公开评测材料都提及过位置对调与细则化提示这两招，属于行业通行做法。

四板斧按顺序上，每一斧压住一种偏差。

与人评结果对表

校准到什么程度算好？标准只有一个：和人评对得上。做法是抽几百对样本，让裁判与多名人类评委独立打分，算两者的吻合度；吻合度达标，裁判才能上岗批量打分。对表不能一劳永逸——换题库、换裁判版本、换被测模型类型，都要重新对一轮。这份作为基准的人评数据怎么组织，流程细节可参考人工评测流程；人评所依据的规则文本，正是评分细则的用武之地，细则写不清，裁判学到的就是一团浆糊。

裁判校准检查单

• 成对比较正反位置各评一次再合并
• 评分指令带等级描述与真实示例
• 定期与人评样本对表，吻合度达标才放量
• 换题库或换版本后重新校准

校准管不到的地方

三处盲区要靠人兜底。极长回答的完整阅读：裁判对超长文本容易「扫读」，漏掉中段错误。专业深水区：冷门领域的对错判断超出裁判能力，宁可人评。被应试化的回答风格：若被测模型学会了讨好裁判的写法，分数会失真，这类痕迹与刷分同源。校准后的裁判评分仍有抖动，解读时要结合评测方差看波动范围；裁判大量产出对战数据用于排名时，数据的聚合口径另有专门机制处理。一句话总结：裁判模型是放大器，人评是基准源，放大器再好，也得定期和基准源对零点。

校准工作也有节奏讲究。新题库上线前校准一轮，大版本换模型后校准一轮，其余时间按固定频率抽检即可，不必每次评测都全套走一遍。抽检样本要覆盖各种难度和题型，只抽简单题的对表会高估裁判水平。校准记录要留档：哪一版裁判、对着哪一批人评数据、吻合度多少，这些档案能帮助判断分数漂移究竟出在被测模型还是裁判本身，省下大量无效追查。

换个问法再问裁判模型校准三句

• 裁判模型越强校准越容易吗？：强裁判判断力好，但偏好也更顽固，关键仍在指令质量与对表频率，而非单纯的模型档位。
• 裁判能评自己的输出吗？：要避免，自我偏爱最重，同源模型既当裁判又当选手的榜单要整体存疑。
• 对表达标后为什么还会漂移？：被测模型的文风在变，裁判的相对位置随之移动，所以校准是持续动作而非一次性工程。