对齐评测的主观性是怎么降的？过程拆开看

通义千问的回答算不算有帮助，Kimi 的语气算不算得体，这类对齐评测没有唯一标准答案，主观性天生就高。对齐评测的主观性是怎么降的？行业里靠一套组合手段：细则、背靠背、一致性校验、成对比较，逐层把评审者的随意性挤出去。

主观题为什么难判

同一个回答，有人觉得详尽，有人觉得啰嗦；有人在意语气，有人只看事实对错。评审者带着各自的偏好打分，分数里混进了大量与模型无关的噪声。机制上要做的，是把「好回答」的判断从个人直觉迁移到公共标准上，让不同评审者对同一份回答给出接近的结论。

把直觉迁移到标准上的过程，说白了就是给「好」下操作定义。以「有帮助」为例，可以拆成：是否解决了提问者的真实问题、是否提供了可执行的下一步、是否在能力边界内作答。拆完之后，评审者面对的不再是抽象印象，而是三道具体小题。这个拆解还会暴露一个副作用：不同维度的权重怎么排，本身又是一个主观决定，所以要连权重一起写进细则并说明理由，让主观性有迹可循。细则每修订一次都记版本号，跨版本的分数不可直接比较，这一点要在成绩发布时注明。

评分细则写多细才够用

细则要落到可勾选的条目：事实是否准确、是否按要求格式、有没有拒绝不该拒绝的请求，每条独立打分。写「整体好不好」这种笼统标准等于没写；写「出现一处事实错误扣一分，累计上限三分」才有执行力。细则本身也要试评校准，拿一批样本试打，发现条款歧义就修订。

同一套细则，写到什么程度决定它能被执行到什么程度。

多人背靠背与一致性校验

同一份回答给多位评审者独立打分，事前不通气，事后算一致性：一致率太低说明细则含糊，回头改细则而不是怪评审者。多轮对话类题目要在稳定环境里采集回答，环境搭法见Agent评测环境。评审者与被测模型没有利益关联也很要紧，若用模型当评审员，就得防它偏袒同门，并做留档复核，这与安全题库维护中的留档思路相通。

成对比较怎样更稳

让评审者在两个回答里二选一，比逐题打分稳得多——人对「哪个更好」的判断远比「打几分」可靠。成对结果再汇总成排名，还能顺带暴露细则漏洞。评审材料若混入训练过的样本，结论同样失真，污染话题见题目污染；成对比较的结果还可能被针对性优化钻空子，手法见刷分操作。一个可带走的判断：主观性压不灭，但可以被流程管住。

成对比较还有位置效应：评审者倾向偏爱排在前面的回答，把同一对回答调换顺序再评一次，两次结论一致才算稳定样本。这个细节在机制上很关键——它把「评审者偏好某一种风格」与「回答确实更好」区分开来。工程实现时，同一对样本的正反两个顺序各评一遍，成本翻倍，但换来的是对风格偏好的天然免疫，多数严肃评测都愿意付这个成本。

评审者疲劳也是绕不开的因素。人连评几十对之后，判断质量明显下滑，随便选一个交差的情况开始增多。安排上要控制单次评审量，并插入校准样本探针：混入几道已知答案的题目，答错了说明状态不对，这一批结果作废重评。机器评审同样有类似问题，上下文过长时判分质量下降，原理相通，治理手段也相通。

压主观性自查清单

• 细则是否落到可勾选条目？
• 评审者之间是否背靠背？
• 一致率不达标时改细则还是换人？
• 成对比较与分数制结果是否互相印证？

关于对齐主观性的三个常问问题

• 主观性能压到零吗？：压不到，目标只是把它压到不淹没模型间真实差距的程度。
• 用大模型当评审员可行吗？：可行但要防偏袒与立场漂移，需定期用人工标注校准它。
• 细则改了，旧分数还算数吗？：不算，版本变更后要重新评一轮，历史分只能作参考。