人类偏好为什么会有分歧？标注员也不一致

给大模型做人类反馈对齐时，一个常被低估的事实是：标注员对「哪个回答更好」给不出统一答案。同一个问题，A 标注员选简洁版，B 标注员选详尽版，两人都觉得自己选得对。这不是态度问题，而是偏好本身的性质决定的。本文按机制层思路，讲清分歧从哪来、对模型意味着什么、常见处理方式有哪几种。

分歧来源一：任务主观性

第一个来源是任务的主观性。「哪个回答更好」这个问题，答案取决于用途：赶时间时简洁更好，做研究时详尽更好。脱离了使用场景，问题本身就没有唯一解。很多标注指南试图用「有帮助、无害、诚实」三原则裁决，但原则之间也会打架——更诚实的回答可能更冗长，更简洁可能损失信息。

分歧来源二：标注员背景

第二个来源是标注员背景差异。专业背景、年龄段、语言习惯都会渗进判断：程序员偏好带代码示例的回答，教师偏好结构清晰的段落。如果把几十人的偏好直接平均，得到的是一种「平均口味」，对任何具体人群都不算最优。好比同样一个问题，问 Kimi 和问讯飞星火得到的答案风格迥异，哪个更好取决于你当时要什么——没有脱离场景的评判标准。

分歧来源三：指南模糊

第三个来源是指南模糊。指南写「偏好信息丰富的回答」，可「丰富」的边界在哪？有的标注员按字数算，有的按信息密度算。指南留的模糊地带，全部由个人理解填补，分歧随之产生。实践中还常见一种隐性偏差：标注员倾向于选「看起来更认真」的回答，长格式因此占便宜，这给后续的奖励模型埋了隐患。缓解办法是在指南里给正反例：同一条内容，标出「合格」和「不合格」各给几个实例，比抽象描述管用得多。

三种处理方式

分歧对下游的影响是实打实的：偏好数据带噪声，训练出的奖励模型学到的是一种被平均过的口味，模型行为上表现为「对部分人好用，对另一部分人别扭」。常见处理方式有三种。一是多数投票，简单直接，代价是少数派视角被抹掉；二是加权与分层，按标注员在特定领域的可靠性给权重，或在人群分层内各自建模；三是把分歧样本单独标记，送资深审核裁决，而不是硬塞进训练集，这种成本最高但最保真。实际项目里常见组合：主观性低的题型用多数投票快速过，主观性高的题型送审，同时按人群分层看一致率，哪层掉得厉害就回头查那层的指南。

三种处理方式各自让掉什么、适合哪种题型，可以并排看。

实践上更值得做的是从源头减少分歧：把评估指南细化到具体场景，先做小批量试标和一致性检验，分歧率高的题型改指南而不是改标注员。指令数据本身的分布问题，见指令数据的质量怎么判断；偏好噪声被模型利用的极端情况，是奖励作弊；用模型自己参与偏好构造的玩法，见自我训练。还有一层成本问题：送审机制要控制比例，全量送审等于没分层，通常只对分歧率高于阈值的题目开放。

• 主观性：「更好」依赖使用场景，脱离场景没有唯一解
• 背景差：专业与年龄渗进判断，平均口味对谁都不最优
• 指南模糊：原则之间会打架，模糊地带靠个人理解填
• 处理：多数投票、加权分层、分歧样本送审三选一或混用
• 源头：细化指南加试标一致性检验，比换人更管用

关于偏好分歧，问得最多的三个

• 分歧率高一定是坏事吗？：不一定，主观题天然分歧高，先看题型，再看指南是否留了模糊地带。
• 多数投票会损失什么？：少数派视角，比如专业用户的口味，可能被大众口味直接淹没。
• 怎么衡量标注一致性？：常用多人标同题算一致率或相关系数，试标阶段就该测，别等全量标完才发现。