AI 模型回答同一个问题，可以答得生硬如论文摘要，也可以答得自然像真人聊天——两种都对，但只有一种合用户的口味。让模型从「答得对」走到「答得好」，靠的就是偏好优化：给模型看大量「两个回答哪个更好」的人类判断，让它学着往人类喜欢的方向偏。这篇讲清偏好数据长什么样、口味怎么立成可优化的目标，以及从 RLHF 到 DPO 的思路演进；DPO 的机制细节存量文章已有完整拆解，这里只理脉络。
偏好数据：不给答案，只给高下
偏好优化的原料是偏好数据。每条数据长这样：一个问题，配上两个回答，再附一个人类判断——哪个更好。要留意它与普通训练数据的差别：没有标准答案，只有高下之分。这像教人做菜的一种方式：不给他示范菜谱，而是端上两道菜让他尝，告诉他哪道好吃，久而久之他摸得出「好吃」的门道。数据从哪来？让人类标注者对同一问题的两种回答做比较择优，或者由模型生成初稿、人来把关排序。成对比较比直接打分更可靠——给单个回答打一到十分，不同人的标准飘忽；二选一的高下判断门槛低、分歧少，所以业界普遍用成对比较来收集口味。这类数据的结构与收集方式，偏好数据一篇有专门介绍。
口味立成目标：先养一个裁判
「哪个更好」的判断怎么变成模型的优化方向？主流路线 RLHF 的答案分两步，整体流程见RLHF一篇。第一步，先拿偏好数据训练出一个奖励模型：它读一个问题加一个回答，输出一个分数，分数高代表「更像人类挑中的那个」。这个裁判模型把散落的成对判断压缩成一把统一的尺子，训练它也是 RLHF 流水线里的第一件大事。第二步，让主模型对着这把尺子练习：生成回答、裁判打分、往高分方向调整，反复多轮。口味由此变成了一条可计算的优化目标——模型不必理解「什么叫好」，只需要学会往分数高的地方走。
从 RLHF 到 DPO：裁判可以省掉
RLHF 跑通了口味优化，但流水线长：先养裁判、再训选手，两个模型一起养，训练过程要反复生成、反复打分，工程负担不轻；裁判这把尺子还可能被钻空子——选手学到讨好裁判的捷径，分数涨了、真实质量没涨。DPO 换了思路：既然偏好数据本身就是人类判断，能不能跳过裁判、直接从「哪个更好」推出优化方向？结论是可以——DPO 把成对判断直接翻译成对主模型的参数更新，裁判模型整个省掉，一步到位。这是思路层面的演进：从「先量化口味、再追分数」变成「直接对齐口味」。DPO 的公式与训练细节，见DPO一篇的存量拆解；它与 RLHF 各自的得失对照，见DPO 与 PPO一篇。两条路线至今并存：RLHF 的上限与可控性仍有拥趸，DPO 以省事取胜。
| 对照项 | RLHF | DPO |
|---|---|---|
| 流程 | 先训奖励模型当裁判，再让主模型对着分数练 | 把成对判断直接翻译成对主模型的参数更新，裁判省掉 |
| 优化路径 | 先把口味量化成分数，再追分数 | 直接对齐口味 |
| 工程负担 | 两个模型一起养，反复生成、反复打分 | 一步到位，省事 |
| 现状 | 上限与可控性仍有拥趸 | 以省事取胜 |
偏好优化教不会什么
最后给偏好优化画个边界。它调的是「口味」，不补「知识」：模型不知道的事实，优化多少轮也答不出来，那是预训练与指令微调阶段的事，几个阶段的分工见SFT 与 RLHF一篇。它学的还是标注人群的平均口味：多数派喜欢什么，模型就偏向什么，小众但合理的风格会被压平；标注质量差，模型也会把毛病学进去。还有一层容易误解：偏好优化不改变模型的诚实底色，如果数据里「讨好式回答」总被判优，模型反而学会顺着说。所以数据质量这一关，比算法选型更要紧。想直观体会口味的差别，可以让豆包对同一个问题分别用「教科书风」与「聊天风」各答一遍，再让 DeepSeek 解释为什么成对比较比直接打分更适合收集偏好。
偏好优化速查
- 原料：偏好数据，一个问题两个回答加一个高下判断
- 成对比较比直接打分门槛低，业界普遍采用
- RLHF 两步：先养奖励模型当裁判，再让主模型追分
- DPO 演进：跳过裁判，直接从偏好数据推出优化方向
- 边界：调口味不补知识，学的多是标注人群的平均偏好
关于偏好优化的三问三答
- 偏好数据越多越好吗？：质量比数量更要紧。标注口径前后不一、标注者水平参差，数据越多模型的口味越混乱；干净的成对数据几万条就能见效，脏数据几十万条也白搭。
- DPO 出现后奖励模型就没用了？：并非如此。DPO 省掉的是训练时的裁判，但奖励模型仍是评估回答质量的常用工具，自动化测试与在线评估里都还在用，两者的分工见 DPO 与 PPO 一篇。
- 偏好优化会让模型讨好用户吗？：有这个风险。若数据里顺着用户说的回答总被判优，模型会学到「顺着说比说真话得分高」；靠多样化的标注口径与独立评估把关来压住这个倾向。
