RLHF 的三个阶段是怎么串起来的？

大模型对齐人类偏好的 RLHF，三个阶段像一条流水线，环环相扣。第一阶段采集人类偏好，第二阶段训练奖励模型，第三阶段用奖励信号优化策略模型。三步走完，模型从“会说话”变成“说得合人心意”，这套流程至今是对齐训练的代表方案。

三个阶段怎么衔接

先看整体流向。进来的是 prompts 和模型的多版本回答。第一阶段里，标注员对同一问题的多个回答排序，形成偏好数据出去。第二阶段里，这些排序数据训练出一个能打分的奖励模型。第三阶段里，策略模型生成回答，奖励模型打分，分数回传调整策略，循环往复直到收敛。

三阶段的衔接处各有一次数据形态转换。第一次是回答变排序，人写的文字变成可计算的偏好。第二次是排序变分数，排序数据变成奖励模型的参数。第三次是分数变梯度，打分变成策略模型的更新信号。奖励模型怎么训出来是中间那道转换的关键。

三个阶段各管一段，进来什么、做什么、出去什么，差别在这几列。

第一步：采样人类偏好

这一阶段的核心动作是收集排序。给标注员同一个问题和两三个候选回答，让他们排个高低，再写一句排序理由。进来的是 prompts 和候选池，发生的是人工比较和打分，出去的是成对的偏好数据，谁比谁好的那种。

采样质量取决于覆盖。问题要铺开到各类场景，回答要拉开质量差距，太接近的两个回答排不出信息量。众包标注常在这个阶段入场，标注规范则负责让不同人的排序口径一致。

第二步：训练奖励模型

第二阶段把排序变成分数。进来的是成对偏好数据，发生的是奖励模型的训练：给定问题和回答，输出一个标量分数，让人类更偏爱的回答拿到更高分。出去的是一个可复用的打分器，从此任何回答都能换成数字。

奖励模型学的是相对关系而非固定分值。它不回答“这段值几分”，只回答“A 和 B 谁更好”，这正是偏好数据的形态决定的。训练稳定的打分器是对齐的地基，分数漂移会让第三阶段失去方向，DPO 路线干脆绕开了这一层。

第三步：用奖励信号优化策略

第三阶段是策略模型的练兵。进来的是新 prompts，策略模型生成回答，奖励模型实时打分，分数连同约束项一起构成优化目标。发生的是策略更新：让模型倾向于生成高分回答。出去的是更新后的策略模型，以及一轮新的采样数据。

这个阶段要防跑偏。只看奖励分数，模型很快学会说漂亮话，内容却空洞，业内叫奖励黑客。做法是加约束项，比如限制新旧模型的偏离幅度，或加一个惩罚项压制投机行为，训练稳定性手段在这里同样要用上。

流程的代价与简化

RLHF 的链条长，每阶段都可能掉链子：偏好数据有噪声，奖励模型有偏差，策略优化有波动。后来出现的简化路线，核心思路都是缩短链条，比如直接用偏好数据训策略模型，跳过奖励模型这一层。

对使用者来说，这套流程的存在感体现在模型的手感上。Kimi 和 DeepSeek 在对话风格上的差异，很大程度上来自各自对齐阶段的选择。理解三阶段的意义在于：评价一个模型的回答质量时，你知道该区分是能力问题，还是偏好对齐问题。

速查表：RLHF 三阶段=采偏好、训奖励模型、优化策略；每阶段一次数据形态转换；最大风险是奖励黑客，靠约束项压制。

聊聊 RLHF 流程的常见疑问

• 为什么需要奖励模型这一层？因为人类不可能实时给每个回答打分，奖励模型把偏好固化成可规模调用的打分器。
• 三个阶段必须串行吗？大致串行，但可以多轮迭代，后一轮的失败案例会回流成新一轮的偏好数据。
• RLHF 会让模型变保守吗？可能，偏好数据若偏重安全稳妥，模型会倾向少说，需要在数据里保留多样表达。