大模型的训练流水线上，监督微调像老师发标准答案，人类反馈强化像评委打分排序。SFT 和 RLHF 差在哪，差在教的方式：一个直接喂样本，一个通过偏好间接引导。两者是流水线上前后脚的两站，目标不同，谁也替代不了谁。
结论先说：教知识用 SFT，调偏好用 RLHF
要让模型学会一件事的正确做法，比如按格式写报告、按步骤解题，用 SFT，因为它学的是具体样本。要让模型在都对的做法里挑更对的那个，比如更礼貌、更简洁、更少冒犯，用 RLHF，因为它学的是比较和偏好。
顺序上基本固定：先 SFT 后 RLHF。没经过 SFT 的模型，输出本身就不成形，偏好排序无从比起；跳过 RLHF 的模型，答案对但可能冗长、生硬或不小心冒犯。讯飞星火和豆包的公开技术分享里，都是这个两段式结构。
一个给标准答案，一个给排序
SFT 的数据是一条条的指令与理想回复。模型照着学，把这种映射内化成习惯。它的优点是目标明确、训练稳定，缺点是答案天花板由标注员决定，标注员没想到的写法，模型也学不到。
RLHF 的数据是一组组候选回答加排序。模型看同一个问题的多个答案，学哪个更好。它的优点是能表达模糊的人类偏好，比如更有用、更无害，这些难以写成标准答案；缺点是流程重，要先训奖励模型，再用强化学习去对齐它，每一步都可能引入偏差。
数据形态与成本
SFT 的数据成本在写：几千到几万条高质量问答，标注员要真的会答题。RLHF 的数据成本在比：同一个问题多个回答两两比较，标注员不用会答，但要有稳定的判断力，样本量通常是 SFT 的一个量级。比较式标注门槛低，量大之后要防疲劳导致的随意点选，质检抽检不能省。
训练成本差得更远。SFT 就是标准的微调，几小时到几天；RLHF 要额外训练奖励模型，再跑强化学习，算力翻几倍，调试也更难，奖励模型一崩，整套跑偏。这阶段的并行策略也要重新规划，数据并行和张量并行的取舍直接影响吞吐。续训与微调的搭配之上，才是这套偏好工程的戏码。
两站的花钱方式不一样，一项一项摊开看。
| 成本项 | SFT | RLHF |
|---|---|---|
| 数据成本 | 在写：几千到几万条高质量问答，标注员要真的会答题 | 在比：同题多答案两两比较，标注员不用会答，样本量通常高一个量级 |
| 标注门槛 | 标注员要会答题 | 不用会答，但要有稳定判断力，量大后要防疲劳随意点选 |
| 训练成本 | 标准微调，几小时到几天 | 先训奖励模型再跑强化学习，算力翻几倍 |
| 调试风险 | 训练稳定，目标明确 | 奖励模型一崩，整套跑偏 |
常见搭配方式
实际项目里的常见组合是：续训补知识，SFT 教规矩，RLHF 或更轻的偏好方法收尾。追求效果上限的会上完整 RLHF，资源有限的会用偏好数据的直接优化方法替代，流程短、门槛低，效果差距在多数场景可以接受。
对普通团队的建议是：先把 SFT 做扎实，偏好问题暴露得够清晰，再决定要不要上强化学习那套。两条强化学习的路怎么挑，可以等到那一步再翻。微调与提示词的分工也要理清，提示词能压住的偏好问题，不必动用 RLHF。评估环节记住一条：SFT 的效果看测试集准确率，偏好对齐的效果看盲评胜率，两套指标别混用。
还有个常见误解要澄清：RLHF 不是让模型变得更聪明，而是让模型的聪明更符合使用者的期待。它会削掉一些刺头的表达，也可能顺带磨平些许棱角，这是偏好对齐的代价。想要能力上限，仍然要靠数据和续训，这套机制只负责把能力包装得更得体。
对照表：SFT 喂标准答案，看测试集准确率；RLHF 喂偏好排序，看盲评胜率；先 SFT 后 RLHF，两套指标别混用。偏好对齐管得体，能力上限靠数据。
SFT 与 RLHF 的三个常问问题
- 没有 RLHF 的模型能用吗？能，多数内部工具 SFT 就够了，偏好问题靠提示词也能压一压。
- RLHF 会让模型学会迎合吗？有风险，奖励模型只爱听好话，模型可能讨好评分而非说实情，要配抗迎合的样本。
- 偏好数据要多少条？通常几千到几万组比较，覆盖主要维度即可，边际回报递减明显。
