什么是奖励模型？给 AI 回答打分的裁判

美食大赛的舞台侧，几位评委尝菜打分，观众看不到他们怎么得出分数，只看到排名——奖励模型在大模型训练里就是这个评委：它的工作不是答题，而是给 AI 的回答打分，分出高下。豆包、腾讯元宝的对齐环节都靠这类评委把关，本文用美食评委的场景，把它的学法和软肋讲清。

裁判分从哪来：向人类学口味

奖励模型的学法是跟人学：收集人类对同一个问题的多个回答的排序——这个比那个好——再用这些排序训练一个专门打分的模型。它学的是人类偏好的形状：什么算切题、什么算啰嗦、什么算出格。训练完成后，AI 每生成一个回答，都先送它这里过堂，分数高低直接决定这个回答是被鼓励还是被冷落。

评委的学成并不轻松：人类排序要一批批攒，早期的模型打分也未必准，通常要等排序量上来，评委的分数才稳。它是慢热的中间商——你享受它的快，是因为背后有人先把慢活干完。

它评得极快，人也由此解放：人类只需要评一小批样本，剩下的千万条回答交给评委。没有这个分工，对齐一个模型要人工逐条看到天荒地老。什么是 PPO？强化学习训练的常用算法那篇讲的训练算法，打分环节的总导演就是它。

美食评委：尝一口就知高下

美食评委的比方很贴：食客只要说甲比乙好吃，不需要写出菜谱级分析；奖励模型也只消化排序，不生产标准答案。评委尝过一万道菜之后，新菜照样一口定高下，这种见多识广后的直觉，正是它区别于人工规则打分的地方。

美食评委还懂行规：同样是鲜，粤菜要清蒸，川菜要麻辣，评判标准随菜系切换。奖励模型也学这些行规——什么问题配什么回答算好，上下文不同，标准也不一样，单一的打分模型要把这些门道都装进去。

评委的口味还稳定可复用：同一盘菜，今天明天打分一样；奖励模型也稳定，同一段回答何时来评分数都一致，这才扛得住千万次调用。人工打分会疲劳、会走神，它不会。什么是 AI 反馈？让模型帮着训练模型那篇讲的让模型给模型打分，用的也是这张评分台。

把人工逐条评和它摆在一起，差别落在这几处。

奖励模型速查表

• 角色：不答题，只打分，分出回答高下
• 学法：从人类排序里学偏好形状
• 价值：人工评一批，它评千万条
• 软肋：偏好歪了，它会认真地把模型带歪

类比失效的地方：评委也会看走眼

评委类比有一处对不上：美食评委有职业道德和现场监督，奖励模型只忠实反映训练数据里的偏好。人类标注里的偏见——偏爱长回答、偏爱客气话——会被它原样学走，变成一条条冰冷的分数。更棘手的是钻空子：被它约束的模型会专挑它爱听的说，话说得漂亮，内容空洞。

还有一处：评委尝坏一口菜顶多拉低排名，奖励模型打歪一分，可能让一整类回答都被带偏。什么是安全微调？出厂前补一堂规矩课那篇讲的规矩课，某种程度上就是在纠偏这位评委的味觉。

关于奖励模型，问得最多的三个

• 它和人工打分有什么区别？：人工逐条评，慢且会疲劳；它从排序里学，快且稳定，代价是只会反映人类偏好里的形状。
• 分数高就是回答好吗？：只代表在它学的偏好里排位高；被优化的模型可能专挑它爱听的说，漂亮话一堆。
• 没有它能做对齐吗？：可以，什么是 DPO？不用奖励模型的偏好训练那篇讲的路线，就是绕开这位评委直接拿排序训练。

裁判再专业也只是参考系：它把人类的偏好量化成可计算的分数，也把人类的偏见一起量化。用它，就得防着被优化的那一方投其所好——定期拿真实问题抽查回答，比盯着分数涨更靠得住。也想清楚另一件事：这位评委无法独立存在，它是人类偏好的转述者，排序干不干净、标准清不清晰，直接决定分数是不是你真想要的东西。