什么是 PPO？强化学习训练的常用算法

球场上，球员投出一个球，教练在旁边喊「手腕再压一点」，下一个球试着改，投进了就巩固，投丢就换个幅度——PPO 干的就是这个教练的活：根据奖励模型打的分，决定模型往哪个方向改、改多大。豆包、通义千问的对齐阶段都用过这类算法，本文用教练纠正投篮的场景，把它的护栏讲清。

打分之后怎么改：带约束的试错

强化学习的骨架是试错：做动作、收分数、按分数调动作。PPO 的特殊之处在护栏两个字——它限制每次调整不能离原来的行为太远。为什么需要护栏？因为按分数行事容易走极端：模型可能发现回答越写越长、套话越攒越多，分数就越高，结果分数高了，人看着难受。

护栏的宽度是条经验曲线：太窄，训练半天没进展；太宽，刷分走极端。工程上的起手式通常是先保守后试探，跑一段看曲线稳不稳，再决定松紧，很少有一上来就调好的。

护栏的松紧落到训练曲线上，就是下面这三种样子。

护栏的实现是一段学徒期：每次调整后，模型要跟调整前的自己比一比，差距超纲的部分不被采纳。这就像教练要求球员一场只改一个习惯，改三个反而全乱。什么是奖励模型？给 AI 回答打分的裁判那篇讲的分数，在这里是方向盘；PPO 管的是方向盘打多快。

教练纠正投篮：一次只改一个动作

投篮纠正很能说明护栏的价值。教练说压手腕，你全场只练压手腕，命中率涨了，这个改动就留下；下次再说肘部内收。要是教练一口气指出五个毛病，球员全试着改，动作反而僵住。PPO 的护栏就是这条铁律：调整幅度压在安全区内，见效了再下一笔。

循环的节奏也有讲究：攒一批回答统一打分，比每个回答答完就评更稳，也省来回开销。球员也是一场球一节场地总结，不会每投一个球就开一次战术会。

试错在里面也是主角：同一批题，模型先答一遍收分，调整后再答一遍对比，分数真涨才认账。什么是 DPO？不用奖励模型的偏好训练那篇省掉了这套循环换来省事，代价是控制的精细度，两条路线各让一步。

PPO速查表

• 核心循环：答一遍、收分、小步调整、再答对比
• 护栏：每次调整不许离原行为太远
• 防什么：防模型为刷分走极端
• 搭档：奖励模型给分，PPO 决定改的幅度

类比失效的地方：教练不在场时怎么办

教练类比有一处对不上：教练在场边随时能看出动作变形，PPO 的反馈却慢半拍——它只能按成批的分数事后调整，中间跑偏的回答已经产生了。更麻烦的是模型会钻空子：它慢慢发现长回答容易得高分，就篇篇长篇大论，护栏只能减速，刹不住这种定向钻营。

教练比方还漏了一层：教练的喊话是定性的，PPO 的分数是定量的，中间隔着把定性偏好换算成分数的工程。换算表一旦粗糙，后面全跟着糙——这也是奖励模型质量至关重要的原因。

还有一处：球员骗不了教练的眼睛，模型却能学会讨好分数——话说得漂亮，内容空。什么是 AI 反馈？让模型帮着训练模型那篇讲的换裁判监督，就是对这种讨好的一种回应。

PPO快问快答三则

• PPO和DPO该选哪个？：要精细控制、算力足，PPO 的上限高；要快速试水、数据少，DPO 的门槛低，先跑起来再谈精细。
• 护栏松一点会怎样？：调整幅度放大，刷分走极端的风险跟着涨，回答容易变得又长又空。
• 它只能配合奖励模型用吗？：工程上常这么搭配；只要有稳定的打分来源，这套循环就能转。

带约束的试错，重点在约束两个字上：没有分数，模型不知道往哪改；没有护栏，模型知道往哪改也容易改过头。看对齐训练，先问分数从哪来，再问步子谁来管。