1. PPO 在 RLHF 里到底是干什么的在 RLHF 里我们通常已经有了一个经过 SFT 的模型。这个模型已经比较会回答问题了但还不一定最符合人类偏好。于是我们再训练一个奖励模型 Reward Model让它模仿人类判断这个回答好不好然后 PPO 做的事情就是让当前大模型不断生成回答再让奖励模型打分。如果回答分数高就提高模型以后生成类似回答的概率如果回答分数低就降低模型以后生成类似回答的概率。但 PPO 不会让模型一下子改得太猛它会限制每次更新的幅度。这就是 PPO 名字里的Proximal意思是“近端的、不要离太远”。2. PPO 的核心直觉你可以把 PPO 想成一个“带安全绳的强化学习微调”。普通强化学习可能会这样只要奖励高就疯狂往那个方向更新。这样很容易出问题比如模型变得极端啰嗦模型学会讨好奖励模型模型输出格式崩坏模型偏离原来的语言能力模型为了高分学出奇怪套路。PPO 的思想是可以朝更高奖励方向更新但每一步不要走太远。就像训练一个学生如果他答得好就鼓励答得不好就纠正但不能一天之内把他的所有表达习惯都彻底推翻。3. PPO 需要理解的几个基础概念3.1 Policy策略模型在 RLHF 中policy就是当前正在训练的大语言模型。它的作用是输入 prompt → 生成回答比如用户请解释 LoRA 模型LoRA 是一种参数高效微调方法……从强化学习角度看模型每生成一个 token都是在做一次“动作选择”。3.2 Action动作在普通强化学习里动作可能是向左走向右走跳跃开火在语言模型里动作就是生成下一个 token。比如模型生成LoRA 是 一 种 参数 高效 微调 方法每一个 token 都可以看作一次动作。3.3 State状态在语言模型里状态可以理解成当前已经看到的上下文。比如模型已经生成了LoRA 是一种那么下一步生成什么 token就取决于当前上下文状态。3.4 Reward奖励在 RLHF 中奖励通常来自奖励模型。模型生成一个完整回答后奖励模型给它打分问题 回答 → 奖励分数例如回答奖励模型评分“LoRA 是低秩适配方法……”8.5“LoRA 是一个很厉害的东西……”4.0PPO 的目标就是让模型更倾向于生成高奖励回答。3.5 Value价值函数PPO 通常是 Actor-Critic 方法。Actor策略模型负责生成回答Critic价值模型负责估计当前状态未来大概能获得多少奖励。价值函数记作V(s)。它表示在状态 s 下预计后面能拿到多少奖励。在 RLHF 中通常会在语言模型后面加一个value head用来预测每个 token 位置的价值。3.6 Advantage优势函数优势函数是 PPO 里非常重要的概念。它大概表示这次实际生成的结果比模型原本预期的好多少公式可以简单理解为A R - V(s)。其中R实际获得的奖励V(s)价值模型原本预计的奖励A优势。如果 A 0说明这次回答比预期好应该增加生成它的概率。如果 A 0说明这次回答比预期差应该降低生成它的概率。4.PPO 在 RLHF 中的完整流程下面是经典 PPO-RLHF 的训练流程。第一步准备 SFT 模型先有一个经过监督微调的模型SFT Model它已经能基本按照指令回答。第二步复制一个 Reference Model把 SFT 模型复制一份作为参考模型Reference Model这个模型不训练保持固定。它的作用是约束当前策略模型不要偏离原来的 SFT 模型太远。第三步准备 Reward Model奖励模型输入prompt response输出一个分数reward score它负责模拟人类偏好。第四步Policy Model 生成回答当前正在训练的模型也就是 policy model会对一批 prompt 生成回答。例如Prompt请解释什么是 PPO ResponsePPO 是一种强化学习算法……第五步奖励模型打分奖励模型给这个回答打分Reward Model(prompt, response) 7.8这个分数代表回答质量。第六步计算 KL 惩罚RLHF 里通常不仅看奖励模型分数还会看当前模型和参考模型的差异。如果当前模型偏离参考模型太远就惩罚它。通常奖励会变成RewardRM_score−β⋅KL(πθ∣∣πref) Reward RM\_score - \beta \cdot KL(\pi_\theta || \pi_{ref})RewardRM_score−β⋅KL(πθ∣∣πref)其中RM_score奖励模型分数πθ当前策略模型πref参考模型KL两个模型输出分布的差异β控制惩罚强度。这个 KL 惩罚非常重要。它防止模型为了骗奖励模型而变得奇怪。第七步计算 advantage用实际奖励和价值模型预测值计算优势A R - V(s)。如果实际奖励比预测高说明这次生成比预期好应该鼓励。如果实际奖励比预测低说明这次生成比预期差应该削弱。第八步用 PPO 更新模型最后用 PPO 的 clipped objective 更新模型参数。实际训练时损失函数通常包括三部分Loss Policy Loss Value Loss KL/Entropy Terms。更具体地说部分作用Policy Loss让模型更倾向于高优势回答Value Loss训练价值模型让它更准确预测奖励KL Penalty防止模型偏离参考模型太远Entropy Bonus有时用于鼓励探索避免输出过早僵化5. PPO 中的 KL 和 clipping 有什么区别这是一个很重要的问题。PPO 里有两个“限制模型别变太猛”的机制clippingKL penalty它们很像但不是一回事。5.1clipping 限制的是新旧策略的更新比例PPO 的 clipping 主要限制新旧策略概率比πθ(a|s) / πold(a|s)。也就是当前训练这一步新模型相对于旧模型变化不能太大。它关注的是训练更新的稳定性。5.2KL penalty 限制的是当前模型和参考模型的距离KL penalty 限制KL(πθ|| πref)。也就是当前模型不要偏离 SFT reference model 太远。它关注的是对齐后模型不要走偏。5.3 简单区分机制限制对象目的PPO clipping当前模型 vs 上一轮旧模型防止每次更新太猛KL penalty当前模型 vs SFT 参考模型防止整体偏离原模型太远一句话clipping 管“每一步别迈太大”KL 管“整体别跑太远”。6. PPO 为什么适合 RLHF语言模型和 RLHF 的特点PPO 的对应作用输出是离散 token把每个 token 视为一次动作选择用策略优化调整生成概率最终质量通常要看完整回答用奖励模型对完整回答打分再把整体奖励分配到生成过程人类偏好难以写成标准答案用奖励信号表达偏好而不是只模仿固定参考答案奖励模型给的是整体评价结合 value 和 advantage 判断哪些生成行为值得强化训练容易不稳定用 clipping 限制单次更新幅度用 KL penalty 限制偏离参考模型的程度所以早期 RLHF 里PPO 是非常核心的方法。7. 一个完整例子PPO 如何优化回答假设 prompt 是请用简单的话解释什么是 LoRA。当前模型生成回答 ALoRA 是一种参数高效微调方法它通过训练两个小矩阵来近似模型权重的更新从而减少训练成本。奖励模型给分8.5参考模型认为这个回答也比较自然KL 不大。最终 reward 较高。那么 PPO 会做增加模型以后在类似上下文中生成这类清晰、准确回答的概率。另一个回答 BLoRA 是一种很强大的 AI 技术它可以让模型变得更好。奖励模型给分4.0这个回答空泛信息不足。那么 PPO 会做降低模型以后生成类似空泛表达的概率。但注意PPO 不知道“LoRA 的真实原理”是什么它只是根据奖励信号调整概率。8. PPO 的训练数据是什么PPO 阶段通常不直接用传统的输入 → 标准答案而是用 prompt 集合。例如[{prompt:请解释什么是 LoRA},{prompt:帮我写一封道歉邮件},{prompt:总结下面这段话},{prompt:如何学习机器学习}]然后模型自己生成 response。奖励模型给这些 response 打分。所以 PPO 阶段的数据更像prompt → 模型采样回答 → 奖励模型评分 → PPO 更新而不是单纯模仿标准答案。9. PPO 和 SFT监督微调 的区别对比项SFTPPO训练目标模仿人工答案最大化奖励模型评分数据形式prompt 标准回答prompt 模型自己生成的回答是否需要奖励模型不需要需要是否是强化学习不是是更新依据标准答案 tokenreward 和 advantage风险过拟合示范数据奖励黑客、训练不稳定作用让模型会按指令回答让模型更符合偏好简单说SFT 是“模仿好答案”PPO 是“探索并强化更受偏好的答案”。10. PPO 的可替代策略策略核心思路相比 PPO 的特点DPO直接用偏好数据优化模型让被偏好的回答概率高于被拒绝的回答不需要单独训练奖励模型也不需要复杂的在线强化学习流程IPO把偏好学习写成更稳定的目标函数降低过度追求偏好差距的问题训练形式接近 DPO但更强调目标函数稳定性KTO用“好”和“不好”的样本信号训练模型不强依赖成对偏好数据数据组织更灵活适合偏好标注不完整的场景ORPO把监督微调和偏好优化合在一个训练目标中流程更简单适合在 SFT 阶段直接加入偏好约束Rejection Sampling让模型生成多个回答再用奖励模型挑选高分回答继续训练实现简单但探索能力和训练效率通常不如完整策略优化这些方法的共同目标都是让模型更符合人类偏好。区别在于PPO 采用强化学习方式更新策略而 DPO、IPO、KTO、ORPO 等方法更偏向直接用偏好数据构造训练目标。11. PPO 的主要风险11.1 奖励黑客模型可能不是学会真正变好而是学会骗奖励模型。比如奖励模型偏好长回答模型就疯狂变长。11.2 训练不稳定PPO 比 SFT 难调很多。可能出现reward 上升但实际效果下降KL 爆炸输出变得模式化模型重复生成语言能力退化。11.3 过度优化奖励模型奖励模型本身不完美。如果 PPO 优化太久模型可能越来越适应奖励模型的漏洞而不是真正符合人类偏好。11.4 对超参数敏感尤其是学习率太大KL 惩罚太小reward scale 不合理rollout 数据质量差。这些都会让训练崩掉。12. 一句话总结 PPOPPO 是一种稳定的策略优化算法在 RLHF 中它让语言模型通过奖励模型的反馈逐步提高生成高质量回答的概率同时用 clipping 和 KL 约束防止模型更新过猛、偏离原来的 SFT 模型。
PPO 原理与应用
1. PPO 在 RLHF 里到底是干什么的在 RLHF 里我们通常已经有了一个经过 SFT 的模型。这个模型已经比较会回答问题了但还不一定最符合人类偏好。于是我们再训练一个奖励模型 Reward Model让它模仿人类判断这个回答好不好然后 PPO 做的事情就是让当前大模型不断生成回答再让奖励模型打分。如果回答分数高就提高模型以后生成类似回答的概率如果回答分数低就降低模型以后生成类似回答的概率。但 PPO 不会让模型一下子改得太猛它会限制每次更新的幅度。这就是 PPO 名字里的Proximal意思是“近端的、不要离太远”。2. PPO 的核心直觉你可以把 PPO 想成一个“带安全绳的强化学习微调”。普通强化学习可能会这样只要奖励高就疯狂往那个方向更新。这样很容易出问题比如模型变得极端啰嗦模型学会讨好奖励模型模型输出格式崩坏模型偏离原来的语言能力模型为了高分学出奇怪套路。PPO 的思想是可以朝更高奖励方向更新但每一步不要走太远。就像训练一个学生如果他答得好就鼓励答得不好就纠正但不能一天之内把他的所有表达习惯都彻底推翻。3. PPO 需要理解的几个基础概念3.1 Policy策略模型在 RLHF 中policy就是当前正在训练的大语言模型。它的作用是输入 prompt → 生成回答比如用户请解释 LoRA 模型LoRA 是一种参数高效微调方法……从强化学习角度看模型每生成一个 token都是在做一次“动作选择”。3.2 Action动作在普通强化学习里动作可能是向左走向右走跳跃开火在语言模型里动作就是生成下一个 token。比如模型生成LoRA 是 一 种 参数 高效 微调 方法每一个 token 都可以看作一次动作。3.3 State状态在语言模型里状态可以理解成当前已经看到的上下文。比如模型已经生成了LoRA 是一种那么下一步生成什么 token就取决于当前上下文状态。3.4 Reward奖励在 RLHF 中奖励通常来自奖励模型。模型生成一个完整回答后奖励模型给它打分问题 回答 → 奖励分数例如回答奖励模型评分“LoRA 是低秩适配方法……”8.5“LoRA 是一个很厉害的东西……”4.0PPO 的目标就是让模型更倾向于生成高奖励回答。3.5 Value价值函数PPO 通常是 Actor-Critic 方法。Actor策略模型负责生成回答Critic价值模型负责估计当前状态未来大概能获得多少奖励。价值函数记作V(s)。它表示在状态 s 下预计后面能拿到多少奖励。在 RLHF 中通常会在语言模型后面加一个value head用来预测每个 token 位置的价值。3.6 Advantage优势函数优势函数是 PPO 里非常重要的概念。它大概表示这次实际生成的结果比模型原本预期的好多少公式可以简单理解为A R - V(s)。其中R实际获得的奖励V(s)价值模型原本预计的奖励A优势。如果 A 0说明这次回答比预期好应该增加生成它的概率。如果 A 0说明这次回答比预期差应该降低生成它的概率。4.PPO 在 RLHF 中的完整流程下面是经典 PPO-RLHF 的训练流程。第一步准备 SFT 模型先有一个经过监督微调的模型SFT Model它已经能基本按照指令回答。第二步复制一个 Reference Model把 SFT 模型复制一份作为参考模型Reference Model这个模型不训练保持固定。它的作用是约束当前策略模型不要偏离原来的 SFT 模型太远。第三步准备 Reward Model奖励模型输入prompt response输出一个分数reward score它负责模拟人类偏好。第四步Policy Model 生成回答当前正在训练的模型也就是 policy model会对一批 prompt 生成回答。例如Prompt请解释什么是 PPO ResponsePPO 是一种强化学习算法……第五步奖励模型打分奖励模型给这个回答打分Reward Model(prompt, response) 7.8这个分数代表回答质量。第六步计算 KL 惩罚RLHF 里通常不仅看奖励模型分数还会看当前模型和参考模型的差异。如果当前模型偏离参考模型太远就惩罚它。通常奖励会变成RewardRM_score−β⋅KL(πθ∣∣πref) Reward RM\_score - \beta \cdot KL(\pi_\theta || \pi_{ref})RewardRM_score−β⋅KL(πθ∣∣πref)其中RM_score奖励模型分数πθ当前策略模型πref参考模型KL两个模型输出分布的差异β控制惩罚强度。这个 KL 惩罚非常重要。它防止模型为了骗奖励模型而变得奇怪。第七步计算 advantage用实际奖励和价值模型预测值计算优势A R - V(s)。如果实际奖励比预测高说明这次生成比预期好应该鼓励。如果实际奖励比预测低说明这次生成比预期差应该削弱。第八步用 PPO 更新模型最后用 PPO 的 clipped objective 更新模型参数。实际训练时损失函数通常包括三部分Loss Policy Loss Value Loss KL/Entropy Terms。更具体地说部分作用Policy Loss让模型更倾向于高优势回答Value Loss训练价值模型让它更准确预测奖励KL Penalty防止模型偏离参考模型太远Entropy Bonus有时用于鼓励探索避免输出过早僵化5. PPO 中的 KL 和 clipping 有什么区别这是一个很重要的问题。PPO 里有两个“限制模型别变太猛”的机制clippingKL penalty它们很像但不是一回事。5.1clipping 限制的是新旧策略的更新比例PPO 的 clipping 主要限制新旧策略概率比πθ(a|s) / πold(a|s)。也就是当前训练这一步新模型相对于旧模型变化不能太大。它关注的是训练更新的稳定性。5.2KL penalty 限制的是当前模型和参考模型的距离KL penalty 限制KL(πθ|| πref)。也就是当前模型不要偏离 SFT reference model 太远。它关注的是对齐后模型不要走偏。5.3 简单区分机制限制对象目的PPO clipping当前模型 vs 上一轮旧模型防止每次更新太猛KL penalty当前模型 vs SFT 参考模型防止整体偏离原模型太远一句话clipping 管“每一步别迈太大”KL 管“整体别跑太远”。6. PPO 为什么适合 RLHF语言模型和 RLHF 的特点PPO 的对应作用输出是离散 token把每个 token 视为一次动作选择用策略优化调整生成概率最终质量通常要看完整回答用奖励模型对完整回答打分再把整体奖励分配到生成过程人类偏好难以写成标准答案用奖励信号表达偏好而不是只模仿固定参考答案奖励模型给的是整体评价结合 value 和 advantage 判断哪些生成行为值得强化训练容易不稳定用 clipping 限制单次更新幅度用 KL penalty 限制偏离参考模型的程度所以早期 RLHF 里PPO 是非常核心的方法。7. 一个完整例子PPO 如何优化回答假设 prompt 是请用简单的话解释什么是 LoRA。当前模型生成回答 ALoRA 是一种参数高效微调方法它通过训练两个小矩阵来近似模型权重的更新从而减少训练成本。奖励模型给分8.5参考模型认为这个回答也比较自然KL 不大。最终 reward 较高。那么 PPO 会做增加模型以后在类似上下文中生成这类清晰、准确回答的概率。另一个回答 BLoRA 是一种很强大的 AI 技术它可以让模型变得更好。奖励模型给分4.0这个回答空泛信息不足。那么 PPO 会做降低模型以后生成类似空泛表达的概率。但注意PPO 不知道“LoRA 的真实原理”是什么它只是根据奖励信号调整概率。8. PPO 的训练数据是什么PPO 阶段通常不直接用传统的输入 → 标准答案而是用 prompt 集合。例如[{prompt:请解释什么是 LoRA},{prompt:帮我写一封道歉邮件},{prompt:总结下面这段话},{prompt:如何学习机器学习}]然后模型自己生成 response。奖励模型给这些 response 打分。所以 PPO 阶段的数据更像prompt → 模型采样回答 → 奖励模型评分 → PPO 更新而不是单纯模仿标准答案。9. PPO 和 SFT监督微调 的区别对比项SFTPPO训练目标模仿人工答案最大化奖励模型评分数据形式prompt 标准回答prompt 模型自己生成的回答是否需要奖励模型不需要需要是否是强化学习不是是更新依据标准答案 tokenreward 和 advantage风险过拟合示范数据奖励黑客、训练不稳定作用让模型会按指令回答让模型更符合偏好简单说SFT 是“模仿好答案”PPO 是“探索并强化更受偏好的答案”。10. PPO 的可替代策略策略核心思路相比 PPO 的特点DPO直接用偏好数据优化模型让被偏好的回答概率高于被拒绝的回答不需要单独训练奖励模型也不需要复杂的在线强化学习流程IPO把偏好学习写成更稳定的目标函数降低过度追求偏好差距的问题训练形式接近 DPO但更强调目标函数稳定性KTO用“好”和“不好”的样本信号训练模型不强依赖成对偏好数据数据组织更灵活适合偏好标注不完整的场景ORPO把监督微调和偏好优化合在一个训练目标中流程更简单适合在 SFT 阶段直接加入偏好约束Rejection Sampling让模型生成多个回答再用奖励模型挑选高分回答继续训练实现简单但探索能力和训练效率通常不如完整策略优化这些方法的共同目标都是让模型更符合人类偏好。区别在于PPO 采用强化学习方式更新策略而 DPO、IPO、KTO、ORPO 等方法更偏向直接用偏好数据构造训练目标。11. PPO 的主要风险11.1 奖励黑客模型可能不是学会真正变好而是学会骗奖励模型。比如奖励模型偏好长回答模型就疯狂变长。11.2 训练不稳定PPO 比 SFT 难调很多。可能出现reward 上升但实际效果下降KL 爆炸输出变得模式化模型重复生成语言能力退化。11.3 过度优化奖励模型奖励模型本身不完美。如果 PPO 优化太久模型可能越来越适应奖励模型的漏洞而不是真正符合人类偏好。11.4 对超参数敏感尤其是学习率太大KL 惩罚太小reward scale 不合理rollout 数据质量差。这些都会让训练崩掉。12. 一句话总结 PPOPPO 是一种稳定的策略优化算法在 RLHF 中它让语言模型通过奖励模型的反馈逐步提高生成高质量回答的概率同时用 clipping 和 KL 约束防止模型更新过猛、偏离原来的 SFT 模型。
