PPO算法

深入理解近端策略优化算法在RLHF中的应用，掌握PPO训练的核心技术。PPO原理：策略梯度 + 重要性采样；PPO目标函数：裁剪目标、KL约束；PPO训练流程：采样、评估、更新；PPO超参数：裁剪参数、KL系数、学习率；PPO优化技巧：GAE、值函数裁剪。