强化学习 RLHF/RLAIF

深入理解基于人类反馈的强化学习核心原理，掌握RLHF在LLM对齐中的关键作用。RLHF定义：使用人类偏好信号训练语言模型；RLHF三阶段流程：SFT → RM → PPO；人类偏好数据：比较数据、偏好标注；对齐目标：有用性、无害性、诚实性；RLHF优势与局限：可控性 vs 复杂度。

掌握奖励模型训练的核心技术，理解如何将人类偏好转化为可学习的奖励信号。奖励模型定义：学习人类偏好的评分函数；偏好数据收集：成对比较、排序、评分；Bradley-Terry模型：偏好概率建模；RM训练目标：最大化偏好正确率；RM质量问题：过度优化、分布偏移。

深入理解近端策略优化算法在RLHF中的应用，掌握PPO训练的核心技术。PPO原理：策略梯度 + 重要性采样；PPO目标函数：裁剪目标、KL约束；PPO训练流程：采样、评估、更新；PPO超参数：裁剪参数、KL系数、学习率；PPO优化技巧：GAE、值函数裁剪。

掌握直接偏好优化算法，理解DPO如何简化传统RLHF流程。DPO原理：绕过奖励模型的偏好优化；DPO损失函数：偏好分类损失；DPO vs PPO：简化流程、稳定训练；DPO实现细节：数据格式、超参数；DPO扩展：IPO、KTO、ORPO。

理解基于AI反馈的强化学习，掌握如何使用AI替代人类偏好标注。RLAIF定义：使用AI模型提供偏好信号；RLAIF优势：成本降低、规模扩展、一致性；Constitutional AI：基于原则的AI对齐；自我对弈：AI自我批评和改进；RLAIF实践：Claude、Gemini的对齐方法。

掌握RLHF工程实践的最佳经验，避免常见陷阱，提升训练效果。数据质量：偏好数据多样性、标注一致性；训练稳定性：KL约束、梯度裁剪、奖励缩放；超参数调优：学习率、批次大小、PPO参数；评估与监控：奖励曲线、KL散度、人类评估；常见问题：奖励破解、模式崩溃、分布偏移。