机器学习面试指南：RLHF 核心三步与机制拆解

RLHF 训练被拆解为监督微调（SFT）、奖励模型训练与 PPO 策略强化三大阶段：模型先通过人工示范掌握基础格式与语气，再用偏好数据训练自动奖励模型，最后在 KL 散度约束下用强化学习加强高分表达。DPO 作为轻量替代方案省去显式奖励模型，直接基于偏好数据优化，跳过 PPO 循环以降低工程复杂度。