ML 铅笔手稿：预训练模型的对齐鸿沟与指令微调、RLHF、DPO

预训练模型的目标是下一词预测，与用户期望的听懂指令之间存在对齐鸿沟。指令微调通过将任务统一为指令-回答格式做监督微调，如 FLAN 和 InstructGPT；RLHF 用人类偏好训练奖励模型再以 PPO 强化学习并加 KL 惩罚，2023 年的 DPO 则直接用偏好数据优化策略、更轻量。