预训练模型对齐鸿沟与微调方法演进

2026年10月12日，BestBlogs.dev 发布一篇关于预训练模型对齐问题的技术文章。文章指出，预训练模型的目标是下一词预测，这与用户期望的听懂指令之间存在对齐鸿沟。为弥合这一鸿沟，业界采用多种方法：指令微调通过将任务统一为指令-回答格式进行监督微调，代表工作包括 FLAN 和 InstructGPT；RLHF 则先用人类偏好训练奖励模型，再以 PPO 强化学习并加入 KL 惩罚；2023 年出现的 DPO 则直接用偏好数据优化策略，更为轻量。文章梳理了从指令微调到 RLHF、再到 DPO 的技术演进脉络。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。