ML 铅笔手稿：从 BERT 到 GPT 的预训练范式之争

科普系列第 14 期对比了 BERT 与 GPT 两条预训练路线：BERT（Encoder-only）用掩码语言模型做双向理解，GPT（Decoder-only）用下一词预测做自回归生成。文章指出无监督预训练让模型从海量文本自建训练目标，使标注数据从"必需品"变为"调味品"，下游任务仅需少量微调甚至零样本调用，Scaling Law 则带来能力涌现。