如何用预训练语言模型检查点热启动 Encoder-Decoder 模型

Hugging Face 发布教程，介绍如何用 BERT、GPT2 等预训练检查点热启动 encoder-decoder 模型，从而跳过昂贵的预训练阶段。该方法基于 Rothe 等人 2020 年的论文，在多个序列到序列任务上以极低训练成本达到与 T5、Pegasus 等大型预训练 encoder-decoder 模型相当的效果。