Hugging Face Blog·· 2020-02-14精选AI 评分62
如何用 Transformers 和 Tokenizers 从零训练一个新语言模型
How to train a new language model from scratch using Transformers and Tokenizers
AI 导读
Hugging Face 发布教程，演示如何用 transformers 和 tokenizers 库从零训练一个 84M 参数的小型语言模型 EsperBERTo，并在世界语上完成预训练与词性标注微调。
推荐理由
以世界语为例完整走通从零预训练到下游微调的流程，可迁移到其他低资源语言。
来源：Hugging Face Blog · huggingface.co