Hugging Face Blog·· 2021-01-19精选AI 评分62
通过 DeepSpeed 和 FairScale 用 ZeRO 装下更大模型并训练更快
Fit More and Train Faster With ZeRO via DeepSpeed and FairScale
AI 导读
Hugging Face 的 transformers v4.2.0 为 Trainer 加入 DeepSpeed 和 FairScale 的 ZeRO 实验性支持，新增 --deepspeed 和 --sharded_ddp 命令行参数。
推荐理由
作者用 t5-large 与 t5-3b 的实测数据对比 FairScale 与 DeepSpeed 的显存与速度收益，可据此判断自己该先试哪种方案。
来源：Hugging Face Blog · huggingface.co