Hugging Face Blog·· 2022-09-16精选AI 评分62
用 DeepSpeed 和 Accelerate 实现极快的 BLOOM 推理
Incredibly Fast BLOOM Inference with DeepSpeed and Accelerate
AI 导读
Hugging Face 发布教程，介绍如何用 DeepSpeed-Inference、Accelerate 和 DeepSpeed ZeRO 为 176B 参数的 BLOOM 模型做快速推理。
推荐理由
文章给出 BLOOM 176B 在多种并行与量化方案下的实测吞吐与显存占用，可据此选择部署路径。
来源：Hugging Face Blog · huggingface.co