Hugging Face Blog·· 2023-03-28AI 评分36
在 Habana Gaudi2 加速器上实现大语言模型快速推理：BLOOMZ 基准测试
Fast Inference on Large Language Models: BLOOMZ on Habana Gaudi2 Accelerator
AI 导读
Hugging Face 发布 BLOOMZ 在 Habana Gaudi2 上的推理基准，176B 参数版本延迟 3.103 秒，比 A100 80GB 快 1.42 倍；BLOOMZ-7B 延迟 0.734 秒，比 A100 快 2.89 倍。
来源：Hugging Face Blog · huggingface.co