Hugging Face Blog·· 2022-09-27精选AI 评分62
Hugging Face Accelerate 如何借助 PyTorch 运行超大模型
How 🤗 Accelerate runs very large models thanks to PyTorch
AI 导读
Hugging Face 介绍 Accelerate 如何借助 PyTorch 特性在内存不足的消费级硬件上加载并推理超大模型，示例可在免费 Colab 实例上运行 OPT-6.7B。
推荐理由
以 OPT-6.7B 到 BLOOM 为例，讲清 Accelerate 如何用 meta device、device map 和分片加载把超大模型跑在普通硬件上。
来源：Hugging Face Blog · huggingface.co