Hugging Face Blog·· 2022-08-17精选AI 评分62
Hugging Face 用 transformers、accelerate 和 bitsandbytes 实现 8-bit 矩阵乘法入门
A Gentle Introduction to 8-bit Matrix Multiplication for transformers at scale using transformers, accelerate and bitsandbytes
AI 导读
Hugging Face 与 BigScience 将 LLM.int8() 8-bit 量化集成进 transformers 和 accelerate，使 BLOOM-176B 等大模型可在更少 GPU 上运行且性能不降。
推荐理由
Hugging Face 与 BigScience 作者复盘 LLM.int8() 接入 transformers 的工程细节，可看到大模型量化落地的真实难点。
来源：Hugging Face Blog · huggingface.co