Hugging Face Blog·· 2023-12-05精选AI 评分62
Hugging Face 与 AMD 实现 AMD GPU 上大语言模型开箱即用加速
AMD + 🤗: Large Language Models Out-of-the-Box Acceleration with AMD GPU
AI 导读
Hugging Face 与 AMD 宣布合作进展，Transformers 模型和任务现可在 AMD Instinct GPU 上无需修改代码直接运行，并已支持 Flash Attention v2、Paged Attention、DeepSpeed、GPTQ 等加速与量化方案。
推荐理由
Hugging Face 与 AMD 公布开箱即用支持进展，读者可了解在 AMD Instinct 上运行 Transformers 与 TGI 的实际路径与性能对比。
来源：Hugging Face Blog · huggingface.co