Hugging Face Blog·· 2024-10-10AI 评分36
AMD 发布第五代 EPYC CPU(Turin):Hugging Face 实测 Llama 3.1 8B 吞吐提升约 2 倍
Introducing the AMD 5th Gen EPYC™ CPU
AI 导读
AMD 发布基于 Zen5 架构的第五代服务器级 EPYC CPU(代号 Turin),最高 192 核 384 线程。Hugging Face 用 Meta Llama 3.1 8B 在 Turin(128 核)与 Genoa(96 核)上对比测试,借助 ZenDNN PyTorch 插件(zentorch)与 bfloat16,多数配置下解码吞吐提升约 2 倍。
来源:Hugging Face Blog · huggingface.co