跳到正文
原文
Hugging Face Blog·· 2024-10-10AI 评分36

AMD 发布第五代 EPYC CPU(Turin):Hugging Face 实测 Llama 3.1 8B 吞吐提升约 2 倍

Introducing the AMD 5th Gen EPYC™ CPU

AI 导读

AMD 发布基于 Zen5 架构的第五代服务器级 EPYC CPU(代号 Turin),最高 192 核 384 线程。Hugging Face 用 Meta Llama 3.1 8B 在 Turin(128 核)与 Genoa(96 核)上对比测试,借助 ZenDNN PyTorch 插件(zentorch)与 bfloat16,多数配置下解码吞吐提升约 2 倍。

来源:Hugging Face Blog · huggingface.co