Hugging Face 与 AMD 为 MI300X 打造自定义内核，优化 Llama 3.1 405B FP8 推理

Hugging Face 与 AMD 合作，为 MI300X GPU 编写了三个开源自定义内核——融合残差连接/RMS norm/FP8 转换内核、融合 SwiGLU 激活与 FP8 转换内核、Skinny GEMM 内核，用于在 8 卡 MI300X 节点上通过 VLLM 加速 Llama 3.1 405B 的 FP8 推理。