跳到正文
原文
Hugging Face Blog·· 2023-02-06AI 评分24

用 Intel Sapphire Rapids 加速 PyTorch Transformers:推理篇

Accelerating PyTorch Transformers with Intel Sapphire Rapids - part 2

AI 导读

Hugging Face 在 Ice Lake 与 Sapphire Rapids 两种 Amazon EC2 实例上对比了 distilbert-base-uncased、bert-base-uncased 和 roberta-base 的推理性能,测试 16 与 128 token 句子的单条及批量预测延迟。

来源:Hugging Face Blog · huggingface.co