Hugging Face Blog·· 2023-02-06AI 评分24
用 Intel Sapphire Rapids 加速 PyTorch Transformers:推理篇
Accelerating PyTorch Transformers with Intel Sapphire Rapids - part 2
AI 导读
Hugging Face 在 Ice Lake 与 Sapphire Rapids 两种 Amazon EC2 实例上对比了 distilbert-base-uncased、bert-base-uncased 和 roberta-base 的推理性能,测试 16 与 128 token 句子的单条及批量预测延迟。
来源:Hugging Face Blog · huggingface.co