Hugging Face Blog·· 2024-04-03AI 评分22
在 Intel Xeon 上用 🤗 Optimum Intel 实现 SetFit 极速推理
Blazing Fast SetFit Inference with 🤗 Optimum Intel on Xeon
AI 导读
借助 🤗 Optimum Intel 对 SetFit 模型做训练后静态量化（PTQ），可在 Intel Xeon CPU 上把推理速度提升 7.8 倍，实现生产级部署。
来源：Hugging Face Blog · huggingface.co