Hugging Face Blog·· 2024-01-15AI 评分38
用 ONNX Runtime 和 Olive 加速 SD Turbo 与 SDXL Turbo 推理
Accelerating SD Turbo and SDXL Turbo Inference with ONNX Runtime and Olive
AI 导读
Hugging Face 发布经 Olive 优化的 SD Turbo 与 SDXL Turbo 模型,在 NVIDIA GPU 上通过 ONNX Runtime 的 CUDA 和 TensorRT 执行提供程序加速推理,吞吐量相比 PyTorch 最高提升 229%(SDXL Turbo)和 120%(SD Turbo)。
来源:Hugging Face Blog · huggingface.co