Hugging Face Blog·· 2023-12-20精选AI 评分62
用投机解码让 Whisper 推理提速 2 倍
Speculative Decoding for 2x Faster Whisper Inference
AI 导读
Hugging Face 博客介绍如何用投机解码(Transformers 中的 assisted generation)将 Whisper 推理速度提升约 2 倍,且数学上保证输出与单独使用主模型完全一致。
推荐理由
以 Whisper 为例给出投机解码的完整实现与基准数据,可迁移到其他自回归模型的推理加速。
来源:Hugging Face Blog · huggingface.co